Crawl và index là hai bước khác nhau trong quá trình công cụ tìm kiếm xử lý website. Một URL có thể được Google biết đến nhưng chưa crawl, có thể đã crawl nhưng chưa index, hoặc đã index nhưng chưa xếp hạng cho truy vấn bạn kỳ vọng.
Hiểu đúng sự khác nhau giúp tránh lỗi chẩn đoán phổ biến như thấy URL chưa xuất hiện trên Google rồi kết luận ngay rằng “Google không crawl được”.
Crawl là gì?
Crawl là quá trình crawler phát hiện và truy cập URL để lấy nội dung và tín hiệu kỹ thuật. URL có thể được phát hiện qua internal link, sitemap, backlink hoặc dữ liệu đã biết trước đó.
Crawlability chịu ảnh hưởng bởi HTTP status, robots.txt, khả năng máy chủ phản hồi, cấu trúc internal link và số lượng URL mà website tạo ra. Robots.txt có thể ngăn crawler truy cập một đường dẫn, nhưng không phải cơ chế noindex.
Index là gì?
Index là quá trình hệ thống xử lý nội dung và quyết định có lưu URL như một tài liệu có thể được cân nhắc cho kết quả tìm kiếm hay không. Đủ điều kiện index không có nghĩa chắc chắn được index.
Noindex, lỗi máy chủ, nội dung trùng lặp, soft 404, canonicalization hoặc chất lượng trang đều có thể ảnh hưởng việc URL được chọn vào chỉ mục.
Crawl, render, index và ranking khác nhau ra sao?
| Bước | Câu hỏi chính |
|---|---|
| Crawl | Googlebot có truy cập được URL không? |
| Render | Nội dung và liên kết quan trọng có xuất hiện sau khi dựng trang không? |
| Index | URL có được lưu và đủ điều kiện phục vụ cho tìm kiếm không? |
| Ranking | URL có phù hợp để hiển thị cho truy vấn cụ thể không? |
Dấu hiệu URL chưa được crawl
- URL không có internal link và chỉ tồn tại trong sitemap.
- robots.txt chặn đường dẫn cần truy cập.
- Máy chủ phản hồi chậm hoặc lỗi lặp lại.
- Website tạo quá nhiều URL tham số hoặc URL ít giá trị.
Dấu hiệu URL đã crawl nhưng chưa index
- URL Inspection cho thấy Google đã truy cập nhưng chưa chọn index.
- Trang có noindex hoặc canonical trỏ URL khác.
- Nội dung quá gần với URL khác.
- Trang thiếu giá trị độc lập hoặc giống soft 404.
Cách kiểm tra một URL không lên Google
- Kiểm tra URL trả HTTP 200 hay lỗi.
- Kiểm tra robots.txt có chặn hay không.
- Kiểm tra robots meta/HTTP header noindex.
- Kiểm tra rel=canonical và URL canonical Google chọn.
- Kiểm tra URL có internal link crawl được.
- Kiểm tra sitemap chỉ chứa URL mong muốn index.
- Kiểm tra rendered content nếu website dùng JavaScript.
- Đối chiếu URL Inspection và dữ liệu Search Console.
Khi nào nên yêu cầu index lại?
Request Indexing hữu ích sau khi bạn sửa một URL quan trọng, nhưng nó không phải nút “ép index”. Nếu nguyên nhân gốc là noindex, canonical sai, nội dung trùng hoặc trang ít giá trị, gửi lại nhiều lần không giải quyết vấn đề.
Internal link ảnh hưởng crawl và index thế nào?
Internal link giúp crawler phát hiện URL và hiểu quan hệ giữa các trang. Một URL quan trọng chỉ có trong sitemap nhưng không được trang nào liên quan nhắc đến thường khó thể hiện vai trò trong cấu trúc website. Vì vậy, các pillar và supporting article nên kết nối hai chiều theo nhiệm vụ thực tế.
Crawl budget có phải vấn đề của mọi website?
Không. Nhiều website nhỏ không cần tối ưu crawl budget như một mục tiêu độc lập. Ưu tiên hợp lý hơn là loại bỏ URL rác, sửa loop/redirect lỗi, kiểm soát tham số và đảm bảo trang quan trọng có internal link rõ.
Checklist xử lý URL không index
- 200 OK và nội dung hợp lệ.
- Không bị chặn nhầm bởi robots.
- Không có noindex ngoài ý muốn.
- Canonical phù hợp với URL owner.
- Có internal link từ trang liên quan.
- Có trong sitemap nếu là URL canonical cần index.
- Rendered content đầy đủ trên mobile.
- Không trùng hoặc mỏng đến mức không có nhiệm vụ riêng.
Kết luận
Crawl trả lời “crawler có truy cập được không”, còn index trả lời “URL có được lưu để cân nhắc cho tìm kiếm không”. Khi URL không xuất hiện trên Google, cần chẩn đoán theo đúng thứ tự crawl → render → indexability → canonical thay vì chỉ gửi Request Indexing nhiều lần.
Đọc thêm Technical SEO để đặt vấn đề crawl và index trong toàn bộ hệ thống kỹ thuật, hoặc quay về SEO là gì để xem bản đồ kiến thức tổng quát.
Nếu vướng ở lớp tín hiệu cụ thể, xem Canonical là gì, Robots.txt, Noindex và Sitemap khác nhau thế nào và XML Sitemap là gì để kiểm từng nguyên nhân theo đúng công cụ.