Trình kiểm tra robots.txt mới được giới thiệu trong Công cụ quản trị trang web của Google

Công cụ kiểm tra robots.txt trong Công cụ Quản trị Trang web của Google vừa có bản cập nhật để làm nổi bật các lỗi khiến Google không thu thập dữ liệu các trang trên trang web của bạn, bạn có thể chỉnh sửa tệp của mình, kiểm tra xem các URL có bị chặn hay không và bạn có thể xem các phiên bản cũ hơn của tập tin của bạn.

Nếu Google không thu thập thông tin một trang hoặc một phần trang web của bạn, thì giờ đây bạn có thể sử dụng trình kiểm tra robots.txt trong phần Thu thập thông tin của Công cụ Quản trị Trang web của Google để kiểm tra xem có vấn đề với tệp của bạn mà Google đang chặn hay không. (Phần này của GWT trước đây được gọi là URL bị chặn.)

Trình kiểm tra Robots.txt cho Công cụ Quản trị Trang web của Google

Asaph Arnon, nhóm Công cụ quản trị trang web trên Blog Trung tâm Quản trị Trang web của Google đã viết: “Để hướng dẫn bạn qua các hướng dẫn phức tạp, chính sách cụ thể dẫn đến quyết định cuối cùng được đánh dấu”. “Bạn có thể thực hiện các thay đổi đối với tệp và cũng có thể kiểm tra chúng. Tất cả những gì bạn phải làm là tải phiên bản mới của tệp lên máy chủ của mình để các thay đổi có hiệu lực.

“Bạn cũng có thể kiểm tra các phiên bản cũ hơn của tệp robots.txt của mình và xem khi nào các vấn đề truy cập đang ngăn chúng tôi thu thập thông tin”, anh ấy tiếp tục. “Ví dụ: nếu Googlebot gặp lỗi máy chủ 500 đối với tệp robots.txt, chúng tôi thường ngừng thu thập dữ liệu trang web.”

Khi thông báo tin tức trên Google+, John Mueller của Google đã viết rằng ngay cả khi bạn nghĩ rằng tệp robots.txt của mình vẫn ổn, hãy kiểm tra lỗi hoặc cảnh báo.

Ông viết: “Một số vấn đề này có thể phức tạp và dễ bỏ sót. “Trong khi bạn đang ở đó, cũng hãy kiểm tra xem các trang quan trọng trên trang web của bạn đang được hiển thị như thế nào với Googlebot và liệu bạn có vô tình chặn các tệp JS hoặc CSS thu thập thông tin hay không.”

Nguồn: www.searchenginewatch.com

Trả lời

Chat Zalo