Sitemap robots txt

File sitemap robots txt chuẩn

Robots.txt là một loại tệp đặc trưng không phải là HTML hay bất kỳ đồ vật gì tương tự. Mục đích của tệp robots.txt là để đưa cho các công cụ tìm biết content nào trên web site của bạn thường được các bot thu thập và lập chỉ mục.

File robots txt chuẩn

Một số ví dụ khác về file robots txt chuẩn Chặn bot không đưa cho chỉ mục tất cả phát triển website Bạn sở hữu câu lệnh giống như sau: User-agent:* Disallow: / Lệnh này có ý nghĩa: “Không đưa cho phép các bot của công cụ tìm đăng nhập và đánh chỉ mục trên tất cả tài nguyên có trên web site của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này nắm tới nghĩa: “Cho phép bot lập chỉ mục tất cả data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không tặng phép.” Chặn một trang hay đường dẫn đến nội dung bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này nắm tới nghĩa: “Cho phép bot đánh chỉ mục tất cả các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này sở hữu nghĩa: “Chặn một hình ảnh nào đó từ trang web của bạn, ngăn không đưa cho các bot tìm kiếm và lập chỉ mục đưa cho hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này có nghĩa: “Chặn botspam đăng nhập toàn bộ data trên web site của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn hầu hết các data trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này nắm tới nghĩa: “Chặn bot search tất cả data trong thư mục /thumucbichan/ nhưng đưa cho phép lập chỉ mục file/filekhongbichan.html”