Sitemap robots txt
File sitemap robots txt chuẩn
Robots.txt là một loại tệp đặc trưng không phải là HTML hay bất cứ thiết bị gì gần giống. Mục đích của tệp robots.txt là để cho các công cụ tìm biết nội dung nào trên website của bạn có thể được các bot thu thập và lập chỉ mục.
File robots txt chuẩn
Một số ví dụ khác về file robots txt chuẩn Chặn bot không cho chỉ mục đa số phát triển website Bạn nắm tới câu lệnh như là sau: User-agent:* Disallow: / Lệnh này nắm tới ý nghĩa: “Không đưa cho phép các bot của phương tiện search đăng nhập và đánh chỉ mục trên mọi tài nguyên nắm tới trên web của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này sở hữu nghĩa: “Cho phép bot lập chỉ mục mọi data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không cho phép.” Chặn một trang hay đường dẫn đến nội dung bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này nắm tới nghĩa: “Cho phép bot đánh chỉ mục hầu hết các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này nắm tới nghĩa: “Chặn một hình ảnh nào đó từ web của bạn, ngăn không tặng các bot tìm và lập chỉ mục tặng hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này nắm tới nghĩa: “Chặn botspam đăng nhập toàn bộ dữ liệu trên web site của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn hầu hết các data trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này có nghĩa: “Chặn bot search tất cả dữ liệu trong thư mục /thumucbichan/ nhưng tặng phép lập chỉ mục file/filekhongbichan.html”
Lê Trương Tấn Lộc (sieutocviet.page)
Có hơn 3 năm thực chiến Drupal 8 năm kinh nghiệm trong quản lý web site tư vấn giải pháp Seo top, Kinh doanh online tối ưu nhất cho doanh nghiệp.
Hiện là trưởng phòng kinh doanh tại Siêu Tốc Việt.