File Robots.txt mặc định của Word press:

User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/

Hoặc Bạn thường tham khảo lập trình này

User-agent: * Disallow: /wp-admin/ User-agent: * Allow: / Disallow: /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet.com/sitemap.xml

MỘT SỐ VÍ DỤ KHÁC VỀ ROBOTS.TXT

Chặn bot không tặng chỉ mục hầu hết website Bạn nắm tới câu lệnh như sau: User-agent:* Disallow: / Lệnh này sở hữu ý nghĩa: “Không tặng phép các bot của dụng cụ search đăng nhập và đánh chỉ mục trên mọi tài nguyên sở hữu trên web site của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này sở hữu nghĩa: “Cho phép bot lập chỉ mục mọi data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không đưa cho phép.” Chặn một trang hay đường dẫn đến nội dung bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này sở hữu nghĩa: “Cho phép bot đánh chỉ mục toàn bộ các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này có nghĩa: “Chặn một hình ảnh nào đó từ web của bạn, ngăn không tặng các bot tìm và lập chỉ mục tặng hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này có nghĩa: “Chặn botspam log in đa số data trên trang web của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn hầu hết các data trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này nắm tới nghĩa: “Chặn bot search tất cả data trong thư mục /thumucbichan/ nhưng cho phép lập chỉ mục file /filekhongbichan.html”