File Robots.txt mặc định của Word press:
User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/
Hoặc Bạn có lẽ tham khảo lập trình này
User-agent: * Disallow: /wp-admin/ User-agent: * Allow: / Disallow: /*?* Disallow: /*/?* Sitemap: https://web.sieutocviet.com/sitemap.xml
MỘT SỐ VÍ DỤ KHÁC VỀ ROBOTS.TXT
Chặn bot không tặng chỉ mục toàn bộ trang web Bạn sở hữu câu lệnh như là sau: User-agent:* Disallow: / Lệnh này sở hữu ý nghĩa: “Không đưa cho phép các bot của phương tiện tìm kiếm log in và đánh chỉ mục trên tất cả tài nguyên có trên web của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này có nghĩa: “Cho phép bot lập chỉ mục tất cả data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không tặng phép.” Chặn một trang hay đường dẫn đến nội dung bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này sở hữu nghĩa: “Cho phép bot đánh chỉ mục toàn bộ các dữ liệu trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này sở hữu nghĩa: “Chặn một hình ảnh nào đó từ trang web của bạn, ngăn không tặng các bot search và lập chỉ mục tặng hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này nắm tới nghĩa: “Chặn botspam truy cập mọi dữ liệu trên trang web của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn tất cả các dữ liệu trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này nắm tới nghĩa: “Chặn bot tìm mọi dữ liệu trong thư mục /thumucbichan/ nhưng cho phép lập chỉ mục file /filekhongbichan.html”
Lê Trương Tấn Lộc (sieutocviet.page)
Có hơn 6 năm thực chiến Laravel 8 năm thực chiến trong quản lý website tư vấn giải pháp đẩy top, Kinh doanh online tối ưu nhất cho doanh nghiệp.
Hiện giữ chức vụ trưởng phòng kinh doanh tại Siêu Tốc Việt.