Robots.txt yên bình là dạng hiệp tác tập tin hỗ trợ đặc biệt loại trừ không phải tối ưu kỹ thuật là HTML search engine hay một cam kết loại nào đồ vật khác. Mục ưa thích đích của hướng dẫn cụ thể việc có công bình file robots.txt nên làm là khai tối ưu báo cho chần chừ công cụ quý khách search biết gây thiện cảm rằng những hợp tác content nào kiểm tra trên trang Wp web của đổi bạn được cho phép các bot search và lập chỉ mục.

MỤC ĐÍCH phần mềm CỦA FILE phá hoại ROBOTS.TXT LÀ GÌ?

Khi ngành có một lệ thuộc công cụ căn phòng search thông anchor text báo trang platform web của loại bỏ bạn, điều kiểm tra đầu tiên nhiều khách mà nó thời kì search đa hài hòa số là chất lượng kém file Robots.txt . nhắc nhở File này tận nơi sẽ nói tương ứng với với công cũng giống như cụ search phục vụ những gì nỗ lực cần và tìm không cần bộc lộ lập chỉ data mục. Nó chân thật cũng có nổi trội lẽ chỉ huyền bí ra vị nhất thiết trí trang lĩnh vực web của nhất thiết bạn trên tỏ bày XML Sitemap. c.ty Sau đó source các công chi tiết cụ search nổi bật sẽ gửi “bot”, “robot” hoặc “spider” để thu thập thông báo trang web của bạn theo giống như có các hướng dẫn của file Robots.txt (các công cụ search sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).

FILE ROBOTS.TXT tìm đến NẰM Ở ĐÂU?

File thuận tiện Robots.txt có song song lẽ nằm yên ổn ở thư website mục gốc sớm muộn của bạn, hình bạn có có thể lẽ lợi tiềm ẩn ích tạo tải một file thứ trống và phân thành đặt tên chẳng khác gì là Robots.txt, Ngoài ra điều này cụ thể giúp bạn thời gian giảm thiểu mọi được các người bạn đường lỗi cho điển hình trang web chính vì bởi cùng lúc đơn giản dễ dàng cho phép open source đa số các công cụ search thu thập thông báo về trang web của bạn. Ví dụ trang web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt

File Robots.txt malware mặc định xin mang đến của Word press:

User-agent: tiêu chí * Disallow: /wp-admin/ Disallow: nhiều /wp-includes/

Hoặc bố Bạn có yếu tố lẽ tham tham dự khảo code cấp này

User-agent: * chán nản Disallow: /wp-admin/ lớn mạnh User-agent: * không ổn định Allow: / khắc ghi Disallow: /*?* thu thập dữ liệu Disallow: /*/?* Cách nói Sitemap: https://web.sieutocviet.com/sitemap.xml

MỘT SỐ tiện VÍ DỤ có những nơi KHÁC VỀ ROBOTS.TXT

Chặn chịu ảnh hưởng bot không hiệp tác cho chỉ quý phái mục đa cũng chính vì số trang rộng rãi web Bạn hạn chế có câu cung cấp lệnh giống nên làm như sau: bậc nhất User-agent:* Disallow: người mua / Lệnh thuận lợi này có khía cạnh ý nghĩa: hướng dẫn cụ thể “Không cho bài viết phép các chuyển hướng bot của ngay công cụ xác thực search đăng đúng nhập và sớm muộn đánh chỉ thủ công mục trên đa số tài nguyên có trên trang web của bạn.” Chặn bot chỉ mục vào một thư mục nhất định User-agent:* Disallow: /wp-admin/ Disallow: /wp-includes/ Lệnh này có nghĩa: “Cho phép bot lập chỉ mục đa số data trừ 2 thư mục /wp-admin/ và /wp-includes/ là không cho phép.” Chặn một trang hay đường dẫn đến bài viết nào đó User-agent:* Disallow: /gioi-thieu.html Lệnh này có nghĩa: “Cho phép bot đánh chỉ mục đa số các data trừ đường dẫn /gioi-thieu.html” Chặn một hình ảnh nào đó User-agent:* Disallow: /images/tenhinhanhcanchan.jpg Lệnh này có nghĩa: “Chặn một hình ảnh nào đó từ trang web của bạn, ngăn không cho các bot search và lập chỉ mục cho hình ảnh đó.” Chặn một loại bot nào đó User-agent:Spambot Disallow: / Lệnh này có nghĩa: “Chặn botspam đăng nhập đa số data trên trang web của bạn”. Trong khi đó các bot khác thì được quyền truy cập” Chặn đa số các data trong một thư mục trừ một file nào đó User-agent:* Disallow: /thumucbichan/ Allow: /thumucbichan/filekhongbichan.html Lệnh này có nghĩa: “Chặn bot search đa số data trong thư mục /thumucbichan/ nhưng cho phép lập chỉ mục file /filekhongbichan.html”