Robots.txt là dạng tập tin đặc thù không phải là HTML hay một loại nào khác. Mục đích của việc có file robots.txt là khai báo đưa cho công cụ tìm biết rằng những nội dung nào trên web của bạn được cho phép các bot search và lập chỉ mục.

MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?

Khi có một phương tiện search thông tin website của bạn, điều đầu tiên mà nó tìm kiếm hầu hết là file Robots.txt . File này sẽ nói với công cụ tìm những gì nên và không cần lập chỉ mục. Nó cũng thường chỉ ra vị trí web của bạn trên XML Sitemap. Sau đó các phương tiện search sẽ gửi “bot”, “robot” hoặc “spider” để thu thập thông báo web của bạn theo như hướng dẫn của file Robots.txt (các công cụ tìm sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục).

FILE ROBOTS.TXT NẰM Ở ĐÂU?

File Robots.txt khả năng cao nằm ở thư mục gốc của bạn, bạn thường thuận tiện tạo một file trống và đặt tên là Robots.txt, điều này hỗ trợ bạn giảm thiểu được các lỗi đưa cho web cùng lúc cho phép tất cả các dụng cụ tìm kiếm thu thập thông báo về trang web của bạn. Ví dụ web bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt

5/5 - (2 bình chọn)

File robots.txt là gì? Hướng dẫn tùy chỉnh trên wordpress

Lê Trương Tấn Lộc (sieutocviet.page)

Trải qua 5 năm kinh nghiệm Python, PHP 5 năm thực chiến trong quản lý web site tư vấn giải pháp đẩy top, Kinh doanh online tối ưu nhất cho doanh nghiệp.
Hiện giữ chức vụ giám đốc kinh doanh tại Siêu Tốc Việt. ping post