Robots.txt là dạng tập tin đặc trưng không phải là HTML hay một loại nào khác. Mục đích của việc sở hữu file robots.txt là khai báo tặng dụng cụ tìm biết rằng những content nào trên web của bạn được tặng phép các bot search và lập chỉ mục.
MỤC ĐÍCH CỦA FILE ROBOTS.TXT LÀ GÌ?
Khi sở hữu một công cụ tìm kiếm thông báo website của bạn, điều đầu tiên mà nó tìm kiếm toàn bộ là file Robots.txt . File này sẽ nói với dụng cụ tìm kiếm những gì cần và không tốt nhất nên lập chỉ mục. Nó cũng khả năng cao chỉ ra vị trí trang web của bạn trên XML Sitemap. Sau đó các dụng cụ tìm kiếm sẽ gửi “bot”, “robot” hoặc “spider” để thu thập tin tức web site của bạn theo như là có các hướng dẫn của file Robots.txt (các dụng cụ search sẽ không gửi nếu file Robot.txt nói với họ là không thể chỉ mục). 
FILE ROBOTS.TXT NẰM Ở ĐÂU?
File Robots.txt khả năng cao nằm ở thư mục gốc của bạn, bạn có lẽ tiện lợi tạo một file trống và đặt tên là Robots.txt, điều này giúp cho bạn tránh được các lỗi cho web song song tặng phép hầu hết các phương tiện tìm thu thập tin tức về web site của bạn. Ví dụ website bạn là sieutocviet.com thì file robots sẽ là sieutocviet.com/robots.txt
Lê Trương Tấn Lộc (sieutocviet.page)
Với 4 năm kinh nghiệm Python, PHP 6 năm thực chiến trong quản trị web site tư vấn giải pháp Seo top, Kinh doanh online tối ưu nhất cho công ty.
Hiện làm trưởng phòng kinh doanh tại Siêu Tốc Việt.