Tạo và sử dụng file robots.txt – Seo

Dưới đây là hướng dẫn tạo và sử dụng file robots.txt cho website, để các bộ máy tìm kiếm quản lý index nội dung của website bạnrobots.txt là file văn bản có cấu trúc, khi các spider (bot, crawler) của các SE (Search engine) vào website để thu thập dữ liệu thì sẽ vào file robots.txt để xem các chỉ dẫn trong file này.
Nội dung trích xuất từ tài liệu:
Tạo và sử dụng file robots.txt – SeoTạo và sử dụng file robots.txt – SeoDưới đây là hướng dẫn tạo và sử dụng file robots.txt chowebsite, để các bộ máy tìm kiếm quản lý index nội dung củawebsite bạnrobots.txt là file văn bản có cấu trúc, khi các spider (bot,crawler) của các SE (Search engine) vào website để thu thậpdữ liệu thì sẽ vào file robots.txt để xem các chỉ dẫn trong filenày.robots.txt có thể quy định từng loại bot khác nhau của các SEkhác nhau có thể vào website hay từng khu vực của websitehay không?Vài loại bot của các SE: Googlebot (Google), Googlebot-Image(Google), Yandex(SE của Nga), Bingbot(Bing)/YahooSlurp(Yahoo)…Những cú pháp thông dụng trong file robots.txtUser-agent: đối tượng bot được chấp nhậnDisallow/Allow: URL muốn chặn/cho phép*: Đại diện cho tất cảVí dụ: User-agent: * (Có nghĩa là chấp nhận tất cả các loạibot.)Khóa toàn bộ siteDisallow: /Chặn 1 thư mục và mọi thứ nằm trong nóDisallow: /wp-admin/Chặn 1 trangDisallow: /private_file.htmlLoại bỏ 1 hình từ Google ImagesUser-agent: Googlebot-ImageDisallow: /images/sexy.jpgBỏ tất cả các hình từ Google Images:User-agent: Googlebot-ImageDisallow: /Chặn 1 file hình bất kỳ, ví dụ .gifUser-agent: GooglebotDisallow: /*.gif$Những điều cần tránh trong file robots.txt- Phân biệt chữ hoa chữ thường.- Không được viết dư, thiếu khoản trắng.- Không nên chèn thêm bất kỳ ký tự nào khác ngoài các cúpháp lệnh.- Mỗi một câu lệnh nên viết trên 1 dòng.Cách tạo và vị trí đặt file robots.txt- Dùng notepad hay bất cứ chương trình nào tạo file, sau đóđổi tên file là robots.txt.- Đặt ở thư mục gốc của website. ( sanduatin.com/robots.txt )