Thực chất, file robots.txt là một tập tin văn bản đơn giản (không chứa mã HTML) được đặt trong thư mục gốc của web site.
Tác Dụng và cách dùng file Robots.txt cho tối ưu hóa
File Robots.txt và tầm quan trọng của Robots.txt mang tối ưu hóa
Ví dụ *http://www.example.com/robots.txt.
Vậy, thiết kế thế nào để tạo ra 1 file robots.txt?
cực kỳ đơn thuần, quý khách mang thể mở chương trình Notepad hay bất cứ chương trình soạn thảo văn bản nào, lưu file có tên robots.txt là xong. vài dòng lệnh trong file này sở hữu cấu trúc như sau:
>>> Dịch vụ: Thiet ke web spa
User-agent: googlebot
Disallow: /cgi-bin/
Trong đó User-agent: là đại diện của một search engine, Googlebot là spider của Google. Trong ví dụ này, chỉ một vài spider của Google là được phép index web site. Disallow: là ko cho phép thực hiện điều gì ấy. ở ví dụ trên là ko cho phép vài spider index thư mục "cgi-bin" trong web site.
1 ví dụ nữa:
User-agent: googlebot
Disallow: /support
rất nhiều một vài trang nằm trong thư mục support, hay support-desk sẽ không được index.
giả dụ khách hàng muốn đông đảo một vài search engine sở hữu thể index web site của người mua, nhưng ko được index những trang trong thư mục "cgi-bin" thì tiêu dùng lệnh sau:
User-agent: *
Disallow: /cgi-bin/
một vài điều bắt buộc tránh:
- không tiêu dùng một số chú thích trong file robots.txt, nó với thể làm những spider của search engine bị lầm lẫn.
Ví dụ: "Disallow: support # Don't index the support directory" might be misinterepreted as "Disallow: support#Don't index the support directory".
- không được để khoảng trắng ở đầu cái lệnh.
- không thay đổi trật tự của các mẫu lệnh.
>>> Có thể bạn quan tâm: Thiet ke website ban hang
Ví dụ:
Disallow: /support
User-agent: *
- ko tiêu dùng quá một thư mục trong cái lệnh Disallow.
Ví dụ:
User-agent: *
Disallow: /support /cgi-bin/ /images/
một số search engine ko hiểu định dạng trên. mọi người yêu cầu viết thế này:
User-agent: *
Disallow: /support
Disallow: /cgi-bin/
Disallow: /images/
- buộc phải kiên cố một vài mệnh đề, từ sử dụng trong lệnh là đúng. Ví dụ, thư mục của khách hàng là "cgi-bin" (viết thường, không viết hoa), nhưng khí vào lệnh, khách hàng lại viết là "Cgi-Bin" thì những spider sẽ "bó tay".
- không cần sử dụng lệnh Allow trong file robots.txt, nguyên nhân là trong website site của tất cả mọi người cứng cáp sẽ mang những trang hoặc một vài thành phần quý khách ko muốn bị người khác "nhòm ngó". ví như quý khách dùng lệnh Allow, phần lớn rất nhiều ngóc ngách trong web site của các bạn sẽ bị index!
>>> tin thêm:Thiết kế website khách sạn
0 nhận xét:
Đăng nhận xét