Tạo Robots.txt cho Blogspot chuẩn SEO và cách xem Robot.txt của một trang web bất kỳ

Robots.txt trong blogspot là một thể loại những câu lệnh ở dạng text nó thực hiện câu lệnh điều hướng cho các robot tìm kiếm trên các công cụ tìm kiếm có được phép hay không được phép index nội dung nào trên website lên trang tìm kiếm , nói đến robot.txt là một vấn đề khá quan trọng trong việc seo trang web đó .

Cấu trúc file robots.txt như thế thế nào chuẩn seo cho một trang blog.

Đó là một vấn đề chúng ta phải làm, nghĩa là muốn để một robot chuẩn thì bạn phải thiết lập làm sao cho đúng, bạn phải hiểu những đoạn text trong file robot.txt, điều quan trong không thể thiếu
là người dùng muốn cho phép các công cụ tìm kiếm index những nội dung nào và không cho phép nội dung index nào, điều này thì các bạn phải chỉnh sữa trong đoạn mã dưới đây.
Đây là file robot được mình chỉnh sửa và theo đánh giá là một file robot.txt 2020 chuẩn seo nhất hiện nay.

dưới đây là tệp Robots.txt của Smobile36 đang sử dụng .

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /search
Disallow: /search*
Allow: /
Allow: *max-results=8
Allow: /search/label/
Disallow: *archive.html
Disallow: *?updated-max*
Disallow: *?m=0

Allow: /

Sitemap: https://smobile36.com/feeds/posts/default?orderby=UPDATED
Sitemap: https://smobile36.com/sitemap-index.xml 
Sitemap:https://smobile36.com/atom.xml?redirect=false&start-index=1&max-results=500

Ý nghĩa của các dòng lệnh :

User-agent: Phần này là tên của các trình thu thập dữ liệu web. (ví dụ: Googlebot, Bingbot,…)
Disallow: Lệnh này được sử dụng để thông báo cho các user-agent không thu thập bất kì dữ liệu URL cụ thể nào. Mỗi URL chỉ được sử dụng 1 dòng disallow.
Allow (chỉ áp dụng cho Googlebot): Lệnh này thông báo cho Googlebot rằng nó có thể truy cập một trang hoặc thư mục con. Mặc dù các trang hoặc các thư mục con của nó có thể không được phép.
Sitemap: Lệnh này được sử dụng để cung cấp các vị trí của bất kì XML sitemap nào được liên kết với URL này. Lưu ý lệnh này chỉ được hỗ trợ bởi Google, Ask, Bing và Yahoo.

Vậy để kiểm tra một trang Web bất kì nào đó xem họ đang khai báo tệp Robots.txt của họ như thế nào . Các bạn chỉ cần thêm Robots.txt vào sau địa chỉ Web của trang đó và ấn Enter .

Ví dụ để xem trang Smobile36.com của mình đang khai báo như nào các bạn thực hiện thêm robots.txt vài sau link như sau http://smobile36.com/robots.txt