Hướng dẫn tạo tệp Robots cho Blogspot

Tệp file Robots.txt giúp cho trình thu thập dữ liệu của các công cụ tìm kiếm biết được là có thể hay không thể yêu cầu thu thập dữ liệu trên web/Blog của bạn. Tệp này chủ yếu dùng để ngăn trình thu thập dữ liệu gửi quá nhiều yêu cầu cho trang web của bạn.

Tác dụng của tệp Robots.txt là gì?

Việc khai báo tệp Robots trên Google Search Console để những con bọ của Google lục lọi trang web của bạn nhằm index bài viết mới trên website của bạn nhanh chóng. Mọi người sẽ tìm thấy bài viết của bạn qua các công cụ tìm kiếm. Trong bài viết này mình sẽ hướng dẫn cho các bạn tạo file robots.txt cho Blogger/Blogspot.

Các bước tạo tệp Robots.txt

Bước 1: Truy cập trang Blogger sitemap:Tại đây
Bước 2: Nhập url (địa chỉ blog) của bạn và nhấp nút Generate Sitemap

Bước 3: Copy nội dung File sitemap có được ở bước 2 như dưới đây.

Bước 4: Truy cập vào trang blogger vào Cài đặt > Robots.txt tuy chỉnh. Bạn dán đoạn file sitemap vừa copy trên vào và ấn Lưu.

File robots.txt mà blog mình hiện đang sử dụng:

User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.blogchiase.xyz/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://www.thanhdatblog.top/sitemap.xml

Trong đó:

• User-agent: * Xác định các công cụ tìm kiếm như Google,Bing...
• Disallow: / Báo cho công cụ tìm kiếm biết nó không nên lục ở những file này.
• Allow: / Cho phép công cụ tìm kiếm index đọc tất cả các nội dung.

---------------- Chúc các bạn thành công -------------------