Để tạo robots.txt cho Bingbot cho trang web https://seowebtop1.com/, bạn có thể sử dụng nội dung sau:
User-agent: Bingbot
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /xmlrpc.php
Disallow: /feed/
Disallow: /comments/
Disallow: /author/
Disallow: /cgi-bin/
Sitemap: https://seowebtop1.com/sitemap.xml
**Lưu ý: thay https://seowebtop1.com/ bằng miền (domain) của bạn.
Sau khi bạn đã tạo nội dung robots.txt như trên, hãy lưu file với tên “robots.txt” và đặt nó vào thư mục gốc của trang web (thường là thư mục chứa tệp tin index.html hoặc index.php).
Trong đoạn mã trên, tất cả các thư mục quan trọng của WordPress như /wp-admin/, /wp-includes/, /wp-content/plugins/ và /wp-content/themes/ đã được chặn truy cập bởi Bing. Những phần khác như /trackback/, /xmlrpc.php, /feed/, /comments/, /author/ và /cgi-bin/ cũng được chặn.
Sitemap được chỉ định bằng dòng “Sitemap” cuối cùng. Bạn có thể cung cấp URL của tệp sitemap.xml của trang web của bạn.
Lưu ý: Trước khi sử dụng robots.txt, hãy chắc chắn rằng bạn đã kiểm tra và hiểu rõ cấu trúc và các thư mục quan trọng của trang web của mình.
Trên là hướng dẫn tạo robots.txt cho Bingbot, chúc bạn thành công.
Tham khảo thêm: Cách tạo robots.txt chuẩn SEO trên Yandex