# ============================================================================= # 911吃瓜网 · 站群 Robots 协议(相对路径 · 多域名通用) # ----------------------------------------------------------------------------- # 说明:全站允许抓取;Sitemap 使用相对路径 /sitemap.xml,爬虫自动拼接当前域名。 # 访问 /robots.txt 时建议走 index.php(见 nginx-seo.conf)以同步 2026-06-24 等占位符。 # ============================================================================= User-agent: * Allow: / User-agent: Baiduspider Allow: / Crawl-delay: 1 User-agent: Sogou web spider Allow: / Crawl-delay: 1 User-agent: 360Spider Allow: / User-agent: Bytespider Allow: / Crawl-delay: 2 User-agent: Googlebot Allow: / User-agent: Googlebot-Image Allow: / User-agent: Bingbot Allow: / Sitemap: /sitemap.xml