robots.txt 產生器

視覺化產生 robots.txt 爬蟲規則

tools.robots-gen.labelSitemap

tools.robots-gen.labelRules

tools.robots-gen.labelAgent

tools.robots-gen.labelAllow

tools.robots-gen.labelDisallow

tools.robots-gen.labelResult

User-agent: *
Disallow:

工具说明

通过表单界面配置 User-agent 允许/禁止规则和 Sitemap 地址，实时生成标准的 robots.txt 内容，适合 SEO 和网站管理。

robotsseositemap爬虫crawler网站