返回分類

robots.txt 產生器

快速整理網站爬蟲規則設定。

SEO 工具 seo robots generator
SEO 工具

robots.txt 產生器

快速組合 User-agent、Allow、Disallow、Sitemap、Host 與 Crawl-delay,產出可直接貼上的 robots.txt 內容。

調整規則後即可產生 robots.txt
User-agent 數
-
規則數
-
Sitemap 數
-

立即可用

這個工具已可直接開始使用,您可以依需求輸入內容、查看結果並快速完成操作。

功能特色

  • 可快速組合 User-agent、Allow、Disallow、Host、Sitemap 與 Crawl-delay。
  • 支援多組 User-agent 與多條 Sitemap,方便建立較完整的 robots 規則。
  • 產出後可直接複製或下載成 robots.txt 檔案。

使用方式

  1. 先填入 User-agent,並依需求補上 Allow 與 Disallow 路徑。
  2. 若需要,也可加上 Sitemap、Host 與 Crawl-delay。
  3. 產生後檢查輸出內容,再直接複製或下載。

同分類相關工具