robots.txt and sitemap.xml analyzer robots.txt and sitemap.xml analyzer

Analyze robots.txt and sitemap.xml online

Enter a website URL to fetch robots.txt, parse crawler groups, detect Sitemap directives and validate linked sitemap XML files.

The analyzer checks whether important bots can crawl the root path, counts sitemap URLs, finds duplicate or external URLs and performs a sampled broken-link check for sitemap entries.

このツールはブラウザ内で直接動作し、ソフトウェアをインストールせずにすばやく確認できます。
入力はすぐに消去して再計算できるため、繰り返し行う小さな作業に便利です。
長いテキスト、構造化データ、大きな結果を扱うときは全画面モードを使うと作業しやすくなります。
コピー用のボタンで、結果をコード、文書、サポートのやり取りにすぐ転用できます。
ほとんどの処理は決定的で、同じ入力と設定なら同じ結果になります。
機密性の高い内容にはローカルで動くブラウザツールを使い、共有前に結果を確認してください。