テクニカル
robots.txt
検索エンジンのクローラーに対して、どのページをクロールしてよいかを伝えるテキストファイル。
robots.txtの詳細
サイトルートに配置（例: https://example.com/robots.txt）。User-agent: と Allow: / Disallow: で指定します。秘密情報・管理画面・cache 等は Disallow に指定するのが基本。
Sitemap: 行を加えることで sitemap.xml の場所を明示できます。ただし、本当に検索結果から除外したい場合は noindex meta タグの方が確実です。
robots.txtを実践するなら
Saguru なら、月額270円から、SEOキーワード調査・上位サイト分析・自サイトSEO診断のすべてが使えます。robots.txt を理解した上で、すぐに実践に移せます。
登録なしで1日5回まで無料 ／ メール登録で1日30回 ／ ベーシック月額270円
robots.txtについてよくある質問
robots.txt とは何ですか？
検索エンジンのクローラーに「どのページをクロールしてよいか」を伝えるテキストファイルです。ルートに /robots.txt として設置します。
robots.txt と noindex の違いは？
robots.txt はクロール自体をブロックする指示で、noindex はクロールはされるがインデックスから除外する指示です。インデックスから外したい場合は noindex が確実です。
robots.txt の書き方は？
基本構文は User-agent: * / Disallow: /admin/ / Sitemap: https://example.com/sitemap.xml の3要素です。誤って Disallow: / にすると全ページがクロール禁止になるので注意。