robots.txt

robots.txtとは？

robots.txt（ロボットテキスト）とは、検索エンジンのクローラー（サイトを巡回するプログラム）に対して、「どのページを見てよいか／見ないでほしいか」を伝えるテキストファイルです。
サイトのルート（例: https://example.com/robots.txt）に1つだけ設置します。
クローラーは巡回の前にまずこのファイルを確認するため、サーバーの負荷が大きい領域や、検索結果に出す必要のない管理画面などへの巡回を抑える目的で使われます。
あくまで「お願い」であり、悪意あるアクセスを止める仕組みではない点が重要です。

robots.txtの使い方・実践方法

記述はとてもシンプルで、対象クローラーを指定する「User-agent」と、巡回を許可・禁止する「Allow / Disallow」を組み合わせます。
実務では次のポイントを押さえましょう。

• 対象を指定する：すべてのクローラーを対象にするなら「User-agent: *」と書きます。特定のクローラーだけ制御したい場合は名前を指定します。
• 巡回を禁止する：管理画面や検索結果ページなど不要な領域は「Disallow: /admin/」のように指定します。
• サイトマップを伝える：「Sitemap: https://example.com/sitemap.xml」の行を加えると、サイトマップの場所をクローラーに知らせられます。
• 公開前に検証する：Google Search Console のテストツールで、意図したページが禁止されていないか確認します。

たとえば会員専用ページや重複しやすい絞り込み一覧などをDisallowにしておくと、重要なページに巡回が集中しやすくなります。
設置後はライブで動作を確認し、誤って公開ページを止めていないかチェックしましょう。

robots.txtで押さえるべきポイント

最も多い失敗が「Disallow: /」で、これは全ページの巡回を禁止する設定です。
サイト全体が検索結果から消える原因になるため絶対に避けましょう。
また、robots.txtで巡回を止めても、外部リンク経由でURLだけが検索結果に出ることがあります。
検索結果から確実に除外したい場合は、巡回を許可したうえでnoindexを使うのが正解です。
robots.txtは「巡回の制御」、noindexは「インデックスの制御」と役割を分けて覚えておくと混乱しません。