クロール

クロールとは？

クロール（crawl）とは、検索エンジンのロボット（クローラー、Googleの場合はGooglebot）がインターネット上のページを次々と巡回し、その内容を読み込んで取得する処理のことです。
クローラーはリンクをたどりながら、新しく公開されたページや更新されたページを発見していきます。

検索結果に表示されるには、まずこのクロールでページが見つけられ、次にその内容がデータベースに登録（インデックス）される必要があります。
つまりクロールは、サイトが検索に載るための最初の入り口です。
クロールされていないページは、どれだけ良い内容でも検索結果には出てきません。

クロールの使い方・実践方法

クロールは待っているだけでも行われますが、新しいページを早く見つけてもらうには「こちらから知らせる」工夫が効果的です。
実践的な促進方法は次のとおりです。

• サイトマップを送信する：サイト内のURL一覧をまとめたサイトマップ（sitemap.xml）を用意し、Search Consoleから送信すると発見が早まります。
• 内部リンクを整える：関連ページ同士をリンクでつなぐと、クローラーがリンクをたどって巡回しやすくなります。
• IndexNowを使う：ページの公開・更新を検索エンジンへ即時通知するIndexNowを使えば、反映までの時間を短縮できます。
• URL検査でリクエストする：Search Consoleの「URL検査」から、個別ページのクロールをその場で依頼できます。

たとえば記事を公開したのに数日たっても検索に出ない場合、サイトマップ送信とURL検査の2つを試すのが定番の対処です。
クロール頻度はサイトの規模・更新頻度・被リンク数によって変わるため、更新を続けるサイトほど巡回も活発になります。

クロールで押さえるべきポイント

初心者がつまずきやすいのは「クロール＝検索結果に出る」と思い込む点です。
クロールはあくまで読み込みの段階で、その後のインデックス登録と順位付けは別の工程です。
また、robots.txtで誤ってクロールを禁止していたり、サーバーが重くてクローラーが途中で離脱したりすると、ページが見つけてもらえません。
無駄なページまで巡回させると重要ページの発見が遅れることもあるため、サイト全体を健全に保つことが、結果的にSEOの土台になります。