AIクローラー

AIクローラーとは？

AIクローラーとは、AIサービスが学習用のデータ収集や検索インデックスの作成を目的に、Web上のページを自動で巡回（クロール）するボットのことです。Googleの検索ロボットと役割は似ていますが、収集した情報がAIの回答生成に使われる点が大きく異なります。代表的なものに、ChatGPTの学習に使われるGPTBot、ChatGPT Searchが参照に使うOAI-SearchBot、PerplexityのPerplexityBot、GoogleのAI学習向けGoogle-Extendedなどがあります。AI検索に自社サイトを引用してもらえるかどうかは、これらのクローラーがページにアクセスできるかに大きく左右されます。

AIクローラーの使い方・実践方法

AIクローラーは、主にサイト直下のrobots.txtというファイルで、User-agent（ボット名）ごとに巡回を許可・拒否できます。次の手順で意図どおりに制御しましょう。

• 許可・拒否を方針として決める：AIに引用されたいか、学習利用は避けたいかなど、サイトの方針を先に整理します。
• ボット名を個別に指定する：robots.txtでUser-agentごとにAllow／Disallowを書き、対象を絞って制御します。
• 検索用と学習用を使い分ける：引用は欲しいが学習は避けたい場合、検索用ボットは許可しGPTBot等の学習用だけ拒否します。
• 意図しないブロックを点検する：既存設定でAIクローラーを全面拒否していないか確認し、引用機会を逃さないようにします。

たとえば「ChatGPT Searchには引用されたいが、AIの学習素材にはされたくない」場合、OAI-SearchBotはAllow、GPTBotはDisallowと指定します。ただしrobots.txtはあくまで自主的なルールで、悪質なボットを物理的に止めるものではない点には注意が必要です。

AIクローラーで押さえるべきポイント

初心者がつまずきやすいのは、「全部ブロックすれば安全」と考えてしまう点です。検索用のAIクローラーまで拒否すると、AI検索の回答に自社が一切引用されなくなり、新しい流入経路を自ら閉ざすことになります。学習利用への懸念と引用機会のメリットを天秤にかけ、ボット単位で細かく判断するのがコツです。設定変更後は、表記ミスでサイト全体を遮断していないか必ず確認しましょう。