Meta-ExternalAgent

Meta-ExternalAgentとは？

Meta-ExternalAgentは、Facebook・Instagramを運営するMeta社のAIクローラーです。Llama系モデルの学習と、Meta AI（アシスタント・AI検索）の情報収集・直接インデックスのためにWeb上の公開ページを収集します。2024年に登場し、robots.txtの指定を尊重すると公式に明記されています。

アクセスログには次のUser-Agent文字列で記録されます。

meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

重要なのは、Metaのクローラーは3種類あり、robots.txtで止められるものと止められないものがあることです。

「AIには読ませたくないが、Facebookでシェアされた時のプレビューは出したい」なら、止める対象はmeta-externalagentだけです。facebookexternalhitまで拒否すると、SNS上の見え方が崩れます。

robots.txtの書き方：3パターン

robots.txtはサイトのルート（https://example.com/robots.txt）に置きます。User-Agent名の大文字小文字は区別されません。

① AI学習だけ拒否する（プレビューは許可）

User-agent: Meta-ExternalAgent
Disallow: /

② 許可するが、収集させたくないディレクトリだけ除外する

User-agent: Meta-ExternalAgent
Allow: /
Disallow: /api/
Disallow: /members/
Disallow: /cart/

③ 主要なAIクローラーをまとめて拒否する

User-agent: Meta-ExternalAgent
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Bytespider
User-agent: CCBot
User-agent: Google-Extended
Disallow: /

反映されるのはクローラーが次にrobots.txtを読み直した時（通常24時間以内）です。すでに学習に使われた分は取り消せません。また、User-agent: * に Disallow: / を書くとGooglebotまで止まり検索結果から消えるので、対象名を必ず指定してください。書式全体はrobots.txtの用語ページにまとめています。

拒否するか、許可するか：判断の目安

本物のMeta-ExternalAgentか確認する方法

User-Agentは誰でも名乗れるため、名乗っているだけの偽ボットが多く混ざります。本物かどうかは接続元IPで確認します。MetaのクローラーはAS番号AS32934のIP範囲から来るので、次のコマンドで公式のIP一覧を取得し、ログのIPが含まれるかを照合します。

whois -h whois.radb.net -- '-i origin AS32934' | grep ^route

範囲外のIPから「meta-externalagent」を名乗るアクセスは偽装です。robots.txtを無視するボットや偽装ボットを止めるには、サーバー側（.htaccess）で拒否します。

# .htaccess（Apache）: User-Agentで403を返す
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} meta-externalagent [NC]
RewriteRule .* - [F,L]

エックスサーバーなど一部のレンタルサーバーには、管理パネルから主要AIクローラーを一括で遮断する設定もあります。

【当サイトの設定】Saguruは許可している

当サイト（saguru.dsystemsen.com）のrobots.txtでは、Meta-ExternalAgentを明示的に許可し、APIとデータ領域だけを除外しています。

# --- Meta AI (Llama) ---
User-agent: meta-externalagent
Allow: /
Disallow: /api/
Disallow: /cache/
Disallow: /data/

理由は、当サイトの目的が「AIの回答に引用されること」だからです。当社が毎月300語で実測しているAI Overviews出現率は94.3%で、AIの回答に情報源として出るかどうかが流入を左右する状況にあります。学習を拒否して守るものより、引用で得られる露出のほうが大きいと判断しました。逆に、独自コンテンツそのものが商品のサイト（有料記事・写真素材・データ販売）は、拒否が合理的です。