テクニカル
X-Robots-Tag
HTTPヘッダでクロール・インデックスを制御する指定。画像やPDFにも適用できる。
X-Robots-Tagとは？
X-Robots-Tagは、HTTPレスポンスヘッダでnoindexやnofollowなどを指定する方法です。
metaロボットタグと同じ制御を、HTMLを持たないファイルにも適用できます。
PDF・画像・動画などHTMLタグを埋め込めないファイルのインデックス制御に必須です。
サーバー設定で一括指定できるため、ディレクトリ単位の制御にも向きます。
X-Robots-Tagの使い方・実践方法
X-Robots-Tagの活用場面は次のとおりです。
- PDFや画像をインデックスさせたくないとき
- ファイル種別やディレクトリ単位で一括制御
- metaタグを埋め込めない動的レスポンスの制御
noindex/nofollow/noarchive等を指定
X-Robots-Tagで押さえるべきポイント
X-Robots-Tagもmetaロボット同様、クロールできて初めて効きます。
robots.txtでブロックしたファイルにはヘッダが読まれず無効になるため、noindexを効かせたいならクロールは許可する設計にしましょう。
X-Robots-Tagを実践するなら
Saguru なら、月額270円から、SEOキーワード調査・上位サイト分析・自サイトSEO診断のすべてが使えます。
「X-Robots-Tag」を理解した上で、すぐに実践に移せます。
登録なしで1日5回まで無料 ／ メール登録で1日30回 ／ ベーシック月額270円 ／ 自サイトをSEO診断
X-Robots-Tagについてよくある質問
X-Robots-Tagとmetaロボットの違いは？
制御内容は同じですが、X-Robots-TagはHTTPヘッダで指定し、PDF・画像など非HTMLにも使えます。
どう設定する？
ApacheやNginxのサーバー設定、またはCMS/アプリのレスポンス処理でヘッダを付与します。
robots.txtでブロックしたファイルにも効く？
いいえ。
ブロックするとヘッダが読まれず無効です。
クロール許可が前提です。
ブロックするとヘッダが読まれず無効です。
クロール許可が前提です。