テクニカル
User-Agent
ブラウザやクローラーが自分の身元を示すために送信する識別文字列。
User-Agentとは？
User-Agent（UA）はWebブラウザやクローラーがサーバーへリクエストする際に「自分は何者か」を伝える識別文字列です。HTTPリクエストヘッダのUser-Agentフィールドで送信されます。
たとえばChromeブラウザはMozilla/5.0 ... Chrome/...、GoogleのクローラーであるGooglebotはMozilla/5.0 (compatible; Googlebot/2.1; ...)といった形式です。
User-Agentの使い方・実践方法
SEO・テクニカルSEOで重要なUser-Agentは次のとおりです。
User-Agentで押さえるべきポイント
robots.txtでUser-Agent別にアクセス制御できます。ボットを特定して、コンテンツの利用許可・拒否を個別設定する基盤になります。
User-Agentを実践するなら
Saguru なら、月額270円から、SEOキーワード調査・上位サイト分析・自サイトSEO診断のすべてが使えます。「User-Agent」を理解した上で、すぐに実践に移せます。
登録なしで1日5回まで無料 ／ メール登録で1日30回 ／ ベーシック月額270円
User-Agentについてよくある質問
User-Agentで嘘の身分を名乗ることはできる？
技術的には可能ですが、Googleなどは「逆引きDNS」で本物のbotか検証する仕組みがあります。
スマホUAとPC UAで違うHTMLを返してOK？
モバイルファーストインデックスの観点では同一HTML（レスポンシブ）が推奨です。動的にUA振り分けはリスクがあります。
AIボットのUAだけブロックすべき？
コンテンツを学習に使われたくない場合はrobots.txtで個別ブロック可能です。逆に引用元として認知させたい場合はAllowします。