AI最適化
トークン
LLMが処理する最小単位。単語より細かく、約4文字＝1トークンが目安。
トークンとは？
トークンはLLM（大規模言語モデル）が処理する最小単位で、単語よりも細かく分割されます。英語では約4文字、日本語では約1〜2文字が1トークンの目安です。
LLMのAPI料金や処理量はトークン数で課金され、入力（プロンプト）と出力（生成）の両方がカウントされます。LLMには「コンテキスト長」（一度に扱えるトークン数）の制限もあります。
トークンの使い方・実践方法
主要LLMのトークン関連スペックは次のとおりです。
- GPT-4 Turbo: 128,000トークン（約10万単語）
- Claude Sonnet: 200,000トークン
- Gemini Pro: 1,000,000トークン以上
- トークン料金は$0.01〜$50/100万トークンと幅広い
トークンで押さえるべきポイント
LLMOの観点では、AI回答に引用されるためにはコンテンツが「コンテキストに入る」必要があります。冗長な記事より、要点をコンパクトに伝える文章が引用されやすくなります。
トークンを実践するなら
Saguru なら、月額270円から、SEOキーワード調査・上位サイト分析・自サイトSEO診断のすべてが使えます。「トークン」を理解した上で、すぐに実践に移せます。
登録なしで1日5回まで無料 ／ メール登録で1日30回 ／ ベーシック月額270円
トークンについてよくある質問
日本語と英語でトークン消費は違う？
日本語の方が1文字あたりのトークン消費が多く、英語より約1.5〜2倍コストがかかります。
トークン数を減らす方法は？
冗長な表現を削り、明確で簡潔に書くことです。プロンプト技術ではFew-shotを減らす、要約を活用するなどの工夫があります。
トークン上限を超えるとどうなる？
多くのモデルではエラーになるか、超過分が無視されます。事前にトークン数をカウントするツールで確認しましょう。