トークンとは、生成AIが文章を読み取り、処理し、回答を作るときに使うテキストの単位です。単語一つが必ず一トークンになるわけではなく、単語の一部、記号、空白などに分かれる場合があります。簡単に言うと、「AIが文章を数えるときの独自の細かな単位」です。

｜この記事で分かること

• トークンの意味

• 文字・単語との違い

• 入力トークンと出力トークン

• 料金や上限との関係

｜もっと詳しく解説

文章は、そのままの文字列ではなく、モデルごとの方法でトークンへ分割されます。同じ文章でも、言語やモデルによってトークン数は変わる場合があります。AIサービスやAPIでは、入力した質問・指示・会話履歴と、AIが出力した回答の量をトークンで管理することがあります。そのため、文字数だけからトークン数を正確に決めつけることはできません。

AIO・LLMO対策を、何から始めればよいか迷っている方へ。

現状調査から効果測定までの流れを6つのステップに整理した無料ホワイトペーパーをご用意しています。

｜具体例

例えば、企業の料金やサービスを調べる場合、結論だけでなく、対象、期間、条件、更新日、根拠が同じ文脈で確認できることが重要です。情報がページ内外で分断されていると、人にもAIにも誤解が生まれやすくなります。

｜よくある勘違い

• この仕組みを知ればAIの表示を完全に制御できるわけではありません。

• 特別なタグだけで引用や掲載が保証されるわけではありません。

• AI向けに不自然な文章を作るのではなく、読者が判断できる情報を整えます。

｜GuideRunnerの考え

目的はAIだけに合わせることではありません。お客様の質問に明確に答え、条件と根拠を示し、関連ページをつなぐことで、人にも検索にもAIにも理解しやすい情報資産を作ります。

｜一言でいうと

｜関連用語

• トークン化

• コンテキストウィンドウ

• プロンプト

  
  

｜教えてマーケ編集部より

長い資料をAIへ渡す前に、必要な範囲、質問、出力形式を整理し、不要な情報を減らしましょう。

AIO・LLMO対策を、何から始めればよいか迷っている方へ。

現状調査から効果測定までの流れを6つのステップに整理した無料ホワイトペーパーをご用意しています。