AIサービスの料金表を見ると、必ずといっていいほど「トークン」という単位が登場します。文字数とも単語数とも違うこの単位が分からないままだと、見積もりの妥当性を判断できません。本記事では、トークンの基本的な仕組みから、料金や性能にどう影響するかまでを、具体例を交えて解説します。読み終える頃には、AIサービスの料金表を自信を持って読めるようになっているはずです。
トークンとは何か
トークンとは、AI(大規模言語モデル)がテキストを処理する際の最小単位です。人間が文字や単語で文章を捉えるのに対し、AIはテキストをいったん「トークン」という細かい単位に分割してから処理します。トークンは1文字とは限らず、複数の文字や単語の一部がまとまって1トークンになることもあります。例えば英語では、一般的な単語1つがおおむね1トークン前後になることが多く、逆に長い単語や造語は複数のトークンに分割されます。この分割方法(トークナイザーと呼ばれる仕組み)は、AIモデルごとに異なります。
日本語と英語で異なるトークンの数え方
ここで注意したいのが、言語によってトークンの効率が異なる点です。多くの大規模言語モデルは英語を中心に設計されたトークナイザーを採用しているため、日本語は英語に比べて同じ文字数でも多くのトークンを消費する傾向があります。ひらがな・カタカナ・漢字が混在する日本語の文章構造は、英語のようにスペースで単語が区切られていないため、トークナイザーがより細かく分割せざるを得ないことが背景にあります。そのため、「同じ内容の文章」を日本語で書いた場合と英語で書いた場合とで、消費されるトークン数、ひいては料金が変わってくる可能性がある点は覚えておくとよいでしょう。
トークン数が料金に与える影響
多くのAIサービスは、「入力トークン数」と「出力トークン数」に応じて課金される従量制を採用しています。料金表に「1,000トークンあたり◯円」といった形で記載されているのはこのためです。入力(プロンプト)が長くなればなるほど、またAIが生成する出力が長くなればなるほど、消費するトークン数は増え、料金も上がります。加えて、多くのモデルには「コンテキストウィンドウ」と呼ばれる、一度に処理できるトークン数の上限が設定されています。長い文書を要約させたり、長い会話履歴を保持したりする用途では、このコンテキストウィンドウの上限を超えないかどうかも料金・実現可能性の両面で重要な確認ポイントです。
トークン数が性能・精度に与える影響
トークンは料金だけでなく、AIの性能にも関わります。入力に含める情報(指示文・参考資料・過去のやり取りなど)が多いほど、AIはより多くの文脈を踏まえた回答を生成しやすくなりますが、その分トークン消費量も増えます。逆に、指示が簡潔すぎると、AIが意図を十分にくみ取れず、期待した精度の回答が得られないこともあります。また、モデルによっては出力できる最大トークン数に制限があるため、長い文章や複雑な資料を一度に生成させたい場合は、この上限を踏まえた依頼の仕方(分割して依頼する、要点を絞るなど)を工夫する必要があります。
料金表を読むための実践チェックリスト
AIサービスを選定・利用する際は、以下の点を確認すると料金表を正しく読み解けます。
- 入力トークンと出力トークンの単価が別々に設定されていないか確認する
- 「1,000トークンあたり」なのか「100万トークンあたり」なのか、単価の基準単位を確認する
- コンテキストウィンドウ(一度に処理できる上限トークン数)が自社の用途に足りているか確認する
- 日本語での利用を想定する場合、想定文字数から実際のトークン数を見積もっておく
- 長文の要約・生成タスクでは、想定より多くのトークンを消費しやすい点を織り込んで予算を見積もる
まとめ
- トークンとはAIがテキストを処理する際の最小単位で、文字数や単語数とは異なる
- 日本語は英語に比べて同じ文章量でも消費トークン数が多くなる傾向がある
- 多くのAIサービスは入力・出力それぞれのトークン数に応じた従量課金を採用している
- コンテキストウィンドウ(処理できる上限トークン数)は料金と実現可能性の両方に関わる
- 料金表を読む際は、単価の基準単位とコンテキストウィンドウの上限を必ず確認する