日本語でAIを使うコストは英語の2〜3倍で収まる

ChatGPTやClaudeに日本語で長い文章を書かせたとき、同じ内容を英語で頼むより利用料が高くつく気がしたことはないだろうか。この体感には裏付けがある。AIの利用料は、やり取りした文字数そのものではなく「トークン」という単位の数で決まる。そしてこの数え方は、言語によって大きく変わる。どれくらい変わるのかを自分で計測してみたところ、日本語は英語のおよそ2〜3倍のトークンを使っていた。これは、言語どうしの差の中では軽い部類に入る。

同じ文で日本語は2〜3倍のトークン

日本語を使うと、実際どれくらいトークンが増えるのか。まず自分で確かめることにした。

使ったのは、OpenAIが無償公開しているPythonライブラリ「tiktoken」だ。文章をAIが扱う最小単位(トークン)に分割するためのツールで、pip install tiktokenだけで誰でも動かせる。分割ルールは2種類試した。GPT-3.5・GPT-4世代が使うcl100k_baseと、GPT-4o以降が使うo200k_baseだ。この2つで、同じ意味の英語文と日本語文のトークン数を比べた。

結果は、o200k_baseで1.9〜2.3倍、cl100k_baseで2.6〜2.9倍。全体ではおよそ2〜3倍の範囲に収まった。新しいo200k_baseのほうが日本語を効率よく圧縮できており、トークナイザーの世代が進むほど日本語の割高さが緩和されている様子もうかがえる。

このトークン数が、そのままAPIの請求額に直結する。Anthropicの公式料金表では、Claude Fable 5は入力100万トークンあたり10米ドル、出力は50米ドルだ。同じ内容を日本語で送ると、英語よりトークン数が2〜3倍になる分、請求額もおおむねその比率で増える計算になる。

この計測には、AI研究団体CLEAR(Coalition for Language Equity in AI Research)が公開した記事の例文も使った。「People should benefit from AI, regardless of the language they speak.」という文だ。CLEARはこの文を当時のGPT系トークナイザーで分割し、英語13トークンという結果を報告している。

自分の計測でもo200k_baseで英語側が同じ13トークンになったため、同じ土台で比較できる数値だと判断した。この例文での日本語訳は25トークンで、比率は1.92倍だった。なぜ同じ意味の文なのに、言語によってトークンの数え方がこれほど変わるのだろうか。

なぜ言語で差が生まれるのか

なぜ同じ意味の文で、ここまでトークン数の増え方が変わるのだろうか。CLEARが報告した数値を見ると、差はもっと大きい言語がある。英語13トークンに対し、マラヤーラム語は26トークン、アムハラ語は78トークンだ。アムハラ語は英語の6倍になる。

このグラフのうち、英語・マラヤーラム語・アムハラ語はCLEARが報告した数値だ。日本語は自分がtiktokenのo200k_baseで計測した数値で、同じ例文から得た結果になる。文字数で見ると、この4つの文はほぼ同じ長さになる。それでもトークン数には3倍を超える開きが出る。

自分で計測を始める前は、日本語もこの並びのどこかで大きく割高になるはずだと身構えていた。実際に動かしてみると、日本語は2倍前後にとどまり、桁が違うほど重かったのはアムハラ語の方だった。見出しだけを見て想像していたのと、実際の重さの順番は違っていた。

学習データが少ない文字体系ほど不利になる

トークナイザーは、大量の文章を読み込んで「よく出てくる文字の並び」を学習し、それをひとまとめのトークンにする。英語を中心に学習データを集めているため、英語の単語はたいてい1〜2トークンで収まる。一方、学習データに少ない文字体系は、細かい断片に割られやすい。

アムハラ語の例が極端だ。アムハラ語が使うゲエズ文字は、学習データでの出現が少なく、トークナイザーは1文字をまとめて扱う方法を学べていない。そのため1文字が2バイトずつに分割され、人間には読めない断片になる。CLEARは、文の冗長さだけではこの差を説明できないとも指摘している。FLORES-200というベンチマークの中で最も文字数が長くなる言語(シャン語)でも、英語より42%長くなる程度にとどまる。数字の桁が違う6倍や17倍という開きは、文の長さではなく、文字体系がどれだけ学習データにあったかの差から来ている。

日本語は上位20言語に入っている

CLEARは、FLORES-200という約200言語の翻訳ベンチマークを使った。同じ内容を各社のトークナイザーで分割し、「最も効率の悪い言語のトークン数」と「最も効率の良い言語のトークン数」の比率を算出している。ウェブ上での使用量が多い上位20言語どうしで比べると、どのモデルも1.5〜3.1倍の範囲にほぼ収まる。日本語はこの上位20言語に入っており、自分の計測結果(1.9〜2.9倍)もこの範囲に収まっている。

ところが、対象を200言語全体に広げると様相が変わる。最も公平なトークナイザーでも2.7倍、最も偏ったトークナイザーでは17倍まで開く。とくに不利なのは、ビルマ文字・チベット文字・ティフィナグ文字・クメール文字・ラオ文字・オルチキ文字(サンタル語)など、学習データで目にする機会が少ない文字体系だ。

話者数で見ても影響は小さくない。パンジャブ語は約2億人、ベンガル語は約2.66億人、ウルドゥー語は約2.88億人が話す言語だ。ビルマ語とアムハラ語も、それぞれ約3600万人の話者を抱える。これだけの人数が、同じ内容に対して英語の何倍もの料金を払っていることになる。

モデルによって差の大きさが違う

ふだん使っているモデルによって、この差はどれくらい違うのだろうか。CLEARは、FLORES-200全体での最大/最小比率をもとに、主要なモデルを5段階で評価している。比率3倍以下がA、6倍以下がB、9倍以下がC、12倍以下がD、それを超えるとFだ。

表の数値はいずれもCLEARが公表したものだ。上位20言語だけならどのモデルも2倍前後に収まるが、200言語全体で見るとGoogleのGemini系が最も公平で、OpenAIのGPT-5系は評価Fに沈む。CLEAR の調査では、汎用の最新モデルでB評価を超えたものはなく、大半がF評価だった。言語の公平性を最初から狙って設計されたわけではない、というのがこの分野の現状のようだ。

CLEARはこの差を縮める方法も提案している。

• トークナイザーのmax/min比率を、モデルカードに標準指標として載せること
• 次のトークナイザーを作るときに、文字体系ごとの語彙配分の目標を決めること
• トークナイザー自体は変えられなくても、文字数や言語に応じて課金を正規化すれば、価格面の不公平はすぐに解消できること

まとめ

日本語でAIを使うときのトークン数は、自分で計測した範囲ではおよそ英語の2〜3倍だった。CLEARの調査でも、ウェブ上での使用量が多い上位20言語どうしなら1.5〜3.1倍の範囲にほぼ収まるとされ、日本語はこの「軽い側」に入っている。差の原因は文の長さではなく、その文字体系がトークナイザーの学習データにどれだけあったかにある。ビルマ語やクメール語など一部の言語では、同じ内容でも最大17倍のトークンを必要とし、数億人規模の話者が英語より高い料金を払っている。

モデルによっても差があり、CLEARの評価ではGoogleのGemini系が比較的公平、Anthropic・Metaは中位、OpenAIは下位だった。日本語でAI APIを呼ぶときは、同じ内容の英語文のトークン数のおよそ2〜3倍を目安に予算を見積もっておくと、見通しが立てやすい。