AI Lab 現在

実測

ローカルLLM 4モデルをT4で実測した｜速度は十分、ただし日本語の事実は全モデルが間違えた

この記事の要点

  • 生成速度は 51〜75 tok/s。会話用途なら4モデルとも実用域だった
  • VRAM使用量は 2.5〜3.7GB。T4の15GBに対して余裕がある
  • 日本の軽減税率について、4モデルすべてが誤答した。速度の差より重大な問題
  • Qwen3 は思考モデルで、出力上限2000トークンでも回答が1文字も出なかった

ローカルLLMの記事は多いのですが、同じ環境で同じ日本語プロンプトを投げて数字を並べたものは見当たりません。そこで Google Colab の Tesla T4 を借りて、実際に4モデルを動かして測りました。

結論を先に書くと、速度は問題ありませんでした。問題は日本語の正確性です。

測定環境

GPUTesla T4（VRAM 15,360 MiB / CUDA compute 7.5）
実行基盤Ollama 0.32.5
量子化各モデルの Ollama 既定（おおむね Q4）
出力上限300トークン
パラメータtemperature 0.2 / seed 42（再現性のため固定）
測定日2026年8月3日

速度は Ollama が返す eval_count / eval_duration から算出しています。体感ではなくモデル側の実測値です。

日本語で3つのタスクを、全モデルに同じ文面で投げました。

  1. 要約 — 200字程度の文章を3行にまとめる
  2. コード生成 — Pythonで重複除去の関数を書く
  3. 質問応答 — 日本の消費税の軽減税率の対象を3つ挙げる

速度とVRAM

生成速度（3タスクの平均）
llama3.2:3b（Meta）
75.14 tok/s
qwen3:4b（Alibaba）
63.36 tok/s
phi4-mini:3.8b（Microsoft）
58.95 tok/s
gemma3:4b（Google）
51.48 tok/s
最速との差は1.46倍
Tesla T4 / Ollama 0.32.5 / 出力上限300トークン / 2026-08-03 実測
VRAM使用量
llama3.2:3b
2,563 MiB
phi4-mini:3.8b
3,071 MiB
qwen3:4b
3,155 MiB
gemma3:4b
3,759 MiB
T4の15,360 MiB に対し最大でも24%
同上。いずれも8GBのGPUに収まる水準
モデル提供元サイズVRAM平均速度
llama3.2:3bMeta2.0 GB2,563 MiB75.14 tok/s
qwen3:4bAlibaba2.5 GB3,155 MiB63.36 tok/s
phi4-mini:3.8bMicrosoft2.5 GB3,071 MiB58.95 tok/s
gemma3:4bGoogle3.3 GB3,759 MiB51.48 tok/s

最速の llama3.2:3b と最遅の gemma3:4b で1.46倍の差。 パラメータ数が小さいほど速いという素直な結果でした。

VRAM使用量はいずれも 2.5〜3.7GB で、T4の15GBに対して大きな余裕があります。この規模なら8GBのGPUでも動きます。

タスク別の速度

モデル要約コード生成質問応答
llama3.2:3b74.1575.4275.85
qwen3:4b64.0763.0662.96
phi4-mini:3.8b58.8258.8459.19
gemma3:4b51.7449.5753.12

タスクによる差はほとんどありません。生成速度はモデルでほぼ決まります。

初回の読み込みは別枠で考える

初回リクエストだけ、モデルをVRAMに載せる時間が乗ります。実測では gemma3:4b で 36.3秒、phi4-mini で 12.4秒 かかりました。2回目以降は0.4〜1.2秒です。

使うたびにプロセスを立ち上げ直す設計にすると、この待ち時間を毎回払うことになります。

本題：日本語の事実は全モデルが間違えた

「日本の消費税の軽減税率が適用されるものを3つ」という質問への回答です。

正解は、酒類と外食を除く飲食料品と、週2回以上発行される定期購読の新聞です。

gemma3:4b

  • 飲食サービス（料亭、レストラン、居酒屋など）
  • 宿泊サービス（旅館、ホテルなど）
  • 観光施設（テーマパーク、博物館、美術館など）

3つとも誤りです。 しかも外食は軽減税率の対象から明示的に除外されている項目で、正解のちょうど裏を答えています。

llama3.2:3b

・小型車（軽自動車） ・新車 ・医療機器

3つとも誤りです。 消費税と自動車税を混同している可能性があります。

phi4-mini:3.8b

  1. 医療関連商品の販売：医療機器や薬品など…
  2. 教育用品および教育サービス：学校教材や教科書…
  3. 生活必需品：日常生活で必要とされる基本的な食品（パン、米、野菜など）や水道料金…

1と2は誤り。3は食品の部分だけ正しく、水道料金は誤りです。3つのうち部分的に当たったのは1つだけでした。加えて消費税を「値上げ税」と呼んでおり、日本語の用語も不正確です。

この結果をどう受け止めるか

4モデルすべてが、日本人なら多くが知っている税制を間違えました。 速度が1.46倍違うという話より、こちらのほうが実務上はるかに重大です。

一方で、要約とコード生成は4モデルとも実用的な出力でした。

要約はいずれも破綻がなく、コード生成では llama3.2:3b が簡潔な正解を出しています。

def remove_duplicates(lst):
    seen = set()
    return [x for x in lst if not (x in seen or seen.add(x))]

phi4-mini と gemma3 も、より冗長ですが正しい実装を出しました。

つまり、与えられた文章を処理するタスク（要約・変換・コード生成）は得意で、モデル自身の知識を問うタスクは苦手という切り分けになります。小型モデルをローカルで使うなら、知識を聞くのではなく、渡した情報を処理させる設計にすべきです。

Qwen3 の思考モードには注意が要る

測定中に qwen3:4b だけ回答が1文字も返らない現象が起きました。追試したところ原因がわかりました。

設定生成トークン思考の文字数回答の文字数
思考ON・上限3003001,4430
思考ON・上限20002,0004,7200
思考OFF・上限3003000983

Qwen3 は思考モデルで、出力上限を2000トークンまで上げても思考が終わらず、回答が一切出ませんでした。 思考を切れば300トークンの上限でも983文字の回答が返ります。

Ollama の API では "think": false で無効化できます。思考モデルを既定設定のまま短い出力上限で使うと、料金や時間を払って何も得られません。

上の速度表で qwen3:4b が全タスク300トークンぴったりなのは、この現象によるものです。速度の数値自体は有効ですが、中身は思考の断片で、回答ではありませんでした。

APIと比べてどうか

参考として、同等クラスのモデルをAPIで使った場合の単価を並べます（当サイトの料金データより、2026-08-03時点）。

モデルAPI入力単価 /1M
Meta: Llama 3.2 1B Instruct$0.027
Google: Gemma 3 12B$0.05
Qwen: Qwen3 30B A3B Instruct$0.048

100万トークン処理して数円という水準です。ローカル実行を選ぶ理由は、この価格差ではありません。

データを外に出せない、レート制限を受けたくない、オフラインで動かしたい。 ローカルを選ぶならこれらの理由が必要です。

測定条件について

T4 1機種・各タスク1回・Ollama既定の量子化での結果です。 他のGPUやより大きなモデルでは変わります。 軽減税率の誤答は事実として明確ですが、日本語の自然さのような評価は目視によるものです。

4/4
日本の税制を誤答したモデル数
速度より重大な問題
75.14
最速の生成速度 (tok/s)
llama3.2:3b
2.5〜3.7GB
VRAM使用量
8GBのGPUでも動く
0字
Qwen3の回答（思考ON）
上限2000トークンでも

結論

  • 生成速度は 51〜75 tok/s。会話用途なら4モデルとも実用域
  • VRAMは 2.5〜3.7GB。8GBのGPUでも動く
  • 日本の税制について4モデルすべてが誤答した。 小型ローカルモデルに知識を聞いてはいけない
  • 要約・変換・コード生成は実用的。渡した情報を処理させる用途に向く
  • Qwen3 は思考をOFFにしないと回答が出ないことがある
  • コスト面だけならAPIのほうが安い。ローカルを選ぶなら機密性・制限回避・オフラインという理由が要る

測定に使ったスクリプトと生データは、当サイトのリポジトリに置いています。同じ手順で再現できます。

← 記事一覧に戻る