人工知能

ローカル推論エンジン Strata で Qwen3.8 を動かし、コードレビューの品質と速度を測ってみた

前回の記事では、Claude Code の接続先をオープンモデルの推論サービス（Fireworks AI）に差し替えて、コードレビューの品質と費用を比べました。

今回は一歩進めて、「モデルを自社のマシンで動かす（ローカル LLM）」場合を確かめました。使ったのは、オープンソースの推論エンジン Strata です。知りたかったのは次の2点です。

  1. 品質: Strata で動かしたオープンモデルは、Claude と同じレビュー判定を出せるか
  2. 速度: 実際の作業で、どれくらいの速さが出るか

Strata とは

Strata は、公開されているモデルを手元の GPU で動かすための推論エンジンです（MIT ライセンス）。NVIDIA・AMD の GPU、Apple Silicon、Ryzen AI Max などに対応し、Linux 版と Docker イメージもあります。

今回の検証で大きかったのは、Anthropic 互換の API を持っていることです。Claude Code は環境変数を変えるだけで Strata につながり、プロンプトやツールの使い方を変えずに、Claude と同じ手順でレビューを回せました。

ANTHROPIC_BASE_URL=<Strata の URL>
ANTHROPIC_AUTH_TOKEN=<Strata に設定した API キー>
ANTHROPIC_DEFAULT_HAIKU_MODEL / SONNET / OPUS / ANTHROPIC_SMALL_FAST_MODEL=<Strata のモデル名>
API_TIMEOUT_MS=600000

モデルは Qwen3.8-Flash-Next を、3ビット級に量子化した IQ3_XXS（約76GB）で動かしました。

検証の方法

前回と同じく、過去に Claude が実際に行ったコードレビュー4件をやり直させ、判定（承認か差し戻しか）を比べました。4件のうち2件は「本当は差し戻すべき不具合（空の例外処理、ID の二重生成）」を含みます。

検証環境は、クラウドの GPU（RTX PRO 4500 SE・VRAM 32GB・メモリ 94GB）を時間単位で借りて用意しました。社内の PC に条件を満たす GPU がなかったためです（環境の詳細は記事の最後に書きます）。

品質: 1回目は Claude と同じ判定。ただし、何度か回すとぶれた

1回目の結果

モデル判定の一致（4件中）空の例外処理ID の二重生成
Claude Sonnet 5.5（基準）4/4見抜いた見抜いた
GLM 5.3 Flash（前回・Fireworks）4/4見抜いた触れず
Qwen3.8 IQ3_XXS（Strata）4/4見抜いた見抜いた（「最重要」として指摘）

1回目は、2つの不具合をどちらも見抜き、判定は4件とも Claude と一致しました。「確認できなかった項目」と「実行されなかった項目」を書き分けるなど、レビューの書き方も丁寧でした。

繰り返すと見えたこと

ここで終わらせず、同時処理の測定や別の量子化版（UD-Q4_K_XL・約111GB）も含めて、同じ事例を何度か流しました。

事例正解判定（結果が残っている5回。うち1回は UD-Q4_K_XL）
ID の二重生成差し戻し5回すべて差し戻し
空の例外処理差し戻し差し戻しは5回中1回（最初の回）だけ。残り4回は見逃して承認

1回目の「4件すべて一致」は、良い方に振れただけだった可能性が高いと考えています。

ほかに、次の癖も見えました。

  • 出力ファイルを書き出さないことがある。承認すべき事例の1件で、内容は正しく書けているのに、指定された出力ファイルを書き出さないことが5回中4回ありました。仕組みの中で自動で回す場合は「結果が出ていない」扱いになります。
  • 途中で中国語の漢字が混ざる。作業の途中で「竞合」「数组」のような簡体字を書き、自分で気づいて日本語に直していました。最終的な出力は日本語でした。

4件・数回の実行で品質は決められません。オープンモデルを評価するときは、1回の結果ではなく、同じ事例を何度か回してばらつきを見る必要があると分かりました。

速度: 出力は毎秒約113トークン、所要時間は Claude の約5倍

1件ずつ流した場合

指標Claude Sonnet 5.5Qwen3.8 IQ3_XXS（Strata）
時間（4件合計）219秒1,182秒
1件あたりのやり取り（ターン数）8〜1020〜41
出力の速さ（実効）—毎秒約113トークン

時間の内訳を見ると、4件合計 1,166秒（記録上の値）のうち、モデルの応答待ちが 721秒、手元でのビルドやテストが 445秒でした。モデルの速さだけでなく、やり取りの回数が Claude の2〜4倍に増えることが、全体の時間を延ばしています。

なお、入力の大半は Strata のキャッシュから読まれていました（ある事例では約86万トークンの入力のうち、新しく処理したのは約6万トークン）。Claude Code のように同じ文脈を何度も送る使い方では、キャッシュがあることが速度に大きく関わります。

同時に流した場合

Strata は複数の要求を同時に処理できます（環境変数 PARALLEL で1〜8件）。4件・8件を同時に流してみました。

条件全体の時間合計の出力速度1件あたりの出力速度
1件ずつ（4件の合計）1,166秒約113 tok/s約113 tok/s
4件同時1,101秒約112 tok/s35〜49 tok/s
8件同時（4件×2）1,679秒約126 tok/s18〜25 tok/s

この GPU では、同時に流しても合計の処理量はほとんど増えず、1件ずつが件数に比例して遅くなりました。Strata も起動時に「32GB のカードで同時に処理できるのは通常4件。8件にすると GPU に置くモデルの部分を減らす」と警告を出していました。モデルの大半をメインメモリに置く構成のため、GPU の性能を使い切れていないと考えられます。

手元の機械で動かす場合

Strata の公式の測定値では、同じモデルの出力の速さは次のとおりです。

機械量子化出力の速さ
Mac Studio / MacBook Pro（M5 Max・メモリ 128GB）IQ3_XXS毎秒97〜109トークン
同上UD-Q4_K_XL毎秒74〜94トークン
Ryzen AI Max+ 395・メモリ 128GBUD-IQ4_XS毎秒42〜59トークン
（参考）今回の検証環境IQ3_XXS実効 毎秒約113トークン

M5 Max 128GB なら、今回の検証とほぼ同じ速さが出る見込みです。判定の質は、量子化が同じなら機械によって変わらないと考えています。

補足: 検証環境と注意点

検証には、米国の GPU クラウド RunPod を使いました。GPU 付きのマシン（Pod）を時間単位で借り、Strata の公式 Docker イメージを載せる構成です。起動からモデルの読み込み完了まで約13分（モデルは起動時に自動でダウンロードされます）、費用は別の量子化版や同時処理の測定も含めて約5時間で4ドル前後でした。

つまずいた点は次のとおりです。

  1. 画面のメモリ表示と、実際に使える上限が違う。94GB と表示されていても、コンテナが使えるのは約87.5GB でした。Strata はマシン全体のメモリを見て配分を決めるため、警告が出ます。
  2. Claude Code の費用の上限設定は大きめにする。Claude Code はこのモデルの単価を知らず、見かけの額で上限に達したと判断して途中で打ち切ることがあります（前回と同じ落とし穴です）。
  3. 使い終わったら「Stop」ではなく「Terminate」。Stop だと、止めている間もストレージ代がかかり続けます。

また、評価の間は社内の監視ツールで PC の外向き通信を記録しました。評価用の Claude Code が通信した先は検証用の GPU マシンだけで、想定外の宛先はありませんでした。

まとめ

  • Strata は Anthropic 互換の API を持つため、Claude Code をそのまま接続して、Claude と同じ手順でレビューを回せた
  • 品質: 1回目は Claude と同じ判定だったが、繰り返すと見逃しが増えた。評価は複数回の実行で見る必要がある
  • 速度: 出力は毎秒約113トークン。やり取りの回数が増えるため、所要時間は Claude の約5倍。この GPU では同時に流しても合計の処理量は増えなかった
  • 手元の機械では、M5 Max 128GB で同じくらいの速さが出る見込み

当社では、評価する事例を増やしながら、どの作業をどのモデルに任せるか、機材を買うかを判断しているところです。

AI を業務に組み込みたい方へ

アルチテックは、製造業向けの PLC 制御や C#/.NET の業務システムを開発する会社です。社内では今回のように、AI に実装やレビューを任せる仕組みを実際に運用し、モデルや実行環境の評価も自分たちで行っています。

「データを社外に出さずに AI を使いたい」「ローカル LLM を検討しているが、どの機材・モデルを選べばよいか分からない」といったご相談は、お問い合わせからお気軽にどうぞ。

また、こうした AI 活用や開発に一緒に取り組むインターンも募集しています。詳しくはインターンシップ募集をご覧ください。

-人工知能