Kimi は Opus 4.8 にどこまで迫ったのか？ 7次元 API 実測

国産の光 Kimi はすでに Opus 4.8 に到達したのか？#

最近のモデル体験では、Kimi K3 はかなり印象的だった。思考の流れが長く、待ち時間も明らかに長い一方で、複雑な問題では非常に強い推論力を見せる。対して Claude Opus 4.8 はより速く、より簡潔だが、見た目には基本的な計算やモデリングで時折ミスをする。

では、Kimi K3 はすでに Opus 4.8 に並んだ、あるいは超えたと言えるのか。同じ API、同じ制約、同じ検証可能な問題を使って比較した。

テストの方法#

両モデルは同一の API ゲートウェイ経由で呼び出し、temperature=1 に統一した。プロンプトでは、まず最終答案を出し、その後に 10 行以内の必要最小限の計算だけを示すよう求め、「長く出力すること」を「能力が高いこと」と誤認しないようにした。

テストでは以下も記録した。

• 総応答時間
• 最初の reasoning イベントまでの時間
• 最初に可視化された答案までの時間
• reasoning Token と可視 Token の比率
• 出力上限で打ち切られたかどうか
• 数学結果、物理結果、コードレビュー、フォーマット遵守の正確性

出題内容は、マルコフ連鎖の厳密計算、2自由度振動のモデリング、制約付きソート、統計学的反誘導、コードレビュー、厳格な JSON 圧縮、モデル評価設計である。

第1関門：厳密な数学#

マルコフ連鎖の問題では、初到達時間の1次モーメント、2次モーメント、分散を計算する必要があり、参照解は次のとおりだった。

E[tau] = 5
E[tau^2] = 43
Var(tau) = 18

Kimi K3 は約 2437 個の reasoning Token を使い、総時間は 103.7 秒、最初の可視答案は 100.1 秒後に出現し、最終結果は正解だった。

Opus 4.8 は総時間 28.4 秒、最初の可視答案は約 23.8 秒で、結果は同じく正解だった。

この問題では、どちらがより賢いかは決まらなかったが、2つの作業スタイルははっきり分かれた。Kimi K3 は内部検証により多くの時間を使い、Opus 4.8 は同じ導出をより速く終えた。

第2関門：物理モデリング#

2自由度振動の問題では、質量行列、減衰行列、剛性行列、固有振動数、複素周波数応答を同時に扱う必要があった。正しい参照値は次のとおり。

w1 = 10.0204 rad/s
w2 = 16.2149 rad/s
|X1| = 0.1493 m
|X2| = 0.0717 m

今回は、結果がより興味深いものになった。

Kimi K3 は 211.6 秒推論し、5997/6000 個の completion Token を消費したが、最終的に可視答案は出さず、length で終了した。内部では大量の計算をしていた可能性があるが、ユーザーから見れば結果は未提出と同じだった。

Opus 4.8 はわずか 9.9 秒で答案を出したが、第1固有振動数を 8.5985 rad/s、第2振幅を 0.10391 m と算出し、正しい結果から明確に外れていた。回答自体は整っており、行列も書かれていたが、肝心の行列係数がすでに誤っていた。

これは、「速い」ことが「安定している」ことを意味せず、また「長く考えた」ことが「有効に完了した」ことも意味しない、ということを示している。

第3関門：5つの追加次元#

追加の5項目テストでは、Kimi K3 の自動採点は満点で、平均総時間は 43.0 秒、平均の最初の可視答案時間は 40.3 秒、累計使用 reasoning Token は 4192 だった。

Opus 4.8 は 4つの知識・推論タスクをすべて通過し、平均総時間は 10.4 秒、平均の最初の可視答案時間は 8.5 秒だった。唯一失点したのは厳格な JSON タスクで、JSON の内容は正しかったものの、前後に説明文を余分に出力してしまい、「JSON オブジェクトを1つだけ出力する」というフォーマット要件に違反した。

Kimi K3 の強みは何か#

Kimi K3 の強みは、1問ごとの速度ではなく、中間ステップの検証を粘り強く続ける点にある。厳密な数学、制約推論、誤った前提を反証する必要があるタスクでは、この傾向が信頼性の向上につながる可能性がある。

ただし、課題も明確だ。

1. 内部 reasoning の比率が高すぎて、簡単な問題でも数十秒待つことがある。
2. 複雑な問題では思考段階に予算を使い切り、最終的に可視答案が出ないことがある。
3. 「たくさん考えること」と「最終的に納品すること」の間に、まだ安定した打ち切り制御がない。

言い換えれば、Kimi K3 はすでに完成された高速生産モデルというより、深い推論能力を持つ有望株に近い。

Opus 4.8 の強みと短所#

Opus 4.8 の最大の強みは、応答速度と表現効率だ。数秒から数十秒で構造の整った回答を返せるため、対話型ワークフローに向いている。

ただし今回の物理問題で、見過ごせない課題が露呈した。もっともらしく見える完全な導出を素早く書けても、剛性行列の係数誤りを見抜けなかったのである。数学、物理、財務、コードの各タスクでは、「答えが正しそうに見える」だけでは不十分で、計算機、単体テスト、あるいは第2モデルによる再検証が依然として必要だ。

最終結論：到達したのか？#

推論ポテンシャルという意味では、Kimi K3 はすでに Opus 4.8 にかなり近く、一部の厳密導出タスクではむしろより信頼できる可能性がある。

一方で、総合的な実用性という観点では、現時点で Kimi K3 が Opus 4.8 に全面的に到達したとはまだ言えない。

今回のテストからは、むしろ次の結論がより妥当だろう。

Kimi K3 は上限が低くないが、効率では明確に遅れる。Opus 4.8 は納品効率で先行するが、速く計算し間違えることを防ぐ必要がある。

実運用では、二者択一よりも役割分担のほうが合理的だ。

• 速度重視で、対話を継続したい: Opus 4.8 を優先。
• 厳密な数学、複雑な制約、多段の検証が必要: Kimi K3 を使い、十分な予算を与える。
• リスクの高いタスク: 1つのモデルで生成し、別のモデルで復核する。単発の最終答案だけを見てはいけない。

このテストの限界#

これはモデルの最終ランキングではない。サンプル数はまだ限られており、モデルは同一ゲートウェイ経由で転送されている。Opus の reasoning Token は安定して露出しておらず、ベンダー側の負荷も遅延に影響する。より厳密な結論には、複数ラウンドのランダム問題、固定チャネル、反復サンプリング、外部実行による検証が必要だ。

それでも、少なくとも1つは確認できる。

Kimi K3 はもはや「思考の長さを盛るだけ」のモデルではない。Opus 4.8 と正面から比較できる力は確かに持っている。だが、能力から効率へ、さらに効率から安定した納品へ進むには、まだ一段階の距離がある。

続けて読む#

• Kimi K3 と Opus 4.8 の大学院レベル数学・物理・プログラミングベンチマーク
• Kimi K3 と GPT-5.6-SOL の高難度タスク比較
• Kimi K3 と Claude Fable 5 の検証可能推論テスト
• Claude Fable 5 と GPT-5.5 の出力予算テスト
• GPT-5.6-SOL と GPT-5.5 の高難度物理・コードテスト

FAQ#

Kimi K3 はすでに Opus 4.8 を全面的に超えたのか？#

いいえ。今回わかるのは、Kimi K3 が一部の厳密推論、反誘導、制約タスクで同等の競争力を持つということまでだ。Opus 4.8 の初回応答速度と総合的な納品効率は、なお明確に先行している。

Kimi K3 は答えが合っているのに、なぜそんなに時間がかかるのか？#

実測では、Kimi K3 は多くの completion Token を reasoning 段階に使う。マルコフ連鎖の問題では約 94.5% の生成 Token が reasoning で、複雑な物理問題では 6000 Token を使い切っても可視答案が出なかった。

Opus 4.8 の物理問題はなぜ間違えたのか？#

剛性行列の構成とその後の特性方程式の処理で誤った係数を使ったため、固有振動数と周波数応答振幅の両方が参照値からずれた。この種の誤りは、高リスクな数値タスクでは外部計算か第2モデルの再検証が依然必要であることを示している。

実運用では、どうやってこの2つのモデルを選ぶべきか？#

速度重視の対話タスクでは Opus 4.8 を優先し、長めの待ち時間を許容でき、厳密な導出を重視するタスクでは Kimi K3 を使うのがよい。より堅実なのは、1つのモデルで生成し、もう1つのモデルで検証するやり方だ。

このテストは再現できるか？#

できる。テストでは POST https://cn.crazyrouter.com/v1/chat/completions を使用し、モデル ID は kimi-k3 と claude-opus-4-8、そして finish_reason、最初に可視化された答案までの時間、reasoning Token、最終答案を記録した。

Crazyrouter でこれらのモデルをどう呼び出すのか？#

登録後、OpenAI-compatible Base URL https://cn.crazyrouter.com/v1 を使い、リクエストに対応するモデル ID を指定する。API endpoint 自体に UTM パラメータは不要だ。アカウントを作成してテストを開始。