Kimi Linearが線形アテンションでフルアテンションを初めて超えた――仕組みと意味を解説

長い文書をAIに読み込ませているとき、ふと気になることがある。「これ、モデルの裏側でどれだけのメモリを使っているんだろう」と。特に100万トークン、文字数にして数十万字分を超えるような超長文コンテキストを扱わせると、現行のAIモデルは膨大なメモリを消費し、処理速度も大幅に落ちることが知られている。

その根本的な原因のひとつが、**アテンション機構（注意機構）**という仕組みにある。

アテンション機構って何？　ざっくり言うと

アテンション機構とは、AIが文章を読むときに「どの単語に注目すべきか」を計算する仕組みだ。たとえば「猫が魚を食べた」という文を処理するとき、「食べた」の主語が「猫」だと正しく判断するために、文中のすべての単語どうしの関連性を計算する。これがアテンションの基本的な動作だ。

問題は、この計算量が文章の長さの2乗に比例して増えることにある。文章が2倍になれば計算量は4倍、10倍になれば100倍になる。長い文書を扱うほどコストが急増する、という構造的な弱点だ。

この弱点を補うべく長年研究されてきたのが、**線形アテンション（Linear Attention）**という考え方だ。計算量を文章の長さに対して線形（1対1で比例）に抑えようという試みで、理論上はずっと効率がいい。ただ、これまでは精度がフルアテンションに届かず、「速いけど精度が落ちる」という壁を越えられないでいた。

Kimi Linearが「初めて」フルアテンションを超えた

2025年10月末、中国のAIスタートアップMoonshot AIのKimiチームが論文を公開した。タイトルは「Kimi Linear: An Expressive, Efficient Attention Architecture」。

この論文の最大の主張は、公平な比較条件のもとで、線形アテンション方式がフルアテンションを上回った初めての事例だということだ。短い文脈でも、長い文脈でも、さらには強化学習（RL）を使ってモデルの性能をスケールさせる場面でも、一貫してフルアテンションを超えたと報告されている。

中核となる技術は**KDA（Kimi Delta Attention）**と呼ばれる独自モジュールだ。以前から研究されていた「Gated DeltaNet」という方式を発展させ、より細かいゲーティング機構（情報をどれだけ通すか制御する弁のようなもの）を追加することで、限られたRNN（逐次処理型ニューラルネット）メモリをより効率的に活用できるようにした。

公開されたモデルは、KDAとMLA（Multi-Head Latent Attention）を層ごとに組み合わせたハイブリッド構成をとっている。MLAはDeepSeekのモデルでも採用され注目を集めた技術だ。今回学習・公開されたモデルの規模は、有効パラメータ数30億（3B）、総パラメータ数480億（48B）となっている。

数字で見るKimi Linearの効率

論文に記された具体的な数値がいくつかある。

• KVキャッシュの使用量を最大75%削減
• 100万トークンのコンテキストで、デコードのスループットが最大6倍

KVキャッシュとは、AIが文章を生成するとき「直前までに処理した情報」を一時的に保存しておくメモリ領域だ。会話が長くなるほど、長い文書を扱うほど、このキャッシュは巨大になり、必要なGPUメモリも増えていく。それが75%削減できるとなれば、同じハードウェアでより長い文脈を処理できることを意味する。

スループット6倍というのは、同じ時間に6倍の量のトークン（モデルが生成する最小単位の文字列）を処理できるという意味で、応答速度に直結する数字だ。

「以前にも似た主張があった」ではない理由

「線形アテンションが優秀だという論文は以前にも出ていたはず」という感想を持つ人もいるかもしれない。実際、そうした主張はたびたびなされてきた。しかし多くの場合、比較条件が揃っていなかった――学習データの量が違う、評価タスクが偏っている、といった問題があった。

Kimi Linearが「初めて」と強調しているのは、まったく同じ学習レシピ・同じ条件でフルアテンション（フルMLA）と比較し、すべての評価タスクで上回ったという点だ。この「公平な比較」という縛りをクリアしたところが、研究コミュニティで注目を集めている理由のひとつだろう。

オープンソースで公開済み

Kimiチームはこの論文とともに、KDAのカーネル実装、vLLM（高速推論ライブラリ）向け実装、さらに事前学習済みおよびインストラクションチューニング済みのモデルのチェックポイント（学習済みの重みファイル）を公開している。研究者やエンジニアが手元で試せる状態になっているのは、コミュニティにとって大きな価値がある。

これが広がると何が変わるか

仮にKimi Linearのような線形アテンションが主流のアーキテクチャとして定着していくなら、影響は広い。

まず、同じGPUリソースでより長い文脈を扱えるモデルが作りやすくなる。100万トークンの処理が現実的なコストに近づけば、長大な法律文書・研究論文・コードベース全体を一度に処理するような用途が実用的になっていく。

次に、推論コストが下がる可能性がある。LLMのAPI利用はトークン単位で課金される構造が多く、スループットが上がればサービス側の提供コストも変わりうる。ユーザーにとっては、間接的に価格や応答速度に影響が出てくる話だ。高性能な長文処理が必要な場面だけ高単価のモデルを選び、日常的な用途は安価なモデルで賄う、という使い分けもより現実的になるかもしれない。

ただし、これはまだ研究発表の段階だ。商用モデルへの採用、他の研究グループによる再現・検証を経て評価が固まるまでには時間がかかる。今すぐ何かが激変するわけではないが、「アーキテクチャの転換点になりうる論文」として追っておく価値はある。

以上です。なるほどラボでは、こうしたAIを"自分の環境で動かしたい・24時間働かせ続けたい"という方向けの情報を発信しています。自分に合った動かし方が気になる方は、無料の診断をどうぞ。