直感で読むSakana AIのTransformer²解体新書

 

2025年1月9日、Sakana AIは大規模言語モデル（LLM）の新たな進化形である「Transformer²」に関する画期的な論文を発表しました。

この論文は、AI分野の権威ある学術誌「AI Frontiers Journal」に掲載され、AIモデルのタスク適応能力を大幅に向上させる新技術「Singular Value Fine-tuning（SVF）」を中心に、その詳細なメカニズムと性能向上の実証結果が記されています。

特に、異なるモデル間の適応効率の向上に焦点を当てたこの研究は、AI研究コミュニティから大きな注目を集めています。
参考：このフレームワークを解説した論文「Transformer²: Self-adaptive LLMs」

Sakana AIのこれまでの歩み

Sakana AIは2023年7月7日に東京（本社：東京都港区西新橋3-24-8）で設立されました。
創業者は以下の3名です。

●David Ha（デイビッド・ハー）：CEOおよび共同創業者。元Google Brain研究者で、東京支部の統括を務めていました。
●Llion Jones（リオン・ジョーンズ）：CTOおよび共同創業者。「Attention Is All You Need」論文の共著者として知られ、Googleでプレトレーニングの概念を共同発明しました。
●Ren Ito（伊藤錬）：COOおよび共同創業者。Mercari Europeの元CEOで、日本の外務省での勤務経験もあります。

主要な研究成果

❶　2023年10月19日
「Evolutionary Optimization of Model Merging Recipes」
この論文で、Sakana AIは進化的モデルマージの手法を提案し、異なるオープンソースモデルを効率的に組み合わせる技術を開発しました。

❷　2024年8月13日
「The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery」
この研究では、AIによる自動的な科学研究のシステムを提案しました。AIが独立して研究を計画、実行、評価する能力を持つことを示しました。

❸　2025年1月9日
「Transformer²: Self-adaptive LLMs」
最新の研究成果であるTransformer²は、自己適応型大規模言語モデルの枠組みを提案しています。この技術により、AIモデルは異なるタスクに効率的に適応できるようになり、従来手法と比較して最大16%の性能向上を達成しました。

これらの研究成果は、Sakana AIが目指す「自然界の知恵を取り入れたAI開発」の一環として位置付けられています。
特に、進化的アルゴリズムを活用したモデルマージ技術や、AIによる自律的な研究プロセスの実現など、独自のアプローチで注目を集めています。

画期的論文を直感的に理解する

本記事では、Sakana AIが新たに提案したTransformer²について、その革新性を分かりやすく解説していきます。

特に、核心技術であるSVF（Singular Value Fine-tuning）については、たとえ話を交えながら直感的に理解できるよう取り上げます。
さらに、この技術がどのようにAIモデルの性能を向上させ、応用範囲を広げるのかを具体的に示していきます。それでは、Sakana AIの新たな挑戦の詳細を探っていきましょう。

Transformer²の核心技術：SVF

Transformer²の中核を成す技術がSVF（Singular Value Fine-tuning）です。
SVFは、モデルの重み行列を特殊な方法で分解し、その一部のみを調整することで効率的な適応を実現します。

１，SVFの動作プロセス

1. モデルの重み行列を3つの要素に分解（分解）
   
2. 分解された要素のうち、中心の要素（特異値）のみを調整（調整）
3. 調整後の要素を再び組み合わせて新しい重み行列を作成（再構成）

２，この手法が効率的である理由：

• パラメータ効率:
  特異値のみを調整するため、調整するパラメータ数が大幅に減少します。従来の手法と比較して、わずか0.25%のパラメータしか調整しません。
• 表現力の維持:
  特異値の調整により、モデルの基本的な構造を保ちながら、新しいタスクに適応できます。
• 過学習の抑制:
  少ないパラメータの調整により、過学習のリスクが低減されます。

３，SVFの実際の結果（主なもの）

●従来手法と比較して最大16%の性能向上を達成し、特に数学タスクでは4%の改善が見られました。
●全パラメータの0.25%以下という極めて少ない調整で、完全な微調整の96%の性能を実現しました。
●過学習を効果的に回避しながら、数学、コーディング、推論など多様なタスクでモデルの性能を向上させることに成功しました。

これらの結果は、SVFがAIモデルの適応能力を大幅に向上させる革新的な技術であることを示しています。Transformer²は、この技術を核として、より効率的で柔軟なAIシステムの開発を可能にしているのです。

たとえ話：料理人とレシピの世界

SVFの仕組みである「分解」「調整」「再構成」を直感的に理解するために、料理のたとえ話を使って説明します。

大規模言語モデルを、世界中の料理のレシピを学び尽くした熟練シェフに例えましょう。
このシェフは、幅広い料理を作ることができますが、新しい料理や特別な要求に対応するには、さらなる工夫が必要です。
SVFは、このシェフが持つ基本的なスキルや技術（モデルの基本構造）をそのままに、新しい料理（タスク）に効率よく対応する方法を提供します。具体的には以下の3つのステップで進めます：

❶ レシピの分解
シェフが全てのレシピを見直し、それを「調理技術」「食材の組み合わせ」「各要素の重要度」という基本要素に分けて整理します。たとえば、カレーを作るなら「炒める技術」「スパイスの選定」「煮込みの時間」といった要素が分かれます。

❷ 重要度の調整
新しい料理に対応するために、分解した要素の中でも特に「重要度」を微調整します。たとえば、普段のカレーに「甘み」を加えるリクエストがあった場合、砂糖やはちみつの割合を増やすだけで目的を達成できます。
全てのレシピを書き換える必要はなく、必要な部分だけを調整するのがポイントです。

❸ 効率的な適応
調整後の要素を再び組み合わせ、新しいレシピを完成させます。この方法では、全ての手順をやり直すのではなく、わずかな変更で大きな成果を得ることができます。
その結果、少ない練習や試行（学習データ）で、シェフは新しい料理（タスク）にも素早く対応できるようになります。

こうしたプロセスにより、シェフ（AIモデル）は基本的なスキルを損なうことなく、柔軟かつ効率的に新しい料理（タスク）に適応できるのです。
この手法は、SVFの特徴である「効率」「柔軟性」「持続性」をうまく反映しています。

Transformer²の適応戦略

AIモデルは、様々な種類のタスクに対応する必要があります。

例えば、数学の問題を解くこともあれば、文章を翻訳することもあります。しかし、すべてのタスクに同じように対応するのは効率的ではありません。そこで、Transformer²は状況に応じて最適な方法でAIモデルを調整する「適応戦略」を導入しました。

これは、人間が異なる状況に応じて対応を変えるのと似ています。
例えば、簡単な計算なら頭の中で素早く行いますが、複雑な問題には時間をかけて丁寧に取り組みます。

Transformer²も同様に、タスクの性質や難易度に応じて最適な対応方法を選択します。Transformer²は、以下の3つの適応戦略を提供しています：

❶プロンプトベース適応

この戦略は、AIに与えられた指示（プロンプト）を素早く分析し、タスクの種類を判断します。例えば、数学の問題なのか、文章の翻訳なのかを見分け、それに適した調整を行います。この方法は計算効率が高く、素早い対応が可能です。

❷分類エキスパート

この戦略では、タスクの種類を識別するための特別なモジュールを使用します。プロンプトベース適応よりもさらに正確にタスクの種類を見分けることができ、より適切な調整が可能になります。ただし、少し多くの計算力を必要とします。

❸Few-shot適応

この戦略は、少数の例を使って学習する方法です。新しいタイプのタスクに柔軟に対応できますが、最も多くの計算力を必要とします。

これらの戦略を使い分けることで、Transformer²は様々な状況に応じて最適な方法でAIを適応させることができます。簡単なタスクには軽量な方法を、複雑なタスクにはより高度な方法を使うことで、効率的かつ効果的な対応が可能になるのです。

たとえ話：料理の世界での適応戦略

Transformer²の3つの適応戦略を、料理の世界に例えて説明してみましょう。

想像してください。あなたは世界中のあらゆる料理を作れる優秀なシェフです。しかし、お客様の要望は様々で、時には予想外の注文が来ることもあります。そんな時、どのように対応すればいいでしょうか？

❶プロンプトベース適応：即座の判断と対応

これは、お客様のオーダーを聞いて、すぐに料理の方向性を決める方法です。
例えば、お客様が「和食が食べたい」と言えば、すぐに和食の調理技術を思い出し、和食に適した食材や調理法を選びます。これは素早く効率的ですが、細かい好みまでは考慮できません。

❷分類エキスパート：専門家の判断

これは、料理の専門家がお客様の要望を詳しく分析する方法です。
単に「和食」と言われても、「懐石料理なのか、家庭料理なのか、それとも創作和食なのか」といった具合に、より詳細に判断します。そして、その判断に基づいて最適な調理法を選びます。これはより正確ですが、少し時間がかかります。

❸Few-shot適応：サンプルに基づく創作

これは、お客様が「こんな感じの料理が食べたい」と言って2-3個の料理例を示した場合の対応方法です。
シェフはそれらの料理の特徴を分析し、共通点を見出し、それを基に新しい料理を創作します。例えば、「エビフライ、天ぷら、フライドチキン」という例が示されたら、「カリカリした食感の揚げ物」が好きなんだと理解し、その特徴を生かした新しい料理を考案します。これは最も柔軟な対応が可能ですが、時間と労力がかかります。
このように、Transformer²は状況に応じて最適な方法を選び、効率的かつ効果的に対応することができるのです。

Transformer²の性能評価：AIの学習能力の飛躍的向上

Sakana AIの研究チームは、Transformer²の効果を様々なAIモデルで検証しました。その結果、特に数学的問題解決能力において顕著な向上が見られました。

主な実験結果：

●LLAMA3-8Bモデルの場合：

• 従来：100問中約76問正解
• Transformer²適用後：100問中約79問正解
• 改善：約3問の向上

●MISTRAL-7Bモデルの場合：

• 従来：100問中約43問正解
• Transformer²適用後：100問中約50問正解
• 改善：約7問の向上（16%の性能向上）

これらの結果が示す意味：Transformer²は、AIの学習能力を大きく向上させる可能性を秘めています。特に、もともと苦手だったタスク（MISTRAL-7Bの数学問題など）で大きな改善が見られたことは注目に値します。

わかりやすい例え：成長する数学教師AIモデルを数学の先生に例えてみましょう。

●LLAMA3-8B

元々優秀な先生（76%の正答率）が、新しい教授法（Transformer²）を学んで、さらに成績を伸ばした（79%に向上）ようなものです。

●MISTRAL-7B

数学が苦手だった先生（43%の正答率）が、効果的な教え方（Transformer²）を身につけて、大きく成長した（50%に向上）ケースです。この先生の成長は特に顕著で、生徒たちにより分かりやすく教えられるようになったと言えるでしょう。

Transformer²の意義

この技術は、AIが新しい課題に直面した時、より効果的に学習し、適応する能力を与えます。これは、人間が新しいスキルを習得する際の「コツをつかむ」過程に似ています。Transformer²は、AIにこの「コツをつかむ」能力を与え、様々な分野での性能向上を可能にする革新的な技術だと言えるでしょう。

Transformer²の革新性：AIの効率的な学習と適応

Transformer²は、AIの学習と適応の方法に革命をもたらす技術です。
その革新性を、日常生活に例えて説明しましょう。

効率的な学習方法

想像してください。あなたが新しい言語を学ぶとします。従来の方法では、文法書全体を暗記する必要がありました。しかし、Transformer²の方法は、最も重要な文法規則だけを学ぶようなものです。
例：
△従来の方法：680ページの文法書を全て暗記
◎Transformer²の方法：16ページの要約集を学習

結果：97%以上の労力削減でありながら、ほぼ同じ効果を得られます。

省メモリ・省エネルギー

これは、大きな図書館の代わりに、コンパクトな電子書籍リーダーを使うようなものです。例：
△従来の方法：大きな図書館と多くの司書が必要
◎Transformer²の方法：一台の電子書籍リーダーと少数の専門家で対応可能

バランスの取れた学習

Transformer²は、特定の分野に偏りすぎず、幅広い知識を維持します。
例：
△従来の方法：数学だけを極めて他の科目を忘れてしまう
◎Transformer²の方法：数学を深く学びつつ、他の科目の基礎も維持

柔軟な知識の組み合わせ

これは、様々な料理のレシピを組み合わせて新しい料理を作るようなものです。
例：
△従来の方法：和食、洋食、中華など、各料理を別々に学ぶ
◎Transformer²の方法：基本的な調理技術を学びそれを組み合わせて多様な料理に対応

Transformer²の意義

この技術により、AIはより少ないリソースで効率的に学習し、様々な課題に柔軟に対応できるようになります。これは、AIの応用範囲を大きく広げ、より賢く、効率的なAIシステムの開発につながる可能性があります。

Transformer²の課題と展望：AIシェフの成長物語

Transformer²は、優秀なAIシェフのようなものです。このシェフは既存の料理を素早く学び、アレンジする能力に長けています。

しかし、まだいくつかの課題があります。例えば、全く新しい料理スタイルの創造は苦手です。和食と洋食は上手に組み合わせられますが、宇宙食のような未知の料理ジャンルには戸惑います。
また、新しいレシピを自ら考案する能力もまだ限られています。

大規模な宴会への対応も課題です。家庭料理は得意でも、1000人規模のパーティー料理となると未知の領域です。

さらに、和食の技術を洋食に応用したり、学んだ技術を長期的に維持したりすることにも改善の余地があります。

しかし、これらの課題を克服すれば、Transformer²はさらに進化するでしょう。
将来的には、世界中のあらゆる料理に対応し、常に新しいレシピを生み出す「AIスーパーシェフ」の誕生が期待されます。
そんなAIは、人間の創造性をサポートし、新たな可能性を切り開くパートナーとなるかもしれません。

 結論

Transformer²の革新性は、必要な部分だけを効率的に調整するSVF技術にあります。これは、料理人が新しい料理を作る際、基本の調理技術を活かしながら、スパイスの配分など必要な部分だけを調整して完成させるプロセスに似ています。これにより、少ない労力で幅広いタスクに対応でき、従来の方法と比べて最大16%もの性能向上を達成しました。また、AIモデルが「教え方のコツ」を習得する教師のように、新しい課題にも柔軟に適応できることが特徴です。

一方で、課題も残されています。Transformer²は既存の技術を効率よく活用できますが、未知の分野や大規模なタスクへの対応ではさらなる改善が求められます。例えば、新しいジャンルの料理をゼロから創作するような能力や、長期的に知識を維持する仕組みはまだ限定的です。

それでも、この技術はAIの適応力を大幅に向上させ、幅広い応用を可能にする可能性を秘めています。Transformer²の進化が、私たちの未来にどのような革新をもたらすのか、期待が高まります。

 

以上