データの種類によって、AI の伸び方はどう違うのか？

複数分野でのスケーリング実験と、その違いを説明するための研究

シュナイダージヤン

発表資料・参考文献
jiyanjs.com/presentations/
gashuku2026-talk.html

GPU を 10 台、3か月使えるとしたら？

予測したい課題は決まっている。計算予算をどう使うか？

勘で決める

大きなモデルをいくつか作り
できるだけ学習させる

あとは結果を待つ

スケーリング法則を使う

小さく試して
本番の配分を予測する

予測が当たるかも確かめる

小さな実験から予測し、大きな実験で確かめる。

予算の配分を見直すと、小さいモデルが勝つこともある

Hoffmann ら Figure 1。計算量に対する最適モデル規模の予測。Kaplan らの破線と Hoffmann らの三つの推定方法の実線を比較。

破線：Kaplan (2020) ／実線：Hoffmann (2022) の三つの推定方法

同程度の学習計算量で、小さい Chinchilla の方が高性能だった。

図：Hoffmann et al. (2022), Fig. 1。破線：Kaplan et al. (2020)。横軸＝学習計算量、縦軸＝パラメータ数（性能の図ではない）。

「増やせばよくなる」から「どれだけよくなるか」へ

損失＝未学習のデータで測る、予測誤差の指標

L(D) = E + A D^−β

説明用の概念図（実測値ではない）／ D：データ量、E：推定下限、β：改善の速さ

【2:00–3:15／75 秒】何を予測するのか、図で説明します。縦軸は、学習に使っていないデータで測った損失です。予測誤差を表す指標で、低いほどよい、と考えてください。横軸は学習データ量です。ここでは、10 倍ずつ増える目盛にしています。

大事なのは、データを増やすとよくなる、ということだけではありません。どれくらいよくなるかを、比較的単純な曲線で表せる場合がある、ということです。これをスケーリング法則と呼びます。

この図は説明用です。左の点が、小さい実験で調べた範囲です。そこに曲線を当てはめて、右の大きな規模での誤差を予測します。点線の部分は、まだ観測していない予測です。

今日、特に注目するのは指数のベータです。この式では、データを同じ倍率だけ増やしたとき、ベータが大きいほど、下限 E からの差が速く減ります。曲線の当てはまりのよさとは別の量です。E は実験範囲から推定した下限で、真の予測限界と決まったわけではありません。

文章と音声では、計算量を増やしたときの伸び方が違う

■ LLM：文章の言語モデル　● SLM：音声の言語モデル

Cuervo と Marxer の Figure 2。横軸は学習計算量、縦軸は三つの言語能力評価の正答率。文章と音声で改善の傾向が異なる。

横軸：学習計算量／縦軸：正答率（高いほどよい）

この違いは、データの何から生まれるのか？

Cuervo & Marxer (2024), Figure 2（CC BY 4.0）。データ・トークン化・学習条件も異なる比較。

【3:15–4:10／55 秒】分野による違いの例として、まず先行研究を紹介します。この研究では、文章の言語モデル、黒い四角の LLM と、音声の言語モデル、緑の丸の SLM を比較しています。横軸は学習計算量、縦軸は正答率なので、今度は高いほどよい図です。左から文法、話題、物語の結末に関する評価です。

見てほしいのは、文章と音声で、計算量を増やしたときの伸び方が違うことです。ただし、データや学習条件も違うので、これだけで音声そのものの難しさが分かるわけではありません。ここでの正答率の指数と、先ほどの損失の指数も直接比較はできません。こうした違いを調べるために、私自身も複数分野で実験してきました。

自分の研究：複数分野でモデルを学習し、伸び方を調べてきた

分野	取り組み・現在の状況	現時点の観察
音声	音声生成モデルの開発	本発表では結果の詳細を扱わない
エピゲノム	Mamba2・GDN2・SH2 で実験	スケーリング則を観察。α・β が言語の参照値と異なる
電子カルテ（EHR）	実験を継続中	指数について予備的な傾向を観察
金融	限られた設定で試行	明確なスケーリング則はまだ得られていない

同じように規模を増やしても、改善の仕方は一様ではない。

分野ごとにモデル・予測課題・学習条件が異なる段階での観察。

【4:10–5:40／90 秒】これまでに取り組んだのが、この四つの分野です。音声生成モデルの開発が関心の出発点ですが、その結果の詳細は今日は扱いません。

エピゲノムは、遺伝子の働き方に関わる情報を扱うデータです。ここでは Mamba2、GDN2、SH2 という複数のモデルで実験し、スケーリング則を観察しました。モデル規模とデータ量に対する指数が、言語で報告されている参照値とは異なっています。これは Transformer だけに限定した研究ではありません。

EHR は電子カルテのデータです。利用の手続きを経て、現在も実験が進んでおり、結果は予備的な段階です。一方、金融では、試した範囲で明確なスケーリング則がまだ得られていません。ただし、試行が十分ではないので、法則が破れていると結論したわけではありません。

このように、分野ごとの観察がそろい始めています。次に、それをどのような違いとして捉えているかを説明します。

注目しているのは、当てはまりではなく「改善の速さ」

L(N, D) ≈ E + A N^−α + B D^−β

N：モデル規模／ D：学習データ量／ α・β：各項の減り方を表す指数

指数の違い

エピゲノムでは比較的大きく、
EHR ではそれより小さい傾向
（現時点の予備的な比較）

配分の違い

エピゲノムでは、言語の参照設定より
パラメータ増加に比重を置く配分を示唆

大きな指数 ≠ よい当てはまり（R²）

指数だけで分野の「難しさ」は決まらない。金融は指数の大小を比較できる段階ではない。

【5:40–7:10／90 秒】ここでいう「大きい」は、曲線の当てはまりを表す R 二乗ではなく、指数のアルファとベータです。この関数形なら、モデルやデータを同じ倍率で増やしたとき、指数が大きいほど、対応する損失の項が速く減ります。

現時点では、エピゲノムで比較的大きな指数、EHR ではそれより小さな指数という傾向を見ています。ただし、これは条件を統一した比較ではなく、EHR の実験も続いています。分野の本質的な難しさの順位だとは、まだ言えません。

もう一つ、エピゲノムでは、計算予算を増やしたときに、言語の参照設定よりもモデルのパラメータ数を増やす側に比重を置く配分が示唆されています。これは指数が全体として大きいという話とは別で、モデル規模とデータ量の両方に対する関係から考える必要があります。

金融については、単に指数が小さいのか、そもそも安定して推定できていないのかを分けたい。その違いを調べることも、次の研究課題です。

次の研究：何を変えると、伸び方が変わるのか？

切り分けたいこと	次に検討している比較
実験・推定の問題か？	学習設定、反復実験、測定する規模の範囲を確認
データの量か、含まれる情報か？	EHR で患者数と一人あたりの情報量を分ける
時間による分布変化か？	金融で評価する時期・時間的な距離による違いを調べる

曲線の違いを観察する段階から、
条件を変えて理由を検証する段階へ。

まず EHR の実験を進め、既存のモデル・データを使って説明候補を絞る。

【7:10–8:45／95 秒】博士論文では、こうした違いの理由を検証したいと考えています。まずは実験や推定の問題の切り分けです。特に金融では試行が十分ではないため、学習設定や測定範囲を見直し、反復によるばらつきを確認します。

次に、データの量と含まれる情報を分けます。電子カルテなら、患者数を増やすことと、一人について使える記録を増やすことは違います。予測対象と評価対象をそろえ、それぞれを変えたときに、改善の速さや到達する損失がどう変わるかを調べたいです。

金融では、時間による分布変化も説明候補です。学習時期と評価時期の関係を変える比較が考えられます。これらは、今後検証したい仮説です。

まずは一つでも、条件を変えることで伸び方の違いを説明できる例を作りたい。進行中の EHR 実験と既存のモデル・データを使って、候補を絞っていきます。

「どれだけ伸びるか」を予測し、「なぜ違うか」を理解したい

スケーリング法則の実用的な価値

小さく試し、
大きな投資の効果を予測する

私が研究で目指すこと

データの種類をまたいで、
学習のしやすさの違いを説明する

データと学習設定のどんな性質が、改善の速さを決めるのか？

これまで：複数分野での観察／次へ：条件を変えて説明候補を検証する。

補足：スケーリング法則の研究の広がり

研究の問い	何を調べる？	論文の例
予算をどう配分する？	モデル規模と学習量	Hoffmann et al. (2022)
データが足りないときは？	同じデータを反復する価値	Muennighoff et al. (2023)
なぜスケーリングが起きる？	小課題へのニューロンの配分という仮説	Song et al. (2024)
データの種類が変わると？	文章と音声の改善の違い	Cuervo & Marxer (2024)

補足：モデル規模と学習量を同時に考える

L(N, D) = E + A N^−α + B D^−β

N：パラメータ数／ D：処理した学習トークン数

C ≈ 6ND

密な Transformer の学習計算量の近似。系列長などの影響を省略。

固定した C の下で、L が小さくなる N と D を探す。

Hoffmann et al. (2022)。すべての研究がこの関数形・定義を使うわけではない。

補足：同じ計算量で比べる（IsoFLOP）

Hoffmann らの IsoFLOP 曲線と計算最適なモデル・データ配分

同じ色の曲線＝同じ計算予算。曲線の最小点が配分の候補。

Hoffmann et al. (2022)。昨年の発表で使った図。

補足：学習曲線の研究には長い歴史がある

年	位置づけ
1992	Seung ・ Sompolinsky ・ Tishby：学習の統計力学
2017	Hestness ら：複数分野での経験的なスケーリング
2020	Kaplan ら：言語モデルの規模と損失
2022	Hoffmann ら：計算予算の配分と Chinchilla

(Seung et al., 1992; Hestness et al., 2017; Kaplan et al., 2020; Hoffmann et al., 2022)

補足：音声の結果は、評価課題と設定に依存する

Cuervo と Marxer の Figure 2 全体、文法と意味理解の三つの評価

文法・話題・物語の結末で、改善の速さは異なる
文章と音声では、データ・トークン化・学習条件も異なる
指数の比だけから、一定の計算量倍率は決まらない

Cuervo & Marxer (2024), Figure 2（CC BY 4.0）。

補足：下限が高いのか、改善が遅いのか？

狭い規模の範囲では、どちらも似た曲線に見える
広い規模、反復実験、推定の不確実性、別の関数形で確認する
同じ予測対象で、入力情報への介入を比較する
頭打ちだけでは、不可約誤差・容量不足・学習不足を区別できない

参考文献

Cuervo & Marxer (2024). Scaling Properties of Speech Language Models. https://doi.org/10.18653/v1/2024.emnlp-main.21.

Hestness et al. (2017). Deep Learning Scaling is Predictable, Empirically. https://arxiv.org/abs/1712.00409.

Hoffmann et al. (2022). Training Compute-Optimal Large Language Models. https://doi.org/10.48550/arXiv.2203.15556.

Kaplan et al. (2020). Scaling Laws for Neural Language Models. https://doi.org/10.48550/arXiv.2001.08361.

Muennighoff et al. (2023). Scaling Data-Constrained Language Models. https://arxiv.org/abs/2305.16264.

Seung et al. (1992). Statistical mechanics of learning from examples. https://doi.org/10.1103/PhysRevA.45.6056.

Song et al. (2024). A Resource Model For Neural Scaling Law. https://doi.org/10.48550/arXiv.2402.05164.