スケーリング法則

Deep Learning でのスケーリング法則の成立条件

シュナイダージヤン

イントロダクション

研究テーマ

• Deep Learning の自然言語処理を初め、いろんなモーダリティではスケーリング法則というものが観察されてる
• その成立条件について何(か|が)言えるのか調べたい
• 未検証な領域（音声生成・ EHR 予測・リターン予測）でやってみる
• 仮説：リターン予測はうまくいかない、音声生成と EHR 予測はうまくいく

スケーリング法則とは

DL での スケーリング法則とは、モデルの規模を示す計算量（FLOPs）と学習の性能指標（ロス）の間に観察される予測的な関係のこと

• 2020 に Kaplan et al. (2020) らで推定された
• AI モデル学習に使った計算量がわかれば、そのモデルの test ロスが予測できる
• つまり 規模がわかれば、期待できる性能の予測ができる
• そこから、色々な分野でも似たようなスケーリング法則が観察されてきている (Maimon, Elmakies, and Adi 2025; Zhai et al. 2022; Cuervo and Marxer 2024)

FLOP とは？

• FLoating point OPerations (浮動小数点演算) からきてる
• \( +, \times \)などの計算操作のこと
• 研究対象の「規模」を測るための指標
• 数字の規模が大きので、結構大雑把に計算する

FLOPs 計算の例

• \( 2 + 1 \leftarrow \) 1 FLOP
• \( 2 \times 8 \leftarrow \) 1 FLOP
• \( sum([ 1, 2, 3, 4, 5, 6]) \leftarrow \) 5 FLOPs
• 内積： \( \nu \in \mathbb{R}^{n}, \mu \in \mathbb{R}^{n} \) の時 \( \nu \cdot \mu \leftarrow \) 2n-1 FLOPs
• 行列計算：\( A,B : \mathbb{R}^{N \times N} \) の時 \( AB \leftarrow \) \( (2n-1) \times n \times n \) FLOPS
• Softmax: \( x \in \mathbb{R}^{n} \)の時 \(\text{softmax}(x)_i = \frac{e^{x_i}}{\sum_{j=1}^n e^{x_j}} \leftarrow \) \( ~ 3 N FLOPs \)

スケーリング法則とは？

• 計算量 \( C \) は データ量とモデルサイズの決定的な関数 \( C = FLOPs(N, D) \)
• 計算量に基本的に成約がある、その制約の下で、ロスの最小かを狙いたい
• 最終的なテストロスを \( L(D, N) \) としてモデリング

\[ (N_{\text{opt}}(C),\, D_{\text{opt}}(C)) = \underset{N,\,D, \text{s.t.} \text{FLOPs}(N,D) =C }{\arg\min}\;\; L(N,D) \]

すると、 \(N_{\text{opt}}(C),\, D_{\text{opt}}(C) \) はある計算予算 \( C \) のための パラメータ数、データ数の最適な計算量の配分を示す

ISOFlops

方法 & 進捗

• [X] FLOPs を測るコード
• [X] TTS
• [ ] EHR
• [ ] 金融

TTS (Text-to-speech)

Discussion

• TTS でもできるかわからないのにそれっぽくできて一安心
• 一番できそうなデータの領域ではあった、
• EHR でできるかはまだ不明、金融はもっと不明
• どちらにせよ、一個はできてるので、比較対象にはできる
• 一番難しそうだと思った

Bibliography