AIのパラメータ数とは？賢さを決めるのは数だけじゃない
画像出典: Lalmch / Pixabay
AIのパラメータとは、モデルが学習の過程で調整していく内部の数値です。「パラメータ数◯兆」はその数値の個数を指します。数が多いほど表現できる幅は広がりますが、性能を決めるのはパラメータ数だけではなく、学習データの質と量、構造の効率、学習後の調整手法も大きく影響します。だから数字の大小だけでモデルの優劣は判断できません。
「パラメータ数」は、AIの中にある調整つまみの本数だと考えるとイメージしやすくなります。つまみが多いほど、細かく音を作り分けられる。ただし、つまみが多い機材を渡されたからといって良い曲ができるとは限りません。
正直なところ、この数字はニュースで一番目立つのに、一番説明されない部分です。ここでは、パラメータが何なのか、なぜ数が増えてきたのか、そして数の大きさと賢さがずれる理由まで順に見ていきます。
パラメータとは何か？
パラメータとは、機械学習モデルが学習（訓練）の過程で調整していく内部の変数です。モデルの表現力や予測能力を規定する、いわば本体そのものにあたります。
AIのモデルは、たくさんの小さな計算のつながりでできています。入力された言葉を数値に変え、次の層へ渡し、また次の層へ渡す。このとき「どの信号をどれくらい強く次へ伝えるか」を決めている数値が、パラメータです。アイキャッチにあるようなネットワークの図で、点と点をつなぐ線が一本ずつ持っている重み——あれがパラメータのイメージに近いものです。
学習前のパラメータは、意味のない値が並んでいるだけです。大量の文章を読ませ、「次に来る語」を予測させ、外れたら少しずつ値をずらす。これを膨大な回数くり返すうちに、文章として自然なつながりを生み出す配置に落ち着いていきます。つまりパラメータは、人が一つずつ書き込んだものではなく、学習の結果として決まった数値の集合です。
「知識がそのまま格納されている」という言い方は、正確ではありません。パラメータは辞書のページのように項目ごとに区切られてはいません。ある一つの数値だけを取り出して「これは東京の情報です」と指させるものではなく、無数の数値の組み合わせ全体が、結果として応答のパターンを形づくっています。
データベースに保存された記録というより、練習を重ねた人の手の動き方に近い、と考えると近いかもしれません。どの筋肉が何を覚えているかは指させないけれど、全体としては確かに正しく動く。ただしこれはあくまで感触をつかむための例えで、実際には数値の集合と計算であることは押さえておいてください。
パラメータ数が多いと何が変わるのか？
パラメータの数が増えると、モデルが表現できるパターンの幅が広がります。調整できる箇所が増えるので、より細かい区別や、より複雑な関係を扱えるようになる。世代を追うごとにパラメータ規模が大きく拡大してきたのは、この方向に伸ばすと実際に性能が上がってきたからです。
具体的な場面で言えば、扱える幅の広さはこんなところに出ます。
- 専門分野の込み入った文章を、文脈を保ったまま読み解く
- 長い指示の中の複数の条件を、取りこぼさず同時に満たす
- あまり出てこない言い回しや、まれな話題にも対応する
- 複数の手順をまたぐ推論を、途中で崩さず進める
逆に言うと、定型的な要約や短い翻訳のような作業では、規模の差はそれほど体感しにくい領域です。日常の用途の多くはここに入るため、「一番パラメータが多いモデルを選べば常に得」とは限りません。
大きければ賢いとは限らないのはなぜ？
パラメータ数はモデルの性能を決める唯一の要因ではありません。この点は、複数の独立した解説で一致して指摘されています。少なくとも次の三つが、規模と同じかそれ以上に効いてきます。
- 学習データの質と量つまみが何本あっても、渡された練習素材が偏っていたり間違いを多く含んでいれば、そのくせがそのまま身につきます。何を読ませたかが、そのまま何を返せるかになります。
- アーキテクチャの効率性同じ数のパラメータでも、どう配置し、どう計算をつなぐかで引き出せる性能は変わります。計算の設計が良ければ、少ない数でより多くを担えます。
- ファインチューニングなど学習後の調整大量の文章を読ませた段階のモデルは、まだ「人の指示に沿って答える」形になっていません。その後の調整手法によって、使い勝手は大きく変わります。
だから、パラメータ数の少ないモデルが、より大きなモデルと同等かそれ以上の結果を出すことは珍しくありません。数値の比較だけでは、この三つの差がまったく見えないのです。
そもそも、パラメータ数を公表していないモデルが増えています。ニュースで見かける「◯兆」という数字も、公式発表ではなく推測値であることがあります。数値を根拠に語る前に、それが公式発表なのか、いつ時点のものなのかを確かめてください。出どころの不明な数字は、比較の材料にはなりません。
規模を増やすことの限界はどこにあるのか？
パラメータを増やせば、学習にも実行にも必要な計算量が増えます。返答が返ってくるまでの時間が延び、動かすためのコストも上がる。大きいことは、そのまま扱いにくさでもあります。
そしてもう一つ重要なのが、規模を増やしても解消しない種類の弱点があるということです。事実と異なる内容をもっともらしく述べてしまう現象は、パラメータが増えれば自動的に消えるものではありません。パラメータが調整しているのは「自然につながる語の並び」であって、「その内容が現実と合っているか」ではないからです。
ここは、パラメータの正体を理解しておくと納得しやすい部分だと思います。学習で決まった数値の配置が、もっともらしい続きを生成する。もっともらしさと正しさは、多くの場合重なりますが、常に一致するわけではない。だから最終的な確認は、規模の大小にかかわらず必要になります。
結局、モデルを選ぶときは何を見ればいいのか？
パラメータ数は、モデルを理解するための一つの手がかりではありますが、選ぶときの主要な判断材料にはなりません。実際に見るべきは、自分の使い方でどう動くかです。
- 自分がよく投げる種類の作業を、実際に同じ文面で試して比べる
- 返答の速さと、待てる時間の折り合いがついているか
- 間違えたときに、こちらが気づける形で間違えてくれるか
- 公表されている評価結果があるなら、それが何を測ったものか
とくに一つ目は、どんな数値の比較よりも確実です。同じ依頼文を複数のモデルに投げて、返ってきたものを並べる。それだけで、自分の用途における差は驚くほどはっきり見えます。
「パラメータ数◯兆」という見出しを次に見かけたら、それは調整つまみの本数の話であって、出てくる答えの質の話ではないと思い出してください。数字の意味がわかっていれば、ニュースの見出しに引っ張られずに済みます。
よくある質問
AIのパラメータ数とは何ですか？
パラメータとは、機械学習モデルが学習の過程で調整していく内部の変数です。パラメータ数はその変数の個数を指し、モデルの表現力や予測能力を規定する要素とされています。人が一つずつ書き込んだものではなく、大量のデータで学習した結果として値が決まります。
パラメータ数が多いほど性能が高いのですか？
必ずしもそうではありません。パラメータ数はモデル性能を決める唯一の要因ではなく、学習データの質と量、アーキテクチャの効率性、ファインチューニングなど学習後の調整手法も性能に大きく影響します。パラメータ数の少ないモデルが、より大きなモデルと同等の結果を出すこともあります。
パラメータの中に知識がそのまま入っているのですか？
そのような単純な形ではありません。パラメータは項目ごとに区切られた辞書のようなものではなく、学習によって調整された数値の集合が、全体として応答のパターンを形づくっています。特定の数値を取り出して、それが何の知識にあたるかを指し示すことはできません。
パラメータ数を増やせば誤った回答は減りますか？
規模を増やしても解消しない弱点があります。パラメータが調整しているのは自然な語のつながりであり、その内容が現実と合っているかどうかではありません。そのため、事実と異なる内容をもっともらしく述べてしまう現象は、規模の拡大だけでは自動的になくなりません。出力内容の確認は、モデルの大きさにかかわらず必要です。
※記事で使用した内容・数値は変更される場合があります。最新情報は公式サイトをご確認ください。