「パラメータ数」とは

ニューラルネットワークの規模を測るのによく使われる指標は「パラメータ数」です。これは、具体的にはウェイトの数を意味します。GPT-3は1750億パラメータと言われていますが、これはウェイトが1750億個使われているということです。

パラメータ数が多ければ多いほど性能が高いと思われがちですが、パラメータ数が増えると学習時間も推論時間も長くかかるようになり、しかも無駄が多くなってしまいます。

清水さん「AIを構成する要素は、ハードウェアとソフトウェア、データセット、そしてウェイトというものがあります」（写真：本社写真部）
すべての写真を見る

AIがどれだけいい答えを出してくれようと、答えが出るのが質問してから3日後だったら、実用的とは言えませんよね？　だからパラメータ数は多ければいいというものではないのです。常にハード、ソフト、パラメータ数のバランスが大切になります。

一般に大規模言語モデルと呼ばれるAIのパラメータ数は最低でも1億パラメータ、実用的と言われるのは70億から130億パラメータを超えてからと考えられています。

もちろん、今も世界中のAI研究者たちがより少ないパラメータ数でより高度な回答ができるように研究を続けています。