大規模言語モデルとは何か
ChatGPTが登場したのは、2022年の11月でした。
それまで、GPTのような大規模言語モデルは、研究者の間では存在も性能もよく知られていたものの、一般の人々が広く使えるようにはなっていませんでした。
ChatGPTは、まるでメッセンジャーアプリでやりとりするように、GPTと人間が会話することができるwebアプリです。このようなものを「対話インターフェース」と呼びます。インターフェースとは、「顔と顔の間」を意味します。AIと人間が向き合って話し合っているようなイメージを思い浮かべてください。
チャット型の対話インターフェースは、Facebook(現・Meta)のAI研究所であるFAIRが2018年頃から開発していましたが、それは研究者が研究用のコンピュータで動かして実験することを目的としていて、一般の人が気軽に触れられるものではありませんでした。
そこでOpenAIは、自社の開発した大規模言語モデルであるGPTを誰でも簡単に使えるようにするためのチャット型インターフェースを開発し、公開しました。
こうすることで、広く一般の人々が大規模言語モデルに初めて触れることになり、それは非常に大きな驚きをもって迎えられました。
ChatGPTが「GPTという大規模言語モデルを使うためのインターフェース(アプリ)である」ということを理解するためには、まず大規模言語モデルについて説明しておく必要があるでしょう。
大規模言語モデルとは、その名の通り、大規模な言語モデルです。
では言語モデルとは何かというと、平たく言えば「言葉について学習したAI」のことです。
AIを構成する要素は、ハードウェアとソフトウェア、データセット、そしてウェイトというものがあります。
ハードウェアは、いうまでもなくコンピュータそのものです。大規模言語モデルを動作させるハードウェアは、データセンターに置かれた巨大なもので、学習にはスーパーコンピュータなどが使われます。特に最新のGPT-4は、学習するために数百億円のコンピュータシステムを利用したと喧伝されています。