GPTシリーズの系譜

2018年に発表されたGPT-1は、莫大な数の単語から構成されたトレーニングデータを用いて学習されたニューラルネットワークモデルでした。テキスト生成や問答応答など、多様な自然言語処理タスクで高い性能を示し、話題になりました。

さらに大きな注目を集めたのは、2019年に発表されたGPT-2です。GPT-1よりもはるかに高度な文章生成能力を備えたGPT-2は、Transformerアーキテクチャに基づいて設計されていて、話題やスタイルを維持しながら、長い文章を自動的に生成することができます。ニュース記事の生成、小説の執筆支援、文章要約、自動翻訳、文章の自動分類などのタスクをこなすようになりました。

清水さん「大規模言語モデルの歴史は、2010年代初めに遡ります」（写真：本社写真部）
すべての写真を見る

GPT-2は当時の最先端の自然言語処理モデルとして注目され、この時点ですでに非常に高い精度で文章生成を行うことができました。

しかし、GPT-2は一部の研究者から、誤解を招く情報や偏見を含む文章を生成することがあるとして、問題視されることもありました。そのため、OpenAIはGPT-2のリリースに際して、一部のモデルについては一般公開を制限し、コンテンツの検閲などの対策を講じることを発表しました。