GPTは何も考えていない
またもう一つ、テストそのものの問題もあります。
どんなテストでも、全てがオリジナルの問題ということはほとんどあり得ません。いろいろな大学や中学、高校の入試問題を引用してきて使うことが多いのです。
その理由は、そもそも「一定時間以内で解答すること」ができて、なおかつ「特定の知識を持っているかを確認できる」問題数は、有限個しかないから。
たとえば、古文・漢文は、過去問を全て丸暗記すれば、ほとんど間違えずに答えることができます。古文・漢文に新作は出てこないからです。これに比べると現代文は新作が出てくるので難しいのですが、普通の読解力があればちゃんと答えることができるように設計されていて、古文・漢文を読み解くときのような特別な知識は必要ありません。
社会科の問題も同様で、基本的に新作の問題の割合は全体に比べてかなり少ないです。理科・数学に関しても、あまりに新しすぎる理論は入試問題に反映されません。そもそも先生が教えられないし、問題の答えが合っているかどうかも確かめるのが難しいからです。
特に数学は、難しい概念になればなるほど証明に時間がかかるため、出題できる問題が限られます。都内の有名受験校ではよく知られていることですが、数学はとにかく過去問を暗記すればたいていの問題には答えられます。数学のテストが苦手な子どもは、実は理論をきちんと学ぼうとしていることが多いのです。完全に理解しようとするのではなく、要領よく問題と解き方のパターンマッチングを丸暗記する方がテストの点数は高くなります。
こう考えると、GPTが各種試験をパスするのは当たり前だということがわかっていただけるでしょうか。GPTは何も考えていない。考えているように見えますが、実は単語間の関係性から「それらしい」単語を推定しているにすぎません。気が遠くなるほどの計算量をともなってはいますが、その実態は、パターンマッチに限りなく近いのです。