ChatGPTの基礎知識

ChatGPTとは

OpenAI(ベンチャー企業)が開発。
2022年11月に公開。
2023年4月に発表された論文によると、ChatGPT(GPT-4)は日本の医師国家試験合格レベル

OpenAI

スタートアップとして、非営利団体として発足。
イーロンマスク(イーロン・マスク)からの多額の投資を受け研究を行っていた。
「Open」とつくとおり、技術を公開を目指していました。(技術を公開することで、特定の会社にこういったAIを使った技術が独占されるのを防ぎたかった) →技術の反響がすごかったこと、悪用されることの危険性を考え、のちに技術はクローズになった(GPT-4)。

Google、FacebookもOpenAIと同じく大規模言語モデルを公開していた過去があったが、反社会的なことを言うなど問題があり、ものの数日でやめてしまっていた。
→OpenAIはGoogle、Facebookの失敗から学び、大規模言語モデルを作った後、人間が時間をかけて教えることで成功 イーロンマスクがOpenAIを丸ごと買い取ろうとしたが、反対を受け撤退。この機にMicroSoftが投資

マルチモーダル化

従来ではテキスト、音声、画像、動画などは1つの情報だけを処理してしましたが、 マルチモーダルとは、これらの情報を複数組み合わせて処理することを言います。
GPT-4は文字だけでなく画像でも理解するようになっています。(まだ使用はできない)

まとめ

GPT-3は1750億パラメータ。GPT-4は1兆パラメータであろうと言われている。
GPT-3もすごいが、GPT-4はさらにすごい(数々の試験を受けた結果より)

面白いのが、学習に使ったデータは全く同じであるのにGPT3と4で精度が全く違うということ。
違いはパラメータの数のみ。しかしパラメータの数が多いほど長い文章での単語間の関係性がわかるため、精度が高まったのではと言われている。

この記事は役に立ちましたか?

もし参考になりましたら、下記のボタンで教えてください。

関連記事

コメント

この記事へのコメントはありません。