ChatGPT 高度な AI によって舞台裏で強化された、人間のような雄弁な応答で世界を席巻しました。 具体的には、その自然言語機能は、と呼ばれるモデルのファミリーによるものです。 Generative Pretrained Transformers (GPT) 研究会社が開発した OpenAI.
この投稿では、これらの変圧器モデルがどのように機能し、どのように機能を実現するかをわかりやすく説明します。 ChatGPTの印象的なパフォーマンス。
GPT – NLP の基礎モデル
大まかに言えば、GPT モデルは、テキスト生成などの自然言語タスクを目的とした強力な「基礎モデル」です。
彼らが最初です 事前訓練された 膨大なテキスト コーパスを使用して、Web サイト、書籍、Wikipedia などのソースから最大数千億の単語を取り込みます。 これにより、GPT は人間の言語のパターンを深く分析できるようになります。
事前トレーニング後、モデルは次のようになります。 微調整 より具体的なデータセットを使用して、その機能をカスタマイズします。 たとえば、次の重要な微調整目標の XNUMX つは、 ChatGPT それは会話能力であり、事実に基づいて対話を行うことができました。
歴代のバージョンを経て、 OpenAIの GPT モデルは、データセットが大きくなり、計算能力が可能になったため、劇的に高度になりました。
GPT の内部: トランスフォーマーのアーキテクチャ
GPT モデルは内部的に、として知られるアテンションベースの深層学習アーキテクチャを活用しています。 トランス.
トランスフォーマーは自然言語処理におけるブレークスルーであり、単語のコンテキストを理解する必要がある翻訳などのタスクで古い方法を上回りました。 彼らの主なイノベーション:
- 自己注目層 文内のすべての単語が他の単語とどのように関係しているかを分析する
- これにより、GPT のようなトランスフォーマー モデルは、順番に処理するのではなく、テキスト内の複雑な関係を深く理解できるようになります。
事前トレーニング中に、GPT のトランスフォーマー アーキテクチャにより、人間の言語に存在する非常に複雑な文脈パターンをその大規模なデータセットから明らかにすることができます。
次に、次のようなアプリケーションの微調整中に、 ChatGPT、基礎モデルは、学習された構造に適合する、一貫性のある意味のある新しい文章を生成できます。
GPT-3.5: 初期 ChatGPT Foundation
パワーアップに使用された最初のバージョン ChatGPT ました GPT-3.5、GPT-3の強化されたバリアント。
GPT-3 自体は、2020 年に発売されたとき、その出力の品質、一貫性、創造性により世界を驚かせました。
GPT-3 の機能をベースに構築し、会話能力をカスタム微調整することで、GPT-3.5 が有効になりました。 ChatGPTの驚くほど流暢な対話機能。
GPT-4: 2 ～ 5 倍の能力向上、98% のコンピューティング削減
ただし、真の最先端 AI のやり方では、GPT の反復は急速に進歩します。 最近、 OpenAI 最新作を発表した GPT-4 報告によると、ほとんどの言語タスクで 2 ～ 5 倍の能力を発揮しながら、必要なコンピューティング能力は 98% 削減されます。
GPT-4 を活用すると、 ChatGPT 出力品質、事実の正確さ、対話の深さなどの指標全体で新たな高みに到達します。
そして変電基礎模型列車はここからさらに加速していくだろう。 将来の GPT バージョンでは継続的なデータとコンピューティングのスケーリングが予想されるため、間もなく可能になるかもしれないことに興奮が高まっています。
ただし、新しい機能はさておき、これらのモデルを慎重に解釈することが重要であることに変わりはありません。出力に関する誇大宣伝にもかかわらず、モデルには注目に値する制限があります。 しかし、責任ある開発により、非常に有益なアプリケーションが可能になる可能性があります。
だからこの空間に注目してください！ 私たちはおそらく、強力でありながら安全な AI が最終的に達成できることのほんの表面をなぞっただけでしょう。