GPT-3「言語モデルは少数例で学ぶ」――1750億パラメータで、ファインチューニングなしに多様なタスクをこなす
Language Models are Few-Shot Learners
30秒でわかる要点
1750億パラメータの言語モデルGPT-3を学習し、追加学習なしで、テキストで数例を示すだけ（few-shot）で翻訳・質問応答・3桁の計算など多くのタスクを高い性能でこなせることを示した。人が見分けにくいニュース記事も生成できた。
要約― この論文の概要は？
大規模テキストでの事前学習と特定タスクへのファインチューニングにより、多くのNLPタスクで大きな改善が示されてきた。しかしこの方法は、構造はタスク非依存でも、数千〜数万例のタスク専用データでのファインチューニングを必要とする。一方、人間は数例や簡単な指示だけで新しい言語タスクをこなせるが、現在のNLPシステムはこれを苦手とする。本論文は、言語モデルを大規模化するとタスク非依存のfew-shot性能が大きく向上し、従来の最先端のファインチューニング手法に匹敵する場合もあることを示す。具体的には、従来の非スパース言語モデルの10倍にあたる1750億パラメータの自己回帰型言語モデルGPT-3を学習し、few-shot設定で性能を検証した。すべてのタスクで、勾配更新やファインチューニングは行わず、タスクと数例の手本はモデルとのテキストのやり取りだけで与えた。GPT-3は翻訳、質問応答、穴埋めなど多くのNLPデータセットで高い性能を示し、単語の並べ替え、新しい単語を文中で使う、3桁の算術といった、その場の推論や適応を要するタスクもこなした。同時に、few-shot学習がまだ苦手なデータセットや、大規模なWebコーパスでの学習に関わる方法論上の問題があるデータセットも特定した。さらに、GPT-3は人間の評価者が人間の書いた記事と見分けにくいニュース記事を生成できることが分かり、この発見とGPT-3全般の社会的影響についても議論している。
課題― 何を解決しようとしているのか？
従来の事前学習＋ファインチューニングは、タスクごとに数千〜数万例のデータを必要とした。人間のように数例や簡単な指示だけで新しいタスクをこなすことは、当時のNLPシステムには難しかった。
手法― どのような方法で取り組んだのか？
従来の非スパース言語モデルの10倍にあたる1750億パラメータの自己回帰型言語モデルGPT-3を学習。勾配更新やファインチューニングは行わず、タスクの説明と数例の手本をテキストで与えるfew-shot設定で性能を検証した。
結果― 何が分かったのか？
翻訳、質問応答、穴埋めなど多くのデータセットで高い性能を示し、単語の並べ替えや3桁の算術などその場の推論を要するタスクもこなした。従来の最先端のファインチューニング手法に匹敵する場合もあった。人間の評価者が見分けにくいニュース記事も生成できた。
限界― 注意すべき点は？
few-shot学習がまだ苦手なデータセットや、大規模Webコーパスでの学習に起因する方法論上の問題（評価データの混入など）があるデータセットが存在する。生成文が人間の文章と見分けにくいことに伴う社会的影響も論じられている。
ビジネスで使えるか― 実務にどう活かせるか？
「プロンプトに例を数個書くだけで業務タスクをこなせる」という、現在の生成AI活用の前提を作った論文。少数の入出力例をプロンプトに入れる工夫（few-shotプロンプト）は、分類・要約・定型文作成などで今も有効な基本テクニック。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
大規模言語モデル 定番 原論文 2023年 約1分で読める
LLaMA――公開データだけで学習した70億〜650億パラメータのオープンな基盤モデル
LLaMA: Open and Efficient Foundation Language Models
要点70億〜650億パラメータの基盤言語モデル群「LLaMA」を、公開データだけを使って数兆トークンで学習。130億パラメータ版がほとんどのベンチマークでGPT-3（1750億）を上回り、全モデルを研究コミュニティに公開した。
大規模言語モデル 定番 原論文 2017年 約2分で読める
Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に
Attention Is All You Need
要点再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。
大規模言語モデル 定番 原論文 2022年 約2分で読める
Chinchilla――モデルの大きさと学習データ量は同じ比率で増やすべき。計算資源の最適配分を見直した研究
Training Compute-Optimal Large Language Models
要点400以上の言語モデルを学習して検証し、計算予算が決まっているならモデルサイズと学習トークン数は同じ比率で増やすべきだと結論。同じ計算量で700億パラメータ・4倍のデータで学習した「Chinchilla」が、2800億パラメータのGopherなどを上回った。