学習手法／ファインチューニング 定番論文 分野：生成AI 約2分で読める
InstructGPT――人間のフィードバックで学習し、パラメータ100分の1でもGPT-3より好まれる応答に
Training language models to follow instructions with human feedback
30秒でわかる要点
人間が書いた手本での教師あり学習と、出力の順位付けに基づく強化学習（RLHF）でGPT-3を調整した「InstructGPT」を提案。13億パラメータのInstructGPTの出力が、1750億パラメータのGPT-3より人間の評価で好まれた。
要約― この論文の概要は？
言語モデルを大きくしても、ユーザーの意図に従う能力が本質的に高まるわけではない。例えば、大規模言語モデルは事実に反する、有害な、あるいは単に役に立たない出力を生成することがある。つまり、これらのモデルはユーザーにアラインしていない。本論文は、人間のフィードバックでファインチューニングすることで、幅広いタスクにおいて言語モデルをユーザーの意図にアラインする道筋を示す。ラベラーが書いたプロンプトとOpenAI APIに送られたプロンプトを出発点に、望ましいモデルの振る舞いをラベラーが実演したデータセットを集め、GPT-3を教師あり学習でファインチューニングした。次に、モデルの出力の順位付けデータを集め、人間のフィードバックによる強化学習（RLHF）でこの教師ありモデルをさらにファインチューニングした。得られたモデルをInstructGPTと呼ぶ。我々のプロンプト分布での人間による評価では、パラメータ数が100分の1である13億パラメータのInstructGPTの出力が、1750億パラメータのGPT-3の出力より好まれた。さらにInstructGPTは、公開NLPデータセットでの性能低下を最小限に抑えながら、真実性の向上と有害な出力の減少を示した。InstructGPTはまだ単純な誤りをするものの、人間のフィードバックによるファインチューニングは、言語モデルを人間の意図にアラインする有望な方向性であることが示された。
課題― 何を解決しようとしているのか？
言語モデルを大きくしても、ユーザーの意図に従うようにはならず、事実に反する・有害な・役に立たない出力を生成することがあった。
手法― どのような方法で取り組んだのか？
ラベラーが望ましい振る舞いを実演したデータでGPT-3を教師ありファインチューニングし、さらに出力の順位付けデータを使った人間のフィードバックによる強化学習（RLHF）で調整した。得られたモデルをInstructGPTと呼ぶ。
結果― 何が分かったのか？
人間による評価で、13億パラメータのInstructGPTの出力が1750億パラメータのGPT-3より好まれた。公開NLPデータセットでの性能低下を最小限に抑えつつ、真実性が向上し、有害な出力が減った。
限界― 注意すべき点は？
InstructGPTはまだ単純な誤りをする。評価は著者らのプロンプト分布での人間による評価に基づく。
ビジネスで使えるか― 実務にどう活かせるか？
ChatGPTのような「指示に従う」対話AIを生んだ学習方法。モデルの大きさより、業務に合った手本と評価データで調整するほうが使いやすさが上がることを示しており、社内向けAIの品質改善でも「良い回答例と評価基準を集める」ことの重要性を裏づける。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
学習手法／ファインチューニング 定番 原論文 2023年 約2分で読める
DPO（直接選好最適化）――強化学習を使わず、単純な分類損失で人間の好みに合わせたLLM調整を
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
要点RLHFの報酬モデルを新しい形で表すことで、強化学習を使わずに単純な分類損失だけで人間の好みに合わせた調整ができる「DPO」を提案。安定・高性能・軽量で、PPOベースのRLHFと同等以上の結果を出した。
学習手法／ファインチューニング 定番 原論文 2021年 約2分で読める
LoRA――元の重みを固定して小さな行列だけ学習、大規模モデルのファインチューニングを軽量に
LoRA: Low-Rank Adaptation of Large Language Models
要点事前学習済みの重みを固定し、各層に学習可能な低ランク行列を差し込むだけでモデルを適応させる「LoRA」を提案。GPT-3 175Bの通常のファインチューニングと比べ、学習するパラメータを1万分の1、GPUメモリを3分の1にしつつ、同等以上の品質を得た。
学習手法／ファインチューニング 定番 原論文 2023年 約3分で読める
QLoRA――4ビット量子化とLoRAで、650億パラメータのモデルを1枚の48GB GPUでファインチューニング
QLoRA: Efficient Finetuning of Quantized LLMs
要点4ビットに量子化して固定したモデルからLoRAへ勾配を流す「QLoRA」で、650億パラメータのモデルを48GBのGPU 1枚でファインチューニング可能に。16ビットのファインチューニングと同等の性能を保ち、作ったGuanacoはVicunaベンチマークでChatGPTの99.3%に達した。