学習手法／ファインチューニング 定番論文 分野：生成AI 約3分で読める
QLoRA――4ビット量子化とLoRAで、650億パラメータのモデルを1枚の48GB GPUでファインチューニング
QLoRA: Efficient Finetuning of Quantized LLMs
30秒でわかる要点
4ビットに量子化して固定したモデルからLoRAへ勾配を流す「QLoRA」で、650億パラメータのモデルを48GBのGPU 1枚でファインチューニング可能に。16ビットのファインチューニングと同等の性能を保ち、作ったGuanacoはVicunaベンチマークでChatGPTの99.3%に達した。
要約― この論文の概要は？
650億パラメータのモデルを48GBのGPU 1枚でファインチューニングできるほどメモリ使用量を減らしつつ、16ビットのフルファインチューニングと同等のタスク性能を保つ、効率的なファインチューニング手法QLoRAを提案する。QLoRAは、4ビットに量子化して固定した事前学習済み言語モデルを通して、低ランクアダプタ（LoRA）へ勾配を逆伝播する。最良のモデル群Guanacoは、Vicunaベンチマークで公開済みのすべてのモデルを上回り、GPU 1枚で24時間ファインチューニングするだけでChatGPTの性能の99.3%に達した。QLoRAは、性能を犠牲にせずにメモリを節約するいくつかの工夫を導入している。(a) 正規分布に従う重みに対して情報理論的に最適な新しいデータ型である4ビットNormalFloat（NF4）、(b) 量子化定数をさらに量子化して平均メモリ使用量を減らす二重量子化、(c) メモリ使用量の急増を管理するページング付きオプティマイザである。QLoRAで1,000以上のモデルをファインチューニングし、8つの指示データセット、複数のモデル種別（LLaMA、T5）、通常のファインチューニングでは実行できない規模（330億・650億パラメータなど）にわたって、指示追従とチャットボットの性能を詳しく分析した。結果は、小規模で高品質なデータセットでQLoRAファインチューニングを行うと、従来の最高水準より小さなモデルでも最高水準の結果が得られることを示している。人間とGPT-4の両方の評価に基づくチャットボット性能の詳しい分析から、GPT-4による評価は人間の評価の安価で妥当な代替になることを示す。さらに、現在のチャットボットのベンチマークは、チャットボットの性能を正確に評価するうえで信頼できないことも分かった。意図的に選んだ失敗例の分析で、GuanacoがChatGPTに劣る点も示している。4ビット学習用のCUDAカーネルを含め、すべてのモデルとコードを公開している。
課題― 何を解決しようとしているのか？
大規模言語モデルのファインチューニングには大量のGPUメモリが必要で、330億・650億パラメータ級のモデルは通常の方法では扱いにくかった。
手法― どのような方法で取り組んだのか？
4ビットに量子化して固定したモデルを通して、LoRAへ勾配を逆伝播する「QLoRA」を提案。4ビットNormalFloat（NF4）、量子化定数を再量子化する二重量子化、ページング付きオプティマイザでメモリを節約した。1,000以上のモデルをファインチューニングして分析した。
結果― 何が分かったのか？
650億パラメータのモデルを48GBのGPU 1枚でファインチューニングでき、16ビットと同等の性能を維持。Guanacoは Vicunaベンチマークで公開モデルの中で最高となり、GPU 1枚・24時間でChatGPTの99.3%に到達。小規模で高品質なデータで最高水準が得られ、GPT-4による評価は人間の評価の妥当な代替になることも示した。
限界― 注意すべき点は？
現在のチャットボットのベンチマークは性能を正確に評価するうえで信頼できないとされている。GuanacoがChatGPTに劣る失敗例も示されている。
ビジネスで使えるか― 実務にどう活かせるか？
GPU 1枚でも大きめのモデルを自社データで調整できるようにした手法で、オンプレミスや限られた予算でのLLMカスタマイズの現実的な選択肢。「量より質の小さなデータで十分効果が出る」という知見は、学習データ作りの方針にも役立つ。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
学習手法／ファインチューニング 定番 原論文 2021年 約2分で読める
LoRA――元の重みを固定して小さな行列だけ学習、大規模モデルのファインチューニングを軽量に
LoRA: Low-Rank Adaptation of Large Language Models
要点事前学習済みの重みを固定し、各層に学習可能な低ランク行列を差し込むだけでモデルを適応させる「LoRA」を提案。GPT-3 175Bの通常のファインチューニングと比べ、学習するパラメータを1万分の1、GPUメモリを3分の1にしつつ、同等以上の品質を得た。
学習手法／ファインチューニング 定番 原論文 2022年 約2分で読める
InstructGPT――人間のフィードバックで学習し、パラメータ100分の1でもGPT-3より好まれる応答に
Training language models to follow instructions with human feedback
要点人間が書いた手本での教師あり学習と、出力の順位付けに基づく強化学習（RLHF）でGPT-3を調整した「InstructGPT」を提案。13億パラメータのInstructGPTの出力が、1750億パラメータのGPT-3より人間の評価で好まれた。
学習手法／ファインチューニング 定番 原論文 2023年 約2分で読める
DPO（直接選好最適化）――強化学習を使わず、単純な分類損失で人間の好みに合わせたLLM調整を
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
要点RLHFの報酬モデルを新しい形で表すことで、強化学習を使わずに単純な分類損失だけで人間の好みに合わせた調整ができる「DPO」を提案。安定・高性能・軽量で、PPOベースのRLHFと同等以上の結果を出した。