LLaVA――画像を見て会話できるAIを、GPT-4が作った指示データで学習
Visual Instruction Tuning
30秒でわかる要点
テキストのみのGPT-4に画像と言語の指示データを生成させ、それで指示チューニングした大規模マルチモーダルモデル「LLaVA」を提案。合成データでGPT-4比85.1%の相対スコアを出し、Science QAではGPT-4との組み合わせで92.53%の最高精度を達成した。
要約― この論文の概要は？
機械生成した指示追従データで大規模言語モデル（LLM）を指示チューニングすると、新しいタスクでのゼロショット能力が向上してきたが、この考え方はマルチモーダル分野ではあまり検討されていない。本論文は、言語のみのGPT-4を使って、画像と言語のマルチモーダルな指示追従データを生成する初めての試みを示す。生成したデータで指示チューニングを行い、視覚エンコーダとLLMをつないで汎用的な視覚・言語理解を行う、端から端まで学習した大規模マルチモーダルモデル「LLaVA（Large Language and Vision Assistant）」を紹介する。初期の実験では、LLaVAは印象的なマルチモーダルの対話能力を示し、未知の画像や指示に対してマルチモーダルGPT-4のような振る舞いを見せることもあった。合成したマルチモーダル指示追従データセットでは、GPT-4と比べて85.1%の相対スコアを得た。Science QAでファインチューニングすると、LLaVAとGPT-4の組み合わせが92.53%の最高精度を達成した。GPT-4が生成した視覚指示チューニングのデータ、モデル、コードを公開している。
課題― 何を解決しようとしているのか？
機械生成データによる指示チューニングはLLMで成果を上げていたが、画像と言語を扱うマルチモーダル分野ではあまり検討されていなかった。
手法― どのような方法で取り組んだのか？
テキストのみのGPT-4に画像と言語の指示追従データを生成させ、そのデータで、視覚エンコーダとLLMをつないだモデル「LLaVA」を端から端まで指示チューニングした。
結果― 何が分かったのか？
印象的なマルチモーダル対話能力を示し、未知の画像・指示でマルチモーダルGPT-4のような振る舞いを見せることもあった。合成データセットでGPT-4比85.1%の相対スコア、Science QAでGPT-4との組み合わせにより92.53%の最高精度を達成。データ・モデル・コードを公開した。
限界― 注意すべき点は？
本要約（アブストラクト）の範囲では、結果は「初期の実験」とされ、評価の一部はGPT-4と比べた相対スコアや合成データセットに基づく。
ビジネスで使えるか― 実務にどう活かせるか？
画像を見て質問に答えるAI（書類・図面・現場写真の読み取りなど）を、オープンな部品で組み立てる道筋を示した研究。手持ちのLLMと画像モデルを組み合わせ、自社用途向けに指示データを作って調整するアプローチの参考になる。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
マルチモーダル 定番 原論文 2021年 約2分で読める
CLIP――画像とテキストの組を4億件学習し、追加学習なしで多様な画像認識をこなす
Learning Transferable Visual Models From Natural Language Supervision
要点インターネットから集めた4億組の画像とテキストで「どのキャプションがどの画像に合うか」を予測する学習を行い、自然言語で指定するだけで新しいタスクに転用（ゼロショット）できる画像モデルを実現。ImageNetで元のResNet-50と同等の精度を、その学習データを使わずに達成した。
推論 定番 原論文 2023年 約2分で読める
Tree of Thoughts――複数の考え筋を試し、見通し・後戻りしながら解くLLMの推論法
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
要点思考の連鎖を一般化し、複数の推論の道筋を木のように探索して自己評価し、先読みや後戻りもできる推論の枠組み「Tree of Thoughts」を提案。24ゲームでは、思考の連鎖を使ったGPT-4の正解率4%に対し、74%を達成した。
大規模言語モデル 定番 原論文 2017年 約2分で読める
Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に
Attention Is All You Need
要点再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。