CLIP――画像とテキストの組を4億件学習し、追加学習なしで多様な画像認識をこなす
Learning Transferable Visual Models From Natural Language Supervision
30秒でわかる要点
インターネットから集めた4億組の画像とテキストで「どのキャプションがどの画像に合うか」を予測する学習を行い、自然言語で指定するだけで新しいタスクに転用（ゼロショット）できる画像モデルを実現。ImageNetで元のResNet-50と同等の精度を、その学習データを使わずに達成した。
要約― この論文の概要は？
最先端のコンピュータビジョンシステムは、あらかじめ決められた物体カテゴリの集合を予測するよう学習される。この限定的な教師信号は、他の視覚概念を扱うたびに追加のラベル付きデータが必要になるため、汎用性と使いやすさを制限している。画像についての生のテキストから直接学ぶことは、はるかに幅広い教師信号を活用できる有望な代替手段である。本論文は、インターネットから集めた4億組の（画像、テキスト）データセットで、どのキャプションがどの画像に対応するかを予測するという単純な事前学習タスクが、最先端の画像表現をゼロから学ぶ効率的でスケーラブルな方法であることを示す。事前学習後は、自然言語で学習済みの視覚概念を参照（または新しい概念を記述）でき、下流タスクへのゼロショット転用が可能になる。OCR、動画の行動認識、位置推定、多様な細分類など、30以上の既存のコンピュータビジョンデータセットで性能を評価した。モデルはほとんどのタスクに有意に転用でき、データセット固有の学習なしに、完全教師ありのベースラインに匹敵することも多い。例えば、ImageNetでは、元のResNet-50が学習に使った128万例を一切使わずに、ゼロショットでその精度に並んだ。コードと学習済みの重みを公開している。
課題― 何を解決しようとしているのか？
従来の画像認識は決められたカテゴリの予測に限られ、新しい視覚概念を扱うたびに追加のラベル付きデータが必要で、汎用性が低かった。
手法― どのような方法で取り組んだのか？
インターネットから集めた4億組の画像とテキストで、どのキャプションがどの画像に対応するかを予測する事前学習を行った。学習後は自然言語で概念を指定し、追加学習なしで下流タスクに転用する（ゼロショット）。
結果― 何が分かったのか？
OCR、動画の行動認識、位置推定、細分類など30以上のデータセットで評価し、ほとんどのタスクに転用でき、完全教師ありのベースラインに匹敵することも多かった。ImageNetではゼロショットで元のResNet-50と同等の精度を達成した。
限界― 注意すべき点は？
本要約（アブストラクト）の範囲では、転用がうまくいかないタスクの詳細や、ウェブ由来データの偏りの影響は示されていない（「ほとんどのタスク」に転用できるとされ、すべてではない）。
ビジネスで使えるか― 実務にどう活かせるか？
画像検索、商品画像の自動タグ付け、不適切画像の検知などを、タスクごとの学習データを大量に用意せずに試せる発想の元になった手法。画像生成AIでテキスト指示を画像に結びつける部品としても広く使われている。
キーワード
本ページの事実記述は、原論文のアブストラクト（概要）の範囲に基づきます。数字や評価の詳細は原文でご確認ください。
関連論文
マルチモーダル 定番 原論文 2023年 約2分で読める
LLaVA――画像を見て会話できるAIを、GPT-4が作った指示データで学習
Visual Instruction Tuning
要点テキストのみのGPT-4に画像と言語の指示データを生成させ、それで指示チューニングした大規模マルチモーダルモデル「LLaVA」を提案。合成データでGPT-4比85.1%の相対スコアを出し、Science QAではGPT-4との組み合わせで92.53%の最高精度を達成した。
大規模言語モデル 定番 原論文 2018年 約2分で読める
BERT――文の左右両方の文脈から学ぶ事前学習で、11の言語タスクの最高精度を更新
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
要点ラベルなしテキストから、全層で左右両方の文脈を同時に使う双方向の表現を事前学習する「BERT」を提案。出力層を1つ足してファインチューニングするだけで、質問応答や推論など11の言語タスクで最高精度を更新した。
エージェント 定番 原論文 2023年 約2分で読める
Toolformer――言語モデルが電卓や検索などの道具の使い方を自分で学ぶ
Toolformer: Language Models Can Teach Themselves to Use Tools
要点どのAPIを、いつ、どんな引数で呼び、結果をどう使うかを、各APIにつき数例の手本だけから自己教師ありで学ぶ「Toolformer」を提案。電卓・検索・翻訳・カレンダーなどを使えるようになり、より大きなモデルに匹敵するゼロショット性能を示した。