大規模言語モデルを用いた自然言語処理において,事前学習済みのモデルに対して行う,ファインチューニングに関する記述として,最も適切なものはどれか。
- ア 強化学習を行い,最適な結果が得られるようにする。
- イ 事前学習と同じデータを繰り返し用いて学習を行い,モデルの精度を高めるようにする。
- ウ 大量のテキストデータを用いて学習を行い,モデルの精度を高めるようにする。
- エ 特定のデータを用いて追加で学習を行い,目的とするタスクに適用できるようにする。
大規模言語モデルを用いた自然言語処理において,事前学習済みのモデルに対して行う,ファインチューニングに関する記述として,最も適切なものはどれか。
正解: エ
解説:
大規模言語モデル(LLM)の学習は,大きく2段階に分かれます。
事前学習(Pre-training)とは,インターネット上の大量のテキストデータを使って,言語の一般的な知識・文法・文脈理解などを幅広く学ばせる工程です。膨大なコストと時間がかかります。
ファインチューニング(Fine-tuning)とは,事前学習済みのモデルに対して,特定の用途・タスクに特化した比較的少量のデータを使って追加学習を行う工程です。これにより,汎用モデルを「医療文書の要約」「特定業界のQ&A対応」など,目的とするタスクに適応させることができます。
各選択肢を検討します。