LLMのファインチューニングとRAG チャットボット開発による実践

試し読み

著者: 新納浩幸著

ダウンロードあり
正誤表あり

ローカルLLMでファインチューニングとRAGを学ぼう！

本書は、公開されている大規模言語モデル（LLM: Large Language Model）を使ってローカル環境に独自のチャットボットを構築することを目標に、LLM のファインチューニングと RAG (Retrieval Augmented Generation) の基礎と、そのプログラミングについて学ぶものです。

ChatGPTの台頭により、高性能なチャットボットへの期待が急速に高まっています。しかし、そのチャットボットの核となるLLMは基本的に言語モデルであるために、幻覚（誤った情報）を生成してしまいます。とくに、LLMはローカルな情報や最新の情報は持っていないため、それらに関する質問に対しては正しい回答が期待できません。また、ChatGPTのようにLLMが外部のサーバにある場合、自社データや顧客データを入力することには抵抗があると思います。

本書では、そういった課題を解決するために、公開LLMをファインチューニングしたり、公開LLMを使ったRAGを構築したりすることで、よりニーズに沿ったチャットボットを構築します。こういった調整を行って構築したチャットボットは、特定の分野について深く正確に回答してくれるようになります。

<本書のポイント>
・LLMについての基本事項を学べます。
・LLMのファインチューニングの方法とRAGの構築方法を学べます。
・解説したプログラムをウェブサイトで配布します。

このような方におすすめ

◎ LLMに興味がある自然言語処理エンジニア、研究者
〇自然言語処理を学ぶ情報系学部などの大学生

初級

書籍詳細
目次
ダウンロード
正誤表

書籍詳細

定価: 2,640円（本体2,400円＋税）
頁: 176頁
発売日: 2024/05/22
ISBN: 978-4-274-23195-7
判型: A5
発行元: オーム社

書籍カテゴリ: 情報・ネットワーク・コンピュータ

システム応用

知識工学・人工知能

第1章　大規模言語モデル
第2章　ファインチューニング：言語モデルの追加学習
第3章　Instruction Tuning：指示に基づくファインチューニング
第4章　大規模言語モデルのファインチューニング
第5章　RAG：検索を併用した文生成
第6章　ChainlitによるGUIのチャットボット

詳細目次

はじめに／目次

第1章　大規模言語モデル
1.1 言語モデルとは
1.2 言語モデルとチャットボット
1.3 日本語特化のLLM
1.4 LLMの利用
1.5 この章で使用した主なプログラム

第2章　ファインチューニング：言語モデルの追加学習
2.1 基本的な学習の処理
2.2 Trainerの利用
2.3 訓練データをDatasetへ
2.4 collator
2.5 保存されたモデルからの文生成
2.6 Early Stoppingの導入
2.7 この章で使用した主なプログラム

第3章　Instruction Tuning：指示に基づくファインチューニング
3.1 Instruction Tuningとは
3.2 Instruction Tuningの学習データ
3.3 Instruction Tuningの学習データの作成
3.4 Instruction Tuningの実行
3.5 Instruction Tuningモデルによる文生成
3.6 この章で使用した主なプログラム

第4章　大規模言語モデルのファインチューニング
4.1 LoRA：低ランク行列によるファインチューニング
4.2 PEFT：効率的にファインチューニングするためのライブラリ
4.3 LoRAモデルによる文生成
4.4 QLoRA：LoRAに量子化を利用する
① 量子化とは
② bitsandbytesの利用
4.5 Prompt Tuning：プロンプトの効率的なチューニング法
4.6 この章で使用した主なプログラム

第5章　RAG：検索を併用した文生成
5.1 RAGとは
5.2 FAISSによるデータベースの構築
① パッセージの作成
② パッセージのベクトル化
③ ベクトルデータベースの構築
5.3 RetrievalQAとOpenAIのLLMによるRAGの構築
5.4 RetrievalQAと公開LLMによるRAGの構築
① プロンプトの作成
② HuggingFacePipelineを利用したLLMの設定
③ プロンプトの変更
5.5 RAGの各種パーツの変更
① WikipediaRetrieverクラスの利用
② Wikipediaからの自前データベースの作成
③ Document LoaderとDocument transformersによるデータベースの作成
④ キーワードデータベースの検索
⑤ 量子化モデルの利用
5.6 HyDE：仮想的文書作成による検索法
5.7 RAGの性能向上のために検討するべき要素
5.8 この章で使用した主なプログラム

第6章　ChainlitによるGUIのチャットボット
6.1 インストール
6.2 Chainlitの基本プログラム
6.3 OpenAIのLLMを使ったチャットボットのGUI
6.4 公開LLMを使ったチャットボットのGUI
6.5 RAGを利用したチャットボットのGUI
6.6 Chainlitのサーバでの稼働
6.7 この章で使用した主なプログラム

あとがき／索引／奥付

ダウンロード

本書に掲載しているプログラムを、圧縮ファイル（zip形式）で提供しています。圧縮ファイル（978-4-274-23195-7.zip：約136MB）をダウンロードし、解凍してご利用ください。本ファイルの著作権は、本書の著作者である新納浩幸氏に帰属します。

本ファイルは、本書をお買い求めになった方のみご利用いただけます。本書の購入者が個人の練習として用いる場合に限り、複製して使用することができます。それ以外の用途での使用はできません。また、著作者および発行者の事前の許可なく、転載、複製、複写等を行うことはできません。
本ファイルを利用したことによる直接あるいは間接的な損害に関して、著作者およびオーム社はいっさいの責任を負いません。利用は利用者個人の責任において行ってください。また、質問には一切お答えすることはできません。
本ファイルは、ライブラリのバージョンアップなどに伴って動作しなくなる可能性があります。その際、継続的かつ即時の更新はお約束いたしかねます。本ファイルの動作確認は、2024年3月に本書内に記載した環境とバージョンで行っています。