【導論】大語言模型微調開發全景：從 SFT、QLoRA 到 DPO

1-1 大語言模型微調的目的與應用價值

1-2 Prompt、RAG、Fine-tuning 的差異比較

1-3 從通用模型到專業場景模型的客製化流程

1-4 LLM 微調在企業、教育、研究與產品開發中的角色

1-5 課程實作路線與工具鏈說明

【知識】微調 LLM 必備知識 I：SFT 基礎

2-1-1什麼是 SFT（Supervised Fine-Tuning）

2-1-2指令資料集與對話資料集的基本概念

2-1-3模型如何透過監督式資料學會任務格式

2-1-4 SFT 在企業問答、摘要、分類與助理系統中的應用

2-1-5 SFT 常見限制與資料品質注意事項

【知識】微調 LLM 必備知識 II：Quantization 量化技術

2-2-1 什麼是模型量化與為何需要量化

2-2-2  4-bit、8-bit 量化的基本觀念

2-2-3 量化對顯存、速度與訓練可行性的影響

2-2-4 量化在本地端與有限 GPU 環境中的重要性

2-2-5  Quantization 與 QLoRA 的關聯

【知識】微調 LLM 必備知識 III：Full-Tuning vs. (Q)LoRA

2-3-1 Full-Tuning 與參數高效率微調的差異

2-3-2 LoRA 的核心原理與優勢

2-3-3 QLoRA 如何在量化基礎上進一步降低成本

2-3-4 不同微調方法的適用場景比較

2-3-5 如何依專案需求選擇合適的微調策略

【實作】準備 SFT 所需之訓練資料集

3-1 模型載入流程與基本推論測試

3-2 Hugging Face 與常用 LLM 工具鏈操作

3-3 模型量化設定與執行方式

3-4 顯存使用、推論效能與資源觀察

3-5 為後續 LoRA／QLoRA 微調做好環境準備

【實作】準備 SFT 所需之訓練資料集

4-1-1  SFT 資料格式設計原則

4-1-2 Instruction / Input / Output 結構整理

4-1-3 單輪與多輪對話資料集準備方法

4-1-4 資料清洗、欄位統整與品質控管

4-1-5 建立可直接餵入模型訓練的資料格式

【實作】基於 SFT 與 QLoRA 微調 LLM

4-2-1 設定 QLoRA 微調流程

4-2-2 載入資料集並進行訓練配置

4-2-3 訓練參數、batch、learning rate 等核心設定

4-2-4 觀察 loss 與訓練過程結果

4-2-5 完成 SFT + QLoRA 微調模型輸出與測試

【知識】基於人類反饋的強化學習：RLHF、PPO 與 DPO

5-1 為何模型需要偏好對齊

5-2 RLHF 的基本流程與設計思維

5-3 PPO 在傳統 RLHF 中的角色

5-4 DPO 的核心概念與相對優勢

5-5 DPO 如何簡化偏好學習流程並提升落地性

Chapter 06｜DPO 訓練資料集與偏好學習實作