一、課程緣起：

隨著人工智慧的迅速發展，特別是在自然語言處理（NLP）領域，開發功能強大的聊天機器人（Chatbot）已成為可能。透過 OpenAI 的 ChatGPT 以及 Meta 發表的 Llama 系列，我們現在可以在本地環境中運行大型語言模型（LLM），並將其應用於商業服務。

此外，不使用框架（如 LangChain）直接開發 LLM Chatbot，不僅能深入理解底層技術，還能獲得更高的靈活性和控制權。本課程將以實作為主，帶領學員從零開始建立一個繁體中文的 RAG（檢索增強生成）系統，並說明不使用 LangChain 的優點和實踐方法。

二、課程目標：

- 深入理解大型語言模型（LLM）的基本概念與應用。
- 掌握不使用框架（如 LangChain）直接開發 LLM Chatbot 的實作技巧。
- 學習如何使用自有資料微調（Fine-tune）Llama 模型，打造專屬的 Chatbot。
- 探索 RAG（檢索增強生成）技術，提升 Chatbot 的回答準確性。
- 強化對 Prompt Engineering 的理解與應用。
- 最終能夠自行開發並部署一個完整的 LLM Chatbot 系統。

三、適合對象：

- 電子／電機／資訊相關工程師
- 高階軟體開發工程師
- 大數據相關研發人員或資料科學家
- 統計／數值分析研究人員
- 財務分析工程師
- 醫學工程研究人員
- 生物科技研究人員
- 對人工智慧 Chatbot 開發有興趣的相關人士

四、課程特色：

- 實務導向的教學： 課程以實作為核心，透過範例代碼逐步講解，讓學員親自體驗開發流程。
- 深入理解底層技術： 不依賴高階框架，直接使用 PyTorch、Transformers 等底層庫，增進對核心技術的掌握。
- 專業師資團隊：授課老師具備豐富的業界經驗和完整的知識體系，能夠提供實用的開發技巧和經驗分享。
- 最新技術趨勢：課程內容緊跟 AI 技術發展，包含最新的 LLM 模型和 RAG 技術應用。
- 豐富的學習資源：提供完整的講義、程式碼範例和實驗資料，協助學員快速上手並應用於自身專案。

五、課程大綱：

1. 大型語言模型（LLM）的基本概念與架構
   - 理解 LLM 的原理和應用場景
   - 常見的 LLM 模型介紹（如 GPT 系列、Llama 系列）

2. 環境設置與工具準備
   - OpenAI ChatGPT API Key 申請與使用
   - Llama 3 模型下載與本地運行
   - Hugging Face 平台的模型下載與管理

3. 不使用框架直接開發 LLM Chatbot
   - 使用 PyTorch 和 Transformers 建立 Chatbot
   - 讀取和處理本地資料
   - 建立資料嵌入（Embeddings）與相似度計算
   - RAG（檢索增強生成）技術的實作

4. 使用自有資料微調 Llama 模型
   - 微調（Fine-tuning）的原理和方法
   - 使用自有資料訓練專屬的 Chatbot 模型
   - 模型優化與評估

5. LoRA 技術應用
   - 瞭解 LoRA（Low-Rank Adaptation）的概念
   - 使用 LoRA 縮小 Llama 模型，實現終端裝置的高效運行

6. Prompt Engineering 的重要性
   - 如何設計有效的提示詞（Prompt）提高模型表現
   - 常見的 Prompt 設計技巧與範例

7. RAG 技術的深入應用
   - RAG 的工作原理與優勢
   - 結合 RAG 提升 Chatbot 的回答準確性和相關性

8. LLM Agent 的概念與實作
   - 瞭解 LLM Agent 的功能和應用
   - 建立一個能在本地環境部署的 RAG Chatbot系統

六、預期學習成果：

- 能夠獨立完成一個不依賴高階框架的 LLM Chatbot 開發。
- 深入理解 LLM 和 RAG 的核心技術，提升問題解決能力。
- 掌握模型微調和優化的方法，能夠針對特定需求調整模型。
- 獲得開發和部署 AI 應用的實務經驗，增強職場競爭力。