地端 LLM 部署與企業 AI 應用開發實戰班（企業專班）

企業導入生成式 AI，不只有訂閱雲端服務一種選擇。對於需要管理文件存取、盤點資料流向，或希望自行控制模型環境的組織而言，地端大型語言模型（Local／On-premises LLM）提供了另一種技術選項。但真正的挑戰，不是把模型下載到電腦，而是確認設備跑得動、資料取得合法合規、回覆能夠驗證，以及後續應用有人維護。

本課程以企業實務需求為出發點，帶領學員理解「模型、推論服務、使用介面、知識庫與自動化流程」如何組成一套地端 AI 系統。課程將示範如何在可控設備上運行模型，透過內網介面及 API 提供使用，再將企業文件建成檢索增強生成（RAG）知識庫，使問答結果可與來源文件核對。最後，透過 n8n 或具相似能力的工作流程工具，完成包含人工覆核節點的 AI 應用原型。

課程也會說明地端方案的限制：模型與設備需要適配、文件品質影響檢索結果、部署後仍須處理權限和更新，若連接外部通訊或雲端服務，相關資料就可能離開內網。因此，培訓成果不以「AI 已完全安全」作為宣稱，而以能測試、能說明資料流向、能驗證答覆、能交接原型為標準。

企業為什麼需要這堂課？

1. 理解地端部署的適用條件：比較地端、雲端與混合式 AI 的資料、效能、成本和維運差異。
2. 把模型變成可使用的工具：完成模型推論、操作介面及本機 API 的基本驗證。
3. 讓 AI 有依據地回答文件：建立小型 RAG 知識庫，實測文件檢索、來源標示與拒答。
4. 從單次問答走向企業流程：以觸發、推論、人工覆核與通知組合最小可行工作流。
5. 把安全維運納入設計：認識使用授權、身分權限、遠端存取、日誌、備份與資料外送邊界。

課程學習目標

完成課程後，學員將能：

1. 說明地端 LLM 的核心架構，並依設備規格與資料特性進行初步部署評估。
2. 操作地端模型與使用介面，辨識本機／內網 API 及安全連線要點。
3. 理解 RAG 的文件處理與檢索流程，使用測試題驗證回答是否有來源。
4. 規劃一條由 AI 支援、重要節點可人工覆核的部門工作流程。

一、課程型態

• 本商品為實體課程／企業內訓專班，授課地點依企業需求協調確認。
• 本頁僅供企業洽詢與提出預計日期，實際時段與場地須另行確認，提出預計日期不代表師資或場次已確認。

二、課程時數

• 標準企業培訓：6 小時，聚焦概念、操作示範及最小可行原型。
• 進階企業培訓：12 小時，可增加設備部署、RAG 測試與完整工作流操作。
• 專案深化培訓：18 小時，可增加身分權限、API 原型、驗收與維運實作。
• 12／18 小時為可客製化規劃方向，並非標準 6 小時價格內含的服務。

三、建議課前準備

• 請提供參訓者背景、電腦作業系統、記憶體與 GPU 配置，以及企業內部網路／帳權限制。
• 實機操作建議設備具有至少 16 GB RAM、足夠的可用儲存空間及軟體安裝權限；實際能運行的模型及速度仍依量化版本、上下文與硬體條件而異。
• 採用 GPU 或較高容量統一記憶體的設備，通常有助於較大型模型的體驗；若設備不足，可改以講師示範環境進行。
• 請準備公開或已去識別化、且獲授權使用的 PDF、TXT 或其他指定格式範例文件；勿帶入未經授權的人事、財務、客戶或商業機密資料。
• 初次下載工具與模型通常需要網路；如受企業網路管制，須於課前協調離線素材、預先安裝或改為集中示範。

四、企業自訂方向

• 依產業與部門案例切換：SOP 問答、技術手冊、內部規範、員工手冊、客服協作、採購問答等。
• 依企業技術環境調整：Windows、macOS、Linux、Docker、GPU／CPU、內網部署、VPN 可行性。
• 依學員程度調整：管理者概念版、AI 種子培訓版、工程師實作版。
• 依專案成熟度調整：從 6 小時教學原型，延伸 12／18 小時的導入實作與成果驗收。

五、授課限制與注意事項

• 6 小時課程為教學型原型，不代表可直接處理正式機敏資料或符合所有企業資安要求。
• 地端模型不等於完全免費：設備、電力、儲存、安裝維運、網路、安全設備及可能的授權均需個別評估。
• 下載並安裝完成後，特定本地推論作業可以在不連網時進行；但 VPN 遠端連線、外部 API、第三方通訊、雲端模型及某些文件處理元件可能需要網路，亦可能產生資料外送。
• RAG 透過檢索補充模型輸入脈絡，不等於模型已永久學會企業文件；引用功能與回答準確性須個別測試。
• 企業應依內部規範確認第三方產品的使用授權、安裝權、網路及身分存取、資料保護與保留期限。
• 實際時數、授課人數、交通、場地、助教、教材客製化與費用以正式報價為準。