AI Engineer 路線圖

一句話：從能呼叫 LLM，到做成可靠、可評估、可上線且控成本的 AI 應用——依 11 步逐步推進。

本頁為公開 AI Engineer 路線圖。可搭配 Agentic AI、Dify、Ollama 等站內課程。

11 步路線圖

1. 1LLM Inference（推理）：學會呼叫模型 API 或本地推論（如 Ollama），理解 prompt、溫度、token 與延遲。
2. 2Backend（後端）：用 Python／Node 包一層 API，處理驗證、速率限制、日誌與金鑰，不把金鑰放前端。
3. 3Frontend（前端）：做聊天／結果介面（串流顯示、錯誤狀態、重試），可用 React 等。
4. 4RAG（檢索增強生成）：文件切塊、embedding、向量資料庫檢索再回答，減少幻覺、接地事實。
5. 5Evaluate（評估）：建立測試集與指標（正確性、引用、延遲），用人工抽樣 + 自動評分持續量測品質。
6. 6Tools（工具呼叫）：讓模型呼叫函式／API（搜尋、資料庫、行事曆），定義清楚 schema 與權限。
7. 7Reliability（可靠性）：重試、超時、降級、Guardrail、沙箱與可觀測性，避免單點失敗拖垮服務。
8. 8E2E Test（端到端測試）：模擬真實使用者路徑（登入→提問→工具→回覆），回歸測試防止改壞。
9. 9Deploy（部署）：容器化、環境變數、HTTPS、監控告警；選雲端或自架並做好金鑰管理。
10. 10Load Test（負載測試）：用壓力工具量測並發與限流，找出瓶頸（模型、DB、網路）。
11. 11Optimize Cost & Latency（成本與延遲）：快取、較小模型、批次、路由（簡單題用小模型）、縮短 context，平衡品質與花費。