LLM 詳解｜本機 vs 雲端與部署

一句話：LLM 預測下一個 token；可用雲端 API 或本機模型。

1. 什麼是 LLM？（詳細）

• 定義：大型 Transformer 語言神經網。
• Token：讀寫單位；計費／上下文常用 token。
• 上下文視窗：一次可見的最大 token。
• AI 幻覺／RAG／向量庫。" data-en="Hallucination: fluent but wrong—always verify critical facts. See Hallucinations / RAG / Vector DBs." data-i18n-html="1">幻覺：流暢但不一定對，要核對。
• vs Agent：LLM 偏問答；Agent 會用工具多步執行。

2. 如何運作（簡圖）

圖：提示→Token→模型→文字

• 預訓練→指令微調／RLHF→安全對齊。
• 推理＝逐 token 生成。

3. 本機 LLM vs 雲端 LLM（差異對照）

圖：本機推理 vs 雲端 API

4. 本機部署步驟（雙語）

以 Ollama 為例（詳見 Ollama 課）。

1. 檢查硬體
2. 安裝 Ollama
3. 拉模型
4. 對話測試
5. 接本機 API
6. 進階伺服器

# 範例／Example
ollama pull qwen2.5:7b
ollama run qwen2.5:7b
# API: POST http://localhost:11434/api/generate

5. 雲端部署／接 API 步驟（雙語）

雲端＝呼叫 API，或部署你的 App 再呼叫 LLM。

A. 只接雲端 LLM API

1. 選供應商＋註冊
2. 建立 API Key
3. 選模型
4. 寫最小請求
5. 加護欄

B. 把你的 LLM 應用部署上雲

1. 本地跑通
2. 程式進 Git
3. 選主機
4. 設定機密
5. 部署＋健康檢查
6. 網域與 HTTPS

# 概念：後端持有 key，前端不暴露
# Backend holds the key; frontend never sees it
export OPENAI_API_KEY=sk-...
# deploy: git push → Pages/Vercel/Fly/Docker

6. 怎麼選本機或雲端？

• 本機：敏感／離線／控成本／學推理。
• 雲端：最強／快原型／無 GPU。
• 混用：開發雲端、敏感走本機。

7. 官方／教學連結