《深入理解 AI Agent》的姊妹篇。從硬體約束與模型架構出發，量化推導 LLM 推理與訓練系統設計。
| 章 | 主題 | 主要問題 |
|---|---|---|
| 1 | 初識 AI Infra | 一次生成需要多少顯存、計算和數據讀寫？ |
| 2 | 模型架構 | 注意力、歷史狀態與專家結構如何改變系統需求？ |
| 3 | 推理與訓練負載 | 任務階段、到達模式和狀態壽命如何影響資源？ |
| 4 | 加速器架構 | 計算、存儲、帶寬、功耗與成本如何取捨？ |
| 5 | 算子與運行時 | 融合、復用、並發如何減少執行開銷？ |
| 6 | 超節點 | 多設備協作如何平衡容量、吞吐和同步？ |
| 7 | 數據中心網絡 | 網絡帶寬與擁塞如何影響計算效率？ |
| 8 | 推理優化 | 批處理、KV 管理、卸載與推測解碼何時有效？ |
| 9 | 分佈式推理 | 如何放置計算和狀態，處理擴縮容與恢復？ |
| 10 | 訓練系統 | 如何安排顯存、通信和重算，讓訓練更高效？ |
| 11 | 資源調度與運行環境 | 模型服務和工具環境如何共享資源？ |
| 12 | 端邊雲協同 | 任務放在本地、邊緣還是雲端？ |
理解 AI Infra 能幫助你：
登入會員後可標記完成並同步至儀表板。