中階 · 免費公開 · 職業路線圖

Data Engineer 路線圖

免費公開 · 無需登入 · 聯絡 psyche@mail.grokbot.com

一句話：用 Python 與 SQL 打底，再以 Airflow、dbt、Kafka 與雲端倉儲建成可維護的資料管線。

本頁為公開職業路線圖（非教材進度追蹤）。請依下方章節閱讀；實作進度請到對應教材課標記。

路線章節

  1. Python 資料處理
  2. SQL 查詢與建模基礎
  3. Airflow 管線編排
  4. dbt 轉換與測試
  5. Kafka 事件串流
  6. BigQuery／Snowflake 倉儲

1Python

  • 資料處理（pandas）、腳本自動化、API 呼叫與排程腳本。
  • 可搭配站內 Python 入門 打底。

2SQL

  • 查詢、JOIN、聚合、視圖、效能基礎（索引／EXPLAIN）。
  • 建議主力：PostgreSQL 或 BigQuery SQL 方言。

3Airflow

  • DAG 編排、排程、重試、依賴與監控資料管線。
  • 把「可重跑的 ETL／ELT」變成可視化工作流。

Apache Airflow 文件

4dbt

  • 在倉儲內做轉換（ELT）：模型、測試、文件與血緣。
  • 與 Airflow／雲端排程搭配，形成可維護的 analytics engineering。

dbt 文件

5Kafka

  • 事件串流、主題、消費者群組；近即時管線與解耦服務。
  • 先理解概念與本機 demo，再進企業叢集。

Apache Kafka 文件

6雲端資料平台：BigQuery／Snowflake

  • BigQuery：GCP 無伺服器倉儲，SQL + 大規模分析。
  • Snowflake：雲端獨立倉儲，常見於企業 analytics。
  • 擇一深入，再對照另一家的計費與分離計算／儲存概念。

BigQuery 文件 · Snowflake 文件

建議學習順序

  1. Python + SQL 做出可重複的資料清理腳本
  2. 把腳本放進 Airflow DAG
  3. 用 dbt 在倉儲建模與測試
  4. （進階）Kafka 串流 → 倉儲；選 BigQuery 或 Snowflake 上線