Web 爬蟲基礎（Web Crawler Basics）

⚠️ 法律與倫理（必讀）

• 只爬你有權存取的內容：公開頁且遵守網站條款、robots.txt、版權與個資法。
• 禁止：繞過登入／驗證碼、對未授權目標大量掃描、竊取付費內容或個資。
• 教學請用官方示範站、自己的網站或明確允許爬取的 sandbox。

1. 爬蟲在做什麼？

1. 請求：用 HTTP(S) GET／POST 取得 HTML／JSON／檔案。
2. 解析：從 DOM／選擇器抽出標題、連結、表格等。
3. 發現：跟隨連結擴展 URL 佇列（真正的「爬」）。
4. 儲存：寫入檔案、資料庫或訊息佇列，供分析／RAG／監控。

與「瀏覽器自動化」（如 Playwright／Browser Use）不同：爬蟲多半直接打 HTTP；遇到重 JS 渲染才考慮無頭瀏覽器。

2. 禮貌爬取（Politeness）

• 讀取並遵守 /robots.txt；尊重 Crawl-delay／Disallow。
• 限制並發與請求頻率；設清楚的 User-Agent 與聯絡方式。
• 快取、條件請求（ETag／If-Modified-Since）、錯誤重試要有上限。
• 優先使用官方 API（若有），比刮 HTML 更穩定合法。

3. Python 最小範例（教學用）

先安裝：pip install requests beautifulsoup4。請只對允許的目標練習。

import requests
from bs4 import BeautifulSoup

url = "https://example.com/"  # 換成你有權爬的網址
headers = {"User-Agent": "CyberAI-Academy-Learner/1.0 (+mailto:you@example.com)"}
r = requests.get(url, headers=headers, timeout=20)
r.raise_for_status()
soup = BeautifulSoup(r.text, "html.parser")
print(soup.title.get_text(strip=True) if soup.title else "(no title)")
for a in soup.select("a[href]")[:10]:
    print(a.get("href"), a.get_text(strip=True)[:60])

框架升級路徑

• Beautiful Soup：解析 HTML 入門。
• Scrapy：生產級爬蟲框架（排程、管線、中介層）。
• Playwright／Browser Use：需要執行 JS 或互動時再用。

4. 官方與優質連結