Edge AI：為什麼要把模型塞進手機裡？

趨勢不可逆

Apple Intelligence、Gemini Nano、Qualcomm AI Engine——大廠全部押注端側 AI。為什麼？

三大驅動力

1. 隱私：資料不上雲，用戶更信任
2. 延遲：端側推理 < 10ms vs 雲端推理 200-500ms
3. 離線可用：飛機上、地下室、偏遠地區都能用

技術代價

• 模型必須壓縮：INT4 量化、pruning、knowledge distillation
• 功能必然受限：手機上的 3B 模型不可能打贏雲端的 405B
• 場景必須適合：打字建議、照片分類、即時翻譯——這些才是 edge AI 的甜蜜點

我的判斷

Edge AI 不是要取代雲端 AI，而是做第一層過濾：簡單任務本地處理，複雜任務才丟上雲。這就是 hybrid AI 的未來。

你覺得手機上的 AI 能做到什麼讓你驚豔的事？