在AI發展步入深水區的當下，盲目追求萬億參數的大模型已非唯一解。本文源自日常學習第813天的開發實作記錄，深入探討Google AI Edge團隊如何利用僅有2.7億參數的「侏儒模型」Function Gemma，在端側實現高達90%的函式呼叫成功率。這項技術突破不僅解決了雲端運算的高延遲與高成本問題，更為邊緣運算與終端AI應用開闢了全新路徑。

本文重點快速看

  • 模型規模並非決定性能的唯一標準，微型模型在特定任務上同樣能展現強大實力。
  • Google AI Edge 團隊透過合成數據微調，將 Function Gemma 的函式呼叫成功率從 46% 提升至 90% 以上。
  • 在舊款 Pixel 7 手機上，該模型能達到每秒處理 2,000 個 Token 的驚人速度。
  • 這項實驗預示著終端 AI 正在崛起，未來許多 App 將能擺脫對雲端大模型的依賴。

為什麼大模型時代正在崩解？微型模型的崛起背景

隨著雲端運算成本激增與隱私限制，業界正從盲目追求萬億參數轉向專注於特定任務、低延遲且能於端側運行的微型模型。

過去兩年，AI 產業普遍認為「模型越大越好」，例如擁有 1.8 兆參數的 GPT-4。然而，這種模式帶來了巨大的算力消耗與網路延遲。Google AI Edge 團隊的 Cormac Brick 透過實驗證明，針對特定任務進行優化的微型模型，同樣能提供媲美雲端巨人的表現。

Function Gemma 如何透過合成數據微調實現 90% 成功率？

透過高質量的合成數據進行微調，Function Gemma 成功克服了初始僅 46% 的低成功率，最終將函式呼叫準確度拉高至九成以上。

在實驗初期，2.7 億參數的 Function Gemma 執行函式呼叫（Function Calling）的成功率僅有慘不忍睹的 46%。然而，研發團隊並未放棄，而是導入了針對性的合成數據進行微調（Fine-tuning）。這種方法證明了「數據質量高於模型規模」的工程真理，讓侏儒模型也能精準執行複雜指令。

端側運行的效能對決：微型模型與雲端巨人的權衡

微型模型在端側運行擁有極佳的延遲表現與隱私保護，但在通用理解與複雜推理任務上仍不及雲端大模型。

為了更直觀地理解兩者的差異，我們可以從運行位置、速度與適用場景來進行對比：

微型模型與雲端大模型效能與場景對比
評估維度 2.7億參數微型模型 (如 Function Gemma) 萬億參數雲端大模型 (如 GPT-4)
運行位置 手機、物聯網等終端設備 (Edge) 雲端伺服器集群 (Cloud)
運行速度 極快 (Pixel 7 上約 2,000 Token/s) 受限於網路延遲與伺服器負載
主要優勢 低成本、零網路依賴、隱私安全 強大的通用推理與跨領域知識
適用場景 單一高頻任務 (如函式呼叫、本地控制) 複雜文本生成、多步驟邏輯推理

常見問題 FAQ

問：什麼是函式呼叫（Function Calling）？
答：它是指模型將自然語言轉化為結構化代碼（如 JSON），以便調用外部 API 的能力。這對於自動化 Agent 與工具集成至關重要。

問：2.7 億參數的模型真的夠用嗎？
答：在特定、單一的任務（如執行指令或調用特定 API）中完全夠用，但在需要廣泛常識或複雜創作的場景下則顯得不足。

問：為什麼合成數據微調如此關鍵？
答：因為高質量的合成數據能為微型模型提供精準的訓練樣本，彌補其因參數有限而缺乏的泛化能力，實現「小而精」的效果。

問：舊款手機也能流暢運行這樣的 AI 模型嗎？
答：可以，實驗顯示在舊款 Pixel 7 手機上，該模型每秒能處理高達 2,000 個 Token，這意味著日常應用能實現近乎即時的響應。

微型模型帶來的工程啟示

這次的學習記錄讓我深刻體會到，未來的 AI 應用不會是單一巨大模型統治的世界，而是「雲端大模型負責複雜決策，端側微型模型負責快速執行」的協同生態。作為開發者，掌握如何利用合成數據微調小模型，將是降低產品營運成本、提升用戶體驗的關鍵技能。

延伸參考資料