你家公司的 AI,是怎麼用的?
我猜是這樣:買一個最強的模型帳號,然後所有事情都丟給它。會議摘要丟給它、翻譯丟給它、合約審查丟給它,連「幫我把這封 email 改得禮貌一點」這種小事,也丟給它。
這就像為了偶爾煮一頓大餐,買了一台餐廳等級的發電機,然後整條街的用電都靠它。燈泡、電扇、冰箱、電爐,全部用同一條最貴的電。聽起來很浪費,對吧?
但這就是 2026 年多數中小企業的 AI 使用現況。而 NVIDIA 上週公布的測試數據,直接戳破了這件事:在一套叫 NeMo Switchyard 的「模型路由」系統裡,請求會被分流到不同等級的模型,五輪真實測試下來,只有 7% 的請求需要送到最貴的旗艦模型,整體成本卻省下了 74%,準確度只損失約 6 個百分點。
7% 的任務需要旗艦,93% 不需要。你公司現在的 AI 帳單,是不是把 100% 的任務,都算在旗艦頭上?
為什麼現在談這件事特別重要?
因為 AI 採購正式進入「回本檢驗期」。這個月同時發生了三件事。
先說低價時代結束了。8 月 13 日 DeepSeek 正式發布 V4 Pro,定價比自家的平價版 V4 Flash 高出最多 14 倍;8 月 16 日起高峰時段的價格直接漲到四倍以上。從「低價搶市」到「旗艦定價」,中間只隔了幾個月,市場開始願意為品質與可靠性付錢了。
再看巨頭們的動作。NVIDIA 推 NeMo Switchyard,LangChain 用 145 個真實 agent 任務做獨立驗證,結論一模一樣:只有 7% 的請求真的需要旗艦模型。企業 AI 省錢的鑰匙,不是「換更便宜的工具」,而是「更聰明地調度你已經在用的工具」。
還有客製化 AI 的價格。xAI 共同創辦人 Igor Babuschkin 的新公司 River AI,上週拿到 11 億美元融資,NVIDIA 和 AMD 都參投,做的就是「讓企業在自己的資料上快速訓練客製化模型」。當別人都開始蓋自己的專用電廠,你還在用公用旗艦電,成本結構只會越來越吃虧。
一句話:買 AI 正在變成買電力。重點不再是「選哪一家供應商」,而是「你有沒有裝智慧電網」。
從「買發電機」到「接電網」:AI 用電四級
過去企業買 AI,是「買發電機」的思維。挑一台最頂的,一次到位,什麼都靠它。這個思維有兩個致命問題:第一,你為 100% 的任務付旗艦的價格,即使其中 93% 只需要一顆燈泡的電力;第二,你把所有雞蛋放在同一個籃子裡,供應商漲價,你的成本就跟著漲。
智慧電網的思維正好相反:讓對的任務,流向對的電源。我把它拆成「AI 用電四級」,你可以拿這張表直接對照自己的公司:
| 用電等級 | 任務類型 | 適合的模型 | 出錯代價 | 理想成本占比 |
|---|---|---|---|---|
| L1 日常用電 | 摘要、翻譯、改寫、草稿、會議記錄 | 開源小模型(又快又便宜) | 低,錯了重寫就好 | 10% 以下 |
| L2 一般用電 | 資料整理、報表生成、email 往來 | 中階模型 | 中,人工校對即可 | 20-30% |
| L3 高風險用電 | 合約審查、法務、財務分析、對外文件 | 旗艦模型 | 高,出錯代價大 | 40-50% |
| L4 尖峰用電 | 新產品設計、策略研究、技術攻堅 | 最新最強模型 | 創新探索,本來就該投資 | 約 20% |
重點在這裡:真正的成本陷阱,不是「買了貴模型」,而是「用貴模型做便宜事」。會議摘要這種 L1 任務,用旗艦模型跟用開源小模型,員工根本感覺不出差異,帳單上的差距卻是十倍。
NVIDIA 實驗:7% 的旗艦,93% 的節省
我們來看看 NVIDIA 實際怎麼做。NeMo Switchyard 的角色,像一個電力調度中心:每個請求進來先判斷複雜度和風險,簡單任務直接送開源小模型,只有當任務超出小模型能力、或錯誤成本太高時,才「升等」送到旗艦模型。
五輪測試的結果:7% 的請求送旗艦,成本降 74%,準確度只掉 6 分。LangChain 的獨立測試更進一步,145 個真實任務裡同樣只有 7% 的環節真的需要旗艦模型。兩組數據互相印證,不是 NVIDIA 一家之言。
CJ 哥點評: 我在第一線輔導企業,最常看到的不是「AI 不夠強」,而是「AI 太強了」。一台頂規旗艦模型,被拿去做九成的瑣事。省錢不是要你降級,是要你分級。把貴的留給值得貴的事,這不是節儉,是工程紀律。
給技術讀者的對照:模型路由到底是什麼?
如果你家有 IT 或工程團隊,這張表把企業視角翻譯成技術語言:
| 企業視角 | 技術分類 | 代表技術/機制 |
|---|---|---|
| 任務分流器 | LLM Gateway(模型路由閘道) | OpenRouter、LiteLLM、Kong AI Gateway、NVIDIA NeMo Switchyard |
| 智慧升等 | 路由規則+escalation | 依複雜度評分把請求升等送旗艦;Switchyard 只送 7% 給旗艦 |
| 任務分級標準 | 路由策略 | prompt 分類器、模型評分卡、領域白名單、成本預算上限 |
概念其實不複雜:把「選模型」從「人決定」變成「系統決定」。路由閘道會根據任務特性、成本預算、可靠性要求,自動挑最適合的模型,就像智慧電網自動調度電力。你不需要知道電從哪裡來,只要知道燈會亮、帳單合理。
你的下一步:一個下午的「任務分級盤點」
不換供應商、不買新工具,先做一件事:把公司現在所有 AI 使用情境列出來,逐一標上用電等級。一張 Excel 就夠。
- 1列任務:請各部門交出「你平常叫 AI 做什麼」的清單,會議摘要、翻譯、寫 email、做簡報、分析報表、審合約,全部列出來;
- 2分等級:用上面的四級表,把每個任務標成 L1 到 L4;
- 3算帳:把每個任務的「使用頻率 × 模型單價」粗估一遍,你一定會發現,最大宗的 L1 瑣事,正用著最貴的電;
- 4改設定:L1、L2 的任務改用便宜模型,很多免費或幾十塊台幣等級的就夠,L3 以上才動用旗艦;
- 5設上限:把每月 AI 預算拆成「各級用電預算」,超過就檢討。這比事後看總帳單有用十倍。
如果公司規模小、還沒有 IT 團隊,也不用緊張。現在很多平台本身就內建模型路由,我們小賀自己用的 OpenRouter 就是這種服務,你甚至不用寫一行設定,只要養成分級的習慣,就能立刻省錢。
AI 採購的下半場:比的是調度力,不是火力
2026 上半年,企業比的是誰的 AI 火力猛,買最貴的模型、訂最多的工具。下半年,戰場移到誰把算力用得聰明。DeepSeek 漲價、NVIDIA 推路由、River AI 融資,三個訊號指向同一個結論:AI 的價格在跌,但「用 AI 的技術含量」在漲。
中小企業的優勢就在這裡。你沒有幾百人的 IT 部門,但也沒有幾百人的包袱。一張 Excel、一個下午,你就能完成多數大公司半年做不到的任務分級。
你的公司,現在是用一台發電機硬撐整條街,還是已經接上智慧電網了?
如果想知道怎麼把「用電四級」落地到你的公司,歡迎來找小賀聊聊。我們可以免費幫你做一次 AI 使用盤點,看看你的帳單裡,有多少電是白白浪費的。🔌