本文作者 @w1nklerr 拆解他如何用 $2,999 的 NVIDIA DGX Spark 取代每月 $1,900 的雲端 GPU 帳單。首年把約 $22,000 的「外流利潤」留在自己的事業裡。內容涵蓋規格、成本比較、軟體棧、實作指令與適用對象。
（前情提要：Nvidia 輝達 Q1 財報超狂！營收 816 億鎂創紀錄，黃仁勳嗨喊「Agentic AI 時代到來」、股息暴漲 24 倍 ）
（背景補充：Nvidia 黃仁勳：中國市場終將開放美國 AI 晶片）
本文目錄
- 1. 這玩意到底是什麼
- DGX Spark 規格
- 2. 那個讓我火大的部分
- 你在租的東西 vs 月燒額
- 3. 上面跑什麼,為什麼你的程式碼幾乎不用改
- 單台 128GB 能跑什麼
- 4. 架起來短到有點不好意思
- 5. 錢真正出現的地方
- 如果你賣 AI 服務
- 如果你處理任何敏感資料(沈默的殺手級用途)
- 心態的轉變
- 6. 我要對你誠實的部分
- 贏的地方:
- 抓不到的地方:
- 7. 完整工具清單
- 為什麼是現在,不是更晚
幾個月來，沒人告訴我這件事。我現在告訴你，免得你跟我一樣浪費了一整年。讓我從那個讓我火大的數字開始講起。上一季，我的雲端 GPU 支出每個月固定 $1,900。
我接的是 AI 的付費案子：對開源模型做微調、託管一個 70B 助手、批次跑大量文件，那種一般 $2,000 顯卡會直接拒絕的工作，因為模型根本塞不進它的記憶體。
所以我按小時租算力。一週 A100，下一週 H100。某個晚上，看著帳單，我突然意識到：我向客戶收這筆錢做事，然後把其中差不多兩千美元每個月直接匯給一家租機公司。那不是「成本」那是利潤從前門走出去。
幾天後,有人在 Discord 丟了一張照片：一個跟精裝小說一樣大的東西,擺在螢幕旁邊。圖說寫著:「殺了我的雲端帳單,可以在桌上跑 120B 模型,兩個月回本。」
那是一台 DGX Spark。NVIDIA。同樣那個 DGX 徽章——以前指的是要花 25 萬美元、塞在伺服器機房的整櫃機器——現在被摺進一台桌面機。
我那一週就下單。以下是我學到的全部。
1. 這玩意到底是什麼
大部分人聽到「AI 超級電腦」會想到一整排嗡嗡作響的伺服器。NVIDIA 花了整個 2025 年拆掉那幅畫面:他們 1 月在 CES 上以「Project DIGITS」名義預告,3 月 GTC 改名 DGX Spark,10 月真的把它交到買家手裡。Jensen 在台上的開場白就是整篇論述:
被宣傳成地球上最小的 AI 超級電腦,從一般家用插座就能跑 200B 參數的模型。讓我印象最深的那句話是:「AI 將會在每個產業的每個應用裡成為主流。」
剝掉行銷話術,真正的矽片規格如下:
DGX Spark 規格
| 項目 | 規格 |
|---|---|
| 晶片 | NVIDIA GB10 Grace Blackwell Superchip |
| AI 吞吐量 | 1 PFLOP(每秒一千兆次 FP4 運算) |
| CPU | 20 核 ARM(Grace) |
| GPU | Blackwell,規模約等於 RTX 5070 等級核心 |
| 記憶體 | 128GB LPDDR5x,CPU + GPU 共用 |
| 儲存 | 4TB Gen5 NVMe,自動加密 |
| 網路 | ConnectX-7——兩台串接成一台 |
| 耗電 | 滿載約 150–240W |
| 體積 | 150 × 150 × 50mm,1.2kg——一本厚平裝書 |
| 價格 | $2,999(首發價) |
petaflop 那個數字先放一邊。真正改變你人生的規格,是 128GB 的 Unified Memory。
一張 4090 給你 24GB VRAM。5090 給你 32GB。一旦模型比 VRAM 還大,它就是不會載入——CUDA 直接丟 out-of-memory,你又得回去租機。
Spark 給你 128GB,所以它能載入一張 $2,000 顯卡連打開都打不開的模型。一台可以跑到 200B 參數。兩台用內建的 ConnectX-7 串起來,你就在桌上跑 405B 了。
它不是錢能買到最快的盒子。它是真的能裝下「值得跑的模型」的盒子。
2. 那個讓我火大的部分
這是真實的「本地 AI 工作」,每個月在雲端流血的金額:
你在租的東西 vs 月燒額
| 項目 | 月燒額 |
|---|---|
| A100 80GB(兼職開發) | $600–1,200 |
| H100(微調作業) | $1,000–2,500 |
| 託管 70B 推論 | $300–900 |
| 你忘了關的那台 instance | 一個可怕的驚喜 |
| 一個正常的 AI 自由接案/Builder | $1,500–3,000 |
而 Spark 跑同樣工作量:
| 項目 | 成本 |
|---|---|
| 盒子本身(你擁有它) | $2,999 一次 |
| 工時電費,約 200W | 每月 $8–15 |
| 雲端租金 | $0 |
| 穩態月支出 | 約 $10 |
對一個每月雲端 $1,900 習慣的人來說,約 1.6 個月就把整台機器的錢賺回來。
之後,過去每月拿去付給租機公司的那 $1,890,就是我留下的毛利——做的還是我本來就在收費的同一份客戶工作。首年大約有 $22,000,被這台盒子從別人的資料中心,導回我自己的事業裡。
而它從不睡覺、從不限速、桌上的資料也從沒一個 byte 離開過房間。
3. 上面跑什麼,為什麼你的程式碼幾乎不用改
Spark 開機跑的是 DGX OS——NVIDIA 自家的 Ubuntu 版本——並內建完整 AI 棧:CUDA,以及資料中心 DGX 上跑的同一套函式庫。
因為底層是純 CUDA,開源生態系第一天就「直接能用」:Ollama、vLLM、PyTorch、Hugging Face、llama.cpp。
如果你本來就是打 cloud endpoint,遷移就改一行:
# 之前 —— 按小時付錢給租機公司: client = OpenAI(base_url="https://some-gpu-host/v1", api_key="sk-...") # 之後 —— 桌上的盒子,計費器關閉: client = OpenAI( base_url="http://localhost:11434/v1", api_key="local" # 反正會被忽略 )
同一條程式碼路徑、同一份 JSON、同樣的行為。唯一的差別是沒人在收費,也沒有任何資料離開大樓。
單台 128GB 能跑什麼
| 模型 | 大小 | 塞得下嗎 | 適合做什麼 |
|---|---|---|---|
| Llama 3.3 70B | 70B | Full BF16 | 重型助手任務 |
| Qwen 3(大版) | 30–110B | 可以 | 多語、寫程式 |
| DeepSeek-class | 最高 200B | 量化版 | 推理、Agent 迴圈 |
| FLUX.1 | — | 可以 | 圖像生成,本地 |
| 405B(兩台串接) | 405B | 串接 | Frontier 等級,on-prem |
消費級 GPU 大概到一個壓榨過的 30B 就到極限了。Spark 可以用「全精度」跑 70B,還能往 200B 伸過去。那個差距就是擁有一台 Spark 的全部理由。
4. 架起來短到有點不好意思
# 1. 把 Ollama 裝到 Spark 上 curl -fsSL https://ollama.com/install.sh | sh # 2. 拉一個消費級顯卡根本裝不下的模型 ollama pull llama3.3:70b # 3. 開伺服 ollama serve # 你的私人 70B 已上線:http://localhost:11434
想要一個 ChatGPT 風格、完全跑在自己硬體上的網頁介面?一個 container 就好:
docker run -d -p 3000:8080 \ --add-host=host.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ ghcr.io/open-webui/open-webui:main
打開 localhost:3000,你就有一個跑在 frontier 級模型上的私人聊天介面——沒有 key、沒有方案、沒有資料離開這個房間。
5. 錢真正出現的地方
訣竅不是「紙上能省多少」。訣竅是:當一個 70B 模型每次呼叫成本為零,某些東西就不再是「決策」了。
NVIDIA 把早期單位送給 Ollama、OpenAI、SpaceX、大學機器人實驗室與 AI 藝術工作室——但對一個經營事業的人,真正的玩法更單純:
如果你賣 AI 服務
- 一個在客戶整個私有 repo 上跑的私人 coding agent
- 一個全公司都在用的、always-on 內部助手
- 一個「單位成本是電費而不是 API token」的產品——每個客戶都是毛利
- 過夜微調作業,過去每跑一次就是 $400 的雲端收據,現在免費
如果你處理任何敏感資料(沈默的殺手級用途)
- 合約與法務審查
- 病歷
- 財報
- 任何被 NDA 綁住、絕不會貼進公開模型的東西
在 Spark 上,這些資料從不跨網。而且,你完全擁有的機器上,沒有任何 ToS 在管你。
心態的轉變
雲端定價在教你「節省」。你會在讓 agent 跑迴圈之前、重跑整份檔案庫之前、憑直覺微調之前多想兩次。
擁有盒子之後,那個猶豫就消失了——而真正的錢,通常就藏在那個猶豫裡。
6. 我要對你誠實的部分
這不是奇蹟。任何說它「廢掉資料中心」的人都是想賣你東西。
贏的地方:
- 載入消費級 GPU 裝不下的 70B–200B 模型
- 微調與 prototype,零 H100 租金
- Always-on 私人推論,邊際成本基本為零
- Drop-in 取代 cloud endpoint,因為它就講 CUDA
抓不到的地方:
- 純速度——5090 在「裝得進 VRAM 的東西」上更快
- 單台機器在 ~405B 以上會吃力(那是兩台機器的工作)
- 服務上千名同時在線使用者,還是資料中心的地盤
- 前期 $2,999 是一張真支票,即使回本很快
誠實的結論:
如果你每個月已經因為大型開源模型在燒 $1,000+ 雲端 GPU 租金,這是目前 AI 領域回本最快的買賣之一。
如果你只是偶爾跟 7B 聊一聊,一台便宜邊緣裝置或你目前的 GPU 才是聰明的選擇。
根據工作的大小選盒子,不要根據炒作。
7. 完整工具清單
| 類別 | 內容 |
|---|---|
| 硬體 | NVIDIA DGX Spark — $2,999 一次性 OEM:ASUS、Dell、HP、Lenovo、Acer、MSI、GIGABYTE |
| 作業系統 | NVIDIA DGX OS(Ubuntu 為基),預載 完整 NVIDIA AI 棧、CUDA、NIM、NeMo |
| Runtime | Ollama / vLLM / llama.cpp — 免費、開源 |
| UI | Open WebUI — 本地 ChatGPT 風格介面 |
| 模型 | Llama 3.3 70B、Qwen 3、DeepSeek、FLUX.1 都可透過 Hugging Face / Ollama 免費取得 |
| 擴充 | 兩台用 ConnectX-7 串接 → 405B 參數 |
| 耗能 | 每月約 $8–15 電費 |
| 隱私 | 不離開你的網路,完了 |
之後的經常成本:幾塊美元的電費。那就是全部帳單。
為什麼是現在,不是更晚
NVIDIA 把一台 $250,000 的 DGX 縮成桌面機,不是出於慈悲。
他們希望下一波 AI 是建構在他們的晶片上、本地化、由「越多人越好」打造——所以他們把入口價定在 $2,999,還讓 Jensen 親自把單位送到 Musk 與 Altman 手上,把訊息打到底。
現在 Dell、HP、ASUS 與 Lenovo 都在出自己的 GB10 盒子,而軟體層——Ollama、vLLM、CUDA 棧——幾乎每週都在為這顆晶片做調校。
與此同時,雲端 GPU 沒有變便宜,rate limit 越收越緊,而**「我們的資料實際上去了哪裡」變成客戶簽字前一定會問的問題。**
在 2026 年把 AI 工作量拉到自己桌上的盒子的人,到了 2028 年,會看起來遠遠走在曲線前面。
一台平裝書大小的機器。整整一個 petaflop。一個「屬於你而非任何人」的 70B 模型。每月約十塊美元的運作成本——以及每月停止從你的事業流出去的那 $1,900。
這就是整個交換。
我只是希望我早一年就做了這個交換。
📍相關報導📍
NVIDIA 輝達週三重量級財報亮牌！預估 780 億鎂營收將創紀錄
「中國巴菲特」段永平 Q1 首度買進穩定幣第一股 Circle！減持蘋果台積電、狂掃特斯拉與 Nvidia
川普 Q1 買股曝光》7.5 億美元狂掃 NVIDIA 及蘋果，大賣微軟亞馬遜 Meta
