AI Pocket Lab 的推出徹底改變了便攜式 AI 運算

    Categories: News (TW)
AI Pocket Lab - Reprodução/ X

AI Pocket Lab - Reprodução/ X

美國新創公司 Tiiny AI 推出了 AI Pocket Lab,這是一款緊湊型人工智慧超級計算機,可以裝在口袋裡,完全在本地運行具有 1200 億個參數的語言模型。該設備大約有便攜式充電器大小,不依賴網路連接或雲端伺服器來運作。該設備被Guinness World Records認證為能夠離線處理這種規模AI模型的最小迷你PC。

此次發布會在 CES 2026 期間舉行,並立即在 Kickstarter 上引起關注,活動開始後數小時內籌集的資金超過 100 萬美元。該提案因以便攜且經濟實惠的形式提供與傳統超級電腦相當的功能而引起關注。對隱私和低延遲的關注使該產品有別於基於雲端的解決方案。

設備技術規格

AI Pocket Lab 尺寸為 14.2 厘米 x 8 厘米 x 2.53 厘米,重約 300 克。主要硬體包括Armv9.2架構的12核心ARM處理器。該系統配備 80 GB LPDDR5X RAM,其中 48 GB 專用於神經處理單元 (NPU)。

高速 SSD 內部儲存容量達到 1 TB。 CPU 和 NPU 的組合可實現每秒高達 190 兆次操作 (TOPS)。能耗約為 65 W,可長時間使用電池或直接連接到插座。

支援在緊湊型硬體上執行的技術

Tiiny AI 使用多種最佳化在小型裝置上執行大型模型。主要的是 TurboSparse,它只選擇每個特定任務所需的參數。 Outra內建解決方案是PowerInfer,可提高推理過程中的能源效率。

  • TurboSparse 減少記憶體使用並將運算速度提高多達 3 倍
  • PowerInfer 最佳化 CPU 與 NPU 之間的負載分配
  • 對 50 多個開源模型的本機支持,包括 Llama、Qwen 和 GLM 的變體
  • GPT-OSS 120B 以每秒 20 多個令牌的速度流暢執行

這些技術消除了對損害結果品質的激進壓縮的需要。

實際應用和帶給使用者的好處

該裝置透過 USB-C 連接到任何筆記型電腦或 PC,並將裝置變成本地 AI 站。 Profissionais 產生文字、圖像和視頻,無需將資料傳送到遠端伺服器。離線操作保證完全的隱私,對於處理敏感資訊的律師、醫生和研究人員尤其有用。

示範顯示 AI Pocket Lab 在舊電腦上運行重型模型,包括使用超過 14 年的電腦。該設備運作安靜,在長時間負載下不會過度發熱。便攜性使其在旅行或在網路連接有限的地方時可以輕鬆使用。

市場認可度和可用性

Guinness World Records 正式認可 AI Pocket Lab 為最小的便攜式超級計算機,可本地執行超過 1000 億個參數的 LLM。 Tiiny AI 由麻省理工學院校友 Stanford 以及 Intel 和 Meta 等公司的專業人士創立,開發了硬體和優化的軟體。

零售價在 1,399 美元到 1,500 美元之間,具體取決於所選配置。第一批單位將在活動結束後的幾個月內交付給 Kickstarter 支持者。該產品標誌著邊緣運算應用於人工智慧的進步。