AI 摘要

TPU 8tx 與 8i Max 分別處理資料保護和長上下文的記憶體需求。企業選型時,可以先確認自己的工作究竟卡在運算、資料搬運,還是存取條件。

同一代 TPU 的兩種新配置

Google 擴充第八代 TPU 系列,以 8tx 面向機密運算,以 8i Max 處理長上下文和記憶體需求,延續 8t 偏重訓練、8i 偏重低延遲推理的分工。

這樣的產品安排提醒了一件事。同樣是在跑 AI,訓練、即時回答、長文件分析和私有資料處理,對系統的要求可以差很多。談硬體規格之前,先把工作拆開看,才知道增加運算能力能解決哪一段等待。

8tx 把保護範圍帶進運算期間

8tx 採用 8t 晶片與第五代 AMD EPYC 主機,保護運算中的資料和模型權重,也可在同一系統執行推論、微調、蒸餾與強化學習。

從企業資料管理的角度看,這提供了一種硬體層的選擇。但選了這套設備之後,仍要知道誰能讀取原始文件、紀錄會保存多久、哪些內容會出現在回覆裡。硬體保護和應用程式的權限設定,處理的是同一份資料在不同階段的問題。

8i Max 處理的是記憶體供應

8i Max 將兩顆 8i 整合於同一封裝。Google 表示,運算能力、SRAM 和 HBM 頻寬均加倍,目標包含大型程式庫、長影片與多代理工作。

如果工作需要反覆讀取大量內容,資料送不進處理器,等待就會出現在記憶體與傳輸這一段。因此,看到規格加倍時,可以接著問實際工作會不會用到這部分能力。短問答服務和整套文件分析,未必需要相同配置。

軟體與叢集管理也在更新

配套涵蓋 TorchTPU、PyTorch 與推論引擎支援,另有代理診斷調校、閒置工作暫停、TPU Sync、Cloud Pathways 和 GKE 動態切片等工具。

如果要把這則新聞帶進採購討論,我會先準備一批代表性工作,記下每次資料量、同時執行數和可接受的等待時間。接著再看目前程式能否遷移、誰負責維護、忙閒時段如何調度。這些條件會影響設備到底能用到多少,也會影響導入之後團隊要接下多少工作。

原文連結Google 官方原文