AI晶片軍備競賽燒到現在，大家心裡都有個共同的痛點：記憶體頻寬。模型越做越大，光餵資料給處理器就快吃掉大半能耗，更別提那長到不行的上下文視窗。這時候，一家低調的美國新創d-Matrix在Hot Chips大會上丟出震撼彈——他們的推論晶片Raptor，頻寬密度比輝達還沒亮相的Rubin架構直接高出二十倍。這不是什麼誇大的行銷話術，而是用一種「把記憶體疊在邏輯晶片上面」的3D DRAM設計，硬生生繞開了HBM的物理極限。
問題出在哪？HBM遇上瓶頸，AI推論被「餵不飽」拖累
先說清楚一個觀念：AI訓練跟推論，完全是兩碼事。訓練像在練功，慢一點可以忍；推論是上場實戰，每一次用戶提問都在跟時間賽跑。現在的主流做法是綁HBM，但HBM有個天生命短——周邊I/O的功耗太高、密度又上不去。簡單講，處理器算得再快，記憶體來不及倒資料，一切都是白搭。
根據d-Matrix在Hot Chips大會上公布的數據，Raptor透過3D DRAM設計，每傳輸1GB資料的功耗比傳統HBM降低約13.5倍。這數字背後代表的意義是：同樣的機櫃空間，能塞進更多運算力，而且電費帳單不會爆掉。
這就是Raptor切入的甜蜜點。它不是要跟輝達H200或B200正面對決訓練市場，而是鎖定「推論」這塊被低估的戰場。說穿了，當大家都在瘋訓練的時候，真正花錢在跑服務的推論需求，才是細水長流的生意。
Raptor的破局關鍵：3D DRAM加face-to-face bonding，頻寬密度直接跳級
d-Matrix這次用的技術，其實有點像AMD在Ryzen處理器上玩的3D V-Cache堆疊概念，只是他們更激進——直接把邏輯晶片跟最多四層的DRAM用face-to-face bonding黏在一起。電子傳輸距離縮短，I/O能耗自然下降，頻寬表現甚至逼近SRAM的水準。
單卡32GB的記憶體容量，定位剛好卡在SRAM跟HBM之間，不大不小，但重點是可以橫向擴展到機櫃級叢集，最高72張卡串聯，總記憶體頻寬用拍位元（petabytes）在算。這意味著什麼？代表像GLM-5.2或Kimi K3這類大型語言模型，跑起來不但能撐住長上下文，每位使用者每秒還能吃掉將近2,121個tokens——對比Kimi K3的785個tokens，效能差距一目瞭然。
有趣的是，d-Matrix不是唯一看到這個痛點的人。輝達自己也清楚，光靠GPU硬輾已經不夠，所以他們開始把NVLink Fusion技術往外授權，讓第三方客製化XPU也能接上這個高速互連生態系。說白了，老黃在下一盤更大的棋：不只要當GPU之王，還要當「AI工廠」裡面的基礎設施標配。
輝達的反擊：NVLink Fusion開放授權，異質運算時代來了
這步棋其實滿有意思的。輝達向來以封閉生態系著稱，這次卻願意把NVLink高速互連技術放出去給別人用，背後邏輯很務實——未來的AI基礎設施不會只有GPU，而是CPU、GPU、XPU甚至各種專用加速晶片混搭的異質運算環境。與其讓超微的Infinity Fabric或英特爾的UPI把市場分走，不如自己跳下來當「互連標準」的制定者。
話說回來，這對d-Matrix這種新創來說，其實是雙面刃。一方面，NVLink Fusion的開放代表更多系統整合的可能性，Raptor有機會透過NVLink跟其他加速器協同工作；另一方面，輝達如果成功把互連層吃下來，等於在硬體之上又多了一層「軟性綁定」，新創要突圍的難度只會更高。
從產業面來看，d-Matrix這次發表不只是技術展示，更是一記警鐘。AI推論的瓶頸已經從「算不夠快」轉移到「搬不動資料」，誰能在記憶體頻寬密度上取得壓倒性優勢，誰就有機會在下一階段的邊緣AI、雲端推論市場卡到關鍵位置。二十倍這個數字，輝達內部肯定已經在重新盤算Rubin的規格了。
台灣半導體廠商的機會與挑戰：台積電成最大公約數
繞了一大圈，最後還是要回到台灣。無論是d-Matrix的3D DRAM堆疊，還是輝達Rubin的次世代架構，這些設計最終都得靠先進封裝跟晶圓代工實現。台積電的CoWoS、SoIC等封裝技術，幾乎是所有追求記憶體頻寬的晶片設計廠商無法繞過的關卡。
對台灣半導體業者來說，這波AI推論晶片的百花齊放，其實比訓練晶片更值得關注。推論應用量大、市場分散、對成本敏感，這正好是台灣供應鏈最擅長應付的場景。從載板、測試介面到散熱模組，每一個新架構的誕生都代表新的規格需求。
不過挑戰也很具體：3D DRAM這種堆疊設計對散熱跟良率的要求更高，封裝製程的複雜度也非傳統HBM解決方案可比。台積電雖然技術領先，但產能分配永遠是頭痛問題。如果d-Matrix這類新創的量產需求在未來兩年內爆發，台灣的封測供應鏈能不能即時跟上，會是很大的變數。
回到最核心的問題：AI推論市場真的需要這麼極端的頻寬密度嗎？答案是，如果未來每個人都用手機跑百億參數的模型，那絕對需要。Raptor的出現提醒了我們一件事——算力軍備競賽的下一步，不在於時脈多高或電晶體多少，而在於資料怎麼搬、搬多快、搬多省電。
至於輝達的Rubin能否在正式發表時扳回一城？現在談還太早。但可以確定的是，d-Matrix已經成功讓市場相信：這個賽道不是只有一個玩家說了算。
編輯觀點：Raptor的「二十倍」說法當然有條件限制，畢竟輝達Rubin還沒量產，實際效能要等產品到位才能驗證。但這個數字背後傳遞的訊號很清楚——專用化、高密度記憶體架構將成為AI推論晶片的主流設計方向。對投資人來說，與其追高已經被過度討論的訓練晶片概念股，不如開始關注記憶體互連、先進封裝、以及推論專用加速器這三條隱藏支線；對企業用戶而言，如果現有的雲端推論成本已經讓你有感，2026下半年到2027年，將會是重新評估硬體架構的關鍵轉折點。
你的下一步：如果你是AI服務的技術決策者，現在就可以開始盤點現有推論架構的記憶體瓶頸落在哪個環節——是吞吐量不夠？還是每位使用者的token成本太高？d-Matrix的Raptor也好，輝達接下來的Rubin也罷，換架構從來不是一夕之間的事，但提早評估總比被競賽逼著跑來得從容。如果你只是關注科技動態的讀者，這波「記憶體密度大戰」才剛揭幕，未來兩年的Hot Chips大會，保證會比現在更精彩。
本文改寫整理自公開新聞來源，原始報導由Yahoo奇摩新聞發布。
常見問題 FAQ
d-Matrix Raptor跟輝達的AI晶片有什麼不同？
Raptor專注於AI推論（讓模型生成回答），而非訓練模型。它採用3D DRAM堆疊技術解決記憶體頻寬瓶頸，宣稱頻寬密度比輝達未發表的Rubin架構高出二十倍，適合大規模推論部署。
3D DRAM技術對一般企業有什麼好處？
主要好處是每傳輸1GB資料的功耗降低約13.5倍，代表機櫃空間能塞進更多運算力，同時電費大幅下降。對經營AI服務的企業來說，推論成本有機會明顯降低。
輝達開放NVLink Fusion授權會影響新創公司嗎？
既是機會也是挑戰。新創如d-Matrix有機會透過NVLink跟其他加速器協同工作，但輝達也可能藉此在互連層建立「軟性綁定」，讓新創突圍難度提高，未來AI基礎設施將走向異質運算混搭模式。
台灣在半導體產業中扮演什麼角色？
台積電等台灣廠商在先進封裝（如CoWoS、SoIC）技術上領先，幾乎是所有追求記憶體頻寬的AI晶片設計公司無法繞過的關鍵夥伴。推論晶片百花齊放將為台灣供應鏈帶來新商機，但也考驗封測產能與散熱良率。
什麼時候適合評估導入Raptor這類新架構？
2026下半年到2027年將會是關鍵轉折點。如果企業現有的雲端推論成本已經有感，建議現在就開始盤點記憶體瓶頸，提前評估架構轉換的可行性與成本效益。
※ 此篇文章由 AI 改寫或生成，內容僅供參考，可能存在錯誤或不準確之處。
