為何一位在Google Labs深耕近二十年的產品策略專家，會選擇轉戰以色列新創NeuReality，擔任策略顧問？這不僅是單純的人才流動，更預示著企業級AI推論市場即將迎來關鍵變革，而其核心便在於如何高效、經濟地運行龐大的AI模型，NeuReality的NR-NEXUS AI推論作業系統正試圖解答此題。
現象觀察：AI推論市場的戰略轉向與人才流動
近期科技界最引人注目的消息之一，莫過於前Google Labs產品管理總監Shalini Agarwal於3月23日宣布轉任以色列新創NeuReality的策略顧問。Agarwal女士在科技產業擁有近二十年的產品策略經驗，曾服務於Google Labs及eBay等知名企業，並持有麻省理工學院（MIT）電腦科學、電機工程及管理科學學位，其深厚的資歷無疑為NeuReality帶來了重量級的戰略加持。
這項人事異動，其實反映了AI產業發展的一個關鍵趨勢：隨著AI應用從實驗室走向大規模商業部署，如何優化AI推論（Inference）的效率與成本，已成為企業級市場的兵家必爭之地。根據市場研究機構德勤（Deloitte）的估計，AI推論工作負載在2025年已佔總AI運算量的一半，而今年（指2026年）預計將進一步提升至三分之二。這數據明白指出，未來AI運算的主戰場，將從模型訓練轉向實際應用層面的推論。
原因剖析：NR-NEXUS如何突破企業AI部署瓶頸？
NeuReality最初以設計AI推論的客製化晶片起家，隨後策略性地轉型至軟體開發，並於3月12日發表了NR-NEXUS，這是一款為「AI工廠」量身打造的硬體中立（hardware-agnostic）推論作業系統。你可能會想，硬體中立有什麼重要性？其實，這正是解決當前企業AI部署痛點的關鍵。
NR-NEXUS的核心技術在於解耦預填充（prefill）和解碼（decode）任務，使其能夠跨異質硬體環境運行，包括圖形處理器（GPU）、中央處理器（CPU）和網路介面卡（NIC）。這項創新設計旨在提高昂貴加速器的利用率，有效解決部分閒置問題，進而大幅降低企業運行AI模型的總體成本。Agarwal女士在NeuReality的顧問職位，將主要聚焦於上市策略，協助NR-NEXUS推論作業系統成功開拓企業客戶市場，將其技術優勢轉化為商業成功。
「未來的資料中心將成為『代幣工廠』（token factory）。」
——輝達（NVIDIA）執行長黃仁勳（Jensen Huang）
這句話點出了AI推論在未來資料中心的核心地位，而NeuReality正是看準了這波浪潮。截至目前，NeuReality已成功募得約7,000萬美元資金，其中包含2022年底由三星創投（Samsung Ventures）、OurCrowd和SK海力士（SK Hynix）領投的3,500萬美元A輪募資，以及2024年3月歐洲創新理事會基金（European Innovation Council Fund）與現有投資者共同注資的2,000萬美元，顯示業界對其解決方案寄予厚望。
影響評估：AI推論作業系統的戰略價值
Shalini Agarwal的加入，被視為對那些能夠彌補晶片效能與企業大規模運行AI模型之間鴻溝的公司，投下了一張深具信心的「押注」。這不僅僅是技術層面的挑戰，更是商業模式和市場策略的綜合考驗。
當前，超大規模業者（hyperscalers）正大手筆投資AI基礎設施，例如亞馬遜預計在2026年將投入2,000億美元，而Google的預算則介於1,750億至1,850億美元之間。這些巨額投資彰顯了AI運算能力的戰略重要性。然而，光有強大的硬體還不夠，如何透過軟體層面的創新，讓這些昂貴的硬體發揮最大效益，正是NR-NEXUS這類AI推論作業系統的戰略價值所在。目前已有測試客戶正在運行NR-NEXUS軟體，未來也將支援輝達（NVIDIA）即將推出的Vera Rubin架構，足見其技術前瞻性與市場潛力。
趨勢預測：高效AI推論作業系統的未來展望
展望未來，隨著生成式AI的普及與模型規模的持續擴大，企業對於高效、彈性且具成本效益的AI推論解決方案需求將只增不減。硬體中立的AI推論作業系統，不僅能協助企業避免單一硬體供應商的鎖定，更能靈活調度異質運算資源，以適應不斷變化的工作負載。這代表著，未來軟體定義的AI基礎設施將成為主流，而像NR-NEXUS這樣專注於優化AI推論流程的作業系統，將扮演越來越關鍵的角色。
Shalini Agarwal的加盟，不僅強化了NeuReality的戰略實力，也為企業級AI推論市場樹立了新的里程碑。這場關於AI「工廠」效率的競賽，才正要進入白熱化階段，而那些能提供創新軟體解決方案、有效橋接硬體與應用之間鴻溝的企業，將有望在這波浪潮中脫穎而出。建議企業在佈局AI策略時，應審慎評估相關技術，並諮詢專業人士的意見，以確保投資效益。
