美國陸軍日前因為生成式 AI 的使用量暴增,被迫重新收緊原宣稱「不限量」的 token 配額。根據軍方內部信件顯示,陸軍戰鬥能力發展司令部(DEVCOM)人員被告知,AI token 消耗速度遠超預期,軍方在 6 月中旬就已經用光了陸軍 CIO 的 token 池。
事實陳述
美國國防部此前高調宣布,旗下近半數、約 350 萬名員工都能使用 AI。陸軍使用的平台名為 Ask Sage,這是一個可以串接多種大型語言模型的多模態生成式 AI 平台,包括 Alphabet Gemini、Meta Llama 與 OpenAI ChatGPT。Ask Sage 不僅能支援陸軍企業級 LLM 工作區,還獲得了可處理受控非機密資訊的認證。
各方反應
陸軍在 5 月宣布 token 「不限量」,每名員工每月至少有 20 萬 token 額度,若提前用完還會自動補充。然而,這種無限制的使用政策很快就導致了問題。有註冊卻不常用 Ask Sage 的人,系統甚至會寄信催促他們多用。陸軍年度企業方案總量為 1 億個 token,單一 token 約等於 3.7 個字元。
匿名軍方人員表示,整個陸軍幾乎為單一單位就燒掉了整年的 token。陸軍與國防部短時間內就把整年配額消耗殆盡,這使得軍方不得不重新考慮 AI 的使用策略。
背景補充
陸軍曾將 Ask Sage 用於重新分類人員職務說明等行政工作,但有員工坦言,實務面不太可靠,甚至出現模型聲稱完成任務卻沒有做到的情況。token 與運算成本已成為各機構擴大應用 AI 的主要瓶頸。陸軍也不得不在推廣 AI 與管控預算之間重新拿捏平衡。
從產業面來看,AI 技術的高速發展確實帶來了許多便利,但其高昂的成本和管理難度也不容忽視。陸軍的案例警示我們,技術的應用需要更加謹慎和精確的規劃,以避免資源的浪費。
這次限縮也突顯了美軍在推動 AI 實用化時面臨的成本與管理壓力。未來,如何在推廣 AI 技術與有效控制預算之間找到平衡,將是軍方需要解決的重要課題。
本文改寫整理自公開新聞來源,原始報導由科技新報發布。
常見問題 FAQ
為什麼美國陸軍會用光全年 AI token 配額?
美國陸軍因為生成式 AI 的使用量暴增,尤其是在 5 月宣布 token 「不限量」後,員工大量使用 AI 平台,導致在 6 月中旬就用光了整年的 token 配額。
Ask Sage 是什麼?
Ask Sage 是一個可以串接多種大型語言模型的多模態生成式 AI 平台,包括 Alphabet Gemini、Meta Llama 與 OpenAI ChatGPT。它支援陸軍企業級 LLM 工作區,並獲得了可處理受控非機密資訊的認證。
美國陸軍如何處理 AI token 的使用問題?
美國陸軍在用光全年 token 配額後,被迫恢復限額,維持目前的使用水位。同時,陸軍也在重新評估 AI 的使用策略,以在推廣 AI 與管控預算之間找到平衡。
※ 此篇文章由 AI 改寫或生成,內容僅供參考,可能存在錯誤或不準確之處。