HoloDesktop CLI:AI 代理如何突破桌面操作的最後一哩路?

H Company 近期發表了一款新的用戶端工具「HoloDesktop CLI」,旨在讓 AI 代理(AI Agent)能夠直接操作專為人類設計的電腦桌面。過去,AI 代理主要擅長撰寫程式碼、呼叫外部工具等任務,但在處理需要視覺辨識和手動操作的日常工作中,卻顯得力不從心。

H Company 近期發表了一款新的用戶端工具「HoloDesktop CLI」,旨在讓 AI 代理(AI Agent)能夠直接操作專為人類設計的電腦桌面。過去,AI 代理主要擅長撰寫程式碼、呼叫外部工具等任務,但在處理需要視覺辨識和手動操作的日常工作中,卻顯得力不從心。

擺脫 API 限制:AI 代理的新視野

HoloDesktop CLI 是一款專門用於啟動和運行 H Company 的電腦操作型 AI 代理「H Agent」的用戶端程式。H Agent 能夠在整個作業系統中進行滑鼠操作和鍵盤輸入,並確認螢幕畫面。這意味著,即使應用程式本身沒有提供專用的 API,H Agent 也能像人類一樣看著螢幕畫面逐步完成工作。

多方整合:打造高效的開發環境

HoloDesktop CLI 支援多種協議,包括用於連接 AI 代理與外部工具的 MCP 協定、讓主代理將工作委派給子代理的 ACP 協定,以及實現代理之間通訊的 A2A 協定。這些協議使得 HoloDesktop CLI 能夠輕鬆整合到現有的 AI 代理環境中,如「Claude Code」、「Cursor」、「Codex」、「Hermes」、「OpenClaw」和「NemoClaw」等。

舉例來說,當使用 Claude Code 為網頁應用程式開發新功能時,如果只需要修改程式碼,Claude Code 單獨就能完成。然而,若需要實際登入系統、切換頁面並確認篩選器功能是否正常運作,就需要對圖形使用者介面(GUI)進行操作。藉由 HoloDesktop CLI,Claude Code 可以將測試工作移交給 HoloDesktop CLI,後者會在畫面上執行測試並尋找 Bug,一旦發現問題,便回報給 Claude Code 進行修復,修復完成後再由 HoloDesktop CLI 進行二次功能驗證。

兼顧便利與隱私:彈性的推理選擇

HoloDesktop CLI 提供了多種推理運算的方式。如果追求便利和快速,可以直接調用 H Company 的 Models API;如果對隱私有較高的要求,則可以選擇自建代管(Self-host)架構,在自己的硬體設備上執行 Holo3.1 系列模型。在本地端模式下,所有的螢幕截圖、按鍵輸入以及應用程式的內容,都不會被傳送至外部伺服器。

此外,為了確保安全性,HoloDesktop CLI 設計了緊急停機開關(Kill Switch),使用者只需「快速連按兩次 Esc 鍵」,就能立即暫停並取消當前正在執行的所有自動化操作。

從產業面來看,HoloDesktop CLI 的推出,標誌著 AI 代理技術的一個重要進步。過去,AI 代理在處理需要視覺辨識和手動操作的任務時,總是受限於 API 的缺失。如今,HoloDesktop CLI 通過直接操作桌面,不僅提高了工作效率,還拓寬了 AI 代理的應用範圍。對於開發者來說,這是一個值得關注的工具,可以大幅提升開發和測試的效率。

展望未來:更多可能性

H Company 計畫進一步開發背景運行模式,讓 H Agent 能在使用者持續使用筆記型電腦的同時,在背景處理其他工作。此外,公司還打算推出可整合至日常工作流程中的原生應用程式,並提供基於雲端的電腦操作代理,以實現跨多部電腦的協同運作。

如果你是一名開發者,不妨考慮將 HoloDesktop CLI 納入你的工具箱,體驗 AI 代理在桌面操作上的全新能力。這可能會改變你對 AI 代理的看法,並帶來意想不到的效率提升。

本文改寫整理自公開新聞來源,原始報導由T客邦發布。

常見問題 FAQ

HoloDesktop CLI 是什麼?

HoloDesktop CLI 是 H Company 開發的一款用戶端工具,旨在讓 AI 代理能夠直接操作電腦桌面,包括滑鼠操作和鍵盤輸入。

HoloDesktop CLI 支援哪些協議?

HoloDesktop CLI 支援 MCP 協定、ACP 協定和 A2A 協定,這些協議分別用於連接 AI 代理與外部工具、委派任務和實現代理之間的通訊。

HoloDesktop CLI 如何確保安全性?

HoloDesktop CLI 設計了緊急停機開關(Kill Switch),使用者只需「快速連按兩次 Esc 鍵」,就能立即暫停並取消當前正在執行的所有自動化操作。

※ 此篇文章由 AI 改寫或生成,內容僅供參考,可能存在錯誤或不準確之處。