無需人工干預(yù)，也不依賴預(yù)設(shè)腳本，一個通用GUI智能體正通過自主觀察屏幕、分析局勢、規(guī)劃操作路徑并執(zhí)行點擊，在消消樂游戲中展現(xiàn)出色表現(xiàn)。這種能力并非游戲外掛的專屬，而是源于對屏幕內(nèi)容的深度理解與交互操作——從手機應(yīng)用到網(wǎng)頁瀏覽，其技術(shù)邏輯完全一致。當(dāng)AI能獨立完成消消樂這類需要空間推理與決策的任務(wù)時，距離其替代人類完成日常手機操作還有多遠？這里的“替代”并非簡單執(zhí)行語音指令，而是像人類一樣通過視覺識別界面元素、理解交互邏輯，并逐步完成復(fù)雜任務(wù)。

當(dāng)前GUI智能體研究面臨系統(tǒng)性挑戰(zhàn)：訓(xùn)練、評測與部署三個環(huán)節(jié)長期割裂。模型在仿真環(huán)境中訓(xùn)練后，往往難以無縫遷移至真實設(shè)備；評測標準不統(tǒng)一導(dǎo)致不同框架的結(jié)果難以橫向比較；部署環(huán)節(jié)更需獨立搭建基礎(chǔ)設(shè)施，整體推進成本高昂。針對這一困境，ZJU-REAL團隊推出開源框架ClawGUI，構(gòu)建了覆蓋GUI智能體全生命周期的解決方案。該框架整合了在線強化學(xué)習(xí)訓(xùn)練、標準化評測與真機部署三大模塊，形成端到端驗證的完整流水線：通過ClawGUI-RL進行模型訓(xùn)練，利用ClawGUI-eval開展性能評估，最終借助OpenClaw-GUI實現(xiàn)真實設(shè)備部署。

在訓(xùn)練環(huán)節(jié)，ClawGUI-RL突破傳統(tǒng)方案局限，將基礎(chǔ)設(shè)施拆解為環(huán)境管理、獎勵設(shè)計與策略優(yōu)化三層架構(gòu)。環(huán)境層統(tǒng)一抽象物理手機與Docker虛擬機的接口，訓(xùn)練代碼無需區(qū)分底層設(shè)備類型；獎勵層創(chuàng)新采用二元結(jié)果獎勵與PRM逐步獎勵的混合機制，既在任務(wù)結(jié)束時給出成功/失敗信號，又對每步操作的有效性進行實時評估，有效緩解GUI長序列決策中的獎勵稀疏問題；策略優(yōu)化層支持GRPO、GiGPO等主流算法，提供標準化接口便于研究者靈活切換。實驗數(shù)據(jù)顯示，基于2B參數(shù)的ClawGUI-2B模型在MobileWorld基準測試中取得17.1%的成功率，較基線模型提升54%，性能接近8B參數(shù)的競品。

評測體系的標準化是推動技術(shù)進步的關(guān)鍵。ClawGUI-eval通過“推理-判斷-指標”三階段流水線，將評測復(fù)現(xiàn)率提升至95.8%。該框架覆蓋ScreenSpot-Pro等6大基準測試集，支持Qwen3-VL等11種模型評估。團隊在實踐過程中總結(jié)出關(guān)鍵經(jīng)驗：坐標系混淆會導(dǎo)致準確率歸零，圖文輸入順序差異可能引發(fā)數(shù)個百分點波動，系統(tǒng)提示詞需嚴格對齊官方版本，溫度參數(shù)建議設(shè)為0.0以保證坐標精度。這些發(fā)現(xiàn)已全部開源，為研究者提供可復(fù)用的方法論。

真機部署能力直接決定技術(shù)落地價值。基于nanobot框架構(gòu)建的OpenClaw-GUI，實現(xiàn)了通過自然語言控制真實手機的功能。該系統(tǒng)支持Android、鴻蒙、iOS三大操作系統(tǒng)，可接入飛書、QQ等12個主流聊天平臺。用戶發(fā)送指令后，智能體將自動完成截屏解析、操作規(guī)劃與執(zhí)行全流程。更值得關(guān)注的是，其集成的評測功能允許用戶直接查詢模型性能指標——例如要求“測試qwen3vl在screenspot-pro上的表現(xiàn)”，系統(tǒng)會自動完成環(huán)境檢測、多GPU推理、結(jié)果計算與對比分析。這種CLI與GUI的協(xié)作模式，既發(fā)揮了命令行接口的高效處理能力，又保留了圖形界面的直觀交互優(yōu)勢。

盡管CLI智能體在代碼生成等領(lǐng)域表現(xiàn)突出，但研究團隊認為GUI智能體仍具有不可替代性。首先，圖形界面是移動互聯(lián)網(wǎng)的主要交互入口，外賣、社交等核心場景依賴視覺呈現(xiàn)；其次，大量應(yīng)用缺乏開放API，GUI操作成為唯一接入方式；GUI的“可見性”提供了天然的信任機制——用戶可實時監(jiān)控關(guān)鍵操作，必要時介入干預(yù)。不過，GUI智能體的發(fā)展仍面臨挑戰(zhàn)：真實App的反爬機制、動態(tài)UI變化等問題，對在線強化學(xué)習(xí)的穩(wěn)定性提出更高要求。ClawGUI-RL通過Spare Server輪轉(zhuǎn)機制與周期性重啟策略，為解決這些問題提供了初步方案。

該項目已開源全部代碼，包含可擴展的移動端在線強化學(xué)習(xí)基礎(chǔ)設(shè)施、標準化評測套件與真機部署方案。開發(fā)者可通過GitHub訪問項目倉庫，或通過項目主頁獲取詳細文檔與演示案例。這項研究不僅驗證了GUI智能體的技術(shù)可行性，更為通用人工智能的發(fā)展探索了新的路徑——當(dāng)訓(xùn)練、評測與部署形成閉環(huán)，人機協(xié)作將進入更高效的階段。