豆包工作近期升級咗電腦操作能力,聲稱屏幕點擊嘅精度同速度都有提升。用户喺對話直接話要點操作電腦,經授權之後,豆包工作就幫手睇屏幕、模擬人手用鼠標同鍵盤去操作相關軟件。今次新添兩件嘢:可以將電腦操作錄製成可重用技能,而需要操作電腦嘅任務,喺 Mac 鎖屏之後都可以繼續執行,用户仲可以喺手機上下任務、睇結果。

錄操作,存成技能

喺對話介面「更多技能」入面,揀「錄製操作生成技能」,完成授權之後,就可以照正常做法操作電腦,同時用語音補充要求。官方舉例:整理檔案嗰陣,可以講「只整理呢個資料夾,檔案按日期命名」,將操作範圍同命名規則一次交代清楚。錄製期間,豆包工作會記錄鼠標點擊、輸入文字同視窗內容,用户隨時可以取消;官方特別提醒,使用時要避免展示帳號密碼等敏感資訊。

錄製完成後,豆包工作會將操作流程同講解整理成個人技能。下次做同一類任務,揀對應技能再交代今次嘅對象同要求就得,唔使再重複解釋步驟。即係將多步操作、臨時條件同處理習慣,由一次演示沉澱為可調用嘅技能。

豆包工作新本事:操作錄成技能、鎖屏後照樣幹活 圖片:N509FZ/CC BY-SA 4.0/Wikimedia Commons

鎖屏後,手機遙控

任務執行方面,用户可以喺「設定→工作任務模式設定」開啟「允許豆包喺鎖屏時工作」。開啟並授權後,豆包工作可以喺 Mac 鎖屏時繼續執行需要操作電腦嘅任務。用户離開電腦,可以喺手機向呢部鎖緊嘅 Mac 下任務、睇返轉結果;返到電腦前解鎖,隨時可以接管。

要留意嘅限制:Mac 必須保持開機、聯網,豆包客户端持續運行,設備保持喚醒。

阿調搞兩下

阿調搞兩下:「錄操作生成技能」呢個思路,其實就係將人工演示沉澱為可調用流程,呢個方向值得留意。但要講清楚:呢次係廠商官方公告,本站未實測。鎖屏後執行 + 手機遙控呢個組合,權限、安全邊界、責任歸屬仲係最關鍵嘅問題——你畀 AI 喺你離座嘅電腦上繼續操作,出錯邊個執手尾?