豆包手機助手發(fā)聲:無法截屏銀行鍵盤等受保護內(nèi)容
12月13日消息,豆包等受有網(wǎng)友稱“豆包手機助手通過READ_FRAME_BUFFER權(quán)限,手機從GPU渲染的助手圖形緩沖區(qū)拿走圖像數(shù)據(jù),不需要走上層的發(fā)聲截圖API。還用了CAPTURE_SECURE_VIDEO_OUTPUT權(quán)限,無法可以獲取銀行安全鍵盤等受保護的截屏鍵盤界面內(nèi)容”。
豆包手機助手官方表示,銀行這是保護對豆包手機助手技術(shù)實現(xiàn)方式的錯誤解讀,豆包手機助手采用的內(nèi)容是原生截屏接口,嚴格遵循應用聲明的豆包等受Secure標記,無法截屏銀行安全鍵盤等聲明受保護的手機界面內(nèi)容。
任何持有豆包手機助手技術(shù)預覽版的助手用戶,都可以自己寫一個帶有受保護頁面的發(fā)聲APK進行測試,讓AI講解頁面內(nèi)容,無法可以驗證AI是截屏鍵盤無法看到的。
網(wǎng)友提到的READ_FRAME_BUFFER權(quán)限,是為了讓AI可以在后臺完成操作,豆包手機助手讓三方應用運行在虛擬屏空間中。
為了獲取虛擬屏中運行的應用截圖內(nèi)容(對應方法WindowManagerService.captureDisplay)提供給豆包大模型推理,所以需要READ_FRAME_BUFFER權(quán)限,但該方法以及權(quán)限無法讀取到包括銀行APP在內(nèi)的任何三方應用設置為Secure的內(nèi)容。
CAPTURE_SECURE_VIDEO_OUTPUT權(quán)限的使用,是因為受保護的頁面在虛擬屏的投影(即點擊靈動島打開的粉色邊緣的應用界面)中會顯示為黑屏,用戶無法查看和操作。
所以需要此權(quán)限將受保護的內(nèi)容正常展示給用戶并能夠被用戶操作,但在投影后,受保護的頁面仍會標記為Secure,僅能被用戶查看,無法被截屏。
豆包手機助手操作手機功能的實現(xiàn)原理是:用戶下達指令-截屏發(fā)送給云端豆包大模型-模型理解后返回具體操作-手機端執(zhí)行操作指令,不斷重復直到完成任務。因此每一步操作后都需要再截圖上傳給云端大模型分析,每步操作間隔約為3秒鐘。
由于分析界面所需的大模型參數(shù)較大,受限于芯片性能暫時無法運行在手機端側(cè),需要截圖上傳云端處理,目前國內(nèi)多家手機廠商具有AI操作能力的助手產(chǎn)品,也是同樣的實現(xiàn)原理,也會使用READ_FRAME_BUFFER等系統(tǒng)權(quán)限。
需要強調(diào)的是,豆包手機助手僅在有用戶指令時才會開始截屏,且無法截屏三方應用Secure標記頁面,上傳至云端大模型的截屏僅用于視覺理解和推理,完成任務后不會存儲在云端。
本文地址:http://www.wcyqks.com/search/%E5%85%AC%E4%BA%A4%E8%BD%A6%E4%B8%8A%E6%95%85%E6%84%8F%E6%8A%8A%E8%A3%99%E5%AD%90%E6%8B%89%E9%AB%98%E9%BB%84%E6%96%87.html
版權(quán)聲明
本文僅代表作者觀點,不代表本站立場。
本文系作者授權(quán)發(fā)表,未經(jīng)許可,不得轉(zhuǎn)載。