12月以來，豆包手機(jī)助手成為科技圈最為關(guān)注的熱點(diǎn)話題。1日驚艷發(fā)布、2日手機(jī)「一機(jī)難求」、3日微信異常退出後引發(fā)權(quán)限爭(zhēng)議、4日5日陸續(xù)遭第三方產(chǎn)品限制登錄……各路人馬圍繞這款A(yù)I手機(jī)助手的功能、安全性以及其蘊(yùn)含的可能改變現(xiàn)有互聯(lián)網(wǎng)商業(yè)模式的力量爭(zhēng)論不休。
繼12月1日開始至今，已經(jīng)過去了10天。當(dāng)最猛烈的風(fēng)波過後，這款搭載了豆包手機(jī)助手的豆包中興合作工程樣機(jī)nubia M153（以下簡(jiǎn)稱「豆包手機(jī)」）還能否保有其最初宣發(fā)時(shí)的功能？在科技邏輯、安全邏輯與商業(yè)邏輯一周的摩擦碰撞下，豆包手機(jī)目前守住了哪些陣地？其核心的AI手機(jī)助手功能有沒有受到影響？對(duì)此，新京報(bào)貝殼財(cái)經(jīng)記者在這款手機(jī)上，圍繞點(diǎn)外賣、訂機(jī)票、導(dǎo)航等日常場(chǎng)景進(jìn)行實(shí)測(cè)，並邀請(qǐng)專家進(jìn)行了分析。
23款A(yù)pp中8款使用受限，15款仍可通過AI操作
在推出初期，豆包手機(jī)曾展現(xiàn)跨平臺(tái)比價(jià)、發(fā)送微信等功能，但以12月3日有用戶反映微信賬號(hào)異常退出，豆包手機(jī)隨即下線其自動(dòng)操作微信能力這一事件為開端，豆包手機(jī)一頭撞上了App的「風(fēng)控牆」，後續(xù)接連限制了多個(gè)場(chǎng)景的AI能力。甚至有用戶擔(dān)憂，豆包手機(jī)將變成不能用的「板磚」。
對(duì)此，新京報(bào)貝殼財(cái)經(jīng)記者在12月8日以「這是一部新手機(jī)，需要安裝一些日常所需要的App，幫我推薦並下載」為提示詞，一共下載了23款A(yù)pp，涉及社交通訊、生活服務(wù)、購(gòu)物消費(fèi)、辦公學(xué)習(xí)、娛樂休閒五大類。
記者使用豆包手機(jī)實(shí)測(cè)發(fā)現(xiàn)，在這23款A(yù)pp中，淘寶、美團(tuán)、支付寶、拼多多、貓眼5款A(yù)pp直接無法登錄；微信、高德地圖、大麥網(wǎng)3款A(yù)pp可以手動(dòng)登錄但無法通過AI操作；而滴滴、QQ、京東等15款A(yù)pp的使用則完全不受影響，既可以登錄，也可以通過AI操作。具體情況見下表：
23款主流App在「豆包手機(jī)」上的運(yùn)行情況.新京報(bào)貝殼財(cái)經(jīng)根據(jù)12月8日實(shí)測(cè)情況製圖。
貝殼財(cái)經(jīng)記者梳理發(fā)現(xiàn)，上述被限制功能的8款A(yù)pp分別隸屬於騰訊、阿里巴巴、美團(tuán)、拼多多以及光線傳媒五家大廠旗下。此外，根據(jù)豆包手機(jī)助手官方在12月5日發(fā)布的信息，出於金融安全和遊戲公平的考慮，其對(duì)銀行等金融類應(yīng)用以及遊戲場(chǎng)景的應(yīng)用也進(jìn)行了限制。
從上述結(jié)果來看，目前豆包這一「光明頂」已然遭遇了「五大派」圍攻，但也可以發(fā)現(xiàn)，大廠對(duì)豆包手機(jī)的限制也並非「一刀切」，比如騰訊旗下的QQ，阿里旗下的夸克依然可以正常被豆包手機(jī)助手調(diào)取。
那麼，「還能用」的豆包手機(jī)，現(xiàn)在可以帶給用戶怎樣的新體驗(yàn)?zāi)兀?/p>
全新AI助手體驗(yàn)：一句話記住用戶喜好，跳過彈窗和廣告，可後臺(tái)運(yùn)行
新京報(bào)貝殼財(cái)經(jīng)記者通過2天的實(shí)測(cè)發(fā)現(xiàn)，目前豆包手機(jī)所搭載的AI助手能力確實(shí)到了「可以落地」的階段，並且一些功能極具實(shí)用性。
讓記者印象最深的就是，當(dāng)使用豆包手機(jī)助手打開App執(zhí)行任務(wù)時(shí)，其可以精準(zhǔn)識(shí)別並點(diǎn)擊關(guān)閉廣告、找到用戶指定的功能入口。
要知道，當(dāng)前不同App的各式彈窗「防不勝防」，一些彈窗的關(guān)閉手段極其隱蔽，極易誤導(dǎo)用戶。但當(dāng)豆包手機(jī)助手打開這些App時(shí)，它會(huì)針對(duì)不同的彈窗形式採(cǎi)取「點(diǎn)擊關(guān)閉」或「等待彈窗消失」等處理措施。且成功率極高，很少點(diǎn)擊進(jìn)入廣告。
豆包手機(jī)助手執(zhí)行任務(wù)中正在關(guān)閉彈窗。（豆包手機(jī)截圖）
另外，在面對(duì)一些App的引誘式選項(xiàng)時(shí)，它也能清楚分辨，例如記者經(jīng)常使用某OTA平臺(tái)購(gòu)買飛機(jī)票，此類平臺(tái)在購(gòu)買機(jī)票步驟的末尾通常會(huì)通過選項(xiàng)顏色加深等方式「引導(dǎo)」用戶購(gòu)買保險(xiǎn)等附加服務(wù)，而當(dāng)記者本次測(cè)試時(shí)，豆包手機(jī)助手就在這一步進(jìn)行了提示，「清楚明了」地諮詢記者「是否要添加附加服務(wù)」。
豆包手機(jī)助手在購(gòu)買機(jī)票場(chǎng)景時(shí)諮詢記者「是否需要添加附加服務(wù)」。（豆包手機(jī)截圖）
而面對(duì)任務(wù)執(zhí)行中遇到的突發(fā)事件，豆包手機(jī)助手也展示了相當(dāng)程度的靈活性，其可以通過嘗試不同路徑解決問題。當(dāng)記者喚醒豆包手機(jī)助手，要求其導(dǎo)航時(shí)，它首先打開了高德地圖，但遭遇打開限制，便再次打開了百度地圖。而要求豆包手機(jī)助手P圖時(shí)，其首先嘗試了手機(jī)自帶的美顏功能，之後又上小紅書尋找了P圖方法，在上述兩個(gè)方法均失敗後，又登錄了瀏覽器，通過諮詢「哪些App可以P圖」，最後下載了美圖秀秀，直至任務(wù)完成，它共嘗試了4條路徑。
這種靈活性在記者要求其上嗶哩嗶哩對(duì)某UP主的視頻進(jìn)行評(píng)論時(shí)達(dá)到了令人驚嘆的地步：豆包手機(jī)助手按照記者要求登錄嗶哩嗶哩，但在視頻評(píng)論時(shí)發(fā)現(xiàn)記者的賬號(hào)等級(jí)不夠，無法評(píng)論，要評(píng)論就必須得邀請(qǐng)好友或答題。此時(shí)，記者通過手機(jī)助手的「補(bǔ)充」功能添加了指令「幫我答題」。結(jié)果，豆包手機(jī)助手真的開始一題題幫助記者進(jìn)行了答題（每答一題的思考時(shí)間不同），並在8分鐘後回答了60道嗶哩嗶哩「考題」，最終通過了嗶哩嗶哩的測(cè)試，升級(jí)到LV2後發(fā)表了任務(wù)最開始所要求的評(píng)論。
豆包手機(jī)助手在完成嗶哩嗶哩評(píng)論的任務(wù)時(shí)「順便」幫助記者的賬號(hào)通過了答題測(cè)試。（豆包手機(jī)截圖）
最後，面對(duì)用戶的模糊要求，豆包手機(jī)助手也有一定的「主見」，甚至還能通過記憶力幫助用戶進(jìn)行選擇。
例如，記者此前曾通過豆包手機(jī)助手在便簽中輸入了「我想吃豬腳飯」。而之後，記者通過豆包手機(jī)助手下達(dá)指令「幫我訂一份晚飯，點(diǎn)什麼你看著辦，便宜點(diǎn)，離我近的都行」這樣的模糊指令之後，豆包手機(jī)助手的執(zhí)行邏輯顯示為「搜索豬腳飯，篩選便宜近的」。而在京東外賣的頁(yè)面，當(dāng)遭遇起送價(jià)不夠，需要湊單的情況時(shí)，面對(duì)記者下達(dá)的「你看著湊」的指令，選擇了滷蛋和鹵丸子作為推薦的湊單商品，而類似的選項(xiàng)還有滷豆干、紫菜蛋花湯、烤腸、荷包蛋等，這一「選擇」正屬於豆包手機(jī)助手的「主觀」推薦。
豆包手機(jī)助手自動(dòng)幫助用戶在外賣場(chǎng)景進(jìn)行「湊單」。（豆包手機(jī)截圖）
不過，貝殼財(cái)經(jīng)記者在測(cè)試中發(fā)現(xiàn)，豆包手機(jī)助手也存在一定的局限性，在一些複雜任務(wù)中也會(huì)發(fā)生錯(cuò)誤。如其在執(zhí)行「購(gòu)買12月9日天津到北京的高鐵票」這一任務(wù)時(shí)，其執(zhí)行邏輯是首先遍閱當(dāng)日所有車票，但由於當(dāng)日兩地高鐵票數(shù)量過多，該任務(wù)在執(zhí)行數(shù)分鐘後自動(dòng)停止了。此外，在執(zhí)行一個(gè)「打開QQ音樂，播放某歌手傳唱度最高的歌曲」這一任務(wù)時(shí)，豆包手機(jī)助手播放了該歌手歌單列表中第一首歌曲，但該歌曲的瀏覽量和點(diǎn)讚量並非最高。
同時(shí)，豆包手機(jī)助手在12月5日更新後，無法完成一些激勵(lì)場(chǎng)景，如記者要求其「幫忙打開網(wǎng)易雲(yún)音樂並看廣告領(lǐng)取免費(fèi)聽VIP歌曲時(shí)長(zhǎng)」時(shí)，豆包手機(jī)助手回應(yīng)「涉及用戶賬戶和激勵(lì)體系的操作，無法直接為您執(zhí)行」。
「豆包手機(jī)助手的工程化水平很高，完成度很好，是未來智能終端的雛形。不過，對(duì)於需要實(shí)時(shí)響應(yīng)的場(chǎng)景，如攝像頭採(cǎi)集的高清視頻理解等，豆包手機(jī)助手的響應(yīng)速度還不夠?！姑姹谥悄苁紫茖W(xué)家劉知遠(yuǎn)在接受貝殼財(cái)經(jīng)記者採(cǎi)訪時(shí)表示。
豆包手機(jī)助手絲滑運(yùn)行的背後：高系統(tǒng)權(quán)限與閱讀屏幕能力
貝殼財(cái)經(jīng)記者注意到，之所以豆包手機(jī)能夠帶給人「絲滑」的AI手機(jī)助手體驗(yàn)，和該手機(jī)在系統(tǒng)層面就給豆包手機(jī)助手讓渡了INJECT_EVENTS權(quán)限，以及豆包本身的大模型能力都有關(guān)係。
記者在實(shí)測(cè)中發(fā)現(xiàn)，當(dāng)喚醒豆包手機(jī)助手執(zhí)行一個(gè)任務(wù)時(shí)，其會(huì)在接受任務(wù)後默認(rèn)最小化到手機(jī)屏幕正上方，在後臺(tái)執(zhí)行該任務(wù)，這就給了用戶無感的任務(wù)執(zhí)行體驗(yàn)，而這正是通過INJECT_EVENTS權(quán)限才能達(dá)到的效果。
事實(shí)上，AI手機(jī)助手並非豆包首創(chuàng)，華為、小米、榮耀等都有過AI手機(jī)助手的嘗試，並使用INJECT_EVENTS權(quán)限，實(shí)現(xiàn)一些特定場(chǎng)景的操作手機(jī)任務(wù)，例如通過語(yǔ)音指令定鬧鐘、打開某個(gè)App等。第三方App則只能通過無障礙權(quán)限實(shí)現(xiàn)「讀取屏幕+模擬點(diǎn)擊」，如智譜的AutoGLM手機(jī)智能體演示過的發(fā)紅包操作，這種方式會(huì)占用手機(jī)終端的屏幕，用戶無法同時(shí)在手機(jī)上操作其他事項(xiàng)。
對(duì)此，網(wǎng)絡(luò)安全專家曲子龍向記者解釋，無障礙權(quán)限的工作邏輯，完全是模仿用戶的前臺(tái)應(yīng)用操作。手機(jī)智能體若是依附這項(xiàng)應(yīng)用層的權(quán)限，中止無障礙權(quán)限就等同於退出一款應(yīng)用，自然不會(huì)繼續(xù)執(zhí)行任務(wù)。而豆包助手是一個(gè)擁有手機(jī)系統(tǒng)底層權(quán)限的應(yīng)用，所以具備後臺(tái)執(zhí)行任務(wù)的能力。但I(xiàn)NJECT_EVENTS權(quán)限只負(fù)責(zé)模擬用戶指令的操作，「允許後臺(tái)活動(dòng)」需要系統(tǒng)提供其他的權(quán)限才能完成。
技術(shù)上，AI手機(jī)助手的核心邏輯實(shí)際上是「閱讀理解手機(jī)屏幕」的能力。根據(jù)量子位消息，豆包手機(jī)助手的圖形界面操作能力，建立在字節(jié)自研的UI-TARS模型基礎(chǔ)之上，這是一款今年1月字節(jié)Seed團(tuán)隊(duì)與清華聯(lián)手開源的模型。而「豆包手機(jī)」使用的是UI-TARS閉源版本，不僅性能優(yōu)於其開源版本，還針對(duì)Mobile Use進(jìn)行了大量?jī)?yōu)化，這為豆包手機(jī)提供了關(guān)鍵的技術(shù)支撐。
兩套「組合拳」下來，才形成了豆包手機(jī)當(dāng)前所展現(xiàn)出的功能。
不過，上文中所提到的INJECT_EVENTS權(quán)限因其本身屬於「系統(tǒng)簽名權(quán)限」，在12月3日一度成為豆包手機(jī)助手遭遇質(zhì)疑的理由。當(dāng)日晚間，豆包手機(jī)助手官方立即進(jìn)行了闢謠，表示只有用戶主動(dòng)授權(quán)才可以調(diào)用該權(quán)限，「豆包手機(jī)助手不存在任何黑客行為。」
12月9日，一名曾經(jīng)編寫過國(guó)內(nèi)信息安全相關(guān)法規(guī)的專家在復(fù)盤此事件時(shí)告訴貝殼財(cái)經(jīng)記者，豆包手機(jī)相當(dāng)於擁有了一把「萬(wàn)能鑰匙」，因此才能帶來流暢的用戶體驗(yàn)，但可能會(huì)觸及多個(gè)App的風(fēng)控機(jī)制，「不同App的風(fēng)控機(jī)制不一樣，有些安全系數(shù)比較高的，可能會(huì)認(rèn)為一些異常行為不是用戶操作，而是機(jī)器代理操作，判斷為黑灰產(chǎn)的『貓池』，最終限制登錄」。
對(duì)於AI手機(jī)助手可能在執(zhí)行用戶任務(wù)中獲取用戶信息的問題，有聲音認(rèn)為將AI助手的能力限制在本地，採(cǎi)用端側(cè)模型或許是較好的解決之道。
劉知遠(yuǎn)多年從事端側(cè)大模型研發(fā)，對(duì)此，他告訴貝殼財(cái)經(jīng)記者，「豆包手機(jī)助手裏面應(yīng)該也有一個(gè)本地的語(yǔ)音模型，算是比較簡(jiǎn)單的端雲(yún)協(xié)同。未來一定是端雲(yún)協(xié)同共同完成端側(cè)智能的任務(wù)，主要是端雲(yún)如何分工的問題，我覺得大致應(yīng)該是 personalized to professional，即端側(cè)負(fù)責(zé)個(gè)性化，雲(yún)側(cè)負(fù)責(zé)專業(yè)化（如數(shù)學(xué)、代碼等）?！?/p>
電話：（香港）852-2564 0768
（深圳）86-755-83518792 83518734 83518291
地址：香港九龍觀塘道332號(hào)香港商報(bào)大廈
