新聞中心 /News
愛(ài)游戲平臺Meta探索基于HoloLens 2 + ChatGPT-3的AI生成式AR情景信息助理
愛(ài)游戲平臺Meta探索基于HoloLens 2 + ChatGPT-3的AI生成式AR情景信息助理(映維網(wǎng)Nweon 2023年04月20日)對于追求減肥或學(xué)習一門(mén)新語(yǔ)言等高水平目標(復雜的長(cháng)期目標),人們可能不知道從何入手。另外,每個(gè)追求高水平目標的人士可能會(huì )根據自己的背景而采取不同的方式。
在另一方面,Meta正在積極探索AR眼鏡,并設想了這樣一個(gè)未來(lái):支持全天候穿戴的AR設備將如同今天的智能手機一樣無(wú)處不在。這樣的AR設備可以捕獲關(guān)于用戶(hù)及其情景的信息,并使用所述信息向用戶(hù)推薦相關(guān)行動(dòng)及其目標選擇。
如上圖所示,團隊針對本次研究設計了一個(gè)技術(shù)原型,以探索使用生成式AI在A(yíng)R中為高水平目標提供行動(dòng)建議。例如,當瑜伽墊出現在用戶(hù)視場(chǎng)時(shí),生成式AI可以提供關(guān)于如何進(jìn)行瑜伽練習和指導的建議,從而幫助用戶(hù)更好地完成目標。
所述原型在Unity中實(shí)現,并由微軟HoloLens 2運行。目前愛(ài)游戲ayx,它通過(guò)使用Vuforia引擎檢測基準標記來(lái)追蹤模擬公寓空間中的對象。
原型提出的建議顯示在相關(guān)對象附近的場(chǎng)景中。每個(gè)建議都有一個(gè)行動(dòng)名稱(chēng)(例如“使用瑜伽墊做瑜伽”)和一個(gè)行動(dòng)支持的用戶(hù)目標列表(例如“改善健身”、“改善心理健康”)。在當前原型中,建議是使用GPT-3預先生成,并手動(dòng)添加到原型使用的JSON配置數據庫中。
本次研究共有39名參與者,包括25名女性和14名男性,年齡在19至73歲之間。所有參與者都認為研究中的建議來(lái)自生工智能。但對于研究問(wèn)題(2),團隊希望了解如果參與者認為建議來(lái)自朋友/家人或專(zhuān)家,他們會(huì )如何體驗這些建議。
所以,我們實(shí)現了一個(gè)受試者之間的設計:對于14名參與者,人工智能生成的推薦標記為由參與者的朋友/家人撰寫(xiě)(例如用他們朋友或家人的名字之一標記);對于其他13名參與者,建議標記為專(zhuān)家撰寫(xiě)的(例如持照心理健康顧問(wèn)布朗醫生)。
三組參與者的組成十分平衡,在信任智能推薦的程度、之前使用AR的經(jīng)驗、以及他們的年齡和性別等方面都是如此。
在研究開(kāi)始時(shí),參與者填寫(xiě)了一份簡(jiǎn)短的調查,并從七個(gè)目標中選擇三個(gè)目標,包括改善健身、改善心理健康、與朋友聯(lián)系、學(xué)習一門(mén)新語(yǔ)言和學(xué)習一項新技能等等。所述目標要么是他們積極追求的,要么是他們真正關(guān)心的。
然后,參與者就他們選擇的目標進(jìn)行了簡(jiǎn)短的采訪(fǎng)。在此之后,每個(gè)參與者完成實(shí)驗,使用原型在公寓里走動(dòng),查看建議,并選擇接受三個(gè)建議。對于每一項試驗,原型都顯示了他們三個(gè)選定目標中兩個(gè)目標的不同組合的建議?;顒?dòng)結束后,參與者接受了最后一次調查,以討論使用原型的經(jīng)歷。
洞察1:用戶(hù)重視被動(dòng)的情境行動(dòng)建議(只需付出很少的努力),因為用戶(hù)渴望高度的便利和節省時(shí)間。參與者認為所述建議是被動(dòng)的,他們不需要像通常向專(zhuān)家或朋友尋求建議時(shí)主動(dòng)發(fā)問(wèn)。另外,參與者提到這可以為他們節省時(shí)間。
洞察2:盡管用戶(hù)對人工智能生成的建議持懷疑態(tài)度,但他們重視人工智能的潛力。大多數參與者提到,在心理健康和健身等關(guān)鍵領(lǐng)域,他們更信任專(zhuān)家和他們密切的社會(huì )關(guān)系。另外,參與者覺(jué)得來(lái)自朋友和家人的建議對他們來(lái)說(shuō)比人工智能生成建議更個(gè)性化。然而,參與者重視人工智能的潛力,從而幫助他們發(fā)現更具創(chuàng )造性的行動(dòng)。有參與者提到,他們會(huì )考慮根據密切的社會(huì )關(guān)系或專(zhuān)家的意見(jiàn)來(lái)過(guò)濾人工智能生成的建議。
洞察3:用戶(hù)認為對非熟悉目標的行動(dòng)建議有用,但更有可能采用熟悉的行動(dòng)。參與者傾向于接受他們熟悉的行動(dòng),或者他們預期的不需要付出很大努力或摩擦的行動(dòng)。原因包括熟悉的行動(dòng)只需花費較少的精力和時(shí)間,并且用戶(hù)已經(jīng)知道所述行動(dòng)對他們有效。
?。篣sing Generative AI to Produce Situated Action Recommendations in Augmented Reality for High-level Goals
初步研究表明,參與者重視這種類(lèi)型的建議,但團隊指出,未來(lái)需要探索如何改善人工智能生成的情境行動(dòng)建議體驗。例如,以通過(guò)更多關(guān)于預期努力、時(shí)間承諾和如何執行行動(dòng)的細節來(lái)提供建議。
研究人員計劃進(jìn)一步探索哪些其他信息和交付方式可以幫助用戶(hù)從人工智能生成建議中受益更多,以及計劃探索用戶(hù)如何與底層模型本身進(jìn)行交互,以便對其進(jìn)行定制,從而產(chǎn)生更好的輸出。返回搜狐,查看更多