谷歌于2017年夏天推出了安卓版MotionStills,為一大批安卓手機(jī)帶來了優(yōu)秀的視頻捕捉與觀影體驗(yàn)。谷歌隨后進(jìn)一步優(yōu)化了MotionStills,使其能夠支持Pixel2中最新的運(yùn)動(dòng)圖片功能。
谷歌AR新研究:只需陀螺儀的即時(shí)運(yùn)動(dòng)追蹤
2月7日,谷歌正式為安卓版MotionStills帶來了AR模式。借助這一最新的AR模式,用戶只需輕觸取景器即可在靜態(tài)或移動(dòng)水平表面(例如桌子和地板等等)上放置有趣的虛擬3D對象放置有趣的虛擬3D對象,使其能夠與動(dòng)態(tài)的真實(shí)世界環(huán)境無縫對接。你同時(shí)可以錄制并分享為GIF和視頻格式。
AR模式由即時(shí)運(yùn)動(dòng)追蹤,一個(gè)基于驅(qū)動(dòng)MotionStillsiOS中MotionText的技術(shù)的6自由度追蹤系統(tǒng),以及YouTube上的隱私模糊提供支持,可以精確追蹤靜態(tài)對象和移動(dòng)對象。谷歌已經(jīng)對這項(xiàng)技術(shù)進(jìn)行了優(yōu)化與增強(qiáng),從而幫助任何搭載陀螺儀的安卓設(shè)備運(yùn)行有趣的AR體驗(yàn)。
當(dāng)你輕觸取景器時(shí),MotionStillsAR會(huì)把3D虛擬物體“粘到”相應(yīng)位置,使其看起來像是真實(shí)世界場景的一部分。通過假定追蹤表面平行于地平面,并且通過設(shè)備的加速度計(jì)傳感器來提供智能手機(jī)相對于地平面的初始定向,系統(tǒng)可以追蹤相機(jī)的6個(gè)自由度。這可以幫助我們準(zhǔn)確地變換和渲染場景中的虛擬對象。
當(dāng)智能手機(jī)大致平穩(wěn)時(shí),加速度計(jì)傳感器會(huì)提供因地球重力而產(chǎn)生的加速度。對于水平面來說,重力矢量平行于追蹤平面的法線,并且可以精確地提供智能手機(jī)的初始定向。
谷歌表示:“即時(shí)運(yùn)動(dòng)追蹤的核心理念是分離相機(jī)的平移估計(jì)和旋轉(zhuǎn)估計(jì),并將兩者視為獨(dú)立的優(yōu)化問題。首先,我們只根據(jù)相機(jī)的視覺信號來確定3D相機(jī)的平移。為此,我們觀察目標(biāo)區(qū)域的明顯2D平移和跨幀的相對比例。一個(gè)簡單的針孔攝像頭模型可以把圖像平面中方框的平移和縮放與相機(jī)的最終3D平移相關(guān)聯(lián)。
谷歌表示,系統(tǒng)可以通過圖像平面中方框的平移和大小(相對比例)變化來確定兩個(gè)相機(jī)位置(C1和C2)之間的3D平移。但由于相機(jī)模型并不假定相機(jī)透鏡的焦距,我們無法知曉追蹤平面的真實(shí)距離/深度。
為了解決這個(gè)問題,谷歌為現(xiàn)有的追蹤器(用于MotionText的追蹤器)增加了比例估計(jì),并在相機(jī)的視場之外追加了區(qū)域追蹤。當(dāng)靠近追蹤表面時(shí),虛擬內(nèi)容可以精確地縮放,而這與真實(shí)世界對象的感知一致。當(dāng)你在目標(biāo)區(qū)域的視場之外平移時(shí),虛擬對象將重新出現(xiàn)在大致相同的位置。
在這之后,系統(tǒng)將通過智能手機(jī)的內(nèi)置陀螺儀來獲取設(shè)備的3D旋轉(zhuǎn)(縱搖,橫搖和艏搖)。結(jié)合估計(jì)的3D平移與3D旋轉(zhuǎn)使得系統(tǒng)能夠在取景器中正確渲染虛擬內(nèi)容。由于系統(tǒng)單獨(dú)處理旋轉(zhuǎn)和平臺,谷歌的即時(shí)運(yùn)動(dòng)追蹤方法不需要校準(zhǔn),可以支持任何搭配陀螺儀的安卓設(shè)備。
谷歌表示,他們十分興奮為安卓設(shè)備上的MotionStills帶來這一最新的模式,并且希望用戶會(huì)喜歡。