蘋果要讓手機率先支持AR功能的消息終于被確認了。當VR、AR被滿世界熱捧時,蘋果似乎一直無動于衷,即便CEO庫克多次對外表示對AR十分感興趣。實際上,蘋果一刻也沒有放松對新技術的關注,不管是招兵買馬組建團隊,還是通過收購、申請專利以儲備技術,一切的一切都為了“萬事俱備”。所以,不必著急,驚艷的產品值得我們等待。
iPhone8延期發(fā)布的原因讓我們再次證實了蘋果對AR的野心。
蘋果分析師BrianWhite在給投資者一份說明中提到,“因3D感知技術的一些挑戰(zhàn),5.8英寸iPhone8將會延遲數周上市,但能在12月假期之前與大家見面?!逼渲校隙?.8英寸iPhone8中將采用3D感知技術和OLED顯示屏,而此前也有消息表示,正是因為屏幕和3D技術前置攝像頭兩者難以完美匹配,造成了iPhone8的延期。
關于蘋果在做什么樣的AR產品,外界有不少猜測。直到今年3月份,彭博社的一篇報道讓我們對此有更加詳實的了解。
產品方面,彭博社確認蘋果手機將率先支持AR功能。另一方面,蘋果也正在研發(fā)數款AR產品,其中包括數字眼鏡,可與手機無線連接,并為用戶呈現電影、地圖等內容。聽起來有些像以前的谷歌眼鏡,但比起手機的AR功能,蘋果AR眼鏡等待的時間要更久。
另外,報道提到蘋果正在為iPhone研發(fā)的一項功能是,改變所拍照片或是照片中特定物體的景深;另一項功能是,對照片進行摳圖,如可摳出人像的頭部,對其180度翻轉。
這其中可能會加入AR,生成虛擬特效,類似于Snapchat的效果。為此,iPhone攝像頭將有望依賴于深度感知技術,并且使用由PrimeSense公司研發(fā)的算法。
或許,蘋果不會一次性推出所有這些功能,但現在iPhone8證實將采用3D感知技術,想必這也是蘋果向AR邁出的一小步。
雷鋒網也從一位業(yè)內人士口中得知,蘋果會在手機上增加一個前置深度攝像頭,用以面部識別和手勢識別,而由于功耗問題沒有解決,并沒有采用后置。該業(yè)內人士表示,“從應用的角度,前置攝像頭的象征意義更大一些?!?/p>
同時,回顧過去蘋果的一些動作,雷鋒網發(fā)現,蘋果針對AR的人才和技術儲備愈加完善。
人才儲備
MikeRockwell2015年加入蘋果
根據彭博社引述知情人士的報道,蘋果已經組建了一支研發(fā)團隊,該團隊聚集了各路硬軟件研發(fā)的老兵。而早在2016年1月,雷鋒網曾報道蘋果當時正在組建一個數百名的“秘密研發(fā)團隊”,對虛擬現實頭盔等其他技術進行試驗。
該團隊由前杜比執(zhí)行副總裁MiKeRockwell負責,他曾是杜比的標志性人物,擔任過AR公司Meta的顧問。作為蘋果內部AR團隊的負責人,Rockwell向DanRiccio報告工作,而Riccio主要負責iPhone和iPad硬件工程團隊的工作。
從去年開始,蘋果陸續(xù)將其他軟硬件部門的人調往AR團隊,包括曾負責蘋果手表設計的FletcherRothkopf,創(chuàng)建了THX標準(一種音效標準,)的TomlinsonHolman。
蘋果還請了從3D視頻到可穿戴硬件各方面的人才加入,包括前亞馬遜Lumberyard虛擬現實平臺首席工程師CodyWHite,前Meta軟件開發(fā)總監(jiān)DuncanMcRoberts,前Oculus分析師YuryPetrov,以及曾在HoloLens和GoogleEarth工作過的AviBar-Zeev。
這支團隊中也加入了前維塔視覺特效公司成員,他們曾參與過《阿凡達》、《金剛》等影片的制作。
技術儲備
這一點主要體現為蘋果收購其他公司,以及專利申請。
FaceShift的面部識別
以下是蘋果從2013年到2016年陸續(xù)收購的一系列公司:
·2013年11月收購以色列硬件公司PrimeSense
該公司主要為微軟的Xbox游戲機制造Kinect動感捕捉攝像頭。
·2014年12月收購臉部視覺識別公司FaceShift
該公司的技術能夠利用攝像頭對用戶臉部圖像進行實時捕捉,甚至可以生成虛擬的頭像。
·2015年4月收購以色列初創(chuàng)公司LinX
LinX創(chuàng)建于2011年,該公司的技術能夠通過將數字圖像分成三個部分的方式在照片中增加景深。
·2015年5月收購德國AR公司Metaio
該公司主要開發(fā)智能手機平臺的增強現實應用軟件,比如其曾經開發(fā)一款讓家具視覺化呈現的工具。Metaio曾經的CEOThomasAlt目前屬于蘋果戰(zhàn)略交易團隊,決定應該投資哪項技術。
·2016年1月收購FlybyMedia。
該公司主要利用空間感知技術,可以強化人們對其周圍環(huán)境的了解。
甚至還有消息稱,庫克曾拜訪過MagicLeap的辦公司,并表示對他們AR技術很感興趣。
“帶有攝像頭的可穿戴信息系統(tǒng)”專利描述圖
同時,蘋果也沒有放松對專利的申請,如下:
·2015年5月申請柔性屏幕專利
這是一種在固體發(fā)光像素周圍設計許多小孔的屏幕,可將屏幕變得又薄又柔軟,以幫助AR應用。通過像素現實虛擬圖像,同時透過小孔查看屏幕另一邊的現實圖像。
·2016年7月申請AR顯示使用到的類似光波導技術
這項技術是讓圖像從離軸源文件中投射出來,通過透明物質(護目鏡或薄片)進入視線。
·9月申請AR映射系統(tǒng)
這套AR映射系統(tǒng)能夠利用iPhone的硬件將增強現實功能疊加到直播視頻上。用戶通過手機應用可以在一些現實場景中標記數字信息,比如街道名稱、興趣點等等,并用攝像頭進行掃描。
·11月申請AR頭盔專利
這項專利描述的是一種保留移動電子設備屏幕的頭盔式顯示屏儀器,頭盔式屏幕系統(tǒng)以及操作方案可以讓用戶“配對”或“解除”。
·2017年2月申請帶有攝像頭的可穿戴信息系統(tǒng)
這項技術可能會用在一款頭戴顯示器中,而顯示器上搭載的攝像頭可以接收與顯示器相同視角的信息。該系統(tǒng)可下載有趣的內容,并用AR展示出來。
·3月申請專利名為“利用景深加強人臉檢測”
這項專利是通過計算機視覺系統(tǒng),利用專門的硬件和軟件進行人臉識別,尤其是已經保存到數據庫中的人臉數據。
2016年11月,蘋果被爆與LG聯合開發(fā)3D攝像頭模組,研究如何將自家的3D攝像頭技術應用于LGInnotek生產的智能手機攝像頭模組。
從上述種種來看,我們可以確定,蘋果規(guī)劃了兩條AR產品路線,一是讓新迭代的iPhone具有AR功能,二是打造一款AR眼鏡。
AR手機的難度在哪?
先來說說,AR手機。要打造這樣一款手機,到底有什么難度?
此前,雷鋒網采訪三維建模公司積木易撘時,CTO鄒圣兵曾解釋三維建模掃描的成像原理:
兩臺工業(yè)相機和一個投影儀可組成最小的掃描儀單元。攝像機得到深度信息,投影儀能投射已知編碼影像,通過前方交會計算得出點云,每幅投影儀得到的點云之間實時匹配,再進行全局優(yōu)化,實現表面三維點云重建,點云三角網格化,也就是得到了投影儀投影對象的三維模型。
“手機要搭載AR技術,不只要包含投影儀、攝像頭、還需要鏡子、手機?!编u圣兵近一步解釋了手機實現AR功能的原理。
傳統(tǒng)的AR設備通過手柄、眼球跟追、手勢識別等,實現與投影儀交互,讓投影儀投影已知彩色編碼,通過攝像機和鏡子拍攝的圖片,計算出深度信息,然后再將計算出的深度信息結合slam算法(建模只是點云信息,不進行后續(xù)),與真實世界進行融合、對齊。接著,在對齊的虛擬場景中進行渲染,渲染出接近真實場景的效果,這就是AR。
手機如果集成了投影儀、兩個攝像頭、一面鏡子,手機在用戶手中,操作投影儀所對的方向,投影已知彩色編碼圖像到前方對象上,產生畸變的彩色編碼圖像被兩個攝像頭拍攝,拍攝的兩張圖片在手機處理器進行計算,得到前方對象的點云信息。鏡子能得到廣角圖像不像攝像頭有景深限制,鏡子得到的廣角圖像,范圍較大,不只是包含了投影儀的投影對象,也包含前方的場景圖片。
該圖片傳入手機處理器進行計算,結合slam算法,計算出場景的輪廓等信息,再結合手機在場景中的相對位置和視野等信息,這樣就能實現掃描的點云信息與虛擬場景的融合,在虛擬場景中渲染,得出接近真實世界的效果。
Phab2Pro的AR效果演示
而當前市場上真正推出的AR手機是Phab2Pro,它是由聯想和谷歌合作的產品,采用了谷歌ProjectTango技術,內置三顆攝像頭,包括一顆魚眼鏡頭和一顆紅外傳感器,可實現空間定位。
鄒圣兵表示,“Tango手機中攝像機、兩個攝像頭、一面鏡子和對應的處理器是一個整體,是由一個獨立廠家提供,沒有與手機主板真正集成,而且由于三維重建需要很強的處理器和較大內存,這都不是獨立模塊能達到的。
如果蘋果要支持AR,并且直接集成在主板,AR處理與手機其他處理是一個處理器,就要觀察蘋果是否完成相關生態(tài)鏈的收購整合。目前來說,還沒見到樣機,不好評判。”
由此可見,蘋果要成功做出一部AR手機,技術是一方面,各技術的集成也十分關鍵。不久前,蘋果宣布自己將獨立研發(fā)GPU,可能會將CPU和GPU更好結合,從而針對AR、AI提升移動設備計算能力。至于iPhone8或是后續(xù)產品是否會有驚艷的表現,我們可以保持期待。
此外,AR眼鏡方面最具代表性的便是微軟HoloLens,以及Meta。而今年一月有蔡司員工向國外科技博客作者確認,蘋果正與蔡司合作研發(fā)AR眼鏡。
綜上,不得不說,蘋果對AR的野心可不止一點點。當然,我們也希望蘋果能讓AR技術更加成熟,并走向更多的消費者。
更多資訊請關注人機界面頻道