蘋果要讓手機(jī)率先支持AR功能的消息終于被確認(rèn)了。當(dāng)VR、AR被滿世界熱捧時(shí)，蘋果似乎一直無(wú)動(dòng)于衷，即便CEO庫(kù)克多次對(duì)外表示對(duì)AR十分感興趣。實(shí)際上，蘋果一刻也沒有放松對(duì)新技術(shù)的關(guān)注，不管是招兵買馬組建團(tuán)隊(duì)，還是通過(guò)收購(gòu)、申請(qǐng)專利以儲(chǔ)備技術(shù)，一切的一切都為了“萬(wàn)事俱備”。所以，不必著急，驚艷的產(chǎn)品值得我們等待。

iPhone8延期發(fā)布的原因讓我們?cè)俅巫C實(shí)了蘋果對(duì)AR的野心。

蘋果分析師BrianWhite在給投資者一份說(shuō)明中提到，“因3D感知技術(shù)的一些挑戰(zhàn)，5.8英寸iPhone8將會(huì)延遲數(shù)周上市，但能在12月假期之前與大家見面。”其中，他肯定了5.8英寸iPhone8中將采用3D感知技術(shù)和OLED顯示屏，而此前也有消息表示，正是因?yàn)槠聊缓?D技術(shù)前置攝像頭兩者難以完美匹配，造成了iPhone8的延期。

關(guān)于蘋果在做什么樣的AR產(chǎn)品，外界有不少猜測(cè)。直到今年3月份，彭博社的一篇報(bào)道讓我們對(duì)此有更加詳實(shí)的了解。

產(chǎn)品方面，彭博社確認(rèn)蘋果手機(jī)將率先支持AR功能。另一方面，蘋果也正在研發(fā)數(shù)款A(yù)R產(chǎn)品，其中包括數(shù)字眼鏡，可與手機(jī)無(wú)線連接，并為用戶呈現(xiàn)電影、地圖等內(nèi)容。聽起來(lái)有些像以前的谷歌眼鏡，但比起手機(jī)的AR功能，蘋果AR眼鏡等待的時(shí)間要更久。

另外，報(bào)道提到蘋果正在為iPhone研發(fā)的一項(xiàng)功能是，改變所拍照片或是照片中特定物體的景深;另一項(xiàng)功能是，對(duì)照片進(jìn)行摳圖，如可摳出人像的頭部，對(duì)其180度翻轉(zhuǎn)。

這其中可能會(huì)加入AR，生成虛擬特效，類似于Snapchat的效果。為此，iPhone攝像頭將有望依賴于深度感知技術(shù)，并且使用由PrimeSense公司研發(fā)的算法。

或許，蘋果不會(huì)一次性推出所有這些功能，但現(xiàn)在iPhone8證實(shí)將采用3D感知技術(shù)，想必這也是蘋果向AR邁出的一小步。

雷鋒網(wǎng)也從一位業(yè)內(nèi)人士口中得知，蘋果會(huì)在手機(jī)上增加一個(gè)前置深度攝像頭，用以面部識(shí)別和手勢(shì)識(shí)別，而由于功耗問(wèn)題沒有解決，并沒有采用后置。該業(yè)內(nèi)人士表示，“從應(yīng)用的角度，前置攝像頭的象征意義更大一些。”

同時(shí)，回顧過(guò)去蘋果的一些動(dòng)作，雷鋒網(wǎng)發(fā)現(xiàn)，蘋果針對(duì)AR的人才和技術(shù)儲(chǔ)備愈加完善。

人才儲(chǔ)備

MikeRockwell2015年加入蘋果

根據(jù)彭博社引述知情人士的報(bào)道，蘋果已經(jīng)組建了一支研發(fā)團(tuán)隊(duì)，該團(tuán)隊(duì)聚集了各路硬軟件研發(fā)的老兵。而早在2016年1月，雷鋒網(wǎng)曾報(bào)道蘋果當(dāng)時(shí)正在組建一個(gè)數(shù)百名的“秘密研發(fā)團(tuán)隊(duì)”，對(duì)虛擬現(xiàn)實(shí)頭盔等其他技術(shù)進(jìn)行試驗(yàn)。

該團(tuán)隊(duì)由前杜比執(zhí)行副總裁MiKeRockwell負(fù)責(zé)，他曾是杜比的標(biāo)志性人物，擔(dān)任過(guò)AR公司Meta的顧問(wèn)。作為蘋果內(nèi)部AR團(tuán)隊(duì)的負(fù)責(zé)人，Rockwell向DanRiccio報(bào)告工作，而Riccio主要負(fù)責(zé)iPhone和iPad硬件工程團(tuán)隊(duì)的工作。

從去年開始，蘋果陸續(xù)將其他軟硬件部門的人調(diào)往AR團(tuán)隊(duì)，包括曾負(fù)責(zé)蘋果手表設(shè)計(jì)的FletcherRothkopf，創(chuàng)建了THX標(biāo)準(zhǔn)(一種音效標(biāo)準(zhǔn)，)的TomlinsonHolman。

蘋果還請(qǐng)了從3D視頻到可穿戴硬件各方面的人才加入，包括前亞馬遜Lumberyard虛擬現(xiàn)實(shí)平臺(tái)首席工程師CodyWHite，前Meta軟件開發(fā)總監(jiān)DuncanMcRoberts，前Oculus分析師YuryPetrov，以及曾在HoloLens和GoogleEarth工作過(guò)的AviBar-Zeev。

這支團(tuán)隊(duì)中也加入了前維塔視覺特效公司成員，他們?cè)鴧⑴c過(guò)《阿凡達(dá)》、《金剛》等影片的制作。

技術(shù)儲(chǔ)備

這一點(diǎn)主要體現(xiàn)為蘋果收購(gòu)其他公司，以及專利申請(qǐng)。

FaceShift的面部識(shí)別

以下是蘋果從2013年到2016年陸續(xù)收購(gòu)的一系列公司：

·2013年11月收購(gòu)以色列硬件公司PrimeSense

該公司主要為微軟的Xbox游戲機(jī)制造Kinect動(dòng)感捕捉攝像頭。

·2014年12月收購(gòu)臉部視覺識(shí)別公司FaceShift

該公司的技術(shù)能夠利用攝像頭對(duì)用戶臉部圖像進(jìn)行實(shí)時(shí)捕捉，甚至可以生成虛擬的頭像。

·2015年4月收購(gòu)以色列初創(chuàng)公司LinX

LinX創(chuàng)建于2011年，該公司的技術(shù)能夠通過(guò)將數(shù)字圖像分成三個(gè)部分的方式在照片中增加景深。

·2015年5月收購(gòu)德國(guó)AR公司Metaio

該公司主要開發(fā)智能手機(jī)平臺(tái)的增強(qiáng)現(xiàn)實(shí)應(yīng)用軟件，比如其曾經(jīng)開發(fā)一款讓家具視覺化呈現(xiàn)的工具。Metaio曾經(jīng)的CEOThomasAlt目前屬于蘋果戰(zhàn)略交易團(tuán)隊(duì)，決定應(yīng)該投資哪項(xiàng)技術(shù)。

·2016年1月收購(gòu)FlybyMedia。

該公司主要利用空間感知技術(shù)，可以強(qiáng)化人們對(duì)其周圍環(huán)境的了解。

甚至還有消息稱，庫(kù)克曾拜訪過(guò)MagicLeap的辦公司，并表示對(duì)他們AR技術(shù)很感興趣。

“帶有攝像頭的可穿戴信息系統(tǒng)”專利描述圖

同時(shí)，蘋果也沒有放松對(duì)專利的申請(qǐng)，如下：

·2015年5月申請(qǐng)柔性屏幕專利

這是一種在固體發(fā)光像素周圍設(shè)計(jì)許多小孔的屏幕，可將屏幕變得又薄又柔軟，以幫助AR應(yīng)用。通過(guò)像素現(xiàn)實(shí)虛擬圖像，同時(shí)透過(guò)小孔查看屏幕另一邊的現(xiàn)實(shí)圖像。

·2016年7月申請(qǐng)AR顯示使用到的類似光波導(dǎo)技術(shù)

這項(xiàng)技術(shù)是讓圖像從離軸源文件中投射出來(lái)，通過(guò)透明物質(zhì)(護(hù)目鏡或薄片)進(jìn)入視線。

·9月申請(qǐng)AR映射系統(tǒng)

這套AR映射系統(tǒng)能夠利用iPhone的硬件將增強(qiáng)現(xiàn)實(shí)功能疊加到直播視頻上。用戶通過(guò)手機(jī)應(yīng)用可以在一些現(xiàn)實(shí)場(chǎng)景中標(biāo)記數(shù)字信息，比如街道名稱、興趣點(diǎn)等等，并用攝像頭進(jìn)行掃描。

·11月申請(qǐng)AR頭盔專利

這項(xiàng)專利描述的是一種保留移動(dòng)電子設(shè)備屏幕的頭盔式顯示屏儀器，頭盔式屏幕系統(tǒng)以及操作方案可以讓用戶“配對(duì)”或“解除”。

·2017年2月申請(qǐng)帶有攝像頭的可穿戴信息系統(tǒng)

這項(xiàng)技術(shù)可能會(huì)用在一款頭戴顯示器中，而顯示器上搭載的攝像頭可以接收與顯示器相同視角的信息。該系統(tǒng)可下載有趣的內(nèi)容，并用AR展示出來(lái)。

·3月申請(qǐng)專利名為“利用景深加強(qiáng)人臉檢測(cè)”

這項(xiàng)專利是通過(guò)計(jì)算機(jī)視覺系統(tǒng)，利用專門的硬件和軟件進(jìn)行人臉識(shí)別，尤其是已經(jīng)保存到數(shù)據(jù)庫(kù)中的人臉數(shù)據(jù)。

2016年11月，蘋果被爆與LG聯(lián)合開發(fā)3D攝像頭模組，研究如何將自家的3D攝像頭技術(shù)應(yīng)用于LGInnotek生產(chǎn)的智能手機(jī)攝像頭模組。

從上述種種來(lái)看，我們可以確定，蘋果規(guī)劃了兩條AR產(chǎn)品路線，一是讓新迭代的iPhone具有AR功能，二是打造一款A(yù)R眼鏡。

AR手機(jī)的難度在哪?

先來(lái)說(shuō)說(shuō)，AR手機(jī)。要打造這樣一款手機(jī)，到底有什么難度?

此前，雷鋒網(wǎng)采訪三維建模公司積木易撘時(shí)，CTO鄒圣兵曾解釋三維建模掃描的成像原理：

兩臺(tái)工業(yè)相機(jī)和一個(gè)投影儀可組成最小的掃描儀單元。攝像機(jī)得到深度信息，投影儀能投射已知編碼影像，通過(guò)前方交會(huì)計(jì)算得出點(diǎn)云，每幅投影儀得到的點(diǎn)云之間實(shí)時(shí)匹配，再進(jìn)行全局優(yōu)化，實(shí)現(xiàn)表面三維點(diǎn)云重建，點(diǎn)云三角網(wǎng)格化，也就是得到了投影儀投影對(duì)象的三維模型。

“手機(jī)要搭載AR技術(shù)，不只要包含投影儀、攝像頭、還需要鏡子、手機(jī)?！编u圣兵近一步解釋了手機(jī)實(shí)現(xiàn)AR功能的原理。

傳統(tǒng)的AR設(shè)備通過(guò)手柄、眼球跟追、手勢(shì)識(shí)別等，實(shí)現(xiàn)與投影儀交互，讓投影儀投影已知彩色編碼，通過(guò)攝像機(jī)和鏡子拍攝的圖片，計(jì)算出深度信息，然后再將計(jì)算出的深度信息結(jié)合slam算法(建模只是點(diǎn)云信息，不進(jìn)行后續(xù))，與真實(shí)世界進(jìn)行融合、對(duì)齊。接著，在對(duì)齊的虛擬場(chǎng)景中進(jìn)行渲染，渲染出接近真實(shí)場(chǎng)景的效果，這就是AR。

手機(jī)如果集成了投影儀、兩個(gè)攝像頭、一面鏡子，手機(jī)在用戶手中，操作投影儀所對(duì)的方向，投影已知彩色編碼圖像到前方對(duì)象上，產(chǎn)生畸變的彩色編碼圖像被兩個(gè)攝像頭拍攝，拍攝的兩張圖片在手機(jī)處理器進(jìn)行計(jì)算，得到前方對(duì)象的點(diǎn)云信息。鏡子能得到廣角圖像不像攝像頭有景深限制，鏡子得到的廣角圖像，范圍較大，不只是包含了投影儀的投影對(duì)象，也包含前方的場(chǎng)景圖片。

該圖片傳入手機(jī)處理器進(jìn)行計(jì)算，結(jié)合slam算法，計(jì)算出場(chǎng)景的輪廓等信息，再結(jié)合手機(jī)在場(chǎng)景中的相對(duì)位置和視野等信息，這樣就能實(shí)現(xiàn)掃描的點(diǎn)云信息與虛擬場(chǎng)景的融合，在虛擬場(chǎng)景中渲染，得出接近真實(shí)世界的效果。

Phab2Pro的AR效果演示

而當(dāng)前市場(chǎng)上真正推出的AR手機(jī)是Phab2Pro，它是由聯(lián)想和谷歌合作的產(chǎn)品，采用了谷歌ProjectTango技術(shù)，內(nèi)置三顆攝像頭，包括一顆魚眼鏡頭和一顆紅外傳感器，可實(shí)現(xiàn)空間定位。

鄒圣兵表示，“Tango手機(jī)中攝像機(jī)、兩個(gè)攝像頭、一面鏡子和對(duì)應(yīng)的處理器是一個(gè)整體，是由一個(gè)獨(dú)立廠家提供，沒有與手機(jī)主板真正集成，而且由于三維重建需要很強(qiáng)的處理器和較大內(nèi)存，這都不是獨(dú)立模塊能達(dá)到的。

如果蘋果要支持AR，并且直接集成在主板，AR處理與手機(jī)其他處理是一個(gè)處理器，就要觀察蘋果是否完成相關(guān)生態(tài)鏈的收購(gòu)整合。目前來(lái)說(shuō)，還沒見到樣機(jī)，不好評(píng)判?！?/p>

由此可見，蘋果要成功做出一部AR手機(jī)，技術(shù)是一方面，各技術(shù)的集成也十分關(guān)鍵。不久前，蘋果宣布自己將獨(dú)立研發(fā)GPU，可能會(huì)將CPU和GPU更好結(jié)合，從而針對(duì)AR、AI提升移動(dòng)設(shè)備計(jì)算能力。至于iPhone8或是后續(xù)產(chǎn)品是否會(huì)有驚艷的表現(xiàn)，我們可以保持期待。

此外，AR眼鏡方面最具代表性的便是微軟HoloLens，以及Meta。而今年一月有蔡司員工向國(guó)外科技博客作者確認(rèn)，蘋果正與蔡司合作研發(fā)AR眼鏡。

綜上，不得不說(shuō)，蘋果對(duì)AR的野心可不止一點(diǎn)點(diǎn)。當(dāng)然，我們也希望蘋果能讓AR技術(shù)更加成熟，并走向更多的消費(fèi)者。

更多資訊請(qǐng)關(guān)注人機(jī)界面頻道