如何讓遠在千里的朋友來你家下棋？
沒錯，是你住的家中，而不是你和朋友在手機上連線下棋或者同時處於某個完全虛幻的場景中。
前不久，扎克伯格披露其高端頭顯產品，內部代號為Project Cambria的VR頭顯即將實現這一場景。
Project Cambria將會給圖片內的灰色全部「復原」色彩，讓你一時間很難分辨出哪些是虛擬物體，哪些是原有物品。而這背後離不開一項重要的技術——全彩透視（full-color passthrough）。
扎克伯格曾在其最新的財報會議上提到全彩透視技術將是Project Cambria最大的特點之一。
全彩透視技術屬於視頻透視技術（Video-seethrough）的一個分支，也就是通過相機捕捉到實時畫面，將虛擬世界和真實世界合成後，呈現豐富色彩的顯示畫面。
就像圖片中的吉他和花架，通過全彩透視技術巧妙地和其他物品融為一體。
5月13日，美國專利商標局公布了一項蘋果專利，指出一種用於頭顯的多透鏡組合方案，可實現視頻透視功能。再結合近期外媒The information的爆料信息，不少人士推斷蘋果的MR頭顯很有可能採用的也是全彩透視技術。
▲Meta的Quest2所呈現的黑白透視
▲通過全彩透視技術呈現的畫面
此外，一些初創企業也在瞄準全彩透視技術的相關特性。VR頭顯公司Valve近期宣布與3D傳感技術公司Occipital的Arcturus Industries團隊合作，為VR設備提供全彩色透視模式。
為何全彩透視技術能成為Meta頭顯的突破口？Meta在全彩透視技術方面做了哪些工作？全彩透視技術又將對VR/AR行業帶來哪些影響？我們與多位產業人士交流後，嘗試找到問題的答案。
一、給元宇宙「上色」，全彩透視分四步走
透視是指看到現實世界。目前的VR設備打造的是一個完全虛擬的環境，不會與現實世界產生互動，但是通過透視用戶就可以同時看到現實世界和數字世界。
而目前的透視方案分成兩大類，光學透視和視頻透視。
光學透視的顯示方案是通過特殊的透鏡設計將數字畫面投射到半透明的顯示裝置。而視頻透視的顯示方案則是通過相機實時捕捉畫面，再和虛擬世界本該呈現的畫面融合，最終呈現在顯示屏幕上。
▲光學透視（OST）和視頻透視（VST）兩種不同的光學路徑示意圖
由於光學透視的光路設計複雜，顯示的畫面視角有限，並且由於光線原因無法顯示純黑的畫面，以及光學零部件成本造價較高，因此VR設備的廠商們往往選擇已經較為成熟的視頻透視方案。
回憶一下，當你戴上VR頭顯，需要建立安全區域的時，是不是也能同時看到自己的房間。並且你還可以用VR手柄在房間裡圈定一定的安全區域。
這時候，你眼中看到的現實場景和虛擬世界融合的場景正是通過視頻透視技術實現的。
儘管多數VR設備已經搭載了透視技術，但基於目前VR設備上搭載的RGB攝影頭以及產品設計等因素，現有的VR設備上支持的多數為黑白透視。
據行業人士透露，黑白透視只需要利用空間定位攝影頭以及一些簡單的算法，就可以實現不錯的透視效果。
▲黑白透視場景
但要做到全彩透視，儘管只是簡單的「上色」一步，其背後則又需要考慮多個技術的融合。
目前，全彩透視主要可以分為四步：透視、空間錨點（放置AR物體）、三維重建、環境理解及對象識別。
值得注意的是，與AR設備顯示的畫面不同，全彩透視技術看到的現實世界，並非是通過人眼直接看到真實世界，事實上，人的眼睛看到的是機器拍攝現實世界場景，並經過處理之後投射在顯示屏上的畫面。
[page]二、從黑白到全彩，全彩透視需突破三大技術難點
從黑白透視到全彩透視究竟有多難？
經過梳理，我們發現要實現全彩透視技術需要突破三大技術難點。
首先是硬體升級。影創科技創始人孫立認為從硬體上來看，從黑白透視到全彩透視可能會涉及到攝影頭的升級，廠商們可能會將VR設備上的RGB的攝影頭進行升級，甚至部分設備會配備深度傳感器，以實現更高精度、色彩豐富的畫面效果。
此前業內也有傳聞證實這一點。據悉，相較於Quest2，Project Cambria搭載了解析度比Quest2高三倍、專門設計用於彩色透視的深度傳感器和攝影頭，其能夠實現以假亂真的混合現實體驗。
▲全彩透視場景
其次在算法上也提高了一定的要求。由於全彩透視對解析度、色彩的還原度和準確性要求較高，物體的位置和物體的大小範圍一一對應，因此往往需要一套接近實時重構的算法。這提高了對算法和算力的要求，也對頭顯自身處理計算的能力有了更高的要求。
因此，頭顯的成本價格就可能翻倍增長，甚至是成倍增長。據悉，Meta Project Cambria的價格上漲到800美元，蘋果的MR頭顯定價或將達到3000美元。
二、廠商為何攻向全彩透視方案？
為何諸多頭顯廠商紛紛卯足勁攻克該方向呢？我們可以簡單的從Meta透露的信息中一觀全彩透視的好處。
首先，是用戶活動的場景變大。用戶不再受限於狹小的安全區範圍內，可以自由地在房間內選擇活動空間，甚至這次你的天花板也可以成為你的新「畫板」。
據5月25日官方信息披露，Quest2房間設置新增實驗性功能，用戶可以標記家中物體表面，勾勒出牆壁和內部物體的大致範圍，將你的「家具」、「牆壁」等搬入「元宇宙」。該功能尚處於測試階段，將在v40更新版本中正式運行。
其次，我們可以看到，全彩透視也為辦公場景帶來了一些新的玩法。工作室的夥伴們可以在一起討論新的設計方案，並且實時表達自己的意見，進行調整和修改。
「有了全彩透視，用戶可以通過VR頭顯看到真實世界，實現真實和虛擬的結合，極大地擴展了VR頭顯的使用場景，像是社交應用和商務辦公等，讓VR不再只是娛樂終端，而可以拓展成為一種工具，一個計算平台。」愛奇藝奇遇VR頭顯的相關負責人說道。
▲黑白透視場景
最後，從用戶體驗上來看，全彩透視將「虛實融合」一詞的場景又重新推上了一個新的台階。此前，VR/AR設備能夠實現的僅僅是全部虛擬以及現實世界上增添一些簡單的數字信息。
哪怕現在Quest通過黑白透視呈現的部分場景，也只是在虛擬世界中「復現」現實世界的場景，遠遠沒有達到「融合」的效果。
有了全彩透視技術，你可以重新裝修你的新房間，為它添上很多你目前還無法安置的東西，可以是一把吉他、一隻寵物狗或者是你遠在他鄉的親朋好友。
三、用Quest2試水，Meta為全彩透視技術布局多時
事實上，Meta對全彩透視技術早已布局多時，並且已在Quest2上試水。1月13日，Quest2的透視功能正式開放SDK，並且接入了多款基於黑白透視功能開發的遊戲，如《Cubism》、《Blaston》等。
我們可以看到，這是Meta為其全彩透視功能作出的一次鋪墊。基於Quest2的黑白透視功能，VR內容廠商已經提供了一些新的玩法，隨後將基於Project Cambria的全彩透視功能做出相應改良。
▲Meta的Project Cambria所呈現的虛實融合場景
前不久，多人VR創作應用軟體《MultiBrush》宣布支持Meta Avatar系統頭像和透視模式。
同時，當Quest2開放透視模式之後，Quest2也不能僅僅看作一款VR頭顯，它也具有一定的AR特性。
據消息人士透露，目前國內外不少VR頭顯廠商也正在計劃引入全彩透視功能。如今看來，全彩透視功能很可能是未來VR頭顯升級的重要功能之一。
儘管Meta將全彩透視功能描述的天花亂墜，但這些還僅限於理論場景。
從發布時間來看，Project Cambria很有可能是第一款具備頭手6dof定位以及全彩透視的頭顯產品，因此增添全彩透視功能的頭顯設備究竟能帶來哪些體驗，還有待觀望。
但從智東西和不少VR/AR設備研發者交流中發現，他們都對於全彩透視持有看好的態度，甚至給出了「全彩透視是VR成為元宇宙入口的關鍵技術」的評價。
愛奇藝奇遇VR頭顯的相關負責人還提到，當具有全彩透視功能的VR頭顯面世後，會在未來很長一段時間會成為市場的主流產品，並實現AR場景在消費領域的落地，也會對現有光學透視的AR產品帶來較大衝擊。
在調查的過程中，我們還發現一家國內初創企業嘗試從光學透視和視頻透視兩種方案中走出一條新的道路。
據報導，國內VR企業蟻視科技曾在2018年的CES大會上展示了蟻視Mix原型機該設備則應用了蟻視獨家研發的「時分透視TDST（Time-Division See-Through）」技術，可以將真實和虛擬環境的光線通過光學調製器快速切換融合在一起。
但可惜的是，通過多方調查，我們仍未知道如今該項技術能夠實現什麼樣的效果。
結語：VR頭顯也可「看」現實世界，全彩透視為元宇宙帶來新玩法
目前VR設備上存在視頻透視、光學透視兩種方案。但是由於成本、FOV等影響問題，視頻透視成為主流的VR頭顯廠商選擇的方案。而如今，VR設備上所搭載的黑白視頻透視技術正在「升級」成全彩透視技術。
全彩透視技術的出現，一方面加速了產品形態的融合，打破了虛擬世界和現實世界之間的空間。另一方面，設備也在玩法上加強了用戶體驗以及開拓出更多的場景，釋放出更多的生產力。
Meta究竟將全彩透視玩的怎麼樣？是否只是為了宣傳其新品的功能而強捧其技術效果？今年十月，我們或許能一窺真相。