如何讓遠在千里的朋友來你家下棋？
沒錯，是你住的家中，而不是你和朋友在手機上連線下棋或者同時處於某個完全虛幻的場景中。
前不久，扎克伯格披露其高端頭顯產品，內部代號為Project Cambria的VR頭顯即將實現這一場景。
Project Cambria將會給圖片內的灰色全部「復原」色彩，讓你一時間很難分辨出哪些是虛擬物體，哪些是原有物品。而這背後離不開一項重要的技術——全彩透視（full-color passthrough）。
扎克伯格曾在其最新的財報會議上提到全彩透視技術將是Project Cambria最大的特點之一。
全彩透視技術屬於視頻透視技術（Video-seethrough）的一個分支，也就是通過相機捕捉到實時畫面，將虛擬世界和真實世界合成後，呈現豐富色彩的顯示畫面。
就像圖片中的吉他和花架，通過全彩透視技術巧妙地和其他物品融為一體。
5月13日，美國專利商標局公布了一項蘋果專利，指出一種用於頭顯的多透鏡組合方案，可實現視頻透視功能。再結合近期外媒The information的爆料信息，不少人士推斷蘋果的MR頭顯很有可能採用的也是全彩透視技術。
▲Meta的Quest2所呈現的黑白透視
▲通過全彩透視技術呈現的畫面
此外，一些初創企業也在瞄準全彩透視技術的相關特性。VR頭顯公司Valve近期宣布與3D傳感技術公司Occipital的Arcturus Industries團隊合作，為VR設備提供全彩色透視模式。
為何全彩透視技術能成為Meta頭顯的突破口？Meta在全彩透視技術方面做了哪些工作？全彩透視技術又將對VR/AR行業帶來哪些影響？我們與多位產業人士交流後，嘗試找到問題的答案。
一、給元宇宙「上色」，全彩透視分四步走
透視是指看到現實世界。目前的VR設備打造的是一個完全虛擬的環境，不會與現實世界產生互動，但是通過透視用戶就可以同時看到現實世界和數字世界。
而目前的透視方案分成兩大類，光學透視和視頻透視。
光學透視的顯示方案是通過特殊的透鏡設計將數字畫面投射到半透明的顯示裝置。而視頻透視的顯示方案則是通過相機實時捕捉畫面，再和虛擬世界本該呈現的畫面融合，最終呈現在顯示屏幕上。
▲光學透視（OST）和視頻透視（VST）兩種不同的光學路徑示意圖
由於光學透視的光路設計複雜，顯示的畫面視角有限，並且由於光線原因無法顯示純黑的畫面，以及光學零部件成本造價較高，因此VR設備的廠商們往往選擇已經較為成熟的視頻透視方案。
回憶一下，當你戴上VR頭顯，需要建立安全區域的時，是不是也能同時看到自己的房間。並且你還可以用VR手柄在房間裡圈定一定的安全區域。
這時候，你眼中看到的現實場景和虛擬世界融合的場景正是通過視頻透視技術實現的。
儘管多數VR設備已經搭載了透視技術，但基於目前VR設備上搭載的RGB攝影頭以及產品設計等因素，現有的VR設備上支持的多數為黑白透視。
據行業人士透露，黑白透視只需要利用空間定位攝影頭以及一些簡單的算法，就可以實現不錯的透視效果。
▲黑白透視場景
但要做到全彩透視，儘管只是簡單的「上色」一步，其背後則又需要考慮多個技術的融合。
目前，全彩透視主要可以分為四步：透視、空間錨點（放置AR物體）、三維重建、環境理解及對象識別。
值得注意的是，與AR設備顯示的畫面不同，全彩透視技術看到的現實世界，並非是通過人眼直接看到真實世界，事實上，人的眼睛看到的是機器拍攝現實世界場景，並經過處理之後投射在顯示屏上的畫面。
