在线免费看片a欧美,午夜AV不卡网站在线播放,久久综合尹人77777,96国产在线分享

近日，Meta 和 CMU 的研究人員出了一種新的 6-DoF 視頻表征方，單張 RTX 3090 即可每秒 18 幀實現(xiàn)百萬像素分率渲染，將給 VR 帶來革命性的高質(zhì)體驗。最，由 Meta 和卡內(nèi)基梅隆學提出的 6-DoF 視頻表征模型 ——HyperReel，可能預示一個全新 VR「殺手級」應即將誕生所謂「六由度視頻（6-DoF），簡單來說就是個超高清 4D 體驗式回放其中，用可以完全置身于」態(tài)場景里，并且可自由地移。而當他任意改變己的頭部置（3 DoF）和方向（3 DoF）時，與之相應視圖也會之生成。文地址：https://arxiv.org/ abs / 2301.02238與之前的工相比，HyperReel 最大的優(yōu)勢在內(nèi)存和計效率，而兩點對于攜式 VR 頭顯來說都至關(guān)重。而且只采用 vanilla PyTorch，HyperReel 就能在單張偉達 RTX 3090 上，以每秒 18 幀的速度實現(xiàn)百萬素分辨率渲染。太不看版：1. 提出一種可在高辨率下實高保真度高幀率的染的光線件采樣預網(wǎng)絡，以一種緊湊內(nèi)存高效動態(tài)體積征；2. 6-DoF 視頻表征方法 HyperReel 結(jié)合了以上兩核心部分可以在實渲染百萬素分辨率同時，實速度、質(zhì)和內(nèi)存之的理想平；3. HyperReel 在內(nèi)存需求渲染速度多個方面優(yōu)于其他法。論文紹體積場表征（volumetric scene representation）能夠為靜場景提供真的視圖成，并構(gòu)了現(xiàn)有 6-DoF 視頻技術(shù)基礎(chǔ)。然，驅(qū)動這表征的體渲染程序需要在質(zhì)、渲染速和內(nèi)存效方面，進仔細的權(quán)。現(xiàn)有的法有一個端 —— 不能同時現(xiàn)實時性、小內(nèi)存用和高質(zhì)渲染，而極具挑戰(zhàn)的真實場中，這些是極為重的。為了決這些問，研究人提出了 HyperReel—— 一種基于 NeRF 技術(shù)（神經(jīng)輻射場的 6-DoF 視頻表征方法其中，HyperReel 的兩個核心部是：1. 一個光線件下的采預測網(wǎng)絡能夠在高辨率下進高保真、幀率的渲；2. 一個緊湊且存高效的態(tài)體積表。與其他法相比，HyperReel 的 6-DoF 視頻管線不僅在覺質(zhì)量上現(xiàn)極佳，且內(nèi)存需也很小。時，HyperReel 無需任何定制的 CUDA 代碼，就在百萬像分辨率下現(xiàn) 18 幀 / 秒的渲染速。具體來，HypeReel 通過結(jié)合本預測網(wǎng)和基于關(guān)幀的體積征法，從實現(xiàn)了高染質(zhì)量、度和內(nèi)存率之間的衡。其中樣本預測絡，既能速體積渲，又能提渲染質(zhì)量特別是對具有挑戰(zhàn)的視圖依性的場景而在基于鍵幀的體表征方面研究人員用的是 TensoRF 的擴展。這種方可以在內(nèi)消耗與單靜態(tài)幀 TensoRF 大致相同的同時湊地表征一個完整視頻序列實時演示下來，我就實時演一下，HypeReel 在 512x512 像素分辨率下動和靜態(tài)場的渲染效。值得注的是，研人員在 Technicolor 和 Shiny 場景中使用更小的模，因此渲的幀率大 40 FPS。對于其余的數(shù)集則使用整模型，過 HypeReel 仍然能夠提供實時理。TechnicolorShinyStanfordImmersiveDoNeRF實現(xiàn)方法為了實現(xiàn) HeperReel，首先要考的問題，是要優(yōu)化態(tài)視圖合的體積表。像 NeRF 這樣的體積表，就是對態(tài)場景在 3D 空間中的每一點的密度外觀，進建模。更體地說，過函數(shù)將置 x 和方向沿著條射線映到顏色和度 σ(x)。此處的可訓練參 θ，可以是神經(jīng)網(wǎng)權(quán)重、N 維數(shù)組條，或兩者組合。然就可以渲靜態(tài)場景新視圖其表征從 o 到的透射率。在實中，可以過沿給定線獲取多樣本點，后使用數(shù)求積來計方程式 1：其中權(quán)指定了每樣本點的色對輸出貢獻。體渲染的網(wǎng)示例在靜場景的 HyperReel 中，給定一圖像和相姿勢，而練目標就重建與每光線相關(guān)測量顏色大多數(shù)場是由實體體組成的這些物體表面位于 3D 場景體積內(nèi)的個 2D 流形上。這種情況，只有一部分樣本會影響每光線的渲顏色。因，為了加體積渲染研究人員望只對非的點，查顏色和不明度。如圖所示，究人員使前饋網(wǎng)絡預測一組本位置。體來說，是使用樣預測網(wǎng)絡將射線映到樣本點以獲取體等式 2 中的渲染這里，研人員使用 Plucker 的參數(shù)化來表光線。但這其中有個問題：網(wǎng)絡太多靈活性，能會對視合成質(zhì)量生負面影。例如，果 (x1, . . . , xn) 是完全任意點，那么染可能看來不是多圖?致的為了解決個問題，究人員選用樣本預網(wǎng)絡來預一組幾何元 G1, ..., Gn 的參數(shù)，其基元的參可以根據(jù)入射線的同而變化為了得到本點，將線與每個元相交。圖 a 所示，給定自相機原 o 并沿方向 ω 傳播的輸光線后，究人員首使用 Plucker 坐標，重新對光線行參數(shù)化如圖 b 所示，一網(wǎng)絡將此線作為輸，輸出一幾何基元 {}（如軸對齊的平和球體）位移矢量 {} 的參數(shù)。如圖 c 所示，為了生成于體積渲的樣本點 {}，研究人員計算射線和幾基元之間交點，并位移矢量加到結(jié)果。預測幾基元的好是使采樣號平滑，于插值。移矢量為樣點提供額外的靈性，能夠好地捕捉復雜的視依賴的外。如圖 d 所示，最終，研究員通過公 2 進行體積渲染產(chǎn)生一個素顏色，根據(jù)相應觀察結(jié)果對它進行監(jiān)督訓練基于關(guān)鍵的動態(tài)體通過上述法，就可有效地對 3D 場景體積進行樣。如何征體積呢在靜態(tài)情下，研究員使用的內(nèi)存有效張量輻射 (TensoRF) 方法；在動態(tài)情況，就將 TensoRF 擴展到基于關(guān)鍵的動態(tài)體表征。下解釋了從于關(guān)鍵幀表征中，取動態(tài)的本點表征過程。如 1 所示，首先，究人員使從樣本預網(wǎng)絡輸出速度 {}，將時間的樣本點 {} 平移到最近的鍵幀中。后，如圖 2 所示，研究人員詢了時空理的外積產(chǎn)生了每樣本點的觀特征，后通過公 10 將其轉(zhuǎn)換成色。通過樣的過程研究人員取了每個本的的不明度。結(jié)對比靜態(tài)景的比較此，研究員將 HyperReel 與現(xiàn)有的靜態(tài)圖合成方（包括 NeRF、InstantNGP 和三種基采樣網(wǎng)絡方法）進了比較。DoNeRF 數(shù)據(jù)集DoNeRF 數(shù)據(jù)集包含六個合序列，圖分辨率為 800×800 像素。如表 1 所示，HyperReel 的方法在質(zhì)上優(yōu)于所基線，并很大程度提高了其采樣網(wǎng)絡案的性能同時，HyperReel 是用 vanilla PyTorch 實現(xiàn)的，可在單 RTX 3090 GPU 上以 6.5 FPS 的速度渲 800×800 像素的圖像或者用 Tiny 模型實現(xiàn) 29 FPS 的渲染）。此外， R2L 的 88 層、256 個隱藏單元的深度 MLP 相比，研究員提出的 6 層、256 個隱藏單元的絡外加 TensoRF 體積骨干的推理度更快LLFF 數(shù)據(jù)集LLFF 數(shù)據(jù)集包含 8 個具有 1008×756 像素圖像的真實界序列。表 1 所示，HyperReel 的方法優(yōu)于 DoNeRF、AdaNeRF、TermiNeRF 和 InstantNGP，但取得質(zhì)量比 NeRF 略差。由于誤的相機準和輸入角的稀疏，這個數(shù)集對顯式積表征來是一個巨的挑戰(zhàn)。態(tài)場景的較Technicolor 數(shù)據(jù)集Technicolor 光場數(shù)據(jù)集包了由時間步的 4×4 攝像機裝置拍攝各種室內(nèi)境的視頻其中每個頻流中的張圖片都 2048×1088 像素。研究人員將 HyperReel 和 Neural 3D Video 在全圖像分辨下對這個據(jù)集的五序列（Birthday, Fabien, Painter, Theater, Trains）進行比，每個序有 50 幀長。如 2 所示，HyperReel 的質(zhì)量超過了 Neural 3D Video，同時每個序的訓練時僅為 1.5 個小時（而不是 Neural 3D 的 1000 多個小時），并渲染速度快。Neural 3D Video 數(shù)據(jù)集Neural 3D Video 數(shù)據(jù)集包含 6 個室內(nèi)多圖視頻序，由 20 臺攝像機以 2704×2028 像素的分辨率拍。如表 2 所示，HyperReel 在這個數(shù)據(jù)上的表現(xiàn)過了所有基線方法包括 NeRFPlayer 和 StreamRF 等最新工。特別是HyperReel 在數(shù)量上過了 NeRFPlayer，渲染速度是 40 倍左右；在量上超過 StreamRF，盡管其采 Plenoxels 為骨干的方法（使定制的 CUDA 內(nèi)核來加快理速度）染速度更。此外，HyperReel 平均每幀消的內(nèi)存比 StreamRF 和 NeRFPlayer 都要少得多。谷 Immersive 數(shù)據(jù)集谷歌 Immersive 數(shù)據(jù)集包含了各室內(nèi)和室環(huán)境的光視頻。如 2 所示，HyperReel 在質(zhì)量上比 NeRFPlayer 的要好 1 dB，同時渲染速度也快。有些憾的是，HyperReel 目前還沒有到 VR 所要求的染速度（想情況下 72FPS，立體聲）。不過由于該方是在 vanilla PyTorch 中實現(xiàn)的，此可以通比如自定的 CUDA 內(nèi)核等工作，來一步優(yōu)化能。作者紹論文一 Benjamin Attal，目前在內(nèi)基梅隆器人研究攻讀博士位。研究趣包括虛現(xiàn)實，以計算成像顯示。參資料：https://arxiv.org/abs/2301.02238https://hyperreel.github.iohttps://hub.baai.ac.cn/view/23146https://twitter.com/DrJimFan/status/1611791338034593793本文來自信公眾號新智元 （ID：AI_era），編輯：困 Aeneas