英偉達AI技術讓2D視頻快速轉成3D模型

2023年6月10日，南極熊獲悉，美國GPU制造商英偉達（Nvidia）發(fā)表了一篇研究論文，概述了一種能夠將2D視頻快速轉換為詳細3D模型的新型人工智能（AI）模型Neuralangelo。

△利用AI技術可將視頻快速創(chuàng)建為3D模型演示視頻（傳送門）

最新研究發(fā)現(xiàn)，現(xiàn)有的生成式AI模型難以逼真地捕捉物體的精細細節(jié)，例如復雜紋理、均勻的顏色和強烈的顏色變化。然而，英偉達的新一代人工智能技術Neuralangelo，據(jù)說可以解決這些問題。該技術不僅提供高保真度模型，還可以準確將2D視頻轉換成3D模型，展現(xiàn)材質紋理的細微之處。這為3D打印行業(yè)帶來了更大的可能性。

△Neuralangelo：高保真神經(jīng)表面重建論文（傳送門）

作為3D打印工具的英偉達AI將如何發(fā)展？

英偉達特別強調了Neuralangelo技術在創(chuàng)意專業(yè)人士中的潛在好處，他們可以利用智能手機的鏡頭快速輕松地創(chuàng)建虛擬對象，并展現(xiàn)出在藝術、虛擬現(xiàn)實、視頻游戲開發(fā)、機器人技術以及工業(yè)數(shù)字雙胞胎生產(chǎn)中的廣泛應用前景。

此外，該公司已經(jīng)成功展示了Neuralangelo新技術的廣泛功能，通過重新制作米開朗基羅的大衛(wèi)雕塑和重建平板卡車，展現(xiàn)模型的精細程度。該技術還可以重建大規(guī)模環(huán)境, 例如利用無人機拍攝的鳥瞰視頻片段，成功創(chuàng)建了公園的3D模型。

Nvidia高級研究總監(jiān)，也是該研究論文的共同作者Ming-Yu Liu解釋道：“Neuralangelo提供的3D重建功能將為創(chuàng)作者帶來巨大的好處，幫助他們在數(shù)字世界中重建真實世界。該工具最終將使開發(fā)人員能夠將詳細的對象，無論是小型雕像還是大型建筑物導入到視頻游戲或工業(yè)數(shù)字孿生的虛擬環(huán)境中。”

他補充說道：“除此之外，Neuralangelo的性能和精度也將為制造業(yè)和建筑業(yè)提供極大的幫助，以更快速和準確地創(chuàng)建模型和設計。”

盡管Neuralangelo項目尚未與3D打印應用相結合，但英偉達公司表示，該技術未來很有可能是增才制造的發(fā)展發(fā)展方向之一。目前，該項目的模型尚不支持3D打印。

那個未來會比預期來得更早嗎？英偉達宣布了一款名為Magic3D的AI 3D模型生成工具。該公司表示，Magic3D在40分鐘內(nèi)生成3D對象，速度是DreamFusion的兩倍。

使用AI將2D視頻轉換為3D模型

Neuralangelo結合使用即時神經(jīng)圖形基元 (NGP) 和信號距離函數(shù) (SDF) 來實現(xiàn)高質量的視頻轉換。 NGP提供了具有多分辨率哈希編碼的混合3D網(wǎng)格結構，從而大大提高了神經(jīng)域的表示能力，同時可以捕捉更細微的細節(jié)。這種方法非常適合三維打印行業(yè)。

具體來說，Neuralangelo首先拍攝一個物體或環(huán)境的2D視頻，并選擇幾個突出顯示不同視點的幀。然后確定每一幀的相機位置，進而創(chuàng)建一個初步的3D模型。之后，通過精細的渲染和銳化細節(jié)來優(yōu)化該模型，生產(chǎn)出具有高質量表面和精度的成品。

使用數(shù)值梯度計算高階導數(shù)是這種方法的一個關鍵因素，能夠穩(wěn)定優(yōu)化過程。此外，漸進式優(yōu)化計劃對于恢復不同細節(jié)級別的結構至關重要，這使得全面和準確的 3D模型重建成為可能。

據(jù)悉，英偉達的Neuralangelo項目將于6月18日至22日在加拿大溫哥華舉行的計算機視覺和模式識別（CVPR）會議上展示。此次展示會將與近30個其他項目一起展示，主題涵蓋姿勢估計、3D重建和視頻生成等領域。

△英偉達的總部公園視頻使用Neuralangelo快速換為3D模型

南極熊認為，未來，將AI工具與3D打印技術結合起來可以幫助制造商更輕松地進行生產(chǎn)，快速生產(chǎn)復雜性高的部件，并且可以隨著時間的推移持續(xù)優(yōu)化其生產(chǎn)流程。因此將3D打印技術的靈活性和快速制造能力與AI快速生成高質量的3D模型相結合，將帶來巨大的優(yōu)勢。這是一個非常有前景的應用領域，值得我們關注。