NVIDIA推出LATTE3D文本轉(zhuǎn)3D生成AI模型，被稱為虛擬3D打印機(jī)

2024年3月27日，南極熊獲悉，NVIDIA（英偉達(dá)）宣布推出一種名為L(zhǎng)atte3D的文本轉(zhuǎn)3D生成AI模型。模型能夠?qū)⒑?jiǎn)短的文字描述轉(zhuǎn)換為物體和動(dòng)物的精確三維模型，實(shí)現(xiàn)了一種近似于虛擬3D打印的效果。

△LATTE3D可以解釋高度具體的文本提示以生成3D模型

該公司表示，生成的3D形狀采用了流行的標(biāo)準(zhǔn)渲染應(yīng)用程序格式制作，這使得它們可以輕松地在虛擬環(huán)境中應(yīng)用。這一技術(shù)有望廣泛應(yīng)用于視頻游戲開(kāi)發(fā)、廣告設(shè)計(jì)、工程項(xiàng)目以及機(jī)器人虛擬訓(xùn)練場(chǎng)景中。鑒于這一發(fā)展趨勢(shì)，未來(lái)很可能會(huì)出現(xiàn)可靠的文本到3D打印文件轉(zhuǎn)換工具。

NVIDIA人工智能研究副總裁Sanja Fidler表示：“一年前，人工智能模型需要一個(gè)小時(shí)才能生成這種質(zhì)量的3D視覺(jué)效果，而Latte3D僅需要10到12秒。我們現(xiàn)在可以更快地產(chǎn)生結(jié)果，使各行業(yè)的創(chuàng)作者能夠?qū)崿F(xiàn)近乎實(shí)時(shí)的文本到3D生成�！�

NVIDIA研究人員在其演示中使用了單個(gè)RTX A6000 GPU時(shí)幾乎可以立即生成3D形狀。

△在對(duì)比測(cè)試中，其它AI模型需要20秒到30分鐘以上才能生成輸出，而LATTE3D只需400毫秒即可生成類(lèi)似的（通常質(zhì)量更高）渲染

創(chuàng)建者可以使用LATTE3D幾乎立即生成詳細(xì)的對(duì)象，而不是從頭開(kāi)始設(shè)計(jì)或梳理3D資源庫(kù)。
該模型可根據(jù)每個(gè)文本提示生成一些不同的三維形狀選項(xiàng)。所選對(duì)象可在幾分鐘內(nèi)優(yōu)化為更高質(zhì)量。然后，用戶可以將形狀導(dǎo)出到圖形軟件應(yīng)用程序或英偉達(dá)Omniverse等平臺(tái)中，從而實(shí)現(xiàn)基于通用場(chǎng)景描述（OpenUSD）的三維工作流程和應(yīng)用。

盡管LATTE3D是在動(dòng)物和日常物體數(shù)據(jù)集上進(jìn)行訓(xùn)練的，但開(kāi)發(fā)人員可以借助相同的模型架構(gòu)在其它類(lèi)型的數(shù)據(jù)上進(jìn)行訓(xùn)練。

△LATTE3D功能示例

例如，如果在3D植物數(shù)據(jù)集上進(jìn)行訓(xùn)練，LATTE3D的一個(gè)版本就能幫助景觀設(shè)計(jì)師在與客戶進(jìn)行頭腦風(fēng)暴時(shí)，快速用樹(shù)木、花叢和多肉植物填充花園效果圖。如果對(duì)家居物品進(jìn)行訓(xùn)練，該模型就能生成物品，填充到三維模擬家居中，開(kāi)發(fā)人員可以用它來(lái)訓(xùn)練個(gè)人助理機(jī)器人，然后再在現(xiàn)實(shí)世界中進(jìn)行測(cè)試和部署。

LATTE3D使用英偉達(dá)A100 Tensor Core GPU進(jìn)行訓(xùn)練。除了三維形狀外，該模型還在使用ChatGPT生成的各種文本提示上進(jìn)行了訓(xùn)練，以提高模型處理用戶描述特定三維物體時(shí)可能提出的各種短語(yǔ)的能力。例如，當(dāng)提示描述與犬科動(dòng)物相關(guān)時(shí)，都應(yīng)該生成狗一樣的形狀。