NVIDIA推出LATTE3D文本轉(zhuǎn)3D生成AI模型，被稱為虛擬3D打印機(jī)

2024年3月27日，南極熊獲悉，NVIDIA（英偉達(dá)）宣布推出一種名為Latte3D的文本轉(zhuǎn)3D生成AI模型。模型能夠?qū)⒑喍痰奈淖置枋鲛D(zhuǎn)換為物體和動物的精確三維模型，實現(xiàn)了一種近似于虛擬3D打印的效果。

△LATTE3D可以解釋高度具體的文本提示以生成3D模型

該公司表示，生成的3D形狀采用了流行的標(biāo)準(zhǔn)渲染應(yīng)用程序格式制作，這使得它們可以輕松地在虛擬環(huán)境中應(yīng)用。這一技術(shù)有望廣泛應(yīng)用于視頻游戲開發(fā)、廣告設(shè)計、工程項目以及機(jī)器人虛擬訓(xùn)練場景中。鑒于這一發(fā)展趨勢，未來很可能會出現(xiàn)可靠的文本到3D打印文件轉(zhuǎn)換工具。

NVIDIA人工智能研究副總裁Sanja Fidler表示：“一年前，人工智能模型需要一個小時才能生成這種質(zhì)量的3D視覺效果，而Latte3D僅需要10到12秒。我們現(xiàn)在可以更快地產(chǎn)生結(jié)果，使各行業(yè)的創(chuàng)作者能夠?qū)崿F(xiàn)近乎實時的文本到3D生成?！?br />
NVIDIA研究人員在其演示中使用了單個RTX A6000 GPU時幾乎可以立即生成3D形狀。

△在對比測試中，其它AI模型需要20秒到30分鐘以上才能生成輸出，而LATTE3D只需400毫秒即可生成類似的（通常質(zhì)量更高）渲染

創(chuàng)建者可以使用LATTE3D幾乎立即生成詳細(xì)的對象，而不是從頭開始設(shè)計或梳理3D資源庫。
該模型可根據(jù)每個文本提示生成一些不同的三維形狀選項。所選對象可在幾分鐘內(nèi)優(yōu)化為更高質(zhì)量。然后，用戶可以將形狀導(dǎo)出到圖形軟件應(yīng)用程序或英偉達(dá)Omniverse等平臺中，從而實現(xiàn)基于通用場景描述（OpenUSD）的三維工作流程和應(yīng)用。

盡管LATTE3D是在動物和日常物體數(shù)據(jù)集上進(jìn)行訓(xùn)練的，但開發(fā)人員可以借助相同的模型架構(gòu)在其它類型的數(shù)據(jù)上進(jìn)行訓(xùn)練。

△LATTE3D功能示例

例如，如果在3D植物數(shù)據(jù)集上進(jìn)行訓(xùn)練，LATTE3D的一個版本就能幫助景觀設(shè)計師在與客戶進(jìn)行頭腦風(fēng)暴時，快速用樹木、花叢和多肉植物填充花園效果圖。如果對家居物品進(jìn)行訓(xùn)練，該模型就能生成物品，填充到三維模擬家居中，開發(fā)人員可以用它來訓(xùn)練個人助理機(jī)器人，然后再在現(xiàn)實世界中進(jìn)行測試和部署。

LATTE3D使用英偉達(dá)A100 Tensor Core GPU進(jìn)行訓(xùn)練。除了三維形狀外，該模型還在使用ChatGPT生成的各種文本提示上進(jìn)行了訓(xùn)練，以提高模型處理用戶描述特定三維物體時可能提出的各種短語的能力。例如，當(dāng)提示描述與犬科動物相關(guān)時，都應(yīng)該生成狗一樣的形狀。