什麼是 TRELLIS 3D?

on 12 hours ago

什麼是 TRELLIS 3D?

什麼是 TRELLIS 3D?3D 資產創作的顛覆者

TRELLIS 3D 是一種革命性的 3D 資產生成方法,將先進的 AI 技術與創新的架構設計結合,能產出多樣且高品質的 3D 模型。此前沿框架採用 結構化潛在(SLAT) 表示,使 3D 生成具備優異的可擴充性與精確度。由清華大學、USTC 與微軟研究院的專家共同研發,TRELLIS 能透過強大的 AI 模型生成具有細膩幾何與鮮明紋理的 3D 資產。

TRELLIS 3D 的核心技術

TRELLIS 3D 的核心為 結構化潛在(SLAT) 表示,這是一個用於建立 3D 資產的統一框架。透過結合稀疏的 3D 網格結構與稠密的多視角視覺特徵,TRELLIS 同時擷取 3D 物件的幾何(結構)與視覺(外觀)特性。這種獨特的融合,使 TRELLIS 能生成既真實又具高度彈性的高品質 3D 物件,並在輸出格式與操作能力上保有靈活度。

校正流 Transformer(Rectified Flow Transformers) 的導入,是處理 SLAT 模型稀疏性的關鍵。藉此可在多種形式下生成逼真的 3D 資產,包括 3D Gaussians、Radiance Fields 與 Mesh。整體 AI 流程最多使用達 20 億個參數,並在涵蓋 50 萬個多樣化 3D 物件的大型資料集上訓練,以確保靈活性、品質與精度。

多樣性與通用性

TRELLIS 的一大亮點,是其在生成不同類型 3D 資產方面展現的多樣性。無論是遊戲設計中的簡單物件,或是複雜精緻的 3D 藝術創作,TRELLIS 都能應對。具體如下:

  • 文字轉 3D(Text‑to‑3D):可輸入文字提示(如:「具有精緻細節的復古銅製旋轉電話」),系統會將其轉換為 3D 模型。此功能由 GPT‑4 提供支援,確保結果既精準又富有創造力。

  • 影像轉 3D(Image‑to‑3D):TRELLIS 亦支援將影像轉換成 3D 資產。透過 DALL‑E 3 與其他先進的影像生成技術,系統能直接依據影像提示建立 3D 模型,進一步提升創作彈性。

  • 資產變體與局部編輯:TRELLIS 的另一創新能力在於,能為既有 3D 模型生成多種變體。例如,僅需提供合適的文字提示,即可為物件添加粗獷金屬質感,或賦予通透的玻璃結構。此外,你也能進行局部編輯,如移除戰鬥機甲的手臂,或將其雙腿改為履帶式底盤,從而達到高度個人化的 3D 設計。

在藝術與設計中的應用

憑藉高品質 3D 資產的生成能力,TRELLIS 不僅面向開發者與設計師,同時也是藝術家的強力工具。藉助強大的資產生成與操作功能,藝術家得以輕鬆創作鮮活、複雜的 3D 藝術作品。

運作原理:方法論

TRELLIS 的效能來自其 SLAT 架構。此架構結合稀疏結構與自預訓練視覺模型擷取的稠密視覺特徵,並為非空單元生成潛在向量,確保幾何紋理皆能被精準捕捉。得益於 校正流 Transformer 的應用,TRELLIS 可處理大型資料集與多樣化的資產需求,拓展 3D 生成的可能邊界。

TRELLIS 以兩階段流程運作:

  1. 先生成 3D 物件的稀疏結構;
  2. 再為非空單元填入細節資訊,完成資產建立。

此一方法兼具可擴充性彈性,使 TRELLIS 成為滿足各式 3D 資產創作需求的堅實解決方案。

結語:為何 TRELLIS 引領 3D 生成的未來

TRELLIS 3D 在 3D 資產生成領域實現重大飛躍。透過 文字轉 3D影像轉 3D局部編輯 能力的獨特組合,TRELLIS 帶來前所未有的靈活性與品質。無論是開發者、設計師或藝術家,TRELLIS 都提供打造驚豔、可高度客製化之 3D 資產的完整工具組。

我在哪裡可以使用 TRELLIS 3D?

若你想更深入體驗這項強大技術,可直接前往官方網站使用 TRELLIS 3D:trellis3d.co