ICCV 是全球計算機視覺三大頂會之一，每兩年舉辦一次。數(shù)據(jù)顯示，今年大會共收到了 11239 份有效投稿，程序委員會推薦錄用 2699 篇論文，最終錄用率為 24%，相比上一屆論文數(shù)量有大幅增長。

朱俊彥本科就讀于清華大學，現(xiàn)任卡耐基梅隆大學計算機科學學院助理教授，是 Adobe 前研究科學家。主要研究方向為計算機視覺、圖形學、計算攝影和生成模型。

這篇獲獎論文提出了 “磚塊” GPT——BrickGPT，是首個能夠根據(jù)文本提示生成物理穩(wěn)定的相互連接的積木裝配模型的方法。圖源：https://arxiv.org/pdf/2505.05469

高度有效和穩(wěn)定

用現(xiàn)有方法創(chuàng)建現(xiàn)實世界的物體仍然具有挑戰(zhàn)性。朱俊彥團隊致力于解決生成物理可實現(xiàn)對象的挑戰(zhàn)，目標是開發(fā)一種方法，直接從自由格式的文本提示生成磚塊組裝結(jié)構(gòu)，同時確保物理穩(wěn)定性和可建造性。

團隊推出了 StableText2Brick，這是一個全新的大規(guī)模數(shù)據(jù)集，包含 47,000 多種不同的積木拼裝結(jié)構(gòu)。

為了實現(xiàn)序列和文本理解，研究人員針對磚塊結(jié)構(gòu)生成任務對預訓練的 LLM 進行了微調(diào)。為了提高設(shè)計的穩(wěn)定性和可構(gòu)建性，研究團隊在推理過程中還使用了逐塊剔除采樣和物理感知回滾。

基礎(chǔ)模型可以通過上下文學習生成磚塊結(jié)構(gòu)，凸顯了使用預訓練的 LLM 完成任務的潛力。

位了確保物理穩(wěn)定性，可以對每個步驟應用穩(wěn)定性進行分析，并重新采樣可能導致倒塌的磚塊。

但是這種方法效率較為低下，團隊還是建議采用逐塊剔除采樣并結(jié)合物理感知回滾的方法，以平衡穩(wěn)定性和多樣性。

為了解決物理配置問題，模型進一步將物理穩(wěn)定性驗證納入自回歸推理中。

首先，當模型生成一塊磚塊及其位置時，該磚塊應格式正確，且不位于工作空間之外。其次，確保新添加的磚塊不會與現(xiàn)有結(jié)構(gòu)發(fā)生碰撞。

根據(jù)評估，團隊的研究方法生成了與給定文本提示對齊的高質(zhì)量、多樣化且新穎的磚塊結(jié)構(gòu)。在有效性和穩(wěn)定性方面優(yōu)于所有基準測試方法以及簡化設(shè)置，同時保持了較高的文本相似度。

結(jié)語

由于計算資源有限，團隊尚未探索最大的 3D 數(shù)據(jù)集，僅限于在 21 個類別的網(wǎng)格內(nèi)生成設(shè)計，而最近的 3D 生成方法可以創(chuàng)建更多種類的對象。

其次，方法目前支持一組固定的常用玩具積木。在未來的工作中，研究團隊還計劃擴展積木庫，使其涵蓋更廣泛的尺寸和積木類型，例如斜坡積木和瓷磚積木，從而實現(xiàn)更加多樣化和復雜的設(shè)計。

但實驗結(jié)果也證明，朱俊彥團隊的方法優(yōu)于 LLM 骨干模型和一些近期的文本轉(zhuǎn) 3D 生成方法，是 LLM 研究的一次重大突破。

參考資料：

https://arxiv.org/pdf/2505.05469