據(jù)外媒報道，在此背景下，美國麻省理工學(xué)院（MIT）與英偉達公司（NVIDIA）的研究人員研發(fā)了一種新方法，成功將上述兩種方法的優(yōu)勢結(jié)合起來。此種混合圖像生成工具采用自回歸模型，快速捕捉整體畫面，然后運用小型擴散模型，對圖像進行細節(jié)優(yōu)化。該款工具名為HART（hybrid autoregressive transformer，混合自回歸轉(zhuǎn)換器的縮寫），能夠生成與當前最先進的擴散模型所生成的圖像，質(zhì)量相當甚至更優(yōu)的圖像，同時速度提升了九倍。

AI工具生成逼真圖像（圖片來源：MIT）

HART生成圖像的過程所消耗的計算資源較典型擴散模型更少，因而使其能夠在商用筆記本電腦或智能手機上本地運行。用戶只需在HART界面輸入自然語言提示，即可生成圖像。HART可能具有廣泛的應(yīng)用前景，例如幫助研究人員訓(xùn)練機器人，以完成復(fù)雜的真實世界任務(wù)；協(xié)助設(shè)計師為視頻游戲打造更具吸引力的場景。

兩全其美

Stable Diffusion和DALL-E等流行的擴散模型能夠生成高度細節(jié)化的圖像。此類模型通過迭代過程生成圖像，在此過程中，此類模型會對每個像素預(yù)測一定量的隨機噪聲，然后減去噪聲，之后預(yù)測過程與“去噪”過程會被重復(fù)多次，直至生成一張完全無噪聲的新圖像。

由于擴散模型在每一步均需對圖像中的所有像素執(zhí)行去噪操作，并且該過程可能包括30步或更多步驟，因此整體過程可能會比較緩慢且計算成本高昂。但是，因為該模型有多次機會修正之前出錯的細節(jié)，因此生成的圖像質(zhì)量會很高。

自回歸模型在文本預(yù)測任務(wù)中得到了廣泛應(yīng)用，并且可通過依次預(yù)測圖像塊（每次多個像素）生成圖像。盡管該模型無法回溯以修正錯誤，但是此種順序預(yù)測過程比擴散模型速度快得多。

此類模型采用稱作標記（tokens）的表現(xiàn)形式來進行預(yù)測。自回歸模型采用自動編碼器將原始圖像像素壓縮為離散標記，并基于此類預(yù)測標記重建圖像。盡管此種方法提升了模型的速度，但是壓縮過程中發(fā)生的信息丟失可能會導(dǎo)致模型在生成新圖像時出現(xiàn)錯誤。

借助HART，研究人員研發(fā)了一種混合方法，運用自回歸模型來預(yù)測壓縮的離散圖像標記，再運營小型擴散模型來預(yù)測殘差標記。其中，殘差標記能夠捕捉離散標記遺漏的細節(jié)信息，補償模型丟失的信息。

由于擴散模型只能預(yù)測自回歸模型完成工作后的剩余細節(jié)，因此其可在八個步驟內(nèi)完成任務(wù)。相比之下，標準擴散模型通常需要30個或者更多步驟來生成完整的圖像。此種額外引入的擴散模型以極低的計算量保留了自回歸模型的速度優(yōu)勢，同時大幅提升其生成復(fù)雜圖像細節(jié)的能力。

在研發(fā)HART的過程中，研究人員在高效整合擴散模型以增強自回歸模型方面遇到了挑戰(zhàn)。但是他們發(fā)現(xiàn)，在自回歸過程的早期集成擴散模型會導(dǎo)致誤差累積。因此，最終的設(shè)計僅在最后一步應(yīng)用了擴散模型，以預(yù)測剩余標記，從而顯著提升了圖像生成的質(zhì)量。

研究人員的方法結(jié)合了含有7億參數(shù)的自回歸轉(zhuǎn)換器模型和含有3700萬參數(shù)的輕量級擴散模型，能夠生成與擁有20億參數(shù)的擴散模型同等質(zhì)量的圖像，但是速度卻快了九倍。此外，其計算量比最先進的模型少約31%。

此外，由于HART采用自回歸模型（與驅(qū)動LLM的模型一樣）來完成大量工作，因此其更易與新型統(tǒng)一視覺-語言生成式模型集成在一起。未來，人們或許能夠與統(tǒng)一視覺-語言生成式模型互動，例如要求其展示組裝一件家具所需的中間步驟。

展望未來，研究人員希望能夠繼續(xù)研究，基于HART架構(gòu)打造視覺-語言模型。由于HART具有可擴展性以及多模態(tài)通用性，因此研究人員還希望將其應(yīng)用于視頻生成和音頻預(yù)測任務(wù)。