研究人員在著名開源文生圖像模型FLUX進行了實驗。結果顯示,成功將FLUX的模型量化到1.58位權重,僅用{-1, 0, +1}三種值就能表示而不是更高精度的浮點數。
勒昆提出了一個名為“目標驅動AI”的架構,這種架構通過優化過程來模擬人類理解和與世界互動的方式,從而克服現有AI系統的局限性。這一架構的核心理念是將目標和優化結合起來,讓AI系統能夠主動尋找最佳的動作序列以實現特定目標,從而模擬人類的認知過程,尤其是在規劃和推理方面的能力。
著名的教育家約翰·杜威這樣定義思維:“以一種觀察到的事物為依據,去推測或判斷出其他的事物,然后將作為依據的事物當做后者推測數的事物的機遇或者基礎,從而產生信念。”
目前,多數大模型的性能受限于其預訓練階段所獲取的數據集,以及推理過程中的算力資源。研究人員發現,可以通過更多的推理時間、自適應(就是草莓的特殊延遲推理)來提升模型的性能,這種技術稱為——測試時計算(Test-time computation)。
目前,AIGC產業生態體系的雛形已現,呈現為上中下三層架構:①第一層為上游基礎層,也就是由預訓練模型為基礎搭建的AIGC技術基礎設施層。②第二層為中間層,即垂直化、場景化、個性化的模型和應用工具。③第三層為應用層,即面向C端用戶的文字、圖片、音視頻等內容生成服務。