Sora的核心技術(shù)之一便是對(duì)Patch的應(yīng)用。它允許Sora在大量的圖像和視頻數(shù)據(jù)上進(jìn)行密集訓(xùn)練。從每一個(gè)存在的視頻中剪出的Patch,可以被堆疊起來(lái)并輸入到模型中。
多模態(tài)大型語(yǔ)言模型(MLLMs)通過(guò)遵循一般的人類指令來(lái)解釋視覺(jué)內(nèi)容,已經(jīng)展示了令人印象深刻的視頻理解性能。然而,這些MLLMs在長(zhǎng)視頻理解方面仍然存在困難,因?yàn)殚L(zhǎng)視頻序列可能包含各種動(dòng)態(tài)動(dòng)作和復(fù)雜的時(shí)間關(guān)系,這使得MLLMs難以有效定位與問(wèn)題相關(guān)的關(guān)鍵片段。