Sora橫空出世，Sora是什麽？能幹什麽，有哪些優點缺點？
發布日期:2024-02-21
點擊次數:3942
一、Sora的概念介紹
2024年2月16日，OpenAI發布了“文生視頻”（text-to-video）的大模型工具，Sora（利用自然語言描述，生成視頻）。這個消息一經發出，全球社交主流媒體平台以及整個世界都再次被OpenAI震撼了。AI視頻的高度一下子被Sora拉高了，要知道Runway Pika等文生視頻工具，都還在突破幾秒內的連貫性，而Sora已經可以直接生成長達60s的一鏡到底視頻，要知道目前Sora還沒有正式發布，就已經能達到這個效果。
Sora這一名稱源於日文“空”（そら sora），即天空之意，以示其無限的創造潛力。
二、Sora的實現路徑
Sora的重要意義在於它再次推動了AIGC在AI驅動內容創作方麵的上限。在此之前，ChatGPT等文本類模型已經開始輔助內容創作，包括插圖和畫麵的生成，甚至使用虛擬人製作短視頻。而Sora則是一款專注於視頻生成的大模型，通過輸入文本或圖片，以多種方式編輯視頻，包括生成、連接和擴展，屬於多模態大模型的範疇。這類模型在GPT等語言模型的基礎上進行了延伸和拓展。
Sora采用類似於GPT-4對文本令牌進行操作的方式來處理視頻“補丁”。其關鍵創新在於將視頻幀視為補丁序列，類似於語言模型中的單詞令牌，使其能夠有效地管理各種視頻信息。通過結合文本條件生成，Sora能夠根據文本提示生成上下文相關且視覺上連貫的視頻。
在原理上，Sora主要通過三個步驟實現視頻訓練。首先是視頻壓縮網絡，將視頻或圖片降維成緊湊而高效的形式。其次是時空補丁提取，將視圖信息分解成更小的單元，每個單元都包含了視圖中一部分的空間和時間信息，以便Sora在後續步驟中進行有針對性的處理。最後是視頻生成，通過輸入文本或圖片進行解碼加碼，由Transformer模型（即ChatGPT基礎轉換器）決定如何將這些單元轉換或組合，從而形成完整的視頻內容。
總體而言，Sora的出現將進一步推動AI視頻生成和多模態大模型的發展，為內容創作領域帶來了新的可能性。
三、Sora的6大優勢
《每日經濟新聞》記者對報告進行梳理，總結出了Sora的六大優勢：
（1）準確性和多樣性：Sora可將簡短的文本描述轉化成長達1分鍾的高清視頻。它可以準確地解釋用戶提供的文本輸入，並生成具有各種場景和人物的高質量視頻剪輯。它涵蓋了廣泛的主題，從人物和動物到鬱鬱蔥蔥的風景、城市場景、花園，甚至是水下的紐約市，可根據用戶的要求提供多樣化的內容。另據Medium，Sora能夠準確解釋長達135個單詞的長提示。
（2）強大的語言理解：OpenAI利用Dall·E模型的recaptioning（重述要點）技術，生成視覺訓練數據的描述性字幕，不僅能提高文本的準確性，還能提升視頻的整體質量。此外，與DALL·E 3類似，OpenAI還利用GPT技術將簡短的用戶提示轉換為更長的詳細轉譯，並將其發送到視頻模型。這使Sora能夠精確地按照用戶提示生成高質量的視頻。
（3）以圖/視頻生成視頻：Sora除了可以將文本轉化為視頻，還能接受其他類型的輸入提示，如已經存在的圖像或視頻。這使Sora能夠執行廣泛的圖像和視頻編輯任務，如創建完美的循環視頻、將靜態圖像轉化為動畫、向前或向後擴展視頻等。OpenAI在報告中展示了基於DALL·E 2和DALL·E 3的圖像生成的demo視頻。這不僅證明了Sora的強大功能，還展示了它在圖像和視頻編輯領域的無限潛力。
（4）視頻擴展功能：由於可接受多樣化的輸入提示，用戶可以根據圖像創建視頻或補充現有視頻。作為基於Transformer的擴散模型，Sora還能沿時間線向前或向後擴展視頻。
（5）優異的設備適配性：Sora具備出色的采樣能力，從寬屏的 1920x1080p 到 豎 屏 的1080x1920，兩者之間的任何視頻尺寸都能輕鬆應對。這意味著Sora能夠為各種設備生成與其原始縱橫比完美匹配的內容。而在生成高分辨率內容之前，Sora還能以小尺寸迅速創建內容原型。
（6）場景和物體的一致性和連續性：Sora可以生成帶有動態視角變化的視頻，人物和場景元素在三維空間中的移動會顯得更加自然。Sora 能夠很好地處理遮擋問題。現有模型的一個問題是，當物體離開視野時，它們可能無法對其進行追蹤。而通過一次性提供多幀預測，Sora可確保畫麵主體即使暫時離開視野也能保持不變。
四、Sora存在的缺點
盡管Sora的功能十分的強大，但其在模擬複雜場景的物理現象、理解特定因果關係、處理空間細節、以及準確描述隨時間變化的事件方麵OpenAI Sora都存在一定的問題。
在這個由Sora生成的視頻裏我們可以看到，整體的畫麵具有高度的連貫性，畫質、細節、光影和色彩等方麵表現都非常的出色，但是當我們仔細的觀察的時候會發現，在視頻中人物的腿部會有一些扭曲，且移動的步伐與整體畫麵的調性不相符。
在這個視頻裏，可以看到狗的數量是越來越多的，盡管在這個過程中銜接的非常流暢，但是它可能已經背離了我們對於這個視頻最初始的需求。
（1）物理交互的不準確模擬：
Sora模型在模擬基本物理交互，如玻璃破碎等方麵，不夠精確。這可能是因為模型在訓練數據中缺乏足夠的這類物理事件的示例，或者模型無法充分學習和理解這些複雜物理過程的底層原理。
（2）對象狀態變化的不正確：
在模擬如吃食物這類涉及對象狀態顯著變化的交互時，Sora可能無法始終正確反映出變化。這表明模型可能在理解和預測對象狀態變化的動態過程方麵存在局限。
（3）長時視頻樣本的不連貫性：
在生成長時間的視頻樣本時，Sora可能會產生不連貫的情節或細節，這可能是由於模型難以在長時間跨度內保持上下文的一致性。
（4）對象的突然出現：
視頻中可能會出現對象的無緣無故出現，這表明模型在空間和時間連續性的理解上還有待提高。
什麽是，世界模型？我舉個例子。
你的“記憶”中，知道一杯咖啡的重量。所以當你想拿起一杯咖啡時，大腦準確“預測”了應該用多大的力。於是，杯子被順利拿起來。你都沒意識到。但如果，杯子裏碰巧沒有咖啡呢？你就會用很大的力，去拿很輕的杯子。你的手，立刻能感覺到不對。然後，你的“記憶”裏會加上一條：杯子也有可能是空的。於是，下次再“預測”，就不會錯了。你做的事情越多，大腦裏就會形成越複雜的世界模型，用於更準確地預測這個世界的反應。這就是人類與世界交互的方式：世界模型。
用Sora生成的視頻，並不總是能“咬就會有痕”。它“有時”也會出錯。但這已經很厲害，很可怕了。因為“先記憶，再預測”，這種理解世界的方式，是人類理解世界的方式。這種思維模式就叫做：世界模型。
Sora的技術文檔裏有一句話：
Our results suggest that scaling video generation models is a promising path towards building general purpose simulators of the physical world.
翻譯過來就是：
我們的結果表明，擴展視頻生成模型是向著構建通用物理世界模擬器邁進的有希望的路徑。
意思就是說，OpenAI最終想做的，其實不是一個“文生視頻”的工具，而是一個通用的“物理世界模擬器”。也就是世界模型，為真實世界建模。
DRMFG