Sora炸裂了的地方，在于它能理解自然語言，知道那個畫面該是怎么樣的，它學習很多視頻內容（大力出奇跡，需要很多算力），而且一上來就是能制作60s的視頻，剛好是短視頻的需求，之前的AI視頻生成的時間都很短（幾秒鐘).

就說Sora有多火吧，生成的視頻上線一個，瘋傳一個。

明顯能看出來Sora生成的視頻中的各項細節(jié)都讓人驚嘆，一如去年的ChatGPT，Sora被認為是AGI（通用人工智能）的又一個里程碑時刻。

一.sora的出現可以如何看待:

對于許多行業(yè)來說，都應該關注Open AI和sora這些人工智能相關的產品。

尤其是對設計領域來說，比如以前做logo、做海報、宣傳冊、做操作視頻剪輯、拍攝等等相關的行業(yè)。

其一是思考，面對這些新技術、新工具，對自己有哪些挑戰(zhàn)，應對策略是什么。

其二是結合，基于自己當前的業(yè)務，哪些可以利用這些技術進行結合，從而提升自己的效率和業(yè)務場景。

比如美圖秀秀、稿定設計、剪映等產品，就基于AI立馬推出了相關的產品。

（PS：目前 openai 官方還未開放 sora 灰度，不過根據文生圖模型 DALL·E 案例，一定是先給 ChatGPT Plus 付費用戶使用，需要注冊或者升級 GPT Plus 可以看這個教程:升級 ChatGPT Plus 的教程，一分鐘完成升級)

二. 以終為始地看，AI爆發(fā)的大趨勢下，普通人真正該學的是什么？

我覺得有三點：講故事的能力、結構化思考力和內容專業(yè)力。

1. 講故事的能力

以文生視頻為例，先不說Sora，很多人連Pika、Runway都用不利索。

用文字描述一件事、一個觀點、一個訴求并不難，但描述一段畫面、一個場景、一則完整故事，對絕大多數人是極高的門檻。

Sora不會讓影視行業(yè)失業(yè)，正相反，如果視頻生成的AI技術持續(xù)普及，會讓真正會寫故事的人發(fā)揮才能，而不是受限于影視行業(yè)的潛規(guī)則而灰心放棄。

2. 結構化思考力

很多寫Sora的文章，都在講它在模型算法、算力涌現、物理模擬上的創(chuàng)新。對我而言，會更驚訝它在訓練視頻數據時，以一種結構化提示詞方法，解決了視頻標注問題：

“We first train a highly descriptive captioner model and then use it to produce text captions for all videos in our training set”

本質上看，無論是B端訓練數據，還是C端和大模型對話，都用到了結構化表達能力。包括那些所謂“Sora培訓”，其實教你的也是怎么寫好提示詞。舉個例子，對這樣的場景：

該怎么描述呢？一個在沉思的老爺爺？一個戴眼鏡的老爺爺？一個在咖啡廳發(fā)呆的老爺爺？可能大部分人想到這兒就結束了。但更加結構化的描述可以是：

主體人物：：一位 60 多歲留著胡須的白發(fā)老人

鏡頭景別：臉部特寫

背景環(huán)境：巴黎的一家咖啡館

人物狀態(tài)：注視著窗外行走的人們，一動不動陷入沉思，后又抿嘴微微一笑

人物細節(jié)：穿著一件羊毛大衣和一件紐扣襯衫、頭戴棕色貝雷帽，戴著眼鏡，像是個教授

環(huán)境細節(jié)：金色的燈光和背景中的巴黎街道和城市

鏡頭技術：景深、35 毫米電影膠片，有電影感

具備寫出上述提示詞的能力，才能真正發(fā)揮多模態(tài)技術的價值。這背后蘊含著的，就是結構化總結和思考能力。

有句話很形象，寫提示詞就像客戶講brief，能把需求說清楚，就離正確答案不遠了。

3. 內容專業(yè)力

這點又說回到創(chuàng)作者本身，我比較喜歡楊遠騁老師（「躺島」和「新世相」聯合創(chuàng)始人）的一個觀點：

最大的影響會是出現新的創(chuàng)作者，會出現完全不在人們視野里的新的內容偶像，他們有非常好的品位、思維方式和世界觀，但受限于表達技術，在過去卻連基本的視頻制作能力都不具備。

Koji，公眾號：十字路口CrossingSora 喧囂過后，理性浮現 | 我問出了這 5 位頂級創(chuàng)作者的真實想法

是的，除了上文提到的講故事能力。如果你具備對“好內容”的理解力，懂得怎樣更合理地設計腳本、做分鏡、上特效、畫故事板、運鏡、調度、選角、布景、調光、配音、后期等等，AI就是你發(fā)揮想象力最好的幫手。能用好 AI 的人，一定能做出更好作品、獲得更多收入。

因此我堅定地認為，這波AI趨勢，對高潛力的作家、畫手、設計師、編劇等創(chuàng)作者，是絕對的利好。如果你也想從中獲益，先把“創(chuàng)作一部好內容”作為目標學起來吧。

總的來講，我認為圍著Sora去追新聞沒啥必要。能跳出對Sora本身鋪天蓋地的宣傳，去思考這背后該真正掌握的技能是什么。用結構化思維去訓練講故事的能力，成為一名優(yōu)秀創(chuàng)作者，才是值得為此付出時間的。

三、sora原理常見問題及解答:

Q：訓練數據的一個 clip 中如果有場景/鏡頭的切換，那 casual 3D CNN 還是會和過往的幀都有關系嗎？

A：訓練數據中大概率是有：一個 clip 有鏡頭/場景的切換。如果有切換，那么使用 casual 3D CNN 可能會帶來問題：在切換前后的內容是不同的，不僅會增加模型訓練難度，也會帶來瑕疵。這個可能就直接訓練了，通過相應數據的訓練就能解決。

Q：訓練數據的來源？

A：大家猜測有 1）youtube 的視頻。2）Shutterstock，之前有公告：Shutterstock 擴大與 OpenAI 的合作伙伴關系，簽署新的六年協議以提供高質量的訓練數據：渲染引擎的數據，這個網絡上大家貼出了一些間接證據。渲染引擎的數據能夠針對性地模擬出很多符合 3D 一致性、物理一致性的數據，對于模型的訓練應該有很好的幫助。

Q：輸出變長的長度、分辨率和長寬比是如何做到的？

A：1. diffusion 過程中，輸入的 noise tokens 就添加 factorized positional embedding。比如最直接的實現方式，每個 token 對應有三個數字（t, h, w）分別表示時間、長和寬，然后添加相應的 position embedding 去區(qū)分。

訓練的時候也采用了變長的長度、分辨率和長寬比。這些 examples 模型在訓練的時候見過。

這樣，可以做到技術報告中提到的：At inference time, we can control the size of generated videos by arranging randomly-initialized patches in an appropriately-sized grid。

審核編輯 黃宇