1號鮮花

首頁 > 新聞動態(tài)

Sora沖擊波引領(lǐng)文生視頻新浪潮 多模態(tài)人工智能加速行業(yè)賦能步伐

2024-02-24

 小勐拉99廳客服: “我們接觸到的專業(yè)電影制造人對Sora很興奮,都是持開放擁抱的態(tài)度,希望能用好這個工具進步消費力?!?從事LED虛擬拍攝的業(yè)內(nèi)人士向證券時報記者表示,Sora能讓電影制造前期創(chuàng)意環(huán)節(jié)的周期從過往數(shù)月以至數(shù)年,縮減到數(shù)天,但并不認同Sora將讓電影剪輯師這些從業(yè)者“原地”失業(yè)的說法,更多是賦能。

  從2023年開端,多模態(tài)大模型開端嶄露頭角,文生視頻并非新事物,還呈現(xiàn)了Runway、Pika等現(xiàn)象級產(chǎn)品,但人工智能巨頭OpenAI在2024年2月發(fā)布的首款視頻生成模型Sora,則可謂樹立起“世界模型”的標桿,將人工智能對真實物理世界的建模和預(yù)測推向了新高度,也引發(fā)對通用人工智能進化速度以及技術(shù)應(yīng)用前景與應(yīng)戰(zhàn)的熱烈討論。證券時報記者采訪發(fā)現(xiàn),不只影視、游戲等內(nèi)容創(chuàng)作行業(yè)公司積極應(yīng)用相關(guān)文生智能技術(shù)停頓,無人駕駛、醫(yī)療醫(yī)藥、生物制藥等范疇也在加速援用新興人工智能技術(shù)。

  構(gòu)建“世界模型”

  “繼文本、圖像之后,Sora的降生意味著可以樹立起了解和模仿理想世界的模型,是AGI完成的重要里程碑?!?nbsp;萬興科技(105.600, 2.76, 2.68%)AI創(chuàng)新中心總經(jīng)理齊鏜泉表示。

  據(jù)引見,Sora底層采用了游戲、無人駕駛和機器人(10.820, 0.28, 2.66%)范疇考證的世界模型,構(gòu)建文生視頻模型,到達模仿世界的才能。雖然Sora并非完成0到1的創(chuàng)新,但無論從文本到視頻生成才能、多鏡頭生成才能等呈現(xiàn)的效果,都展示了新高度。不過,Sora在處置更復(fù)雜的物理現(xiàn)象時可能會遇到艱難,在處置長期依賴關(guān)系上仍存在應(yīng)戰(zhàn),比方堅持時間上的分歧性和邏輯性。還有處置空間細節(jié)方面可能不夠準確,可能影響到視頻內(nèi)容的精確性和可信度。

  歸結(jié)起來,當代人工智能應(yīng)用的新陳代謝,總是逃不過“鼎力出奇觀”的算力堆疊邏輯。不過,有觀念指出,Sora背后算力并非那么重要,而且其模型范圍小于預(yù)期。

  國產(chǎn)芯片企業(yè)擔任人向證券時報記者表示,Sora尚未開放測試,因而很多技術(shù)細節(jié)尚不明白,但依據(jù)已有的信息能夠看到,Sora的模型范圍并不大,以至遠小于預(yù)期,它是經(jīng)過一種十分創(chuàng)新的方式,以較低算力資源完成視頻語料的鍛煉。因而,Sora的這種架構(gòu)對算力的需求,并不是簡單地請求更高的算力,而是可能在帶寬以及其他方面有共同的請求。

  “只能說Sora相關(guān)于GPT-4范圍小點,” 云從科技(14.640, 0.61, 4.35%)戰(zhàn)略技術(shù)總監(jiān)溫浩向記者引見,得益于OpenAI開發(fā)了一個網(wǎng)絡(luò),減少視覺數(shù)據(jù)的維度,這個網(wǎng)絡(luò)能夠承受原始視頻作為輸入,并輸出一個在時間上和空間上都停止了緊縮的潛表征。Sora在這個緊縮后的潛空間中停止鍛煉,之后用于生成視頻。所以Sore范圍沒有GPT-4大,但至少是比深度學習模型DALL-E至少大數(shù)倍范圍。

  業(yè)內(nèi)專家普遍以為,相比以往文生視頻應(yīng)用,Sora中心技術(shù)打破還表現(xiàn)在擴散模型和言語模型相分離(Diffusion Transformer)。

  在傳統(tǒng)的Diffusion擴散模型中,數(shù)據(jù)的生成過程模仿了隨機噪聲逐步消逝的過程,使得模型能夠從純噪聲中逐漸復(fù)原出明晰的數(shù)據(jù)(例如圖像);Transformer則以其強大的全局留意力機制而著稱,特別擅優(yōu)點理序列數(shù)據(jù),曾經(jīng)證明可以在自然言語處置任務(wù)中獲得宏大勝利,兩者分離可應(yīng)用于圖像生成、視頻生成以及其他需求處置高維度數(shù)據(jù)的任務(wù)中。

  “從鍛煉上看,Sora儉省了從樣本轉(zhuǎn)化規(guī)范化樣本的步驟,從效果上看,Sora能夠生成60秒的超長長度視頻,同時在3D分歧性、遠間隔相干性等視頻范疇相比以往文生視頻有了顯著提升,”云岫資本副總裁俞楓向證券時報記者表示,目前還沒有關(guān)于Sora的鍛煉推理的算力耗費的詳細數(shù)據(jù),但是視頻的算力需求相比文字會是幾個數(shù)量級的提升,至少應(yīng)當是數(shù)千張H卡級別的算力集群;算法層面經(jīng)過Diffusion擴散模型+ Transformer模型的交融與優(yōu)化,完成了生成視頻過程中的分歧性。

  另一方面,Sora類應(yīng)用對芯片層面也提出更高請求。

  俞楓指出,由于數(shù)據(jù)量和復(fù)雜度的提升,Sora類應(yīng)用關(guān)于芯片的算力和銜接都提出了更高的請求,將來特地面向視頻處置的算力芯片有時機會取得模型廠商的喜愛。

  前述芯片廠商擔任人向記者表示,像AI算力芯片這樣的大范圍芯片,迭代周期通常在2~3年,遠遠慢于應(yīng)用側(cè)(AI模型層面)的迭代速度。因而關(guān)于芯片企業(yè)而言,假如想要緊跟趨向抓住應(yīng)用機遇,一方面是需求打造軟件平臺,讓現(xiàn)有產(chǎn)品可以盡快適配全新的應(yīng)用需求;并且能在下一代產(chǎn)品中可以前瞻性地預(yù)見到一些市場趨向帶來的技術(shù)需求,提早在設(shè)計中規(guī)劃進去。

  擁抱推翻式工具

  近期有市場音訊稱,字節(jié)跳動在Sora引爆文生視頻賽道之前,已在研發(fā)一款名為“Boximator”的創(chuàng)新性視頻模型,相當于中文版Sora。

  對此,字節(jié)跳動相關(guān)人士回應(yīng)證券時報記者表示,Boximator只是視頻生成范疇控制對象運動的技術(shù)辦法研討項目,目前還無法作為完善的產(chǎn)品落地,間隔國外搶先的視頻生成模型在畫面質(zhì)量、保真率、視頻時長等方面還有很大差距。

  雖然海內(nèi)外文生視頻的技術(shù)程度尚有差別,業(yè)內(nèi)普遍預(yù)測,2024年人工智能向多模態(tài)模型演化將成為重要的趨向,即模型可以處置和整合來自不同模態(tài)(例如文本、圖像、視頻、音頻等)的數(shù)據(jù)。Sora的呈現(xiàn)更是將全球眼光聚焦于視頻生成范疇,有望大幅降低短視頻等內(nèi)容創(chuàng)作門檻。記者采訪留意到,視頻、游戲、動畫等創(chuàng)作公司曾經(jīng)表態(tài)親密關(guān)注Sora和積極規(guī)劃相關(guān)文生視頻應(yīng)用。

  盛趣游戲藝術(shù)專家委員會執(zhí)行主席、美術(shù)中心美術(shù)總監(jiān)林蕤向證券時報記者表示,Sora潛力遠超影片生成工具的范圍,公司對AI視頻生成技術(shù)接入實踐研發(fā)管線堅持悲觀。據(jù)引見,盛趣游戲從2023年開端就在努力推進AIGC視頻生成工具在游戲過場動畫、角色形象表現(xiàn)、作風轉(zhuǎn)化、動效表現(xiàn)等方面的落地應(yīng)用并為之建立對應(yīng)的消費管線。

  偉人網(wǎng)絡(luò)(10.550, 0.06, 0.57%)擔任人也向證券時報記者表示:“公司在積極規(guī)劃多模態(tài)大模型范疇,聚焦游戲垂類創(chuàng)作場景,重點對AI視頻生成、3D模型生成算法的穩(wěn)定性、可控性停止深化研討與探究。公司已將自研AI視頻作風遷移技術(shù)普遍應(yīng)用于研運環(huán)節(jié),賦能內(nèi)容創(chuàng)意表達?!?/span>

  玄機科技是國內(nèi)最早嘗試運用AI到實踐動畫制造流程中的動畫制造公司,玄機科技董事長沈樂平承受證券時報記者采訪時表示,Sora固然只能生成1分鐘的視頻,但無疑在視頻內(nèi)容制造范疇開拓了新的可能性。

  “對傳統(tǒng)動漫影視內(nèi)容制造來說,Sora能夠協(xié)助掩蓋動畫制造流程的各個環(huán)節(jié),協(xié)助動畫制造進步制造效率、降低本錢并優(yōu)化流程。從去年開端,AIGC就曾經(jīng)對全球,特別是對我們行業(yè)產(chǎn)生很大沖擊。Sora的呈現(xiàn)更讓很多動畫人擔憂本人會被AI取代。AIGC簡直能夠介入動畫制造的各個流程,將來還會不時進化,將來可能動畫各個環(huán)節(jié)都會交融AI來制造?!鄙驑菲秸f。

  多家上市公司也紛繁表示關(guān)注和規(guī)劃新興AI文生視頻技術(shù)平臺機遇。

  洲明科技(6.620, 0.51, 8.35%)作為A股LED虛擬拍攝頭部上市公司,曾經(jīng)提出了LED+AI戰(zhàn)略,在光顯行業(yè)成為首個取得微軟獨立軟件開發(fā)商(ISV)認證的企業(yè),同時取得了OpenAI官方接入答應(yīng)。洲明科技集團內(nèi)容創(chuàng)意執(zhí)行總裁、副總裁劉俊向證券時報記者預(yù)測,隨同Sora類應(yīng)用降低專業(yè)門檻和屏幕本錢,虛擬拍攝將從當前工業(yè)級市場拓展到寬廣的企業(yè)級和消費級市場。將來一旦Sora對外開放接口,洲明科技有望第一時間運用到全球最先進的視頻生成技術(shù)。

  芒果超媒(24.150, 0.26, 1.09%)在互動平臺表示,公司高度注重各類AI技術(shù)的研發(fā)和應(yīng)用,對以Sora為代表的新興AI文生視頻技術(shù)平臺堅持親密關(guān)注。此前,公司曾經(jīng)組建了AIGC創(chuàng)新應(yīng)用團隊,研發(fā)上線“AIGC HUB”等內(nèi)部應(yīng)用平臺,將AIGC技術(shù)普遍應(yīng)用于媒資運營、廣告投放、會員互動、視頻剪輯、內(nèi)容消費等業(yè)務(wù)場景。后續(xù),公司將積極探究文生視頻等新興AI技術(shù)在傳媒范疇的落地應(yīng)用與業(yè)態(tài)創(chuàng)新。

  讀者傳媒(5.560, 0.25, 4.71%)在互動平臺表示,目前,公司已嘗試經(jīng)過人工智能生成文章并編輯創(chuàng)作構(gòu)成數(shù)字內(nèi)容作品,經(jīng)過人工智能創(chuàng)作雜志封面等。公司也在積極探究人工智能賦能“讀者”品牌,嘗試開發(fā)AI應(yīng)用產(chǎn)品。將來,公司將繼續(xù)積極探究本身品牌優(yōu)勢、內(nèi)容優(yōu)勢與前沿科技深度交融,努力完成傳統(tǒng)文化企業(yè)的創(chuàng)新。

  創(chuàng)源股份(8.610, 0.46, 5.64%)也在互動平臺上表示對以Sora為代表的新興AI文生視頻技術(shù)平臺堅持親密關(guān)注,目前公司曾經(jīng)組建了AIGC創(chuàng)新應(yīng)用團隊;國投智能(16.250, 0.65, 4.17%)表示,公司的AI-3300“慧眼”視頻圖像鑒真工作站,支持Sora的生成視頻辨認和審定,公司親密關(guān)注相關(guān)技術(shù)的開展,將依據(jù)市場需求狀況,適時研發(fā)并規(guī)劃相關(guān)產(chǎn)品和效勞。

  用戶危機與行業(yè)賦能

  相比內(nèi)容創(chuàng)作環(huán)節(jié)積極擁抱Sora,傳統(tǒng)編輯工具類應(yīng)用恐遭受用戶流失危機。有接近快手的人士剖析以為,現(xiàn)有的短視頻分為兩類,一類由真人出鏡帶來的“中心資產(chǎn)”,Sora沖擊或不大;另一類由素材匯合而成,考驗拍攝、創(chuàng)意才能,Sora對此類型影響更大。

  美股中,Adobe成為遭受Sora收割的“重災(zāi)區(qū)”。在2月16日Sora問世當天,公司股價大跌7.41%,雖然公司方案推出AI助手,協(xié)助生成PDF和其他文檔摘要,并研討視頻模型,但2月以來公司股價累計跌幅接近13%,回吐到去年11月程度。

  萬興科技打造中國版Adobe,公司副總裁朱偉則向證券時報記者表示,Adobe的業(yè)務(wù)是為內(nèi)容制造者提供工具戰(zhàn)爭臺,只需不到經(jīng)過文字輸入就能直接生成電影的那天,對Adobe的影響應(yīng)該就不會太大;而且關(guān)于萬興科技而言,有了文生視頻功用后,更多人能參與創(chuàng)作視頻,那么視頻的二次編輯是必不可少的,對工具的需務(wù)實際上會更多。

  另一方面,更外鄉(xiāng)化的數(shù)據(jù)、算力本地規(guī)劃、更外鄉(xiāng)化的應(yīng)用將成為大勢所趨。朱偉指出, Sora在關(guān)于含中國元素和對中文的了解上,相對英文表現(xiàn)會偏弱。在全球來看,盤繞中國外鄉(xiāng)的數(shù)據(jù)量并不算多,數(shù)據(jù)清洗、標注方面也缺乏共同規(guī)范,換個角度來看,這也將是一個“彎道超車”的時機。

  齊鏜泉也表示,將來的AIGC軟件生態(tài)將相當于“若干大模型+海量小應(yīng)用”。Sora作為視覺數(shù)據(jù)通用大模型的代表,有望成為視頻創(chuàng)作類軟件的根底設(shè)備之一,有望與萬興科技的天幕一同加速賦能數(shù)字創(chuàng)意軟件應(yīng)用。據(jù)引見,天幕是音視頻多媒體創(chuàng)作垂類大模型,由視頻大模型、音頻大模型、圖片大模型、言語大模型組成。除文生視頻外,天幕當前已迭代文生3D視頻、視頻AI配樂、數(shù)字人(13.810, -0.05, -0.36%)播報等近百項音視頻原子才能。

  Sora帶來改動不會僅停留在內(nèi)容創(chuàng)作范疇。三六零(8.050, 0.13, 1.64%)董事長周鴻祎表示,有了大模型技術(shù)作為根底,再加上人類學問的引導(dǎo),能夠發(fā)明各個范疇的超級工具,例如在生物醫(yī)學、蛋白質(zhì)、基因研討,包括物理、化學、數(shù)學的學科研討范疇。

  其中,無人駕駛成為業(yè)內(nèi)比擬公認的代表性場景。

  數(shù)字孿生平臺公司51WORLD的AI研發(fā)專家侯濤向證券時報記者表示,從場景生成的角度來看,Sora是有助于自動駕駛仿真業(yè)務(wù)的,同時,相似模型如何可以“腦補”生成仿真場景,依然需求大量的數(shù)據(jù),特別是高質(zhì)量的3D合成數(shù)據(jù)鍛煉,這將需求以深度學習為框架鍛煉后,千億以至萬億權(quán)重和偏置等參數(shù)結(jié)合運算來表現(xiàn)。

  從現(xiàn)階段來看,這些模型的可控制性和易編輯性,以及AI大模型的邏輯推理機制提醒等方面,才剛剛起步,將來需求更多高質(zhì)量數(shù)據(jù)和更先進的AI架構(gòu)與算法來迭代完善。 據(jù)理解,目前在51WORLD公司內(nèi)部,已經(jīng)過AIGC技術(shù),基于自然言語或草圖輸入等,停止了系統(tǒng)框架搭建立計、界面與算法代碼編寫、文檔撰寫、材質(zhì)貼圖制造,以至3D單體模型新建等工作。這些新興人工智能技術(shù)的應(yīng)用,已較大幅進步了公司的工作效率和成果產(chǎn)出。

  Sora等人工智能應(yīng)用為醫(yī)療醫(yī)藥、生物制藥等也帶來了潛在的革新。

  中國科學院院士、中國科學院深圳先進技術(shù)研討院副院長鄭海榮在承受媒體采訪時表示,隨著分子醫(yī)學的開展,數(shù)據(jù)科學的開展,我們正面臨十分重要的革新時機,這是在醫(yī)療器械范疇的新質(zhì)消費力。Sora在與病人的交互,與診療技術(shù)的交互,還有大量的醫(yī)學培訓等,將有大質(zhì)變革的時機。

  川寧生物(9.200, 0.45, 5.14%)2月22日晚間公告,子公司上海銳康生物與金珵科技在生成式AI輔助合成生物制造方面達成協(xié)作。其中,金珵科技為上海銳康生物提供AI輔助研發(fā)效勞,應(yīng)用生成式AI輔助提升代謝途徑中關(guān)鍵酶性能,用生成式AI預(yù)測復(fù)雜代謝途徑中的靶點,從而提升終端小分子產(chǎn)品的效價、糖轉(zhuǎn)化率和時空轉(zhuǎn)化率,到達降本增效的目的。


在線客服系統(tǒng)