Meta anunță un nou model AI care poate produce videoclipuri cu sunet

proprietarul Facebook Yuan a anunțat vineri că a construit un nou model de inteligență artificială numit Movie Gen, care poate crea clipuri video și audio fotorealiste pe baza solicitărilor utilizatorului, susținând că este comparabil cu instrumentele de la startup-uri de generație media, cum ar fi OpenAI și ElevenLabs.

Exemple de creații Movie Gen oferite de Meta arată videoclipuri cu animale care înot și navighează, precum și videoclipuri care folosesc fotografii reale ale oamenilor pentru a-i înfățișa făcând lucruri precum pictând pe pânză.

Meta a spus într-o postare pe blog că Movie Gen poate genera și muzică de fundal și efecte sonore sincronizate cu conținutul filmului și poate folosi instrumentul pentru a edita filmele existente.

Într-un astfel de videoclip, Mehta a pus instrumentul să introducă pompoane în mâinile unui bărbat care alerga singur în deșert, în timp ce într-un altul, a transformat o parcare în care un bărbat făcea skateboarding de pe pământ uscat într-o parcare stropită cu bălți. .

Meta spune că Movie Gen poate crea videoclipuri de până la 16 secunde și audio de până la 45 de secunde. A împărtășit date care arată că testele oarbe au arătat că modelul a depășit produsele de la startup-uri precum Runway, OpenAI, ElevenLabs și Kling.

Vestea vine în timp ce Hollywood a muncit din greu în acest an la modul de utilizare a tehnologiei video de inteligență artificială generativă. Microsoft– Sprijinit de OpenAI, care a arătat pentru prima dată în februarie modul în care produsul său Sora poate crea videoclipuri asemănătoare unui film pe baza solicitărilor de text.

Tehnicienii din industria divertismentului sunt dornici să folosească astfel de instrumente pentru a îmbunătăți și accelera producția de filme, în timp ce alții se feresc să adopte fără permisiune sisteme instruite pe lucrări protejate prin drepturi de autor.

Parlamentarii au evidențiat, de asemenea, preocupările cu privire la modul în care falsurile generate de inteligența artificială, sau deepfake-urile, ar putea fi utilizate în alegerile din întreaga lume, inclusiv în Statele Unite, Pakistan, India și Indonezia.

Un purtător de cuvânt al Meta a spus că este puțin probabil ca compania să lanseze Movie Gen pentru utilizare deschisă de către dezvoltatori precum seria Llama de modele de limbaj mari și a spus că riscurile fiecărui model vor fi luate în considerare individual. Ei au refuzat să comenteze în mod special evaluarea lui Meta despre Movie Gen.

În schimb, ei au spus că Meta lucrează direct cu comunitatea de divertisment și alți creatori de conținut cu privire la utilizarea Movie Gen și îl va încorpora în propriile produse Meta cândva anul viitor.

Potrivit unei postări pe blog publicată de Meta și a unui document de cercetare despre instrument, compania a folosit seturi de date licențiate și disponibile public pentru a construi Movie Gen.

OpenAI s-a întâlnit cu directori și agenți de la Hollywood în acest an pentru a discuta posibile parteneriate care o implică pe Sora, deși se pare că aceste discuții nu au dus încă la niciun acord. Preocupările cu privire la practicile companiei s-au intensificat în mai, când actorul Scarlett Johansson i-a acuzat pe creatorii ChatGPT că și-au uzurpat vocea pentru chatbot-ul său fără permisiune.

Lionsgate EntertainmentStudioul din spatele „The Hunger Games” și „The Twilight Saga” a anunțat în septembrie că va permite startup-ului de inteligență artificială Runway să acceseze biblioteca sa de filme și emisiuni TV pentru a antrena modele de inteligență artificială. În schimb, studiourile și realizatorii lor pot folosi modelul pentru a-și îmbunătăți munca.