OpenAI kreirao Soru: Alat koji kreira realistične videozapise na temelju teksta

OpenAI je lansirao novi model video generiranja pod imenom Sora. AI tvrtka kaže da Sora „može stvoriti realistične i maštovite scene iz tekstualnih uputa“. Model pretvaranja teksta u video omogućuje korisnicima stvaranje fotorealističnih videozapisa do jedne minute, sve na temelju upita koje su sami napisali.

Sora je sposobna stvoriti „složene scene s više likova, specifičnim vrstama pokreta i točnim detaljima subjekta i pozadine“, prema uvodnom blogu OpenAI-ja. Tvrtka također napominje da ovaj model može razumjeti kako objekti „postoje u fizičkom svijetu“, kao i „precizno interpretirati rekvizite i generirati uvjerljive likove koji izražavaju živopisne emocije“, prenosi The Verge.

Alat također može generirati video na temelju fotografije, kao i popuniti okvire koji nedostaju na postojećem videu ili ga proširiti. Demonstracije koje je generirala Sora uključene u post na blogu OpenAI-ja uključuju zračnu scenu Kalifornije tijekom zlatne groznice, video koji izgleda kao da je snimljen iz unutrašnjosti vlaka u Tokiju i druge. Mnogi imaju neke „izdajničke znakove“ umjetne inteligencije, poput sumnjivog pomicanja poda u videu muzeja, a OpenAI kaže da se Sora „možda bori s točnom simulacijom fizike složene scene“, ali rezultati su općenito prilično impresivni.

Još uvijek nije široko dostupna

Prije nekoliko godina upravo su generatori teksta u sliku kao što je Midjourney prednjačili u sposobnosti modela da riječi pretvaraju u slike. No nedavno se video počeo poboljšavati nevjerojatnom brzinom; tvrtke poput Runwaya i Pike pokazale su vlastite impresivne modele pretvaranja teksta u video, a Googleov Lumiere također se smatra jednim od glavnih konkurenata OpenAI-ja u ovom području. Slično kao i Sora, Lumiere korisnicima daje alate za pretvaranje teksta u video i također im omogućuje stvaranje videozapisa iz fotografije.

 

Introducing Sora, our text-to-video model.

Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W

Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf

— OpenAI (@OpenAI) February 15, 2024

 

Sora je trenutno dostupna samo „crvenim timovima“ koji procjenjuju model za potencijalne štete i rizike. OpenAI također nudi pristup nekim vizualnim umjetnicima, dizajnerima i filmašima za dobivanje povratnih informacija. Napominje da postojeći model možda neće točno simulirati fiziku složene scene i možda neće pravilno protumačiti određene slučajeve uzroka i posljedice.

Ranije ovog mjeseca, OpenAI je objavio da dodaje vodene žigove svom alatu za pretvaranje teksta u slike DALL-E 3, ali napominje da se oni mogu „lako ukloniti“. Kao i drugi njegovi AI proizvodi, OpenAI će se morati boriti s posljedicama lažnih, AI fotorealističnih videa koji se pogrešno smatraju pravima.