O Movie Gen pode produzir vídeos realistas juntamente com música e efeitos sonoros a 16 fps ou 24 fps em até 1080p (escalado de 768 por 768 pixels). Ele também pode gerar vídeos personalizados se você carregar uma foto e, crucialmente, parece ser fácil editar vídeos usando comandos de texto simples. Notavelmente, ele também pode editar vídeos normais, não baseados em IA, com texto. É fácil imaginar como isso pode ser útil para aprimorar algo que você filmou no celular para o Instagram. O Movie Gen é apenas pesquisa pura no momento – o Meta não o lançará ao público, então temos um tempo para pensar sobre o que tudo isso significa.
A empresa descreve o Movie Gen como sua “terceira onda” de pesquisa em IA generativa, seguindo suas ferramentas iniciais de criação de mídia como o Make-A-Scene, bem como ofertas mais recentes usando seu modelo de IA Llama. Ele é alimentado por um modelo transformador de 30 bilhões de parâmetros que pode criar vídeos de 16 segundos a 16 fps, ou filmagens de 10 segundos a 24 fps. Ele também possui um modelo de áudio de 13 bilhões de parâmetros que pode criar 45 segundos de conteúdo de 48kHz, como “som ambiente, efeitos sonoros (Foley) e música de fundo instrumental” sincronizados com o vídeo. Ainda não há suporte para voz sincronizada “devido às nossas escolhas de design”, escreveu a equipe do Movie Gen em seu artigo de pesquisa.
Meta
O Meta diz que o Movie Gen foi inicialmente treinado em “uma combinação de conjuntos de dados licenciados e disponíveis publicamente”, incluindo cerca de 100 milhões de vídeos, um bilhão de imagens e um milhão de horas de áudio. A linguagem da empresa é um pouco vaga quando se trata de fontes – o Meta já admitiu treinar seus modelos de IA com dados de cada conta de usuário australiano, e é ainda menos claro o que a empresa está usando fora de seus próprios produtos.
Quanto aos vídeos em si, o Movie Gen certamente parece impressionante à primeira vista. O Meta diz que em seus próprios testes A/B, as pessoas geralmente preferiram seus resultados em comparação com o Sora da OpenAI e o modelo Gen3 da Runway. Os humanos de IA do Movie Gen parecem surpreendentemente realistas, sem muitos dos sinais indicativos desagradáveis de vídeos de IA (olhos e dedos perturbadores, em particular).
“Embora existam muitos casos de uso empolgantes para esses modelos fundamentais, é importante observar que a IA generativa não substitui o trabalho de artistas e animadores”, escreveu a equipe do Movie Gen em um post de blog. “Estamos compartilhando esta pesquisa porque acreditamos no poder desta tecnologia para ajudar as pessoas a se expressarem de novas maneiras e para proporcionar oportunidades a pessoas que de outra forma não as teriam.”
Meta
Ainda não está claro o que os usuários comuns farão com vídeos de IA generativa. Será que vamos encher nossos feeds com vídeos de IA, em vez de tirar nossas próprias fotos e vídeos? Ou o Movie Gen será desmontado em ferramentas individuais que podem ajudar a aprimorar nosso próprio conteúdo? Já podemos remover facilmente objetos dos fundos de fotos em smartphones e computadores, então uma edição de vídeo AI mais sofisticada parece ser o próximo passo lógico.
Redação Confraria Tech.
Referências:
Meta’s Movie Gen looks like a huge leap forward for AI video (but you can’t use it yet)
