Adobe dice que la generación de video llegará a Firefly este año

Los usuarios tendrán la oportunidad de probar el modelo de IA de Adobe para la generación de videos en solo un par de meses. La compañía dice que las características impulsadas por el modelo de video Firefly de Adobe estarán disponibles antes de que finalice el año 2024 en la aplicación beta de Premiere Pro y en un sitio web gratuito.

Adobe dice que tres funciones - Generative Extend, Text to Video e Image to Video - están actualmente en una beta privada, pero pronto serán públicas.

Generative Extend, que te permite extender cualquier video de entrada en dos segundos, se integrará en la aplicación beta de Premiere Pro más adelante este año. Los modelos de Text to Video e Image to Video de Firefly, que crean videos de cinco segundos a partir de indicaciones o imágenes de entrada, estarán disponibles en el sitio web dedicado de Firefly más adelante este año también. (Adobe señaló que el límite de tiempo puede aumentar).

El software de Adobe ha sido uno de los favoritos entre los creativos durante décadas, pero herramientas de IA generativas como estas pueden trastornar la misma industria que la compañía sirve, para bien o para mal. Firefly es la respuesta de Adobe a la reciente ola de modelos de IA generativa, incluidos Sora de OpenAI y Gen-3 Alpha de Runway. Las herramientas han cautivado a las audiencias, creando clips en minutos que habrían llevado horas para que un humano los creara. Sin embargo, estos primeros intentos de herramientas generalmente se consideran demasiado impredecibles para utilizar en entornos profesionales.

Pero la capacidad de control es donde Adobe cree que puede destacarse. Ely Greenfield, CTO de medios digitales de Adobe, dice a TechCrunch que hay un “enorme apetito” por las herramientas de IA de Firefly donde pueden complementar o acelerar los flujos de trabajo existentes.

Por ejemplo, Greenfield dice que la función de relleno generativo de Firefly, añadida a Adobe Photoshop el año pasado, es "una de las características más utilizadas que hemos introducido en la última década".

Adobe no reveló el precio de estas funciones de video de IA. Para otras herramientas de Firefly, Adobe asigna a los clientes de Creative Cloud un cierto número de “créditos generativos”, donde un crédito típicamente produce un resultado de generación. Planes más caros, obviamente, proporcionan más créditos.

En una demostración con TechCrunch, Greenfield mostró las características impulsadas por Firefly que llegarán más adelante este año.

Generative Extend puede continuar donde se detiene el video original, agregando dos segundos adicionales de metraje de una manera relativamente fluida. La función toma los últimos cuadros en una escena, pasándolos por el modelo de Video de Firefly para predecir los siguientes segundos. Para el audio de la escena, Generative Extend recreará el ruido de fondo, como el tráfico o los sonidos de la naturaleza, pero no las voces de las personas o la música. Greenfield dice que esto es para cumplir con los requisitos de licencias de la industria musical.

En un ejemplo, Greenfield mostró un clip de video de un astronauta mirando hacia el espacio que había sido modificado con la función. Pude notar el momento en que se había extendido, justo después de que apareciera un destello de lente inusual en la pantalla, pero el paneo de la cámara y los objetos en la escena se mantuvieron consistentes. Pude ver que sería útil cuando tu escena termina un momento demasiado pronto, y necesitas alargarla un poco más para hacer la transición o desvanecerla.

Las características de Text to Video e Image to Video de Firefly son más familiares. Te permiten introducir una indicación de texto o imagen y obtener hasta cinco segundos de video. Los usuarios podrán acceder a estos generadores de video de IA en firefly.adobe.com, probablemente con límites de velocidad (aunque Adobe no especificó).

Adobe también dice que las características de Text to Video de Firefly son bastante buenas para deletrear palabras correctamente, algo con lo que los modelos de video de IA suelen tener dificultades.

En términos de salvaguardias, Adobe está optando por la precaución para comenzar. Greenfield dice que los modelos de video de Firefly tienen bloqueos para generar videos que incluyen desnudez, drogas y alcohol. Además, agregó, los modelos de generación de video de Adobe no están entrenados en figuras públicas, como políticos y celebridades. Lo mismo ciertamente no se puede decir de algunas de las competencias.