Producción virtual en tiempo real: Entrevista a MR Factory

Pese a dedicarnos a escribir sobre innovación audiovisual, no siempre tenemos la oportunidad de comentar tecnologías realmente disruptivas sobre la misma producción de contenidos.

Por eso celebramos la ocasión de poder entrevistar a Juan Luis Bravo, Productor Ejecutivo en MR Factory, una empresa especializada en VFX y servicios de Previsualización en Tiempo Real con calidad fotorrealista. O sea, efectos visuales en cámara y con acabado final sin salir del set de rodaje. Y con mayor motivo lo celebramos teniendo en cuenta que se trata de profesionales españoles que llevan desde el 92 en el sector, demostrando poseer tanto el gen de la resiliencia como el de la innovación.

¿Qué es MR Factory y a qué os dedicáis?

MR Factory es una empresa que se constituye en 1992 con el objetivo de desarrollar e integrar soluciones audiovisuales que resuelven con éxito las necesidades de nuestros clientes siguiendo cuatro criterios: innovación, eficiencia, eficacia y diferenciación. Empezamos desarrollando sistemas de entrenamiento y simulación para aeronaves civiles y militares, pero siempre tuvimos como horizonte la universalización de los dispostivos interactivos y de VR/AR para entretenimiento porque hoy, pese a que todos los dispositivos, TV, tablets, móviles, etc, son interactivos, el cine y la televisión no lo son. Y sin embargo, según nuestro criterio, Internet y los video-juegos son muy interactivos. No hay espacio intermedio. Creemos que hay un mercado ahí, y la tecnología de escenario virtual apunta a la realización de proyectos interoperables, crossmedia, que contemplen la compatibilidad con los medios tradicionales, pero también enfocando la interactividad, porque estamos convencidos que las nuevas generaciones van a demandar series y cine interactivo.

Previsualización (previz), Desarrollo del look (Look-dev), modelado, texturizado, rodaje, composición, montaje, gestión de assets… Da la impresión de que le pegáis un buen cambio al flujo de producción tradicional. ¿Cómo es el workflow con esta nueva metodología?

Creemos en resucitar planteamientos que funcionaron muy bien en Hollywood con la tecnología de principios del siglo XX.  Entonces se filmaba toda la producción en estudio, para lo cual era necesario crear los decorados usando materiales y tecnología de entonces.

En aquella época había que preparar todos los decorados, sets, etc. en pre-producción. Nuestro planteamiento es similar: rodar todo en estudio, pero integrando y desarrollando tecnología punta de principios del siglo XXI, mezclando decorados reales y virtuales, todo en estudio como se hacía entonces.

Nuestro Workflow es como sigue:

1. Creación de shooting/story + Look Dev referenciando todo, lo mejor posible. Cuanto mejor sea la definición de los sets, mejor va a ser el resultado.
2. Desglose y determinación de técnicas para la construcción de sets y resto de VFX (fotogrametría/LIDAR, camera mapping, modelaje por camera matching, etc.)
3. Iluminación en ubiased render con lighter y director de fotografía (terminal remota). Realizamos en tiempo real este proceso con servidores HPC de 10 tarjetas RTX 2080TI.
4. Conversión a render en tiempo real usando UE4/Unity u otros utilizando RTX y técnicas mixtas.
5. Grabación multi-capa sincronizada por código de tiempo (Foreground, Background, Matte, Composite, y adicionalmente Fill, garbage matte, y hold out matte, así como el RAW de cámara y los datos de tracking con translación, rotación, foco y zoom en formato FBX)

El resultado es que previsualizamos todo en 4K a 10bit con calidad fotorrealista, pero preservando cada una de las capas en formato original.

Supongo que variará ligeramente la composición tradicional del equipo humano en set, con más técnicos de lo que antes llamábamos postproducción o profesionales polivalentes capaces de desenvolverse tanto en un entorno como el otro.

La realidad es que integramos equipos humanos de composición tradicional en Nuke, por ejemplo, con los equipos de producción virtual. La idea es pasar todo lo que podamos de post-producción a pre-producción, para agilizar y mejorar la producción.

¿En qué momento realizáis el encaje definitivo de imagen real e imagen generada? Me refiero a luz, color, interacción entre elementos, render y composición. El “acabado” (partiendo de la base de que el acabado en tiempo real que se observa en vuestros videos de demostración es bastante impresionante ya).

En realidad nuestro sistema es siempre PreViz, aunque tenga calidad fotorrealista, porque en todo momento componemos con la multicapa, ya sea en programa de edición FinalCut, Avid o Premiere, como en programas de composición Nuke, After, etc. Siempre utilizamos el RAW de cámara en combinación con las el resto de capas y máscaras.

He visto una tecnología similar, más básica quizás, en programas de televisión, incluso en informativos. ¿Se trata de un nivel de acabado adaptado para el directo o es una tecnología completamente distinta?

Todas las tecnologías son integraciones de otras tecnologías con un desarrollo específico, nuestra tecnología es una integración de muchas tecnologías orientadas y adaptadas a el propósito que perseguimos que es la previsualización en cine, y por tanto tenemos que poner énfasis en cosas que las tecnologías de broadcast y tv no tienen porqué tener en cuenta, por ejemplo el flujo de color compatible con REC 2020 y ACES, o un tracking infinitamente más preciso con distorsión óptica, grabación multicapa en 4K en 4:4:4 a 10bit/12bit entre otros temas. Adicionalmente la fotogrametría nos lleva a soportar mapas y texturas de más de 8K que por ejemplo UE4 no lo soporta directamente, pues es el conjunto de todos estos planteamientos, entre otros, los que hace que esta tecnología este concebida y adaptada para series de ficción y cine.

La aplicación en productos basados en VFX en plan Hollywood parece evidente. ¿Cómo puede beneficiar el uso de esta tecnología en producciones más modestas? De primeras se me ocurre una enorme reducción de costes en escenografía, por ejemplo; vosotros mismos afirmáis lograr 10 espectaculares minutos de brutos útiles al día al no perder tiempo en cambios de localización.

El beneficio más evidente es la reducción de tiempos y costes, pero a mi modo de ver no es el más importante. Para mi hay beneficios muy importantes que mejoran directamente la calidad de la película o de la serie, como son el rodaje cronológico, la mejora del sonido (se pueden borrar las pértigas), la ampliación de las posibilidades creativas, la posibilidad de completar la serie con planos que falten una vez terminada la producción, etc, etc.

Unreal, los creadores de uno de los motores de videojuego más usados del mercado y la tecnología en el corazón de la producción virtual, les dedicaron a MR Factory un video a principios de este año, destacando su innovación y su modelo de producción.

Me llama también la atención la posible portabilidad de los elementos necesarios para la producción (assets) de un medio a otro, ya sea cine, TV, publi, videojuegos. Podría parecer la forma definitiva de producir transmedia. ¿Alguna experiencia al respecto?

Está claro, es el objetivo al que apuntamos: producciones interoperables Transmedia/Crossmedia. Por ejemplo, según lo vemos nosotros, un trailer de 2 minutos es a una película de 2 horas como la película de 2 horas lo es a una serie de 20 horas, o como la serie a una aventura interactiva inmersiva 360 de 200 horas (tipo Myst y similar). Pues bien, nosotros podemos producir todo reutilizando en porcentajes muy altos la materia prima de un formato en otro.

Nuevos entornos, nuevas oportunidades…. Supongo que se plantearán nuevos desafíos. Además, aunque lo que ofrecéis es espectacular, los realizadores podemos ser insaciables. ¿Qué más cosas tenéis pensado implementar en el futuro? ¿MoCap de personajes? ¿Motion Control con cámaras robotizadas? ¿Producción de VR?

Absolutamente, ya estamos en ello y tenemos proyectos en donde se mezclan personajes reales con personajes virtuales en entornos virtuales con decoración real. También tenemos lista la producción en 8K que mejorará mucho el chroma y las posibilidades de rodaje por camera mapping y plates- Para eso estamos planteando la producción con Panavision DLX 1/2. También tenemos prevista la producción mixta de 2,40:1 por ejemplo, con vídeo 360º en directo y con 6DOF con el flujo RED-Minefold, entre otros planteamientos.

Sacad pecho. Habladnos de producciones en las que habéis participado y de las que estéis orgullosos.

Pues de momento poco, porque esto es muy nuevo. Hemos realizado escenas para Globomedia en Estoy Vivo, numerosas escenas un largometraje con Maribel Verdú y Gerardo Herrero, y para otro largometraje con Achero Mañas las escenas de coche. Ahora tenemos muchos proyectos en marcha en los que estamos participando de los que no puedo comentar nada.