En junio de 2015, en Future Lighthouse, la empresa que dirijo, decidimos aventurarnos por una puerta. Una puerta que no sabíamos bien dónde nos iba a llevar, aunque eso no nos preocupaba demasiado.
Esta es una crónica de la génesis de uno de los primeros (o quizá el primero) episodios de realidad virtual de una serie de televisión en el mundo. Una nueva manera de contar, de narrar, de ver.
Ya hemos hablado mucho en este blog de realidad virtual, pero ahora toca meterse en las tripas de la ballena y contar el detrás de las cámaras (¿dónde está el detrás de las cámaras si la cámara es 360º?)
En junio de 2015 decidimos cruzar la puerta del Ministerio del Tiempo e ir directos al área de Análisis y Nuevos Proyectos de Radio Televisión Española (RTVE) para proponerles lo que sería el primer viaje en realidad virtual de una cadena pública de televisión en nuestro país.
De esta forma, comenzó una aventura entre puertas, portones y portales, en los que encontrábamos aliados por el camino. Onza Entertainment, la productora de la serie, apostó por la idea y Pablo Lara, su Productor Transmedia, se unió al equipo para hacer lo imposible: colarnos en el Ministerio del Tiempo y hacer el capítulo inmersivo más impresionante del mundo.
No sólo nosotros estábamos entusiasmados con la idea. Los actores, el equipo de producción de la serie, los guionistas, el creador, se implicaron desde el minuto cero. Para ellos tenía sentido: en la serie, los viajes en el tiempo son sólo al pasado. Juntos, pretendimos trasladarlo todo a un futuro donde los espectadores son protagonistas y todo gira en torno a ellos.
En esta experiencia, bautizada como “El tiempo en tus manos”, se nos permite interactuar con algunos de los protagonistas de la serie y recorrer con ellos lugares clave del Ministerio. El espectador se convierte en un candidato a funcionario del Ministerio del Tiempo, por lo que deberá realizar un examen interactivo (basado en los contenidos culturales de la serie) para comprobar si es apto para el puesto de trabajo.
El rodaje
El rodaje, de dos días de duración, se realizó en los mismos escenarios en los que se graba la serie. Todo el equipo de maquillaje, producción, arte e iluminación se integró en nuestro flujo habitual de trabajo para mantenernos lo más fieles posible a la serie original.
La primera decisión fue de tipo técnico: ¿estereoscopía o mono? ¿Video con volumen o plano? Para nosotros no había duda: la realidad virtual debe ser inmersiva y para ello necesitamos realismo. La mejor forma de conseguirlo es teniendo un entorno a tu alrededor que tiene forma, dimensión, profundidad, y que casi parece que se puede tocar.
Para hacer este tipo de grabación utilizamos un rig propio con dos cámaras de alta calidad. Para ello contamos con Antonio García-Serrano (Zakato 360), uno de los mayores expertos en estereoscopía del mundo. Este sistema, que consigue una sensación de profundidad que nos fascina, hace que todo el proceso sea muchísimo más artesanal.
Para que una grabación en 360º tenga sentido, en cada ángulo tiene que haber algo interesante para el espectador. Lo teníamos en cuenta, y eso añadió un punto de dificultad, ya que había que sincronizar las acciones que ocurrían en diferentes ángulos de grabación. Al final, no es sólo una cuestión de en qué segundo comienza la acción, sino de continuidad de miradas y de diálogos. “En un rodaje de realidad virtual el director pierde la mitad de sus posibilidades: ya no puede obligar al espectador a mirar en una dirección concreta mediante los planos; se convierte en un director de teatro, donde lo importante es la puesta en escena, el sonido, la iluminación”.
Con este sistema se pueden grabar hasta unos 90º, por lo que ya desde guión dividimos las escenas en cuatro cuadrantes, de manera que la acción no pasara de un lado a otro: eso daría problemas al coser la imagen para crear la esfera completa. Sin embargo, encontramos una manera de solucionarlo cuando por exigencias de guión necesitásemos que los personajes pasaran de un lado a otro: interponiendo atrezzo. Por ejemplo, en la segunda secuencia, en el claustro, cosimos la escena usando una columna, de manera que el personaje pudo pasar de un lado a otro de la esfera sin que se notara que estaba grabado de forma separada.
¿Qué perdimos a cambio de conseguir el que muchísimas personas de la industria han calificado como el mejor 360 estereoscópico que han visto en su vida? Movimiento, por ejemplo. Una de las ideas originales era hacer un plano secuencia en travelling, cosa que fue absolutamente imposible dado el estado actual de la tecnología.
O el cuerpo. Originalmente queríamos que miraras abajo y pudieras ver tu propio cuerpo. Que los objetos que te tienden los personajes fueran recogidos por “tus” manos. De hecho, rodamos todas las secuencias dobles, una sin cuerpo y otra con uno de nosotros vestido con un ridículo y apretado traje de croma verde, para integrar después un cuerpo digital. Finalmente, no fue posible integrar el cuerpo por tiempo y presupuestos.
Sin duda, fue un rodaje divertido. Llevamos un set de gafas de realidad virtual para enseñarle a los actores y al equipo contenido durante el rodaje, y grabamos sus reacciones. Al final, hubo un momento gracioso entre uno de los actores y el creador de la serie, y lo incluimos como huevo de pascua oculto dentro de la experiencia.
La postproducción
Después de cinco meses de preproducción, catorce versiones de guión y dos días de rodaje, llegó la postproducción, en la que fuimos haciendo varias cosas en paralelo. Por una parte comenzamos el cosido de la imagen y los renders 3D de los escenarios digitales. Después, llegó el complejo proceso de efectos especiales, usando los assets originales de la serie que nos cedió USERt38, que José Jacas integró y manipuló para hacer todos los fondos que eran originariamente una pantalla verde.
Una de las decisiones creativas que tomamos fue la de utilizar un tipo de transición de escena a escena distinto al que habíamos visto en otras producciones. Decidimos que todas las escenas estuvieran unidas por un objeto que te tiende uno de los personajes. Así, cuando finalmente decidimos no incluir tu propio cuerpo, recreamos esos objetos en 3D para realizar las transiciones.
Por otro lado, habíamos comenzado ya el desarrollo de los exámenes interactivos (nos gusta decir que, en realidad, lo que hicimos fue integrar realidad aumentada dentro de la realidad virtual). Y mientras creábamos todos los textos, el diseño de pantallas, etc, nuestro ingeniero VR, Néstor Viña, fue desarrollando la aplicación en sí tras un larguísimo (y muy debatido) proceso de diseño de usabilidad e interacción de usuario. El último paso fue integrar el video y el sonido binaural en la aplicación.
El proyecto de Ministerio VR ha sido complejo desde el punto de vista de postproducción por tres factores. Por un lado teníamos que igualar la calidad de una serie de televisión de prestigio y asegurarnos de que visualmente fuese lo más parecida posible. El segundo reto era conseguir ese aspecto y calidad de VFX en una producción grabada en 360º y por último, que todo eso fuera estereoscópico, es decir, había que trabajar en dos imágenes la vez, una para cada ojo.
“En este momento es donde empieza mi trabajo. Recibo por un lado las imágenes 360º por duplicado, una para cada ojo y los renders 3D también para ambos ojos. Mi trabajo consiste en juntar ambas cosas, eliminar los cromas, sustituir techos, borrar elementos que no deberían verse como focos e igualar el color y la luz para que los entornos 3D parezcan parte del decorado real. Todo esto asegurando que cualquier operación que haga sobre la imagen de uno de los ojos ha de replicarse exactamente igual en el otro ojo, pero compensando la desviación horizontal de ese ojo para evitar problemas de estereoscopía; es decir, que al verlo en 3D tus ojos no noten nada raro en ese punto.” -José Jacas, VFX
Para casi todo este trabajo, Jacas utilizó Nuke de The Foundry, un potente programa de postproducción que tiene muchas herramientas para trabajar con video estereoscópico, lo cual facilitó las tareas de replicar todas las operaciones que hacía sobre un ojo en el otro.
Por otro lado, las correcciones de alineación tuvieron que hacerse a mano en varios momentos. Una vez alineados el fondo real con el 3D y eliminados los cromas, tuvo que fusionar los bordes de uno con el otro, creando extensiones de suelo y techo que no saltasen a la vista. La mayor dificultad de esta parte es hacer coincidir la profundidad estereoscópica de ambos puntos para evitar que al verlo en unas gafas VR haya un salto repentino de profundidad entre el decorado y el fondo 3D. Todo este trabajo es un proceso de prueba y error hasta que todo queda perfecto.
En algunas secuencias, como en la de la oficina de Angustias, hubo que generar un techo 3D ya que el decorado no lo tiene. Además hubo que «pintar» sombreado alrededor del techo para terminar de integrar el nuevo techo y que diese la sensación de ser real. Como último detalle, hubo que añadir unas lámparas digitales para sustituir a los focos de rodaje.
El rodaje duró dos días. El proceso de postproducción… algo más: cuatro meses, desde finales de diciembre hasta bien entrado marzo. Sin duda, para todo el equipo fue una verdadera experiencia de aprendizaje, ya que era la primera vez que combinábamos el trabajo en 360º con la estereoscopía.
Focos de atención
Los focos de atención es un tema que trae de cabeza a toda la comunidad de realidad virtual. En el caso del Ministerio VR utilizamos ciertas técnicas narrativas que hemos podido comprobar que funcionan. La experiencia es en primera persona, eres parte de la historia, por lo que los personajes te hablan directamente a ti, mirándote de frente. Esto permite que, después de los primeros treinta segundos, donde el espectador se adecua al entorno, siga la trama sin despistarse.
Y, ¿cómo llevamos al espectador de un foco de atención a otro? Podemos hacerlo mediante un elemento visual, algo que se te cruza y te llama la atención, guiándote hasta el segundo foco. El audio binaural juega un papel clave en esto. Como hemos mencionado, rellenamos cada ángulo de visión con elementos interesantes para el espectador. Cuando era obligado que mirasen hacia un lado concreto, utilizamos el audio para guiarlos de forma natural.
En el rodaje, grabamos con sonidos discretos: en principio, se graba cada sonido por separado y se coloca con un software especial en un espacio tridimensional. Este software es capaz de simular el efecto binaural con los diferentes audios y hacernos creer que cada sonido viene de una posición específica.
La aplicación
Una de nuestras principales prioridades ha sido que la interfaz de la app sea sencilla, intuitiva y natural, que “la realidad sea virtual pero siga siendo realidad”. En paralelo al proceso de rodaje y stitching, se hizo el diseño de interacción de usuario de la app y, según iba creándose todo el material, nuestro ingeniero lo usaba para hacer la aplicación, desarrollada en Unity. Dentro de Unity hemos creado bastante código original para poder desarrollar todo el episodio.
Hemos intentado, en el fondo, desaparecer. Dejar al usuario disfrutar de la experiencia, del contenido. Vivir El Ministerio desde dentro, sin sentir que nosotros estábamos interviniendo o ahí para explicarle nada.
Todo este proceso, que ha durado 9 meses, nos conduce, como en la misma experiencia, a la Puerta 2046: una puerta hacia el futuro que se abre ante nosotros. Hacer “El tiempo en tus manos” ha sido una auténtica gozada y no podemos estar más orgullosos del resultado. Pero no sólo nosotros, no es sólo la sensación de trabajo bien hecho. Es, sobre todo, la reacción que ha tenido el público. Las increíbles críticas de fans de la serie, pero también de personas que nunca habían visto un capítulo y de personas importantes de la industria, de nuestros pares.
La puerta 2046 no ha hecho más que abrirse para iniciar un camino hacia un futuro que visionamos brillante y luminoso.
¿Nos acompañas?
–
Innovación Audiovisual 