¿Qué es la XR? Puede que sea la primera vez que veais estas siglas o ya os suenan gracias a la zona dedicada a ella en el Espacio Telefónica de Madrid. La XR es lo que se conoce como eXtended reality o Realidad Extendida. En este maremágnum de realidades, quizá sea un buen momento para reflexionar sobre ellas.

Hace ya un tiempo que hablamos de la fórmula de la inmersión, y ya por entonces mencionamos cuatro realidades: la realidad aumentada (AR), la realidad virtual (VR), la realidad alternativa (ARGs) y la realidad representada. Se nos quedó entonces una realidad en el tintero, que ha ido cobrando fuerza en los últimos tiempos: la realidad mixta (MR).

Esquema continuo de la virtualidad

La realidad mixta, según la definieron Paul Milgram y Fumio Kishino en 1994 es todo aquello que se encuentra entre los extremos del continuo de la virtualidad. Es decir, todo lo que existe entre el mundo más tangible y el mundo completamente virtual, con todos los diferentes gradientes intermedios de combinación entre ambas.

Sin embargo, el concepto de realidad mixta, viene usándose últimamente con una definición distinta, como una combinación entre realidad aumentada y realidad virtual. Esto se debe al lanzamiento de tecnologías como Microsoft Hololens, Magic Leap One o MetaVision Meta 2, unos dispositivos en forma de gafas o cascos que permiten hibridar la realidad, utilizando el entorno real para convertirlo en semi-virtual. Esta tecnología nos permite ir más allá de la realidad aumentada, que solamente superpone capas de objetos virtuales sobre la realidad. Este concepto de realidad mixta permite incluir objetos virtuales dentro de la realidad, atendiendo a dos elementos clave: la renderización del espacio real (el objeto virtual se acopla al espacio en el que está, en cuanto a dimensiones e iluminación, por ejemplo) y la oclusión (los objetos virtuales son ocultados si un objeto real obstaculiza su visión).

Por lo tanto, la realidad mixta se ha convertido en algo muy concreto, que se aleja de su connotación original que cubre todo el espectro entre lo real y lo virtual. Así surge el concepto de Realidad Extendida (XR), en un nuevo intento de encontrar una terminología que las englobe a todas.

Sonido binaural: Una XR más allá de los ojos

Si nos paramos a analizar todas estas realidades, en la mayoría, el papel predominante para la inmersión es la generación de un entorno visual para generar la inmersión. Y aunque esto es lógico ya que la vista es el sentido en el que más se apoya el ser humano para comprender lo que le rodea, el concepto de realidad extendida nos permite ir más allá de la inmersión que se puede provocar a través de los ojos.

El sonido binaural trata de generar un espacio sonoro 360º, en el que los sonidos llegan al oyente desde diferentes puntos a su alrededor. Esta sensación de atmósfera sonora envolvente se genera imitando la manera que tenemos de percibir los sonidos. Nuestras orejas filtran el sonido según su origen en el espacio, y esto permite a nuestro cerebro identificar la procedencia. Esto mismo se reproduce con el sonido binaural: o bien grabado con dummy heads que recrean esa escucha humana del sonido, o bien editado para recrear estas filtraciones.

El sonido binaural es uno de los grandes responsables de la inmersión en los videojuegos o en las experiencias de realidad virtual, pero también tiene entidad por sí mismo. En España es destacable la iniciativa de Lab RTVE, PlayZcast, una plataforma de ficción sonora binaural.

También se ha experimentado con el sonido binaural en combinación con un espacio físico y un evento en directo. La compañía de teatro Complicité ya experimentó en The Encounter con el uso del sonido binaural en vivo, en el que Simon McBurney hablaba directamente al oído de todos los espectadores que le acompañaban en la sala.

Simon McBurney creando espacios sonoros binaurales en «The Encounter». Imagen de Broadwaybox

Pero ¿cómo podemos usar el sonido binaural como una aliado para generar una realidad extendida en el espacio real?

En los prototipos de Retrotopía o cómo morir de nuevo, tratamos de llevarnos lo mejor de la realidad virtual al espacio real: conseguir que el espacio sonoro, ya binaural, además se adaptara al movimiento de los espectadores. Gracias a una tecnología como el head-tracking, conseguimos que el diseño sonoro binaural se adaptara al movimiento de la cabeza de aquel que lleva el auricular, de modo que el sonido se mueve contigo. Esta experiencia, combinada con la sincronización del sonido con una puesta en escena inmersiva nos lleva a encontrar un nuevo tipo de realidad extendida.

Pero la experimentación no ha hecho más que empezar. ¿Y si conseguieramos que el sonido no solo se mueva, sino que además se modifique con el comportamiento de un espectador en un espacio físico concreto? Balizas bluetooth, internet de las cosas, machine learning… Todas estas tecnologías están cada vez más al alcance para la investigación y la creación de nuevas posibilidades dentro del paraguas de la realidad extendida. XR, VR, AR, MR, ARG… Preparaos para lo que viene, esto no ha hecho más que empezar. El lío de siglas va a ser monumental.

 

Imágenes: Wikimedia, Broadwaybox y Pixabay

Siguenos en Twitter! belen_santa // InnovacionAV