Recientemente he estado pensando mucho sobre el uso que le damos a los mapas HDRI en los entornos de producción de efectos visuales.
Para que se me entienda, me refiero a mapas HDRI panorámicos con proyecciones equirectangulares. Ya que como sabéis utilizamos otro tipo de mapas HDRI para multitud de usos.

Hablo concretamente de los mapas HDRI que utilizamos para la iluminación de planos en los que hay un footage rodado en un set y hay que integrar un asset generado por ordenador, sea de la naturaleza que sea.

Panorama HDRI equirectangular fotografiado en set.

La utilización de mapas HDRI equirectangulares para esta tarea es algo que está implementado en todo pipeline de iluminación de cualquier estudio de efectos visuales. Lleva siendo la técnica estándar durante varios años, y es probablemente el primer paso que se toma cuando se inicia la iluminación del primer plano de una secuencia.

Las razone son obvias.

Los HDRI nos dan una representación digital de la iluminación muy precisa. Guardan muchísima información lumínica recogida en un set de rodaje que puede ser utilizada para recrear dicha iluminación con una precisión altísima.
Es muy sencillo y extremadamente rápido realizar HDRIs en un set. Apenas necesitas un par de minutos.
Es muy fácil, rápido y eficaz gestionar los HDRI en un software 3D para reproducir con alta fidelidad la iluminación del set. Aunque hay diferentes técnicas, todas ellas en conjunto con los modernos motores de render, nos dan unos resultandos fantásticos.
Solo necesitamos buenas referencias de iluminación para ajustar nuestro HDRI. Con una esfera gris neutra para ajustar la dirección de la luz, una esfera cromada para ajustar los reflejos y una carta de color para ajustar el balance de blancos, tenemos suficientes datos para replicar digitalmente la iluminación con muchísima precisión.

Estas son algunas de las virtudes de los HDRI para iluminación en proyectos de efectos visuales. No está nada mal.

Pero, una vez tengo mis HDRI ¿ya está? Todo está perfecto, simplemente lanzo el render?
No es tan sencillo.

Pensando mucho sobre el tema, llego a la conclusión, de que un panorama equirectangular, tiene una proyección esférica. Está mapeado digamos a una bola que hace de mundo. Esto puede resultar apropiado para planos de exteriores, donde nuestros HDRI serán cielo y tierra básicamente. Puede que haya todo tipo de objetos en el entorno, pero lo mas importante serán esos dos elementos.

Ahora bien, ¿qué ocurre cuando hablamos de interiores? Siempre utilizaremos un panorama equirectangular, pero seguramente necesitemos cambiar el tipo de proyección. Si por ejemplo estamos iluminando una habitación, seguramente una proyección esférica no funcionará bien, y una proyección cúbica sea mas apropiada, por aquello de cuatro paredes, techo y suelo.

¿Se puede utilizar una proyección esférica? Si se puede, y en muchas ocasiones funcionará bien, pero una proyección cúbica se adaptará mejora al tipo de entorno que quieres reproducir.

Panorama equirectangular transformado mediante una proyección cúbica.

Precisión absoluta

Pensando en entornos más complejos, con objetos a medio camino entre la estructura del entorno y los actores/assets digitales, un simple mapa HDRI proyectado de forma esférica o cúbica, no nos da la precisión en la iluminación que necesitamos.
Para entenderlo mejor, cuando mapeas un HDRI a una esfera o un cubo, todos los rayos provienen de la misa distancia. Si por ejemplo tenemos a un personaje que se mueve por el entorno, debería de estar más iluminado cuando pasa cerca de una luz, o debería de reflejar más un objeto cuando pasa cerca de este que cuando está en la otra punta de la habitación.

Este tipo de información tan precisa no nos la da un HDRI proyectado mediante técnicas convencionales.

Para solucionarlo, se me ocurre básicamente generar el set de forma digital mediante técnicas de escaneo 3D o photogrametría.
Al mismo tiempo generar varios HDRI equirectangulares desde diferentes puntos del entorno, y cubrir todos y cada uno de los puntos del entorno con fotografías HDRI realizadas con los mismos ajustes de exposición que los panoramas, salvo que utilizando lentes convencionales, como 20mm por ejemplo.

Tomar todas las referencias necesarias en el set, sobretodo bolas y cartas de color, medidas, y posición del trípode en todo momento.

Medidas y anotaciones sobre las características del set.

Una vez terminado el trabajo en set, podemos procesar el scann del entorno, hacerlo poligonal y crear UV Mapping de alta resolución o trabajar con Ptex.

Con la geometría generada, pasamos a procesar todo el material fotográfico, unificar su exposición y balance de blancos, corregir las distorsiones de lente, etc.

Una vez procesadas las fotografías y la geometría, importamos todo en Mari. Gracias a environment -> sphere map projector, podemos proyectar los mapas HDRI equirectangulares en la geometría, y controlar la posición en tiempo real.
Para este paso, es importantísimo tener anotadas las posiciones del trípode en el momento de la realización de los panoramas.

Cuando tengamos los HDRi proyectados más o menos en la geometría, el siguiente paso seria proyectar las fotografías HDR tomadas con el objetivo 20mm para cubrir aquellas partes de la geometría que no hayan sido capturadas en el HDRI panorámico. Como por ejemplo las caras traseras de objetos que miraban en dirección opuesta a la cámara.

Una vez nuestro set este completamente cubierto por fotografías HDR, simplemente tenemos que exportarlas como texturas floating point. De esta forma tendremos texturas de 32bit con todo el rango dinámico necesario para iluminar los assets que situemos en el entorno, y además, con total precisión, ya que cada pixel de las textura viene desde la posición exacta en el espacio que ocupaba en el set de rodaje.

Si todo se hace bien, manteniendo la continuidad entre imágenes y no perdiendo en ningún momento el rango dinámico, obtendremos una precisión absoluta en la iluminación.

Genial, ya tenemos las condiciones lumínicas idénticas, trabajo terminado.

¡No! Este es uno de los problemas de iluminación HDRI. Muchos artistas piensan que una vez hemos reproducido las condiciones lumínicas del set, nuestra iluminación ya es perfecta. Teóricamente si, pero no nos olvidemos de una cosa, la iluminación en cine no es una reproducción física de la realidad, si no que iluminamos siguiendo unos conceptos establecidos, que llamamos iluminación cinematográfica.

¿Qué quiere decir esto? Básicamente que no iluminamos para que nuestras creaciones sean físicamente correctas, si no para que se vean bonitas en pantalla. Para ello utilizamos un montón de trucos, que se llevan utilizando desde que el cine se inventó como instrumento narrativo.

Dicho esto, hacer un match del plate mediante tecnicas HDRI es solo el principio.

También hay que tener en cuenta el trabajo de iluminación práctica en set. En muchas ocasiones el cinematógrafo de turno (y me atreveré a decir que la persona más respetada en un set de rodaje, incluso por encima del director) realiza un millón de trucos de iluminación cinematográfica que no se verían reflejados en los HDRI. Como por ejemplo iluminación negativa con placas negras, crear espacios negativos enormes cubriendo las paredes de una habitación off-camera para un determinado plano, luces direccionales intercambiables, etc.

Todos esos extras, generalmente no son recogidos por los HDRI, así que en muchas ocasiones nuestros mapas equirectangulares no serán 100% fieles a la iluminación del set.

En otras ocasiones incluso vamos mas allá, como por ejemplo cuando fotografiamos los HDRI en diferentes días que el rodaje, cuando parte del set ya no existe, etc.

Sirva esto para ilustrar algunas de las carencias de los HDRI.
Así que como estaba diciendo, hacer un buen setup de HDRI solo es el principio.

En muchas ocasiones tendremos que trabajar la iluminación CG para recrear iluminación cinemática, utilizando las técnicas que precisemos.
Algunos artistas prefieren empezar con un todo (HDRI) e ir quitando iluminación a medida que lo necesiten. Otros en cambio, prefieren empezar con la nada, e ir añadiendo todo aquello que precisen.

Luces directas, áreas, espacios negativos, rim lights, lo que sea necesario para crear un lenguaje visual basado en las leyes cinematográficas a las que estamos acostumbrados.
Los planos no serán físicamente correctos en relación al footage, pero en cine nada es real. Cine es precisamente eso, engañar al ojo humano.
Si nos conformamos en crear un plano realista, tendremos una fotografía perfecta, pero no estaremos contando ninguna historia. La iluminacion cinematográfica será la meta que tengamos que alcanzar para apoyar narrativamente a la acción.

Iluminación creada entre otras cosas, cubriendo todas las paredes off-camera con grandes paneles negros para restar luz y crear contraste. Este tipo de elementos no son recogidos por los mapas HDRI.

De todas formas, los HDRI siempre serán un seguro de vida, si la iluminación cinematográfica falla, o no hay tiempo de crearla o lo que sea, siempre tendremos los HDRI que nos darán una base muy consistente.

Sobre la utilización de HDRI en VFX