Este video es una pequeña demo que grabé hace tiempo explicando como utilizar el gizmo de Nuke "mmColorTarget" creado por Marco Meyer.

En el video explico primero como instalarlo en Mac, que no es cosa fácil. De hecho, si encuentras otra forma de hacerlo, agradecería que la compartieras.
Después, explico los usos que yo le doy en relación con referencias de texturas, background plates e Image Based Lightning.

El video originalmente fue creado para xuanprada.com así que está en inglés, aunque supongo no tendrás mayores problemas en seguirlo.

Conocer los aspectos técnicos detrás del color en efectos visuales es algo realmente complejo. La ciencia del color aplicada a la creación de imágenes sinteticas, es un tópico denso, complicado de entender (y explicar) y sin duda, yo no estoy capacitado para hacerlo de una forma correcta y precisa. Si realmente estás interesado en como funciona el color y como debemos utilizarlo en un pipeline complejo de VFX, te recomiendo que le eches un vistazo al paper publicado por VES, donde recoge en profundidad todos los tópicos que necesitas estudiar en relacion al color en el mundo audiovisual.

Lo que si voy a intentar explicarte de la forma más amena posible son los conceptos básicos y necesarios que considero cualquier VFX artist ha de comprender para poder desenvolverse con soltura en un pipeline de efectos visuales en cualquier estudio de VFX.

El color en efectos visuales parece ser un tema tabú, que mucha gente parece no comprender, otros ni siquiera están al corriente de como gestionamos el color en nuestros proyectos, y algunos, ni siquiera se interesan por el asunto. Tiempo atrás, algunos dejaron de trabajar en 8 bits y empezaron a trabajar de forma lineal. De esto hace años, y mucha gente hablaba de Linear Workflow, aunque la mayoría, se quedaron en como corregir los mapas de texturas para que su input fuese lineal y como renderizar imágenes flotantes de forma lineal sin hacer un bake de gamma.

Sin duda, es un paso, pero la mayoría de artistas siguen sin comprender los diferentes sistemas de color utilizados en VFX, incluso aquellos artistas trabajando en grandes VFX facilities. Muchos escuchamos términos como ACES o LUT, y realmente no sabemos que significan, o por qué debemos utilizarlos. Simplemente somos conscientes de que las imágenes mostradas en nuestro monitor de trabajo son diferentes cuando utilizamos un LUT u otro.

Por otro lado, profesionales trabajando en boutiques de VFX o estudiantes, nunca se han enfrentado a este tipo de terminología relacionada con el color, y cuando llegan a un estudio más grande, o simplemente han de colaborar en un proyecto global con varias boutiques, o realizan outsourcing para grandes estudios, etc. se topan directamente con algunos conceptos relacionados con el color que desconocen completamente.

Intentemos desde este blog arrojar un poco de información relacionada con este tema tan importante y necesario, siempre desde el punto de vista de quien escribe, un artista de efectos visuales, con las carencias que uno pueda tener en un campo tan complejo como la ciencia del color.

Asunciones generales

Como VFX artists vamos a tener que lidiar con diferentes tipos de material relacionados con color. Por simplificar el proceso digamos que tendremos que preocuparnos por recoger el material que viene de un set de rodaje, después tendremos que pensar en como almacenar ese material para poder utilizarlo a lo largo del pipeline de producción cinematográfica, después lo más importante será como poder visualizarlo correctamente, como trabajarlo en un entorno de VFX y finalmente, como distribuirlo para que pueda ser utilizado de forma correcta en las fases posteriores a la realización de los efectos visuales. 

En set de rodaje, lo más importante relacionado con color son las fuentes lumínicas artificiales y las cámaras. Temperatura de color y tintado son las propiedades más importantes de las que debemos estar al tanto. Siempre necesitaremos Macbeth Charts y otros color samples para poder trabajar el color grading de forma correcta. La resolución y profundidad de color del material rodado también cobra importancia cuando trabajamos con color. LED, tungsteno, Kinoflo, etc. cada fuente lumínica tiene propiedades diferentes que tenemos que conocer para poder trabajar con los diferentes recursos de forma correcta, eficaz y sobre todo, consistentemente.

  • Todos los estudios de VFX son diferentes.

Todos los estudios de VFX para los que he trabajado y con los que he trabajado, abordan la gestión de color de forma diferente, lo que me hace pensar que nadie trabaja de la misma forma. Es lógico, cada estudio (especialmente los grandes) utilizan un montón de herramientas propias que requieren ser tratadas de forma extraordinaria.

Como bien sabéis, no hay un solo proyecto que se realice de forma íntegra en un solo estudio de VFX, así que siempre toca lidiar con pipelines de color de otros estudios, ya que se comparten assets y otros materiales entre varios facilities.

  • 8 bits

En el pasado solíamos trabajar en sistemas de color de 8 bits. Sin entrar en mucho detalle, digamos que solíamos bakear un gamma en la imagen de salida, esto permitía que las imágenes producidas se pudiesen representar bien en los dispositivos utilizados, tv, cine, monitor, etc. Podemos referirnos a este sistema de trabajo como sRGB pipeline.

No creo que quede un solo estudio sobre la faz de la tierra trabajando en 8 bits. Todos ya trabajamos de forma linear. Supongo que tu también.

  • Physical Based Workflow

Hoy en día, prácticamente todos los estudios tienden a trabajar en un physical based workflow, donde todo el material se interpreta de forma linear. Footage, texturas, luces, shaders, renders, composición, etc. todo es o se convierte a linear para que los cálculos sean correctos. Nos referimos también a este sistema de trabajo como High Dynamic Range Pipeline o simplemente Linear Pipeline.

Cuando trabajamos en un Physical Based Workflow entendemos que utilizamos Plausible Lighting, Physical Based Shading y Physical Based Lighting and Rendering.

  • Luts

Luts o Look Up Table, son por resumirlo mucho, archivos digitales que simulan la emulsión de una película fotográfica existente o inventada. Es decir, cuando aplicamos un LUT a un footage o a un render, éste va a cambiar en función del LUT aplicado. Los LUTs cambian en función del show y generalmente son elegidos por el cinematógrafo antes de rodar el proyecto. La productora se encargara de proporcionar el LUT utilizado a los diferentes departamentos que figuran en la producción cinematográfica, como VFX, editing, o DI.

En efectos visuales es extremadamente importante trabajar siempre con el LUT del show aplicado, ya que el resultado tras aplicar el LUT en ocasiones es extremadamente diferente. Es por esto que por ejemplo aplicaciones como Photoshop han quedado prácticamente desterradas de los pipelines de VFX, ya que no tienen soporte para LUTs y otros sistemas de color de los que hablaremos más adelante.

  • Gamut

El gamut es el rango de color disponible en una imagen. Este rango de color puede variar de forma considerable en función del espacio de color utilizado. A continuación hablaremos de diferentes espacios de color.

Múltiple información, múltiples software

Independientemente de cual sea nuestro pipeline de VFX vamos a necesitar utilizar una cantidad de software ingente y tendremos que utilizar y generar todo tipo de información visual.

Partiremos seguramente de scans o footage de alta resolución (4k o 6k) en diferentes formatos y espacios de color, pero siempre con un rango dinámico muy alto. Muchas veces estos scans no son puramente digitales, aún se ruedan muchísimas películas en film, así que los scans puede que sean negativos escaneados.

También tendremos que trabajar con footage en 8 bits, con imágenes, HDR, con imágenes LDR, con texturas de todo tipo, etc.

Cuando hablamos de software, utilizaremos software comercial como Maya, Nuke, Mari, Arnold, Vray, RenderMan, Clarisse, Katana, Houdini, etc. Cada uno de estos paquetes son perfectamente capaces de gestionar color para VFX de diferentes formas. Además de todos los mencionados anteriormente, la mayoría de estudios de efectos visuales utilizan software propietario para cubrir sus necesidades más especificas.

En resumen, hay un montón de variables relacionadas con el color en nuestro pipeline, y si no las conocemos y si no somos consistentes a la hora de trabajar con color, seremos incapaces de realizar nuestra labor como VFX artists.

Output

Los efectos visuales no son el final del proceso cinematográfico, como muchos pueden pensar. Tras terminar los VFX de cualquier película, el material generado por el estudio al igual que el resto del footage rodado, pasan a la sala de DI (Digital Intermediate) donde el color va a sufrir importantes modificaciones artísticas en base a las opiniones subjetivas del director, el cinematógrafo y el colorista.

Si el material proporcionado por el estudio de VFX no tiene la suficiente calidad e información de color, cuando este sea manipulado en la sala de DI, empezaran a aparecer todo tipo de artefactos, banding, etc. así que tenemos que asegurarnos de que el material que generemos como VFX artists cumpla con los requisitos necesarios.

Ciencia del color

La energía de la luz puede medirse con la siguiente gráfica de longitud de onda o wavelength cuyas unidades son nm.
El espectro visible que el ojo humano es capaz de apreciar oscila entre 380nm y 780nm.

El sistema de vision humano es tricromático y ha sido mapeado al sistema de color CIE 1931 para que podamos medir colores físicos puros (wavelenght) en señales electromagnéticas correspondientes al espectro visible humano.

En las imágenes más abajo, tenemos representado el espectro en su totalidad. El triángulo mas grande corresponde al espectro visible humano, prueba de que no somos capaces en entender visualmente toda la información existente en la naturaleza.
El triángulo mediano, corresponde al gamut representado en el espacio de color REC 709 o también llamado HDTV

En las dos imágenes de abajo, podemos ver a la izquierda el gamut en el espacio de color sRGB y a la derecha, en el espacio de color CIE RGB. Lo que esto pone de manifiesto es que en función del espacio de color que utilicemos, vamos a ser capaces de revelar de forma directa más o menos información, con los pros y contras que ello conlleva.

RGB es un sistema de codificación de color que utiliza colores primarios (rojo, verde y azul) para crear un gamut específico. Recuerda que el gamut es el rango de colores, y que como hemos visto, varía en función del espacio de color utilizado. Este look basado en coloes primarios está obligadamente ligado al dispositivo donde se muestran las imágenes, nunca se ven de forma linear, siempre necesitan de un espacio de color pasa ser representados de forma correcta.

Display (sRGB) vs Scene (Linear)

Los espacios de color diseñados en relación con el dispositivo donde se van a representar imágenes, son llamados Display Referred, y varían como decimos, en función del dispositivo. Monitor, iPad, proyector, etc.

  • En cuanto a colorimetría se refiere, se define en función de lo mostrado en pantalla.
  • El rango dinámico es el que se ve en pantalla, no hay más.
  • sRGB se utiliza como espacio de color en dispositivos RGB (gamma 2.2).
  • Requiere de linearización (gamma inversa).

Los espacios de color diseñados para dispositivos de entrada son llamados Scene Referred.

  • Los valores no son definidos en base a imagen en pantalla si no en base a unidades globales del mundo real.
  • Se trabaja de forma linear.
  • No hay valores máximos, por eso imágenes HDRI tienen valores extremadamente altos.
  • Nos referimos a sus valores mediante stops, no mediante valores numéricos de pixels. No hablamos de contraste en términos de 1000:1 si no en términos de rango dinámico. A fin de cuentas, este es el lenguaje cinematográfico y cuando un cinematógrafo dice "aumenta 1 stop" se refiere a que dobles la iluminación de la escena.
  • Para poder visualizar correctamente Scene Referred material, necesitamos aplicar un tone mapping a las imágenes, ya que si no, se verían demasiado oscuras. La mayoría de monitores no son capaces de visualizar imágenes lineares, por eso tenemos que aplicar tone mapping para poder visualizar imágenes HDR en monitores LDR.
  • Un mínimo de 16 bits es necesario para trabajar con este tipo de imágenes.

Log

En ocasiones puede que nos encontremos con ficheros Log de 10 bits. En su día fueron el sistema estándar a través de Cineon y DPX aunque han sido prácticamente sustituidos por Floating Point .EXR
Generalmente cuando vemos este tipo de imágenes en un monitor RGB aparecerán completamente lavadas, es necesario visualizarlas con una codificación apropiada.

ACES y OPENCOLOR IO

Academy Color Encoding Space es un "nuevo" sistema de gestión de color que muchos estudios de VFX ya utilizan, guarda toda la información en Open EXR.
El espacio de color es High Dynamic Range o Scene Referred Linear Space, lo que quiere decir que el gris medio sera de 0.18 y no de 0.5

En la imagen de abajo se puede ver que el gamut o rango de color, es tan grande como el propio espectro visible.

aces.png

OPENCOLOR IO es otro pipeline de color open-source adoptado por varios estudios de VFX cuyas mayores ventajas son la unificación de transformaciones y visionados de color entre múltiples plataformas y aplicaciones, lo que asegura una mayor estandarización.

¿Y en mi casa qué?

En tu casa has de trabajar siempre de forma linear. Si no partes de material linear tendrás que convertirlo.
Las operaciones en el motor de render siempre ocurren de forma linear, y tanto los inputs como los outputs han de ser lineares.

Si por ejemplo estás pintando texturas en Mari, hazlo en 16 bits (o 32 si es necesario) y expórtalas en formato .EXR
Si por el contrario, partes de fotografías descargadas de internet, estas serán de 8 bits .jpg por ejemplo. Así que deberás de linearizarlas antes de poder renderizarlas. Basta con añadir una función gamma 2.2 inversa. El siguiente gráfico muestra a la perfección como han de ser los inputs y los outputs.

Siempre vas a renderizar de forma linear y para poder visualizar tus renders de forma correcta simplemente has de utilizar el espacio de color apropiado para tu dispositivo. Generalmente sRGB.
En el caso de utilizar un LUT concreto, simplemente selecciónalo en Maya, en Nuke, en Mari o en el software que utilices. Lee la docuemntación de tu motor de render favorito para entender como interpreta la gestión de color.

Nueva gestión de color en Maya 2016

Cada software es único y la gestión del color se hace diferente dependiendo del producto y la versión. Vamos a ilustrar como funciona en Maya 2016, por aquello de ser el software standard en la industria y además, incorporar un nuevo sistema de gestión de color en esta nueva versión 2016.

  • En las preferencias, asegúrate de tener activado Enable Color Managment.
  • En el apartado Color Transformation, has de tener como Rendering Space linear sRGB, también podrías utilizar otros espacio de color si fuese necesario, como ACES, REC, CIE, etc. Seguramente en tu casa sólo vayas a utilizar linear sRGB.
  • En la opción View Transform, utilizarás sRGB ya que vas a visionar tus imágenes en un monitor LDR. Podrías utilizar RAW en el caso de utilizar un monitor HDR o LOG por ejemplo. Pero generalmente en casa, no vas a utilizarlos.
  • Existe la opción utilizar un pipeline OCIO y una ruta para seleccionar el archivo proporcionado para la producción.
  • También existe la opción de indicar el espacio de color por defecto de tus imágenes. Puedes seleccionar sRGB o Linear. Por supuesto depende de tu pipeline de texturizado, generalmente en un VFX facility será Linear.
  • En el apartado Output, existe la opción de hacer un bake de gamma al render final. Nunca vamos a utilizar esto.
  • Un poco más abajo existe la opción de utilizar un fichero LUT, cuando sea necesario este será el lugar de colocarlo.
  • El último setting que podemos necesitar es el llamado Show Color Managed Pots, para corregir por ejemplo, color swatches en los shaders.
  • En este ejemplo, tengo dos MacBeth Charts completamente idénticas, la de la izquierda es una imagen de 8 bits en espacio de color sRGB .jpg. La imagen de la derecha es una imagen linear float point 16 bits .exr. Como puedes comprobar se visualiza de forma incorrecta en el visor de imágenes de OSX, porque éste no tiene forma de transformar el espacio de representación, como haría por ejemplo Nuke.
  • Si queremos aplicar estas dos texturas en un pipeline de color linear, la imagen de la derecha funcionaría perfectamente, la imagen de la izquierda necesita ser linearizada.
  • Para ello puedes añadir un inverse gamma de 2.2 (0.455) o cambiar el color space en el attribute editor a sRGB. En el caso de utilizar una imagen linear .exr deberíamos utilizar la opción RAW. Si utilizamos un pipeline linear, no necesitaríamos cambiar el color space de las imágenes lineares, ya que por defecto, hemos indicado en las opciones de Maya que estamos trabajando de forma linear.

Espero que haya quedado un poco más claro como gestionamos en color en proyectos de efectos visuales.

Utilizar IBL con grandísimos rangos dinámicos para iluminación en VFX es sencillamente genial. Generan unas condiciones lumínicas consistentes, con mucho detalle y el comportamiento de las sombras es fantástico.
Lo malo es que samplear esos valores tan altos en las fuentes lumínicas, especialmente el sol, no es nada fácil, y este tipo de HDRIs pueden generar muchísimo ruido y otros artefactos. Para solucionarlo, generalmente recurrimos a trucos como crear imágenes HDRI de baja resolución y blureadas, o crear versiones con valores clampeados de los mapas en Nuke.

Afortunadamente en Clarisse podemos tratar este problema de forma sencilla.
Los samples de shading, lighting y anti-aliasing se tratan de forma completamente independiente en Clarisse. Puedes manipular cualquiera de ellos sin afectar a los demás, ahorrando un montón de tiempo de render. En muchos motores de render el sampling de shading es multiplicado por el anti-aliasing lo que obliga al usuario a re-ajustar todos los shaders para obtener tiempo de render decentes.

  • Vamos a empezar con esta escena. Como ves, con muchísimo ruido.
  • Lo primero que tenemos que hacer es cambiar el tipo de interpolación del Map File donde tengas tu HDRI a MipMapping.
  • Después tenemos que limpiar el ruido de los shaders, tocando el shading sample.
  • Vete a raytracer y activa la opción previz mode. Esto eliminará toda información lumínica de la escena. Todo el ruido que veas aquí proviene de los shaders.
  • En este caso tenemos mucho ruido ocasionado por la reflexión de la esfera. Veta al material de la misma e incrementa el valor reflection quality, en el apartado sampling.
  • He aumentado el parámetro hasta 10 y ahora ya no veo nada de ruido en la escena.
  • Selecciona de nuevo el raytracer y desactiva el previz mode. Todo el ruido que ahora vemos proviene de la iluminación.
  • Vete al gi monte carlo y desactiva affect diffuse. Esto eliminará la contribución de la iluminación global y solo la luz directa afectará a la escena. Si ves ruido deberás de tocar el sampling de las fuentes de luz directas.
  • Vete de nuevo a gi monte carlo y re-activa affect diffuse. El ruido presente será por culpa de la gi. Incrementa los samples hasta que desaparezca el ruido.
  • Ahora el render ya no tiene ruido, aunque se ve un poco low-res. Esto es por culpa del anti-aliasing de geometría. Veta al raytracer e incrementa los samples. Ahora el render se vera perfecto.
  • Finalmente hay un parámetro que funciona como sampling global. Como norma general no utilizarás este parámetro. Si lo subes al 100% el shading oversampling multiplicará el shading sampling por los sampling de anti-aliasing, como la mayoría de motores de render.
  • Si quieres resultados rápidos para hacer look-dev o lighting, simplemente baja la calidad de la imagen. No tendrás renders perfectos pero será más que suficiente (y muy rápido) para establecer looks.

Dramatic Lighting

"Dramatic Lighting" podría ser definido como un exagerado estilo de iluminación donde todo el frame se trata de la misma forma, con la misma importancia. Beauty lighting y Character lighting se enfocaban más en el personaje o en un elemento concreto del frame, Dramatic Lighting trata a todo el frame por igual, hace que todo lo que se muestra tenga el mismo nivel de interés hacia el espectador.

En la pintura de Caravaggio "Flagellation of Christ" todos los personajes y la columna donde Cristo está atado, tienen el mismo esquema de iluminación horizontal. Esto afecta a la percepción externa del cuadro, aplanando la imagen y consiguiendo que el espectador no dirija la mirada hacia un punto en concreto. Hay una sensación global de conflicto a través de toda la imagen. Tras una primera explosión visual, el espectador pasa a analizar el cuadro, explorando las diferentes partes y elementos del mismo.

El torso de Cristo, sin embargo, ha sido pintado con una pintura con propiedades más reflectantes que el resto de elementos del cuadro, así pues, cuando le da la luz real del entorno donde está situado el cuadro, la figura de Cristo resalta sobre las demás. Este es solo un ejemplo de una técnica que parece crear un tipo de iluminación completamente uniforme, pero qué mediante sutiles artimañas consigue realzar elegantemente algunos elementos del frame.

The Flagellation of Christ by Caravaggio (circa. 1607).

En este frame de "Bridge of Frankestein" la iluminación ha sido diseñada para desorientar y asustar al espectador. Estamos acostumbrados a ver los rostros de los personajes iluminados desde arriba. En exteriores, el cielo suele ser la mayor fuente lumínica, y en interiores, las luces suelen estar colocadas en el techo. Esto hace que nuestra percepción del rostro humano esté muy encasillada y asimilada en unas formas geométricas causadas por las luces y sombras cenitales.
Iluminando a los sujetos humanos desde abajo, o desde los laterales, John J. Mescall rompe las expectaciones y nos muestra una imagen impactante, rompedora y poco convencional. Sin duda, dudosamente placentera para el ojo humano, poco acostumbrado a este efecto lumínico.

Dwight Frye in "The Bride of Frankenstein" by John J. Mescall (1935).

Este es otro ejemplo más sutil de la misma idea. Trevor Howard está iluminado fuertemente de forma lateral mientras que Alida Valli está iluminada por encima de su hombro derecho. Este tipo de iluminación crea una superposición de sombras que ayuda a romper la composición del plano. Si Beauty Lighting se centra en crear un degradado de iluminación suave, sin bordes duros, Dramatic Lighting es simplemente lo opuesto. La iluminación es probablemente más creíble, no tan artificial como en "Bride of Frankestein" pero todavía hay una sensación de incomodidad palpable en la escena.

Trevor Howard and Alida Valli in "The Third Man" by Robert Krasker (1949).

Este plano de "Apocalypse Now" es un claro ejemplo de otro importante aspecto de Dramatic Lighting. Iluminación cinemática no consiste solo en aquello que está iluminado, si no en aquello que no lo está. La mujer en primer plano, también miembro del grupo del Coronel Kurtz, y considerada parte de la jungla, está iluminada tanto como lo estaba Marlon Brando en el anterior artículo. La diferencia en este caso, es la figura presente en el fondo, a quien apenas podemos ver. Hay suficiente luz como para poder apreciar que hay alguien ahí, y la iluminación es incluso más fuerte que la presente en la mujer del primer plano, pero gracias a la ausencia de luz de relleno, y al efecto de la profundidad de campo, apenas leemos al sujeto, lo que ayuda a crear un nivel de drama y tensión memorable.

"Apocalypse Now" by Vittorio Storaro (1979).

Darius Khondji utiliza la misma idea disruptiva de iluminación utilizada anteriormente en "Bride of Frankestein" para realzar al ya extravagante actor Daniel Emilfork. La iluminación dista mucho de ser natural y crea muchas áreas sobre-expuestas en contraste con negros casi puros.
Este rico contraste además se combina con la utilización de un gran angular para así distorsionar el rostro del actor. Por si no fuera poco, el cinematógrafo añade unas estridentes luces de relleno de color amarillo que ayudan a crear el ambiente buscado por el director. Todos los elementos visuales del plano, incluido por supuesto el vestuario del actor, han sido tratados con sumo cuidado para crear una visión poco placentera al espectador.

Comedy Lighting

Llamamos a este estilo "Comedy Lighting", aunque no se aplique exclusivamente a cintas cómicas. Básicamente este estilo de iluminación se caracteriza por iluminar por completo los rostros de los actores, sin crear ningún tipo de dramatismo o composición lumínica, simplemente iluminando en exceso.
Ya que gran parte de las actuaciones cómicas son transmitidas a través del rostro del actor y sus expresiones faciales, se cree que iluminando a estos en exceso, sin ningún tipo de zona obscura, ayudará a realzar la actuación del actor.
Todos estos ejemplos ocurren en cinematografía desde 1930 hasta nuestros días, y todos tienen los mismos principios en común: luz cenital ligeramente inclinada para iluminar el rostro de forma natural, sin bordes duros, sin sombras al lo largo del rostro y uniformidad en tono y rango a lo largo de la imagen.

Harold Lloyd.

The Marx Brothers in "A Night at the Opera" by Merritt B. Gerstad (1935).

Dick Powell and Bebe Daniels in "42nd Street" by Sol Polito (1933).

"Monsters Inc." by Sharon Calahan (2001).