Desde hace unos años, utilizamos Cryptomatte para crear todo tipo de IDs, mattes, etc. Sin duda, la mejor y más eficaz forma de realizar este tipo de máscaras. Pero en ocasiones, debido a ciertas limitaciones que nos podemos encontrar en nuestra producción, no nos queda otra que recurrir a IDs de "toda la vida".

En este video te muestro como realizar un setup de IDs basado en custom AOVs.

Una de las opciones más útiles existentes en Clarisse son los shading layers. Pueden utilizarse para diferentes tareas, y además combinarse entre si para crear sistemas de shading complejos. En esta ocasión vamos a ver como utilizar los shading layers para renderizar y crear variaciones de crowd (multitudes) de forma muy rápida, y sobre todo, muy sencilla. Necesitando apenas unos minutos para gestionar el shading y sus variaciones en centenares de personajes.

Este post viene acompañado de un video de alrededor de una hora para los suscriptores del programa elephant vfx pro.
Todos los suscriptores ya habéis recibido un email con toda la información.

  • Lo primero que he hecho, es crear un setup IBL, con un día más bien nublado sin dirección de luz muy marcada.
  • He importado el cache de animación con crowd en un context llamado geometry y también he creado un context donde crearé todos los shaders y texturas.
  • Como se puede observar en la imagen, los caches de animación están completamente desorganizados en la escena, tal cual vienen del paquete de simulación. Gracias a los shading layers podremos asignar fácilmente los correspondientes shaders y texturas, también variaciones de los mismos.
  • Clarisse nos permite asignar shading layers bien por nomenclatura exacta de los assets que van a recibir el shader o bien por localización de los mismos. Por ello, también he creado algunos context adicionales, para explorar ambas metodologías.
  • Gracias a una estructura de shading layers muy simple y a unas reglas básicas, tanto de nomenclatura como de localización, con apenas una docena de shaders podemos renderizar un sistema de crowd complejo en apenas unos minutos de trabajo.
  • En el caso de querer ver en viewport el comportamiento de un shading layer específico, basta con seleccionar el modo previz, apuntar al context donde tenemos los crowd y seleccionar el shading layer.
  • Finalmente subimos el sampling en el raytracer para renderizar la escena con calidad final.

En el siguiente video disponible para suscriptores del programa elephant vfx pro, podéis ver todo el proceso detallado y con explicaciones adicionales, duración alrededor de una hora.

Conocer los aspectos técnicos detrás del color en efectos visuales es algo realmente complejo. La ciencia del color aplicada a la creación de imágenes sinteticas, es un tópico denso, complicado de entender (y explicar) y sin duda, yo no estoy capacitado para hacerlo de una forma correcta y precisa. Si realmente estás interesado en como funciona el color y como debemos utilizarlo en un pipeline complejo de VFX, te recomiendo que le eches un vistazo al paper publicado por VES, donde recoge en profundidad todos los tópicos que necesitas estudiar en relacion al color en el mundo audiovisual.

Lo que si voy a intentar explicarte de la forma más amena posible son los conceptos básicos y necesarios que considero cualquier VFX artist ha de comprender para poder desenvolverse con soltura en un pipeline de efectos visuales en cualquier estudio de VFX.

El color en efectos visuales parece ser un tema tabú, que mucha gente parece no comprender, otros ni siquiera están al corriente de como gestionamos el color en nuestros proyectos, y algunos, ni siquiera se interesan por el asunto. Tiempo atrás, algunos dejaron de trabajar en 8 bits y empezaron a trabajar de forma lineal. De esto hace años, y mucha gente hablaba de Linear Workflow, aunque la mayoría, se quedaron en como corregir los mapas de texturas para que su input fuese lineal y como renderizar imágenes flotantes de forma lineal sin hacer un bake de gamma.

Sin duda, es un paso, pero la mayoría de artistas siguen sin comprender los diferentes sistemas de color utilizados en VFX, incluso aquellos artistas trabajando en grandes VFX facilities. Muchos escuchamos términos como ACES o LUT, y realmente no sabemos que significan, o por qué debemos utilizarlos. Simplemente somos conscientes de que las imágenes mostradas en nuestro monitor de trabajo son diferentes cuando utilizamos un LUT u otro.

Por otro lado, profesionales trabajando en boutiques de VFX o estudiantes, nunca se han enfrentado a este tipo de terminología relacionada con el color, y cuando llegan a un estudio más grande, o simplemente han de colaborar en un proyecto global con varias boutiques, o realizan outsourcing para grandes estudios, etc. se topan directamente con algunos conceptos relacionados con el color que desconocen completamente.

Intentemos desde este blog arrojar un poco de información relacionada con este tema tan importante y necesario, siempre desde el punto de vista de quien escribe, un artista de efectos visuales, con las carencias que uno pueda tener en un campo tan complejo como la ciencia del color.

Asunciones generales

Como VFX artists vamos a tener que lidiar con diferentes tipos de material relacionados con color. Por simplificar el proceso digamos que tendremos que preocuparnos por recoger el material que viene de un set de rodaje, después tendremos que pensar en como almacenar ese material para poder utilizarlo a lo largo del pipeline de producción cinematográfica, después lo más importante será como poder visualizarlo correctamente, como trabajarlo en un entorno de VFX y finalmente, como distribuirlo para que pueda ser utilizado de forma correcta en las fases posteriores a la realización de los efectos visuales. 

En set de rodaje, lo más importante relacionado con color son las fuentes lumínicas artificiales y las cámaras. Temperatura de color y tintado son las propiedades más importantes de las que debemos estar al tanto. Siempre necesitaremos Macbeth Charts y otros color samples para poder trabajar el color grading de forma correcta. La resolución y profundidad de color del material rodado también cobra importancia cuando trabajamos con color. LED, tungsteno, Kinoflo, etc. cada fuente lumínica tiene propiedades diferentes que tenemos que conocer para poder trabajar con los diferentes recursos de forma correcta, eficaz y sobre todo, consistentemente.

  • Todos los estudios de VFX son diferentes.

Todos los estudios de VFX para los que he trabajado y con los que he trabajado, abordan la gestión de color de forma diferente, lo que me hace pensar que nadie trabaja de la misma forma. Es lógico, cada estudio (especialmente los grandes) utilizan un montón de herramientas propias que requieren ser tratadas de forma extraordinaria.

Como bien sabéis, no hay un solo proyecto que se realice de forma íntegra en un solo estudio de VFX, así que siempre toca lidiar con pipelines de color de otros estudios, ya que se comparten assets y otros materiales entre varios facilities.

  • 8 bits

En el pasado solíamos trabajar en sistemas de color de 8 bits. Sin entrar en mucho detalle, digamos que solíamos bakear un gamma en la imagen de salida, esto permitía que las imágenes producidas se pudiesen representar bien en los dispositivos utilizados, tv, cine, monitor, etc. Podemos referirnos a este sistema de trabajo como sRGB pipeline.

No creo que quede un solo estudio sobre la faz de la tierra trabajando en 8 bits. Todos ya trabajamos de forma linear. Supongo que tu también.

  • Physical Based Workflow

Hoy en día, prácticamente todos los estudios tienden a trabajar en un physical based workflow, donde todo el material se interpreta de forma linear. Footage, texturas, luces, shaders, renders, composición, etc. todo es o se convierte a linear para que los cálculos sean correctos. Nos referimos también a este sistema de trabajo como High Dynamic Range Pipeline o simplemente Linear Pipeline.

Cuando trabajamos en un Physical Based Workflow entendemos que utilizamos Plausible Lighting, Physical Based Shading y Physical Based Lighting and Rendering.

  • Luts

Luts o Look Up Table, son por resumirlo mucho, archivos digitales que simulan la emulsión de una película fotográfica existente o inventada. Es decir, cuando aplicamos un LUT a un footage o a un render, éste va a cambiar en función del LUT aplicado. Los LUTs cambian en función del show y generalmente son elegidos por el cinematógrafo antes de rodar el proyecto. La productora se encargara de proporcionar el LUT utilizado a los diferentes departamentos que figuran en la producción cinematográfica, como VFX, editing, o DI.

En efectos visuales es extremadamente importante trabajar siempre con el LUT del show aplicado, ya que el resultado tras aplicar el LUT en ocasiones es extremadamente diferente. Es por esto que por ejemplo aplicaciones como Photoshop han quedado prácticamente desterradas de los pipelines de VFX, ya que no tienen soporte para LUTs y otros sistemas de color de los que hablaremos más adelante.

  • Gamut

El gamut es el rango de color disponible en una imagen. Este rango de color puede variar de forma considerable en función del espacio de color utilizado. A continuación hablaremos de diferentes espacios de color.

Múltiple información, múltiples software

Independientemente de cual sea nuestro pipeline de VFX vamos a necesitar utilizar una cantidad de software ingente y tendremos que utilizar y generar todo tipo de información visual.

Partiremos seguramente de scans o footage de alta resolución (4k o 6k) en diferentes formatos y espacios de color, pero siempre con un rango dinámico muy alto. Muchas veces estos scans no son puramente digitales, aún se ruedan muchísimas películas en film, así que los scans puede que sean negativos escaneados.

También tendremos que trabajar con footage en 8 bits, con imágenes, HDR, con imágenes LDR, con texturas de todo tipo, etc.

Cuando hablamos de software, utilizaremos software comercial como Maya, Nuke, Mari, Arnold, Vray, RenderMan, Clarisse, Katana, Houdini, etc. Cada uno de estos paquetes son perfectamente capaces de gestionar color para VFX de diferentes formas. Además de todos los mencionados anteriormente, la mayoría de estudios de efectos visuales utilizan software propietario para cubrir sus necesidades más especificas.

En resumen, hay un montón de variables relacionadas con el color en nuestro pipeline, y si no las conocemos y si no somos consistentes a la hora de trabajar con color, seremos incapaces de realizar nuestra labor como VFX artists.

Output

Los efectos visuales no son el final del proceso cinematográfico, como muchos pueden pensar. Tras terminar los VFX de cualquier película, el material generado por el estudio al igual que el resto del footage rodado, pasan a la sala de DI (Digital Intermediate) donde el color va a sufrir importantes modificaciones artísticas en base a las opiniones subjetivas del director, el cinematógrafo y el colorista.

Si el material proporcionado por el estudio de VFX no tiene la suficiente calidad e información de color, cuando este sea manipulado en la sala de DI, empezaran a aparecer todo tipo de artefactos, banding, etc. así que tenemos que asegurarnos de que el material que generemos como VFX artists cumpla con los requisitos necesarios.

Ciencia del color

La energía de la luz puede medirse con la siguiente gráfica de longitud de onda o wavelength cuyas unidades son nm.
El espectro visible que el ojo humano es capaz de apreciar oscila entre 380nm y 780nm.

El sistema de vision humano es tricromático y ha sido mapeado al sistema de color CIE 1931 para que podamos medir colores físicos puros (wavelenght) en señales electromagnéticas correspondientes al espectro visible humano.

En las imágenes más abajo, tenemos representado el espectro en su totalidad. El triángulo mas grande corresponde al espectro visible humano, prueba de que no somos capaces en entender visualmente toda la información existente en la naturaleza.
El triángulo mediano, corresponde al gamut representado en el espacio de color REC 709 o también llamado HDTV

En las dos imágenes de abajo, podemos ver a la izquierda el gamut en el espacio de color sRGB y a la derecha, en el espacio de color CIE RGB. Lo que esto pone de manifiesto es que en función del espacio de color que utilicemos, vamos a ser capaces de revelar de forma directa más o menos información, con los pros y contras que ello conlleva.

RGB es un sistema de codificación de color que utiliza colores primarios (rojo, verde y azul) para crear un gamut específico. Recuerda que el gamut es el rango de colores, y que como hemos visto, varía en función del espacio de color utilizado. Este look basado en coloes primarios está obligadamente ligado al dispositivo donde se muestran las imágenes, nunca se ven de forma linear, siempre necesitan de un espacio de color pasa ser representados de forma correcta.

Display (sRGB) vs Scene (Linear)

Los espacios de color diseñados en relación con el dispositivo donde se van a representar imágenes, son llamados Display Referred, y varían como decimos, en función del dispositivo. Monitor, iPad, proyector, etc.

  • En cuanto a colorimetría se refiere, se define en función de lo mostrado en pantalla.
  • El rango dinámico es el que se ve en pantalla, no hay más.
  • sRGB se utiliza como espacio de color en dispositivos RGB (gamma 2.2).
  • Requiere de linearización (gamma inversa).

Los espacios de color diseñados para dispositivos de entrada son llamados Scene Referred.

  • Los valores no son definidos en base a imagen en pantalla si no en base a unidades globales del mundo real.
  • Se trabaja de forma linear.
  • No hay valores máximos, por eso imágenes HDRI tienen valores extremadamente altos.
  • Nos referimos a sus valores mediante stops, no mediante valores numéricos de pixels. No hablamos de contraste en términos de 1000:1 si no en términos de rango dinámico. A fin de cuentas, este es el lenguaje cinematográfico y cuando un cinematógrafo dice "aumenta 1 stop" se refiere a que dobles la iluminación de la escena.
  • Para poder visualizar correctamente Scene Referred material, necesitamos aplicar un tone mapping a las imágenes, ya que si no, se verían demasiado oscuras. La mayoría de monitores no son capaces de visualizar imágenes lineares, por eso tenemos que aplicar tone mapping para poder visualizar imágenes HDR en monitores LDR.
  • Un mínimo de 16 bits es necesario para trabajar con este tipo de imágenes.

Log

En ocasiones puede que nos encontremos con ficheros Log de 10 bits. En su día fueron el sistema estándar a través de Cineon y DPX aunque han sido prácticamente sustituidos por Floating Point .EXR
Generalmente cuando vemos este tipo de imágenes en un monitor RGB aparecerán completamente lavadas, es necesario visualizarlas con una codificación apropiada.

ACES y OPENCOLOR IO

Academy Color Encoding Space es un "nuevo" sistema de gestión de color que muchos estudios de VFX ya utilizan, guarda toda la información en Open EXR.
El espacio de color es High Dynamic Range o Scene Referred Linear Space, lo que quiere decir que el gris medio sera de 0.18 y no de 0.5

En la imagen de abajo se puede ver que el gamut o rango de color, es tan grande como el propio espectro visible.

aces.png

OPENCOLOR IO es otro pipeline de color open-source adoptado por varios estudios de VFX cuyas mayores ventajas son la unificación de transformaciones y visionados de color entre múltiples plataformas y aplicaciones, lo que asegura una mayor estandarización.

¿Y en mi casa qué?

En tu casa has de trabajar siempre de forma linear. Si no partes de material linear tendrás que convertirlo.
Las operaciones en el motor de render siempre ocurren de forma linear, y tanto los inputs como los outputs han de ser lineares.

Si por ejemplo estás pintando texturas en Mari, hazlo en 16 bits (o 32 si es necesario) y expórtalas en formato .EXR
Si por el contrario, partes de fotografías descargadas de internet, estas serán de 8 bits .jpg por ejemplo. Así que deberás de linearizarlas antes de poder renderizarlas. Basta con añadir una función gamma 2.2 inversa. El siguiente gráfico muestra a la perfección como han de ser los inputs y los outputs.

Siempre vas a renderizar de forma linear y para poder visualizar tus renders de forma correcta simplemente has de utilizar el espacio de color apropiado para tu dispositivo. Generalmente sRGB.
En el caso de utilizar un LUT concreto, simplemente selecciónalo en Maya, en Nuke, en Mari o en el software que utilices. Lee la docuemntación de tu motor de render favorito para entender como interpreta la gestión de color.

Nueva gestión de color en Maya 2016

Cada software es único y la gestión del color se hace diferente dependiendo del producto y la versión. Vamos a ilustrar como funciona en Maya 2016, por aquello de ser el software standard en la industria y además, incorporar un nuevo sistema de gestión de color en esta nueva versión 2016.

  • En las preferencias, asegúrate de tener activado Enable Color Managment.
  • En el apartado Color Transformation, has de tener como Rendering Space linear sRGB, también podrías utilizar otros espacio de color si fuese necesario, como ACES, REC, CIE, etc. Seguramente en tu casa sólo vayas a utilizar linear sRGB.
  • En la opción View Transform, utilizarás sRGB ya que vas a visionar tus imágenes en un monitor LDR. Podrías utilizar RAW en el caso de utilizar un monitor HDR o LOG por ejemplo. Pero generalmente en casa, no vas a utilizarlos.
  • Existe la opción utilizar un pipeline OCIO y una ruta para seleccionar el archivo proporcionado para la producción.
  • También existe la opción de indicar el espacio de color por defecto de tus imágenes. Puedes seleccionar sRGB o Linear. Por supuesto depende de tu pipeline de texturizado, generalmente en un VFX facility será Linear.
  • En el apartado Output, existe la opción de hacer un bake de gamma al render final. Nunca vamos a utilizar esto.
  • Un poco más abajo existe la opción de utilizar un fichero LUT, cuando sea necesario este será el lugar de colocarlo.
  • El último setting que podemos necesitar es el llamado Show Color Managed Pots, para corregir por ejemplo, color swatches en los shaders.
  • En este ejemplo, tengo dos MacBeth Charts completamente idénticas, la de la izquierda es una imagen de 8 bits en espacio de color sRGB .jpg. La imagen de la derecha es una imagen linear float point 16 bits .exr. Como puedes comprobar se visualiza de forma incorrecta en el visor de imágenes de OSX, porque éste no tiene forma de transformar el espacio de representación, como haría por ejemplo Nuke.
  • Si queremos aplicar estas dos texturas en un pipeline de color linear, la imagen de la derecha funcionaría perfectamente, la imagen de la izquierda necesita ser linearizada.
  • Para ello puedes añadir un inverse gamma de 2.2 (0.455) o cambiar el color space en el attribute editor a sRGB. En el caso de utilizar una imagen linear .exr deberíamos utilizar la opción RAW. Si utilizamos un pipeline linear, no necesitaríamos cambiar el color space de las imágenes lineares, ya que por defecto, hemos indicado en las opciones de Maya que estamos trabajando de forma linear.

Espero que haya quedado un poco más claro como gestionamos en color en proyectos de efectos visuales.

Esta es una guía rápida para configurar displacements extraídos desde Zbrush en Clarisse.
Normalmente, lo más importante es extraer de forma adecuada el displacement en Zbrush, si no sabes como hacerlo de forma correcta, échale un ojo a este post.

Una vez extraídos los mapas de desplazamiento, sigue este pequeño tutorial.

  • Para mantener todo bien organizado, voy a meter el material relacionado con este mini-tutorial en un nuevo context llamado "hand".
  • He importado la geometría base y creado un nuevo standard shader con un diffuse gris.
  • Estoy utilizando un set-up IBL básico.
  • Ahora he creado un map file y un displacement node. He renombrado todo para mantener el orden.
  • Selecciona la texture de desplazamiento para la mano y selecciona la opción raw/linear, ya que estamos utilizando mapas de 32 bits .exr
  • En el displacement node configura el bounding box. Empieza con un valor de 1 y a ver que tal responde. Ajústalo en consonancia.
  • Añade el displacement map al front value. Deja el valor como 1m (esta unidad es una unidad global, no es realmente 1 metro).
  • Deja el offset a 0 ya que estamos utilizando 32 bits.
  • Finalmente asocia el displacement node a la geometría.
  • Y ya está. Lanza un render y todo debería funcionar bien.

Render con desplazamiento.

  • Si aún utilizas 16 bits displacement maps, tendrás que utilizar un valor de 0.5 en el offset y jugar con el valor del desplazamiento hasta que consigas el resultado esperado.

Otro de esos pasos obligatorios cuando intentas trabajar con un nuevo software, es como no, utilizar displacement maps extraídos desde Zbrush.
No hay proyecto de vfx que no los utilice, así que como dicen los ingleses, "it's a must".

Dejo aquí los pasos necesarios para utilizar con éxito este tipo de displacements en Modo.

  • En Zbrush, una vez has terminado de esculpir todos los detalles necesarios en tu modelo, con todas las capas que te interesen activadas, vete al nivel de subdivisión más bajo.
  • Vete al panel Morph Target, click en StoreMT e importa el modelo base que habías importado previamente en Zbrush para esculpir. Si has empezado desde cero en Zbrush en lugar de hacer este paso, simplemente exporta tu personaje en el nivel de subdivision mas bajo como .obj
  • Una vez creado el morph target con el modelo original, verás que este se muestra en viewport. Click en switch morph target para volver a tener activar tu modelo esculpido.
  • Exporta los mapas utilizando multi map exporter. Te recomiendo siempre 32 bits. (o vector displacement en el caso de que así lo necesites).
  • Échale un ojo a mis settings en la captura de pantalla. Lo único que tienes que tener en cuenta es el parámetro scale, que debería ser 1 e intensity que se calculará solo cuando utilices el botón get sale.
  • Chequea los mapas en Nuke y corrige cualquier imperfección que puedas encontrar.
  • Una vez en Modo, importa el asset original, vete al item y activa linear uvs y tantas subdivisiones en render como necesites.
  • Asigna un nuevo shader al asset (tecla m), añade un nuevo texture layer con la textura de displacement y configúralo como displacement effect.
  • Low value y high value deberían ser 0 y 100 respectivamente. Estos valores corresponden al mid-mapping.
  • En las opciones de gamma de la textura, asegúrate de que el valor es 1.0 estamos trabajando en linear workflow y los mapas de desplazamiento scalar no se corrigen.
  • En las opciones del shader, bajo surface normal, utiliza 1m como valor en el parámetro displacement distance. Si trabajas en 32bits este valor debería ser un estandard. (no es oficial, pero me ha funcionado siempre).
  • Finalmente, en las opciones de render, juega con el displacement rate para conseguir mayor calidad. Cuidado porque aumenta drásticamente los tiempos de render. Parámetros entre 0.5 a 1 son bienvenidos. Más abajo de eso, solo para fine displacement para primeros planos. Este parámetro es similar al shading rate de RenderMan.
  • Render para chequear el resultado des displacement.