Cette année en amont du NAB, Apple a levé le voile sur l’Apple ProRes RAW. Un nouveau format voué à accélérer l’adoption des workflows sans perte. Format unique du tournage à l’étalonnage, quels sont les enjeux de ce nouveau format ProRes RAW ? Ce que je vous propose de découvrir dans un dossier en deux parties. 

Lorsque l’on en vient au traitement vidéo, l’un des principaux atouts de l’ecosystème MacOs est la famille de formats ProRes. Très vite depuis son introduction, le ProRes s’est installé comme une référence dans les codecs de Post-production puis de production. Il est passé ainsi des Logiciels de Montage Non Linéaire (NLE) aux enregistreurs internes et externes des différentes caméras du marché.

En équipant déjà en interne les caméras ARRI et Sony Cine Alta, le ProRes démontrait déjà ses gages de qualité. Mais la démocratisation du RAW en vidéo est désormais actée grâce aux très puissant Redcode de chez Red et aux démocratiques enregistreurs externes (Convergent Design, Atomos…). Et quand bien même les ProRes seraient qualitatifs, ils n’en demeurent pas aussi puissants que les formats RAW.

C’est donc ainsi qu’Apple franchit un cap avec l’Apple ProRes RAW dont l’ambition est d’offrir un format unique et puissant du tournage à l’étalonnage. Et si pour le moment seul Final Cut Pro X 10.4.1 supporte ce nouveau format, les autres logiciels suivront. Ce n’est qu’une question de (peu de) temps.

Principe du ProRes RAW

Pour mesurer ce pas de géant, et en tirer au maximum partie, il faut avant tout bien comprendre comment fonctionne ce format RAW.

La Matrice de Bayer

Chaque capteur est composé de millions de photosites. Ces photosites transforment l’intensité lumineuse en information numérique par l’intermédiaire d’un convertisseur analogique numérique (CAN). Pour restituer les couleurs, cette couche de photosites est traditionnellement associée à une matrice de Bayer. Cette mosaïque de filtres attribue une valeur primaire RVB à chaque photodiode. Ainsi ces dernières ne restituent chacune qu’une valeur ou de Rouge, ou de Vert, ou de Bleu.

Pour imiter la physiologie de l’oeil humain, on établit qu’il faut restituer deux fois plus de valeurs vertes que valeurs bleues et rouges. Notre rétine en plein jour utilisent les cônes M et L, particulièrement sensibles aux longueurs d’ondes vertes. Ainsi sur un ensemble classique de 2×2 photosites, notre matrice de Bayer comptera 2 valeurs de Vert contre 1 valeur de Rouge et de Bleu, disposées en quinconces.

La Debayerisation

Pourtant au final, la caméra délivre un signal vidéo composé de millions de pixels. Et chaque pixel porte avec lui 3 valeurs RVB. Pour cela, la caméra interprète les valeurs uniques des photosites pour les transformer en valeurs triples. C’est ce que l’on appelle la Débayerisation.

Dans le cas des workflows classiques, cette débayerisation du capteur intervient au sein même de la caméra, lors du codage du fichier vidéo. L’algorithme lié est donc fixe et directement dépendant de la puissance du processeur de la caméra. Peu de réglages sur cette étape sont généralement possibles.

Les chaînes de travail RAW déportent la débayerisation à la post-production. C’est à dire que le fichier RAW transporte uniquement une image bayerisée, et code les informations de température de couleur, d’interprétation d’espaces et de contraste comme des métadonnées. C’est le logiciel de post-production qui va se charger de l’interprétation ensuite. La puissance d’un ordinateur étant souvent supérieure à celle du processeur d’une caméra ; elle permet d’augmenter la précision et la qualité de la débayerisation en elle-même. Le corollaire étant que traiter un signal RAW nécessite davantage de ressources que le traitement d’un fichier vidéo classique… particulièrement lors de la lecture.

On verra ça en post-production !

Si d’un côté le RAW permet de retoucher éventuellement des réglages de balance ou de sensibilité en post-production (puisque ces informations ne sont que des métadonnées d’interprétation). L’intérêt de traiter la débayerisation en post-production réside dans le choix de l’algorithme de traitement, et sa complexité. C’est un développement du fichier qui n’est donc pas bridé, mais que l’on peut adapter aux besoins du film, voire à ceux d’un plan. Et ça, en étalonnage et VFX, dès que l’on en vient à travailler sur des textures d’images, ça devient TRÈS intéressant.

Thomas Wong’s DIT station on Ryan Koo’s AMATEUR

Originalité du ProRes RAW

Un format unique pour tous

Jusqu’ici le RAW existait sous deux formes : une suite d’images très peu compressées au format CinemaDNG, ou un fichier au conteneur propriétaire (Redcode, Arriraw ou X-OCN). La première solution est très lourde, tant en terme de stockage informatique que de traitement. La seconde est souvent cantonnée aux seules caméras d’un constructeur. Il n’existe donc pas de format RAW qui soit à la fois agnostique et NLE-Friendly.

Ainsi le ProRes RAW est – sur le papier en tout cas – le premier format RAW qui permette de couvrir l’ensemble des caméras, du DSLR aux caméras de cinématographie numérique haut de gamme (cf. « Tanks hollywoodiens). Mais qui a aussi été optimisé pour la chaîne de post-production.

Puissant et léger

En tirant parti des 10 ans de développement de la famille ProRes, Apple a adapté sa recette aux besoins du format RAW. En utilisant le Rate control, le ProRes permet d’ajuster très précisément les taux de compression en fonction de la complexité des images. Avec deux profils différents, l’Apple ProRes RAW et l’Apple PRoRes RAW HQ offrent ainsi deux échelles de compression (minimes) pour transporter l’image bayerisée.

À l’inverse du CinemaDNG, le ProRes RAW tire même partie de la Bayerisation pour alléger le poids du fichier. Puisqu’il n’existe qu’une seule valeur par photosites, l’Apple ProRes RAW ne code qu’une information par unité. En résulte un fichier 3 à 4 fois plus léger que le CinemaDNG dans sa version HQ… et même plus léger que le ProRes 422 HQ.

Avec l’intégration et l’optimisation des algorithmes de débayerisation au sein même des bibliothèques de Final Cut Pro X, tout a été pensé pour que le format soit aussi malléable à utiliser que les ProRes classiques. Tout dépend de votre configuration évidemment, mais le format ne devrait pas souffrir de limitations en terme de lecture multipistes 4K temps réel. Même en montage multi-caméra, le ProRes Raw HQ permet le traitement d’autant de flux que le ProRes 4444. En ce sens, les benchmarks fournis par Apple sont effectués sur une configuration assez musclée évidemment, mais restent quand même concluants.

Un format prometteur mais…

Sur le papier, l’Apple ProRes présente tout ce que l’on pouvait rêver en terme de traitement de l’image vidéo. Puissant, inter-compatible, malléable. Mais derrière ces atouts se terrent d’autres problématiques. La mise en place de workflow Apple ProRes RAW n’est pas aussi flexible que l’on veut bien le croire. Car si la puissance du format est réelle, elle nécessite l’alignement des chaînes de post-production. Et donc d’avoir une vision plus globale des environnements de travail.

Derrière donc l’enthousiasme peut se terrer de véritables désillusions. À l’heure où les garanties autour des performances des workflows MacOS n’ont jamais été aussi faibles, plusieurs éléments sont à prendre en compte avant de se ruer sur ce format prometteur. C’est ce que je vous invite à découvrir dans la deuxième partie de ce dossier.