5 - Algorithmes sur les photos

1 - Dématriçage

⇩ ⇧ ⤊

Vous devriez vous souvenir que nous avions réalisé des images numériques en codant nous même les valeurs. Par exemple :

Mais même avant traitement, l'appareil ne peut pas possèder de toutes les informations sur tous les pixels puisque les photosites sont munis soit d'un filtre rouge, soit d'un filtre vert, soit d'un filtre bleu.

Chaque photosite ne permet d'obtenir que l'information rouge ou l'information vert ou l'information bleu !

Les appareils photos enregistrent toutes les informations issus des capteurs et de l'appareil (avant modification) dans un fichier nommé raw. L'intérêt de ce fichier est justement d'être brut : les données n'ont pas encore subies de traitement et peuvent donc être traitées de façon différente.

Prenons l'exemple fictif de l'image ci-dessus analysée par un ensemble de 9x7 photosites. Imaginons que les filtres RGB soient répartis de cette façon

Imaginons maintenant qu'on veuille prendre une photo de l'image suivante :

Regardons maintenant l'activation des photosites.

Rappel : le blanc est la somme d'une lumière rouge et verte et bleue.

Image vue, photosites activables, photosites activés

Pour les photosites rouges :

Pour les photosites verts :

Pour les photosites bleus :

Si on recompose juste une image avec ces données, on obtient l'image suivante :

On ne peut pas dire que ce soit une réelle restitution de l'image initiale. Non ?

Le problème est que chaque zone ne peut ici être que rouge ou verte ou bleu.

Or, chaque pixel possède trois sous-pixels qu'on peut activer de 0 à 255.

Il faut donc falloir tenter de donner une intensité rouge aux pixels qui ne possèdent de filtres rouges, d'intensité verte aux pixels qui ne possèdent pas de filtre vert ...

Il existe différents algorithmes d'interpolation.

En voici un :

Si on reprend notre image, l'application de l'algorithme précédent sur les 3 sous-couches R, G et B donne les intensités RGB suivantes :

• 1 * 255 // 4 = 63
• 2 * 255 // 4 = 127
• 3 * 255 // 4 = 191

Pour l'intensité verte : (image de base puis intensités rouges interpolées)

Pour l'intensité rouge dans les zones liées à un filtre vert, on fait la moyenne des deux photosites rouges autour du photosite vert : (image de base puis intensités rouges interpolées)

Il reste à interpoler l'intensité rouge sur les zones correspondant à un filtre bleu; en prenant la moyenne des 4 photosites rouges autour : (image de base puis intensités rouges interpolées)

Pour l'intensité bleue dans les zones liées à un filtre vert, on regarde s'il y a 2 bleus, 1 bleu ou 0 bleu : (image de base puis intensités bleues interpolées)

Il reste à interpoler l'intensité bleue sur les zones correspondant à un filtre rouge; en prenant la moyenne des 4 photosites bleus autour : (image de base puis intensités bleues interpolées)

Il reste maintenant à recomposer l'image en utilisant les valeurs des sous-couches R, G et B sur les trois sous-pixels de chaque pixel

Il reste alors simplement à créer les pixels. Par exemple, le dernier pixel en bas à droite aura une intensité rouge de 127, vert de 255 et bleu de 127.

Voici l'image reconstituée après avoir interpolé les valeurs inconnues

Pour rappel, voici la chose que nous avons voulu photographié

Voici les données RAW obtenues sur les photosites :

Et voici l'image qu'on peut tenter de reconstituer sur la base de ces données incomplètes de la réalité avec notre méthode d'interpolation :

Le problème ici est bien entendu qu'on manque de photosites par rapport à la taille de l'image.

Voici un exemple réel de visualisation des données RAW après un dématriçage :

Attention, cette opération de dématriçage peut créer des artefacts sur l'image. La qualité de l'algorithme est ici fondamentale pour éviter ceci :

2 - Problème de la distortion optique

⇩ ⇧ ⤊

L'optique de l'appareil photo pose également un problème physique. La plupart du temps, l'objectif est rond par exemple. Comment parvenir à obtenir une image rectangulaire à partir d'une lumière traversant un objectif rond ?

Or, c'est à partir de ces données qu'on va parvenir à obtenir une image affichée rectangulaire. Vous l'imaginez, il a fallu faire des choix et l'image affichée n'est donc pas l'exacte vérité.

Voici une image un peu moins déformée

Le principe est simple sur le papier : connaissant les défauts de l'optique, créer un algorithme qui va travailler sur les données pour tenter de retrouver les vraies positions et dimensions des "pixels".

Voici une courte explication physique du phénomène :

• La lumière issue des objets réels passe à travers un diaphragme puis une lentille
• ou la lumière passe d'abord par une lentille puis par un diaphragme
• ou on divise la lentille en deux pour placer le diaphragme au milieu

On pourrait croire sur le papier que la troisième solution permet de totalement faire disparaitre les défauts de distortion. Il s'agit en réalité d'une bonne solution physique sur le papier mais il est impossible d'avoir réellement une telle symétrie. En réalité, l'image se rapproche mais contient néanmoins des défauts.

Depuis quelques années, la solution est donc de ne pas tenter de corriger le défaut physiquement mais de le corriger informatiquement : connaissant la nature des défauts, on est capable d'obtenir graçe à un algorithme ce que devrait être l'image observée réelle.

Attention : l'image obtenue n'est donc pas l'image réelle mais simplement une représentation obtenue à partir de l'image stockée initialement dont on connait les défauts.

A titre d'exemple, voici une image (déjà bien transformée) avant l'application de l'algorithme visant à contrer les défauts liés aux distortions :

Après application du programme de redressement de l'image :

Ce n'est pas encore néanmoins ce que percevrait un humain visualisant la scène. On peut encore laisser un algorithme agir, un algorithme gérant la perspective.

En conclusion, on notera bien que les images visualisées ne sont pas le reflet exact de ce que l'appareil a mémorisé. Il y a tout un tas de traitements et corrections algorithmiques avant d'obtenir le résultat visualisé.

3 - Focus Stacking

⇩ ⇧ ⤊

Voici un exemple de prise de vue impossible à faire physiquement : regardons cette mouche

Cette image est totalement nette.

Or, c'est impossible avec un appareil photo : soit on a une image nette du premier plan, soit on a une image nette de l'arrière plan.

Alors, comment fait l'appareil photo ?

Il triche !

Le principe du Focus Stacking est de prendre plusieurs photos avec différents réglages de façon à avoir une image nette de l'avant, une image nette de l'arrière et des images intermédiaires.

Ensuite, un algorthime se charge de ne garder que les parties nettes de chaque image.

• La première image permet d'avoir la tête de la mouche de façon nette
• Le deuxième image permet d'avoir l'arrière des ailes nette
• La troisième image est l'image affichée sur l'appareil : une composition algorithmique de 8 images en partie floue !