À quoi ressemble un bon test d’appareil photo ?

Nous ne disposons pas de laboratoire d’essai et cela ne va pas changer de sitôt. Mes tests sont des tests du quotidien : je prends l’appareil photo, je l’essaie, je regarde le menu, les boutons et le fonctionnement, je prends des photos, je note mes expériences. Dans la mesure du possible, je prends le type de photos pour lesquelles l’appareil est particulièrement bien adapté aux dires du fabricant.

Si ces tests se rapprochent de la réalité pratique, ils sont inévitablement subjectifs. J’espère que vous pensez que je suis un testeur digne de confiance et compétent. Pour consolider ce lien de confiance, j’essaie d’être aussi transparent que possible : lorsque j’écris que je préfère le concept d’utilisation de Nikon à celui de Sony, je précise que je connais mieux le premier et que c’est peut-être pour cela que je suis plus à l’aise avec celui-ci. Cela vous aide à mieux comprendre mes conclusions, même si cela reste une évaluation subjective.

Mon autre principe : montrer le plus possible et en dire le moins possible. Cela fonctionne très bien de nos jours. Je peux, par exemple sur les appareils photo modernes, enregistrer directement ce que je vois dans le viseur. Ici, j’enregistre mon propre viseur qui s’affiche également sur l’ordinateur 😉

Il n’empêche que les tests pratiques restent quelque peu insatisfaisants. Ce que nous voulons, ce sont des faits concrets, des séries de mesures. Le bruit à 100, 200, 400, 800 ISO, jusqu’à 51 200 ou 102 400. La plage dynamique du capteur, une indication exacte des niveaux d’exposition. Le délai de déclenchement de l’autofocus, mesuré en millisecondes. Le nombre de photos que l’on peut prendre avec la batterie. Le nombre d’images par seconde que l’autofocus peut mettre au point. Des faits, toujours des faits, rien que des faits !

Le problème est que les chiffres et les données suggèrent une précision et une objectivité qui font souvent défaut. Ces séries de mesures peuvent être une source intarissable d’erreurs. Et chaque erreur fausse le résultat. Dans les années 2000, quand j’ai commencé à tester des appareils photo, j’ai essayé de faire ces séries de mesure, mais avec un certain amateurisme. Plus j’en ai appris sur les appareils photo, plus j’ai compris que les tests que je faisais n’étaient pas irréprochables. Aujourd’hui, je pense qu’il ne vaut mieux pas de mesures du tout que des mesures trompeuses.

L’exemple du bruit

Je voulais mesurer le bruit. À l’époque, c’était un critère important. Les appareils photo compacts, en particulier, produisaient des photos extrêmement bruitées. J’ai donc mis l’appareil photo sur un trépied et photographié une affiche avec du texte dans différentes tailles de police. Puis j’ai pris une photo avec chaque valeur ISO et j’ai ensuite étudié la prolifération du bruit à mesure que la valeur ISO augmentait. L’ampleur du bruit n’est pas toujours clairement visible à l’œil nu. J’aurais dû mesurer les images avec un logiciel spécial. À la place, j’ai pris comme critère la taille des caractères encore lisibles sur l’affiche. Mon raisonnement était qu’avec le bruit, la netteté diminue et les contours s’effacent.

Bien sûr, la netteté d’une image ne dépend pas seulement de la valeur ISO, mais aussi de l’objectif, de l’ouverture choisie, des petits flous qui peuvent survenir même avec un trépied, et de la mise au point, qui peut aussi être légèrement décalée.

Petit à petit, j’ai découvert un nombre croissant de problèmes que ce type de test est susceptible de causer.

• Le bruit produit par un appareil photo à une certaine valeur ISO dépend également de la luminosité. Plus il y a de lumière, moins il y a de bruit. Pour un tel test, la luminosité doit toujours être exactement la même.
• Des valeurs ISO élevées entraînent non seulement une augmentation du bruit, mais aussi une diminution de la plage dynamique et du rendu des couleurs. C’est difficilement mesurable avec ce test.
• L’image doit toujours être exposée de la même manière, quelle que soit la valeur ISO. Il faut pour cela modifier l’ouverture et/ou la vitesse d’obturation. Comme je l’ai dit, le diaphragme influe sur la netteté de l’image, la vitesse d’obturation sur le bruit.
• Le bruit dépend de la température. Théoriquement, le capteur de chaque appareil photo aurait dû être amené à la même température avant le test.
• Les appareils photo utilisent des filtres de réduction du bruit. La plupart du temps uniquement pour le format JPEG, mais parfois aussi au format brut, comme avec le Pentax K3 Mark III récemment testé.
• Cela dépend aussi du motif. Les zones sombres bruitent plus, ou du moins le bruit est plus visible.

Pour ne rien arranger, ma belle affiche de test s’est retrouvée encombrée par une montagne de cartons grandissante. Déjà à l’époque, je n’avais pas de laboratoire et je devais détourner de son usage la salle de réception du courrier du bureau. Lorsque les cartons sont devenus trop envahissants, ma belle série de tests a pris fin. Avec le recul, je dis tant mieux.

J’aurais pu éliminer certains des problèmes avec une meilleure configuration de test. Mais pour comparer les photos obtenues avec les appareils, une chose est essentielle : toutes les photos doivent être prises de manière identique. Les changements de configuration constituent un problème. Les méthodes agiles, l’optimisation continue, ça ne marche pas ici. Tout doit être fait correctement dès le départ.

Des tests de laboratoire souvent obsolètes

Les tests en laboratoire manquent de flexibilité. Il est difficile de bien les concevoir, et une fois que la formule est trouvée, celle-ci est immuable, ce qui n’est pas du tout compatible avec un monde technologique en constante évolution.

Un exemple : en 2003, l’association professionnelle japonaise CIPA a défini une procédure de test pour mesurer la durée de vie des piles. Pour permettre une comparabilité directe, la procédure de test n’a jamais été modifiée jusqu’à aujourd’hui. Le test ayant été conçu pour les appareils photo compacts de l’époque, il comprend des éléments tels que la sortie de l’objectif zoom et le flash. Les appareils photo qui n’ont pas de zoom intégré ni de flash passent le test sans ces opérations et sont donc fortement avantagés.

De même, les aspects importants d’un appareil photo et les grandes différences en la matière changent au fil du temps. Le bruit est désormais un critère beaucoup moins important. Les progrès réalisés dans ce domaine ne sont plus que minimes. On a aujourd’hui atteint un niveau qui satisfait même les exigences les plus pointues. Non seulement parce que les capteurs produisent moins de bruit, mais aussi parce que les valeurs ISO élevées ne sont plus que très rarement nécessaires du fait des stabilisateurs d’image performants et des objectifs lumineux. Sur les quelque 32 000 photos de ma collection privée, seules 23 ont une valeur ISO supérieure à 12 800. Et encore, je n’ai fait ces photos que pour tester des valeurs ISO élevées. Près de la moitié des photos ont été prises avec la valeur ISO la plus basse de l’appareil photo concerné.

Aujourd’hui, ce sont l’autofocus et la fonction vidéo qui font la différence. Jusqu’à présent, je n’ai toutefois pas vu de test de laboratoire permettant de mesurer le suivi du sujet par l’autofocus.

Comme le niveau général des appareils photo numériques est élevé depuis des années, la majorité des tests de laboratoire portent sur des éléments qui ne jouent pratiquement aucun rôle dans la vie quotidienne. Ils perdent ainsi leur pertinence : si une différence n’est détectable qu’en laboratoire, elle n’a aucune importance dans la pratique.

L’exemple de DxOMark

Ceci est particulièrement évident en ce qui concerne les tests de laboratoire de DxOMark. Seuls les capteurs sont testés ici ; le reste de l’appareil ne joue aucun rôle. Même pour le capteur, la résolution et la vitesse de lecture ne sont pas prises en compte. Comme les capteurs stagnent à un niveau élevé depuis des années en ce qui concerne ces critères de test, il peut arriver qu’un appareil photo plus ancien réalise de meilleures performances qu’un appareil neuf. Par exemple, le Nikon D810 de 2014 obtient un score légèrement supérieur à celui du Canon EOS R5 de 2020.

La différence est néanmoins bien inférieure à ce qui est perceptible à l’œil nu. La différence de profondeur de couleur n’est que de 0,4 bit. DxOMark précise que les différences de moins d’un bit sont à peine perceptibles. Tout ce qui est supérieur à 22 est excellent. Ces appareils photo dépassent tous deux les 25 bits. Il en va de même pour la plage dynamique : tout indice de lumination supérieur à 12 est excellent, nous sommes ici à 14 ou 15. La différence est de 0,2, sachant qu’en dessous de 0,5, elle n’est pas perceptible. Concernant le score ISO, il faudrait que la différence soit d’au moins 25 % pour que l’on puisse constater une différence, ce qui est loin d’être le cas.

Si d’après DxO, votre super appareil photo est moins performant qu’un modèle bon marché de 2017, détendez-vous. Il n’y a pas de raison de s’inquiéter. Votre appareil n’apparaît pas meilleur sur les critères mesurés ici, mais ce n’est pas ce qui compte en 2021. Profitez d’un meilleur autofocus, d’une meilleure fonction vidéo, d’une vitesse plus rapide en ayant surtout conscience que c’est l’appareil qui vous convient le mieux.

Photos tests en dehors du laboratoire

Parfois, j’essaie quelque chose entre le test pratique et le test de laboratoire. Je prends des photos tests avec des sujets totalement inintéressants, mais qui sont censées révéler une force ou une faiblesse particulière. Par exemple, si je photographie mon tapis d’en haut à la verticale, ce n’est pas un test du quotidien : après tout, personne ne choisit sérieusement ce motif pour une photo. La régularité de la structure me permet toutefois de dire si l’objectif est beaucoup plus flou sur le bord qu’au centre. Ce n’est pas un test de laboratoire, ce n’est pas exact, mais cela donne une impression approximative. Même dans ce cas, je dois faire attention à effectuer le test correctement. Si je ne tiens pas l’appareil photo exactement à la verticale, la profondeur de champ devient perceptible. Le champ de mise au point doit être dans le coin si je veux juger de la netteté à cet endroit.

Je trouve encore plus difficile de trouver un scénario de test permettant de visualiser la dynamique. Avant, c’était apparemment facile : il suffisait de photographier un dégradé de gris sur du papier et de voir combien de niveaux de luminosité pouvaient être correctement exposés en même temps. Les appareils photo d’aujourd’hui sont bien trop performants pour cela. Tout est correctement exposé, sans surexposition ni sous-exposition. Pour le mettre en évidence, je dois photographier une source de lumière directement.

Il n’est toutefois pas facile de montrer les différences entre les différents appareils. Le filament est toujours surexposé, même avec les meilleurs appareils, mais la plupart d’entre eux gèrent parfaitement le reste.

Même si la luminosité était mieux calibrée, photographier dans la source de lumière reste soumis à un problème de taille : le reflet de la lentille éclaircit les parties les plus sombres, de sorte qu’il n’est pas possible de le mesurer sans ambiguïté.

Tout cela montre que même les tests de photo apparemment simples sont délicats. Dans le pire des cas, en tant que testeur, je ne révèle pas les faiblesses d’un appareil, mais les faiblesses du test.

Et maintenant ?

Que faire si les tests pratiques et les tests de laboratoire sont insatisfaisants et problématiques ? Je pense qu’il faut être le plus honnête possible. Les testeurs doivent rendre le test facilement compréhensible et se montrer extrêmement transparents sur les méthodes et leur justification, ainsi que sur leur propre subjectivité, leurs intérêts personnels, leurs connaissances préalables et leurs préférences. L’époque où un journaliste pouvait se contenter d’affirmer : « C’est comme ça parce que je le dis, parce que je l’ai testé » est révolue. Et heureusement !

Bien sûr, tout le monde n’a pas envie de lire de longues explications ou même de vérifier par lui-même. En fait, beaucoup de gens ne lisent que la conclusion d’un test, ils ne s’intéressent pas au cheminement. Mais l’information doit être disponible pour ceux que cela intéresse.

J’aime aussi renvoyer vers d’autres sites qui font des tests de laboratoire ou d’autres tests qui dépassent le cadre que je me suis fixé. Je ne le fais toutefois que si je comprends le test, que je le considère comme sérieux et pertinent. C’est aussi le conseil que je vous donne : consultez plusieurs avis. Vérifiez la source et ne vous laissez pas impressionner par des graphiques de test que vous ne comprenez pas vraiment.