Test automatique ou audit humain ?

Vous avez lancé un test d’accessibilité automatique, corrigé tout ce qu’il signalait, et le rapport n’affiche plus aucun problème. Votre site est-il accessible pour autant ? Probablement pas entièrement. Les tests automatiques sont rapides, gratuits ou peu chers, et très efficaces sur les problèmes les plus courants. Mais une grande partie de ce qui rend un site utilisable par des personnes en situation de handicap dépend du sens et du contexte, et un logiciel ne sait pas en juger. Cet article explique ce que les tests automatiques trouvent ou non, comment les combiner avec quelques tests simples à faire vous-même, et quand il vaut la peine de payer un expert pour un audit complet.

Ce que disent les chiffres

Le W3C, l’organisme qui gère les standards du web, le dit clairement dans ses conseils pour choisir des outils d’évaluation : les outils ne peuvent pas déterminer si un site est accessible, ils peuvent seulement aider. Plusieurs études montrent où passe la limite.

L’étude de Deque (2021). Deque, une entreprise qui fabrique des outils de test d’accessibilité, a analysé plus de 2 000 audits portant sur plus de 13 000 pages et près de 300 000 problèmes. En moyenne, 57 % des problèmes ont été trouvés par des tests automatiques. Mais ces problèmes ne relevaient que de 16 des 50 critères des WCAG 2.1 niveau AA. La part automatique est élevée parce que quelques problèmes courants, surtout le manque de contraste, reviennent très souvent.
L’expérience du gouvernement britannique (2017). Le Government Digital Service a créé une page volontairement mauvaise contenant 142 obstacles connus et l’a soumise à 13 outils automatiques. Le meilleur outil en a trouvé 40 %, le moins bon seulement 13 %. Les outils ont progressé depuis, mais beaucoup d’obstacles de cette page ne peuvent tout simplement pas être détectés par un logiciel.
Le point de vue du gouvernement néerlandais. DigiToegankelijk, le programme d’accessibilité du gouvernement néerlandais, indique que plus de 80 % des exigences obligatoires doivent être vérifiées par une personne, et que les résultats d’un outil automatique ne suffisent jamais à respecter la loi.

Ces chiffres ne mesurent pas la même chose, ils ne se contredisent donc pas. Comptés en nombre de problèmes, les tests automatiques en trouvent en gros un tiers à la moitié. Comptés en critères WCAG (les 50 règles vérifiables des règles pour l’accessibilité des contenus web), seule une minorité peut être entièrement testée par un logiciel. Les deux mènent au même conseil : commencez par un test automatique, puis laissez des personnes vérifier le reste.

Ce que les tests automatiques trouvent bien

Certains problèmes relèvent de la mesure ou de la présence : une valeur est trop basse, ou quelque chose manque. Un logiciel y excelle, et il ne se fatigue jamais à la page 150.

Un contraste insuffisant. Un texte trop clair par rapport à son fond. Un outil calcule le rapport de contraste avec précision. Voir le guide sur le contraste des couleurs.
Des descriptions d’images manquantes. Une image sans texte alternatif, la courte description écrite que lisent les lecteurs d’écran (des logiciels qui lisent l’écran à voix haute). Voir les descriptions d’images.
Des champs de formulaire sans étiquette. Un champ pour lequel rien n’indique aux logiciels d’assistance ce qu’il faut saisir. Voir les étiquettes de formulaire.
Des liens et des boutons vides. Un lien ou un bouton composé d’une seule icône, sans nom, qu’un lecteur d’écran annonce seulement comme « lien » ou « bouton ». Voir les noms de liens et les noms de boutons.
Une langue de page absente. Sans elle, un lecteur d’écran peut lire un texte français avec un accent anglais. Voir la langue de la page.
Des titres de page absents et des niveaux de titres sautés, qui compliquent la navigation dans une page.

Ce sont aussi les problèmes les plus fréquents sur les vrais sites. L’analyse annuelle d’un million de pages d’accueil de WebAIM retrouve chaque année la même poignée en tête. C’est pourquoi un test automatique est un si bon premier pas : il dégage rapidement l’essentiel.

Ce que seules des personnes peuvent juger

L’autre moitié touche au sens, au comportement et à l’expérience. Un outil voit que quelque chose existe, pas si cela a du sens.

La justesse d’une description d’image. Un outil voit qu’une image a un texte alternatif. Il ne voit pas que ce texte est un nom de fichier, ou qu’il décrit un graphique sans dire ce que le graphique montre.
La logique de l’ordre. Un contenu peut sembler logique à l’écran alors qu’un lecteur d’écran ou la touche Tab le parcourt dans un ordre déroutant.
Les pièges au clavier dans les éléments sur mesure. Un sélecteur de date maison, une fenêtre de discussion ou une fenêtre surgissante peut capturer le focus clavier et ne plus le rendre. Seul l’usage des touches le révèle.
La clarté des intitulés de liens et des titres. Un outil peut repérer « cliquez ici », pas juger si « Notre démarche » dit où mène un lien.
Un langage clair et des messages d’erreur compréhensibles. « Erreur 422 » passe tous les tests automatiques.
L’exactitude des sous-titres. Une vidéo avec des sous-titres automatiques passe, même quand ils transforment « Liège » en « liège ».

Voici un cas typique. Les deux images ci-dessous passent un test automatique, car toutes deux ont un texte alternatif :

<!-- Passe le test automatique, mais n’apprend rien à personne -->
<img src="IMG_2041.jpg" alt="IMG_2041.jpg" />

<!-- Passe aussi, et aide vraiment -->
<img
  src="IMG_2041.jpg"
  alt="Rampe d’accès pour fauteuil roulant à l’entrée latérale de la mairie"
/>

Seule une personne sait ce que montre la photo et pourquoi elle figure sur la page.

Comment les combiner : une routine en quatre étapes

Vous n’avez pas à choisir entre un test automatique et un audit. Ils fonctionnent mieux l’un après l’autre, chaque étape rendant la suivante moins coûteuse.

Lancez un test automatique sur vos pages les plus importantes : l’accueil, le contact, votre formulaire principal, votre tunnel de commande ou de réservation.
Corrigez ce qu’il trouve, en commençant par ce qui bloque les gens. D’abord les gabarits communs, pour qu’une seule correction répare de nombreuses pages. Puis vérifiez à nouveau.
Faites les tests manuels rapides ci-dessous. Ils prennent moins d’une heure et ne demandent aucun logiciel particulier.
Commandez un audit par un expert quand l’enjeu le justifie.

Des tests rapides à la portée de tous

Le clavier. Rangez la souris et utilisez seulement Tab, Maj+Tab, Entrée, Espace, les flèches et Échap. Atteignez-vous tout, voyez-vous où vous êtes et pouvez-vous mener à bien votre tâche principale ? Notre test au clavier en 10 minutes vous guide pas à pas.
Le zoom à 200 %. Appuyez sur Ctrl et + (Cmd et + sur Mac) jusqu’à ce que le navigateur affiche 200 %. Tout le texte reste-t-il lisible, sans texte coupé ou superposé ? Essayez ensuite une fenêtre aussi étroite qu’un téléphone : la page fonctionne-t-elle encore sans défilement horizontal ?
Les bases d’un lecteur d’écran. Utilisez NVDA, gratuit sous Windows, ou VoiceOver, intégré aux Mac et aux iPhone. Inutile de le maîtriser. Écoutez le début de la page, passez de titre en titre et remplissez un formulaire. Les titres forment-ils un sommaire ? Chaque champ dit-il à quoi il sert ?
La lecture à voix haute. Lisez votre page principale comme si vous la découvriez. Les phrases sont-elles courtes et les mots familiers ? Les intitulés de liens se comprennent-ils seuls ?

Quand un audit humain devient nécessaire

Un audit est un examen systématique de tous les critères par un spécialiste, sur un échantillon représentatif de pages, généralement avec un rapport qui explique chaque problème et sa correction. Vous en avez probablement besoin si :

vous êtes un organisme public. Votre déclaration d’accessibilité doit reposer sur une vraie évaluation. En France, c’est un audit selon le RGAA qui détermine la mention « totalement », « partiellement » ou « non conforme » affichée en page d’accueil. Notre article sur l’accessibilité des sites publics détaille les règles par pays.
vous gérez une grande boutique en ligne ou un service de réservation concerné par l’acte européen sur l’accessibilité, surtout avec un tunnel de commande complexe ou un espace client.
vous voulez un label qui montre aux visiteurs qu’un tiers indépendant a vérifié le site.
vous lancez une refonte, ou une nouvelle plateforme partagée par de nombreux sites.
des personnes signalent sans cesse des problèmes que vous ne trouvez pas vous-même.

Pour une petite entreprise avec un site vitrine simple, un test automatique, les tests manuels et un peu de soin dans les contenus permettent souvent de faire l’essentiel du chemin.

Ce que coûte un audit et comment choisir un auditeur

Le prix dépend surtout du nombre de types de pages différents et de la complexité. Deux organisations publient des prix indicatifs :

AnySurfer, un projet belge de Licht en Liefde, une organisation au service des personnes aveugles et malvoyantes en Flandre et à Bruxelles, affiche des tarifs d’audit (page en néerlandais) de 1 250 euros pour un petit site, 2 500 euros pour un site standard et 4 000 euros pour un site complexe, hors TVA, avec des audits de suivi moins chers pour vérifier les corrections. AnySurfer décerne aussi un label, valable deux ans au maximum.
Le BIK BITV-Test en Allemagne, géré par DIAS, combine un montant de base et un prix indicatif par page de 420 euros pour une page simple à 840 euros pour une page complexe, les applications web complexes étant chiffrées selon l’effort. Un test prend en général quatre à six semaines.

En France, un audit suit la méthode du RGAA sur un échantillon défini : au minimum la page d’accueil, le contact, les mentions légales, la page « Accessibilité », le plan du site, l’aide et l’authentification, plus des processus complets comme un formulaire sur plusieurs pages, et une part de pages tirées au hasard. Le site officiel du RGAA précise qu’il peut être réalisé par l’organisme lui-même ou par un tiers ; l’organisme reste responsable de sa fiabilité. Aux Pays-Bas, des organisations comme Stichting Accessibility réalisent des évaluations selon WCAG-EM.

Pour comparer des offres, posez ces questions :

Quelle méthode suivez-vous (RGAA, WCAG-EM, BITV-Test ou EN 301 549), et quelle version et quel niveau des WCAG ?
Comment choisissez-vous l’échantillon, et inclut-il les formulaires, les PDF et les pages derrière une connexion ?
Des personnes testent-elles au clavier et avec un lecteur d’écran, ou s’agit-il surtout de résultats d’outils ?
Le rapport explique-t-il chaque problème avec un exemple et une correction ?
Un contre-audit est-il compris, et à quel prix ?

Méfiez-vous des offres de solution rapide par une surcouche (overlay), un widget de barre d’outils ajouté à la page. Les surcouches ne réparent pas les problèmes de fond.

Bien se préparer pour que l’audit coûte moins

Les auditeurs sont payés pour leur temps. Chaque minute passée sur des problèmes que vous auriez pu trouver vous-même, c’est de l’argent qui ne va pas aux questions difficiles.

Corrigez d’abord les résultats du test automatique. Contraste, textes alternatifs et étiquettes se trouvent pour rien avec un outil et coûtent cher quand un expert les consigne.
Corrigez les gabarits et composants communs avant l’audit, pas page par page après.
Préparez une liste des types de pages et des tâches clés, comme « demander un permis » ou « payer une facture », pour que l’échantillon couvre l’essentiel.
Prévoyez des comptes de test et l’accès aux pages derrière une connexion à l’avance.
Demandez à votre fournisseur de plateforme son propre rapport d’évaluation. Le gouvernement néerlandais conseille de séparer l’évaluation de la plateforme technique et celle des contenus, pour que la plateforme ne soit testée qu’une fois.
Désignez une personne de contact capable de répondre vite aux questions de l’auditeur.
Prévoyez du temps et du budget pour les corrections et le contre-audit. Un audit sans suivi produit surtout un document.

Commencez par un test automatique

Vérifiez gratuitement une page avec ibin pour éliminer d’abord les problèmes courants. Le rapport explique chaque problème en langage simple, montre où il se trouve avec une image en gros plan et renvoie vers un guide de correction. Le second regard facultatif de l’IA signale les descriptions d’images, les intitulés de liens et l’usage du clavier qui méritent un examen plus attentif, comme des pistes qu’une personne doit juger. Faites ensuite les tests manuels, et faites appel à un expert quand vous avez besoin de certitude.

Voyez où en est votre site

Vérifiez gratuitement une page, sans compte. Vous recevez une liste claire de ce qu’il faut corriger en premier, avec des images de l’endroit où se trouve chaque problème.

Test automatique ou audit humain ? Ce que chacun permet de trouver