La collecte et l’évaluation des données de l’« Étude suisse sur l’accessibilité 2023 – Applications mobiles » ont été réalisées à l’aide de la méthodologie décrite ci-dessous.

Objets de test

46 applications ont été testées selon les critères de contrôle WCAG 2.1, niveau de conformité AA. Cette norme a été initialement conçue pour les sites web. Dans le cadre du développement de la certification des applications de la fondation « Accès pour tous » (Link öffnet in einem neuen Tab), les méthodes de test ont été adaptées aux spécificités des applications mobiles. Cela implique notamment que certains critères de test soient interprétés différemment ou que des critères tels que la vérification du code source ne s’appliquent pas.

Nous avons sélectionné comme objets de test des applications mobiles populaires en Suisse, qui sont pertinentes pour gérer le quotidien privé ou professionnel. Une documentation détaillée sur la procédure de sélection se trouve à la rubrique « Voici comment nous avons sélectionné les applications ».

Les applications testées ont été achetées dans les App Stores officiels d’iOS et d’Android. Un certain nombre d’applications testées nécessitaient un compte d’application pour pouvoir être pleinement utilisées. Il convient ici de faire la distinction entre les comptes d’application simples, pour lesquels il suffit d’indiquer une adresse e-mail et un mot de passe, et les comptes qui nécessitent une identification ou une vérification de l’identité de la personne utilisatrice. Pour les applications qui nécessitent des comptes vérifiés, il a été vérifié au préalable si les testeurs disposaient déjà d’un tel accès. S’ils ne disposaient pas d’un compte personnel, les éditeurs ont été invités à proposer un accès test. Il nous a été permis d’accéder aux applications à « ePost App », « MySwisscom » et « Well ». Dans le cas des applications « ePost App » et « Well », des versions non publiées de l’application nous ont été fournies par les éditeurs afin de nous permettre de tester l’ensemble de l’application en toute sécurité.

Les tests ont été réalisés entre juin et août 2023.

Critères de contrôle

Basé sur des critères (quantitatif)

Les critères de réussite des WCAG 2.1 de niveau de conformité AA comportent 50 critères de réussite, dont 30 correspondent au niveau de conformité A et 20 au niveau de conformité AA. Chaque critère de réussite peut comprendre une ou plusieurs exigences. Il en résulte un total de 58 exigences. Toutefois, toutes les exigences ne sont pas transmissibles aux applications mobiles. C’est pourquoi nous avons travaillé avec un ensemble de 46 exigences.

Tout au long de la configuration de test, seule l’accessibilité a été mise en avant. Cela signifie que nos spécialistes de l’accessibilité n’ont pas évalué la qualité des applications en termes d’étendue d’utilisation, de caractéristiques techniques ou d’expérience d’utilisation (Usability ou User Experience). Toutes les évaluations effectuées dans le cadre de l’étude Accessibility ont porté exclusivement sur la vérification de l’accessibilité.

Basé sur des scénarios (qualitatif)

Les tests ont été réalisés selon des scénarios définis. Il y avait trois à six scénarios en fonction de la complexité de l’application. L’utilisation de la page des paramètres était un scénario commun à toutes les applications. Des applications similaires dans certaines catégories, comme les applications de messagerie instantanée ou d’achat, ont été testées pour une meilleure comparabilité avec des scénarios (aussi) identiques. Les scénarios représentent des cas d’utilisation typiques de l’application correspondante. Par exemple, les scénarios de test pour les applications permettant de faire ses courses de « Coop », « Lidl » et « Migros » comprenaient la recherche de magasin, la consultation de l’offre, l’étude des détails des produits, l’utilisation et la gestion de la liste d’achat et le contrôle de la liste d’achat.

Procédure pendant la phase de test

Environnement de test

Nous avons renoncé à un environnement de test standardisé, car avec cette étude, nous voulions tester autant que possible la réalité de l’utilisation d’une application et non le comportement dans des « conditions de laboratoire ». Cependant, le simple fait que toutes les applications aient été testées en continu sur la plateforme iOS a permis d’assurer une certaine constance dans l’environnement de test. Afin de prendre également en compte la situation sur les smartphones Android, cinq applications supplémentaires ont été testées sous Android (vous trouverez des détails sur la sélection à la rubrique « Voici comment nous avons sélectionné les applications »).

Procédure de test

Chaque application a été évaluée par trois spécialistes différents en matière d’accessibilité : Une personne voyante a testé les exigences dans leur intégralité. Une personne non-voyante a testé toutes les exigences pouvant être vérifiées sans voir. Une troisième personne s’est penchée sur la partie des exigences nécessitant de voir pour le contrôle (par exemple l’évaluation des exigences en matière de contraste, évaluation de la possibilité de zoomer pour modifier la taille du texte ou de la visibilité de la mise au point du clavier). Chaque exigence a ainsi reçu deux évaluations indépendantes. Les tests basés sur des scénarios ont été intégralement réalisés par les trois testeurs.

Tests basés sur des critères

Les tests basés sur des critères ont été réalisés sur la base de l’ensemble défini de 46 exigences. Les spécialistes en accessibilité ont fourni une évaluation de conformité pour chacune des exigences vérifiées, indépendamment les uns des autres. Une échelle de 0 (non rempli) à 10 (entièrement rempli) a été utilisée. Lorsque la différence entre deux évaluations d’une exigence était supérieure à 3 points, les deux testeurs impliqués analysaient leurs évaluations dans le cadre d’une comparaison. Si une personne avait fait une observation qui avait échappé à l’autre, celle-ci a ajusté son évaluation en conséquence. Lorsque des exigences spécifiques à vérifier, telles que des contenus multimédias ou des formulaires, n’étaient pas présentes dans les scénarios définis, des parties de l’application contenant de tels éléments ont été examinées.

Tests basés sur des scénarios

Les tests basés sur des scénarios ont permis d’évaluer la faisabilité de scénarios d’utilisation typiques d’une application ou de groupes d’applications, p. ex. des applications de communication. L’accent n’a pas été mis sur l’expérience d’utilisation subjective des testeurs, mais sur une évaluation en fonction de l’accessibilité. Par conséquent, lors des tests basés sur des scénarios, tous les testeurs ont utilisé des technologies d’assistance telles que des lecteurs d’écran et des méthodes de saisie alternatives de type clavier, et ont utilisé différentes configurations telles que l’agrandissement du texte, le format portrait/paysage et l’inversion des couleurs. Les résultats ont été consignés et notés pour chaque scénario. Une échelle simplifiée comprenant les trois notes suivantes était disponible à cet effet :

• Note 6 : le scénario peut être réalisé et clôturé en toute accessibilité.
• Note 4 : certaines barrières entravent la mise en œuvre. Il est toutefois possible de clore le scénario.
• Note 1 : des barrières empêchent la mise en œuvre. Il n’est pas possible de clore le scénario.

Exigences non évaluables

En principe, seules les exigences pouvant être remplies dans l’application correspondante ont été évaluées. Par exemple, toutes les applications ne proposent pas de contenus vidéo, toutes n’utilisent pas des données sous forme de tableaux ou ne proposent pas des documents au format PDF. Si une telle exigence ne pouvait pas être évaluée, cela était consigné dans le procès-verbal du test.

Calcul et présentation des résultats

Ce chapitre documente les calculs des résultats.

Introduction : le profil d’accessibilité comme instrument central

Le profil d’accessibilité est un instrument central pour évaluer l’accessibilité d’une application. En regroupant les 46 critères de réussite en douze catégories thématiques, on obtient une image différenciée des points forts et des points faibles spécifiques de l’application testée. Le profil d’accessibilité comprend les douze catégories thématiques suivantes :

Vue d’ensemble

Caractéristiques relevées

Au cours des tests, les caractéristiques suivantes ont été mesurées :

Les chapitres suivants présentent les calculs des résultats obtenus à partir de ces valeurs caractéristiques.

Résultats calculés

Une série de résultats a été calculée sur la base des valeurs caractéristiques relevées :

Évaluations détaillées d’une application

Profil d’accessibilité

Calcul

Présentation

Le maximum de cinq points atteignables est représenté sur une échelle de cinq cercles. Une valeur entière est représentée par un cercle rempli ; une demi-valeur par un cercle à moitié rempli. Pour chaque aspect, on obtient ainsi une sorte de jauge de niveau : plus il y a de cercles remplis, plus il y a d’exigences remplies en matière d’accessibilité.

La signification des valeurs correspond à l’échelle suivante :

Notation de la faisabilité

Calcul

Présentation

La faisabilité des scénarios d’utilisation d’une application est représentée sous forme de note globale. La note « 6 » est la note maximale et « 1 » la note la plus basse.

Accessibilité selon le type de restriction (expérimental)

Pour mieux comprendre quels groupes de personnes peuvent utiliser une application et dans quelle mesure, nous avons introduit une représentation expérimentale de l’accessibilité par type de restriction. Celle-ci englobe les quatre dimensions que sont la « motricité », la « vue », l’« ouïe » et la « cognition ».

Pour constituer les catégories, nous avons affecté les 46 exigences WCAG que nous avons étudiées aux différentes dimensions du type de restriction. Par exemple, l’exigence « La mise au point du clavier est suffisamment visible » a été affectée aux groupes « Vue » et « Motricité », car les deux groupes d’utilisation dépendent d’une mise au point bien visible. Cet exemple montre également que le type de restriction « Vue » englobe toutes les personnes présentant des restrictions sur le plan visuel et pas uniquement les non-voyants.

Calcul

Le calcul de l’accessibilité par type de restriction fonctionne de la même manière que pour le calcul des valeurs des aspects individuels du profil d’accessibilité. La seule différence réside dans le regroupement différent des 46 exigences examinées.

Présentation

La représentation par type de restriction est effectuée dans un diagramme de Kiviat (diagramme en radar). La forme est circulaire et elle a des axes semblables aux rayons d’une roue. Une valeur de 0 à 100% a été choisie comme échelle. Cette valeur indique le degré de conformité de l’objectif d’accessibilité. Chaque aspect est associé à un quart de cercle et les valeurs sont représentées du centre du cercle jusqu’à la périphérie. La valeur la plus basse se trouve au centre, la valeur la plus élevée sur le cercle extérieur. Lorsque les quatre points de valeur sont reliés entre eux, on obtient une surface carrée typique de chaque application et qui rend visuellement tangible la couverture des types de restrictions : plus la surface carrée est importante, plus l’accessibilité est garantie pour tous les types de restrictions. Plus la surface carrée est régulière, c’est-à-dire égale à un carré, plus les groupes de personnes sont pris en compte de manière équilibrée.

Une remarque sur les valeurs de la dimension « Ouïe » : La plupart des critères pertinents dans le domaine « Ouïe » se rapportent aux contenus multimédias. Cependant, la plupart des applications étudiées ne contiennent pas de tels contenus. C’est pourquoi, pour la majorité des applications du domaine « Ouïe », seule l’exigence « Les contenus ne sont pas transmis uniquement par des propriétés sensorielles » s’appliquait. Dans le critère de réussite 1.3.3 des WCAG 2.1, le son est explicitement inclus comme caractéristique sensorielle. Il peut s’agir par exemple d’une notification ou d’un retour purement acoustique dans une application. La plupart du temps, ce critère a été respecté. C’est pourquoi la plupart des applications affichent un taux de conformité de 100%.

Évaluation globale de l’accessibilité d’une application

Le calcul de l’évaluation globale d’une application repose sur les deux indicateurs suivants :

Considérations méthodologiques

En pratique, le non-respect d’une seule des exigences WCAG peut signifier pour les personnes concernées que l’application ou certaines parties de celle-ci ne sont plus utilisables (par exemple en l’absence d’une autre méthode de saisie comme un clavier ou une manette, ou lorsqu’un smartphone est fixé sur un support en mode paysage, mais que l’application ne peut pas être exécutée en format paysage). Toutefois, lorsque l’on additionne des critères individuels pour obtenir une valeur globale, ces violations individuelles graves ne sont pas visibles dans le résultat global. Ainsi, malgré de graves violations ponctuelles de l’accessibilité, les applications peuvent atteindre une solide valeur globale, bien qu’elles ne soient guère utilisables par certains groupes de personnes dans la pratique. Une évaluation basée uniquement sur des critères peut donc suggérer une accessibilité qui n’existe pas dans la pratique. Afin d’éviter de telles distorsions, nous avons inclus l’évaluation basée sur le scénario comme correctif dans l’évaluation globale.

Calcul

Les calculs ont été effectués sur une échelle normalisée allant de 0 à 1. Le tableau suivant présente les différentes étapes du calcul de l’évaluation globale.

Pour garantir que l’évaluation basée sur les scénarios n’ait qu’un effet correctif, elle pouvait compter au maximum autant que l’évaluation basée sur les critiques dans l’étape de calcul n° 6. En d’autres termes, si le pourcentage pour l’évaluation basée sur des scénarios était par exemple de 0,47 point, mais que le pourcentage pour l’évaluation basée sur des critères était inférieur, avec 0,41 point, la valeur pour l’évaluation basée sur le scénario a été « écrêtée » à 0,41 point. Cette procédure permet d’éviter une revalorisation méthodique involontaire de l’évaluation globale par le biais d’une évaluation basée sur des scénarios.

Présentation

L’évaluation globale indique l’état actuel de l’accessibilité d’une application à l’aide d’un baromètre sur neuf champs disposés horizontalement. Pour l’échelle des pourcentages de 10 à 90%, la valeur calculée pour l’évaluation globale est directement représentée. L’interprétation des valeurs est la même que pour le profil d’accessibilité. Les gammes de valeurs et les significations sont les suivantes :

Positionnement dans le domaine global

Le positionnement des applications étudiées dans le champ global permet de classer la manière dont les applications se situent les unes par rapport aux autres en termes d’accessibilité. Il a été renoncé à un ordre de priorité explicite.

Calcul

Présentation

L’ensemble des applications est représenté sous forme de tableau : l’application qui obtient l’évaluation globale la plus élevée occupe la première position, tandis que l’application qui obtient l’évaluation globale la plus basse occupe la position la plus basse. L’évaluation globale de chaque application est présentée dans la deuxième colonne avec l’échelle simplifiée de cinq cercles. Une valeur entière est représentée par un cercle rempli ; une demi-valeur par un cercle à moitié rempli. Pour chaque aspect, on obtient ainsi une sorte de jauge de niveau : plus il y a de cercles remplis, plus il y a d’exigences remplies en matière d’accessibilité pour cette application.

Validation externe des résultats

Les résultats que nous avions calculés ont été évalués en externe dans le cadre d’une étude d’évaluation. L’Institut d’analyse des données et la conception des processus de la Haute école des sciences appliquées de Zurich (ZHAW) a vérifié les méthodes décrites et reproduit les résultats indépendamment de nos propres calculs. Le calcul parallèle de la ZHAW a donné les mêmes résultats que notre calcul interne.