Understanding automation transparency and its adaptive design implications in safety–critical systems

La question de l’automatisation et de son (bon) couplage aux opérateurs n’est pas nouvelle. Elle est apparue dans les années 1980 avec l’arrivée des nouveaux avions automatisés. Le sujet est toujours d’actualité avec l’exemple des accidents récents du Boeing 737 Max.

Dès le départ, l’idée s’est imposée qu’il fallait une conception suffisamment transparente pour que l’opérateur comprenne ce que fait l’automate et puisse reprendre la main si besoin. 

Mais dans la pratique, le terme de conception transparente de l’automatisation (pour l’opérateur) est resté loin d’être univoque. 
On en rencontre au moins deux visions assez différentes :  l’idée de « seeing through » (voir à travers) et celle de « seeing into » (voir dedans).

L’impact de la transparence sur la conscience de la situation, la confiance, la sécurité, la charge de travail et la performance

La transparence a été dès le départ cousine de l’idée de conscience de la situation (Situation Awareness - SA) définie il y a déjà presque 40 ans par Mica Endsley (1988) comme « la perception des éléments de l’environnement dans un volume de temps et d’espace, la compréhension de leur signification et la projection de leur statut dans un futur proche ».

Sur cette base, Chen et al. (2014) ont proposé le modèle Situation Awareness-based Agent Transparency (SAT), orienté vers les systèmes interactifs d’agents intelligents humains.
Le modèle SAT met l’accent sur le besoin humain d’être conscient à la fois de la situation  de l’agent et de l’environnement. Depuis, d’autres modèles ont été proposés en continuité. Ils incluent la transparence dynamique basée sur la conscience de la situation (dynamic SAT) (Chen et al., 2018), la transparence homme-robot (Lyons, 2013) et le modèle de système coactif basé sur l’observabilité, la prévisibilité et la directivité (OPD) (Johnson et al., 2014).
Les spécialistes des facteurs humains ont longuement plaidé pour maintenir cinq priorités dans la conception d’interface transparente : la prise en compte du niveau d’automatisation, la qualité de la conscience de la situation, le niveau de réglage induit de la confiance (manque et surtout excès de confiance), la performance réelle obtenue et le niveau de charge de travail induit.

On verra dans la suite du texte que beaucoup de ces souhaits sont sujets à des optimums de bénéfice dans une logique de courbe en U, ce qui complique un peu plus les questions de conception et demande encore pas mal de recherche.
Le temps (l’expérience du système) et, de façon générale, la limite sur la réalité transmise du fonctionnement de l’automate sont des variables importantes de réglages de la transparence concrète souhaitée sur l’interface homme-machine (HM). On retrouve très vite des similitudes avec la littérature sur l’explicabilité en IA. 

Une relation non linéaire entre (niveau de) transparence et résultats positifs pour l’opérateur

Rappelons en préliminaire l’héritage des travaux historiques de Sheridan (1978)  qui décrivent un continuum dans le degré d’automatisation et la répartition des tâches entre l’homme et la technologie, qui va du contrôle manuel complet (niveau 1 sans autonomie) à l’automatisation complète (niveau 5 avec autonomie totale). 

La suite du document a choisi de zoomer plus étroitement sur 14 articles qui ont mis la transparence au centre de la conception HM des systèmes automatisés. Les résultats de ces articles sont regroupés par éléments clés en s’inspirant des revues de littérature publiées sur le sujet, notamment Van de Merwe et al. (2022).

Des variations dans la compréhension et la définition du terme transparence

Il ressort 8 points essentiels.

Un concept largement reconnu

Le principe et le besoin même de transparence sont reconnus par toute la communauté facteurs humains et par les concepteurs d’interface de systèmes automatisés.

La transparence comme caractéristique

La transparence peut être définie en tant que caractéristique, comme capacité (d’interprétation) d’un système. Elle est alors comprise comme la capacité de présenter l’information d’une manière qui permette à l’homme de comprendre et de prédire le cours futur de l’action. Le degré de transparence est associé à la capacité du système à communiquer son état, ses processus internes, ses fonctions et ses capacités à l’opérateur humain et, par conséquent, à permettre à l’opérateur d’exercer une influence sur le système (Mbanisi & Gennert, 2022). La qualité de la transparence se mesure sur une échelle qui va d’un point minimal où le comportement de la technologie est peu compréhensible, prévisible et dirigeable, jusqu’à un maximum où le comportement est facilement compréhensible et prévisible (Olatunji et al., 2021).

La transparence comme objectif

La transparence a pu être définie comme l’objectif final d’un processus de création d’une conscience et d’une intention partagée qui se construirait au fil de l’interaction et avec des besoins qui varieraient selon les moments, définissant des buts à atteindre selon les contextes.

Transparence et explicabilité

Un terme qui apparaît souvent en lien étroit avec la transparence est l’explicabilité, qui renvoie à la capacité d’un système autonome à fournir aux utilisateurs des explications compréhensibles et significatives sur son comportement et ses processus décisionnels. Bien que cette définition soit relativement similaire à celle de la transparence, l’explicabilité est définie dans la littérature comme un aspect de la transparence ou vice versa (Karran et al., 2022, Luo et al. 2019). Ce qui est clair, c’est que le concept d’explicabilité s’applique exclusivement à l’autonomie, puisqu’il fait systématiquement référence à l’explication de ce que fait l’agent intelligent dans le but d’améliorer les performances et la confiance. Cela se reflète également dans la définition de l’explicabilité donnée par Olatunji et al. (2021), comme le degré auquel le comportement et les processus de prise de décision de l’agent autonome sont compréhensibles et prévisibles pour l’utilisateur : si le comportement peut être expliqué à l’utilisateur, il s’agit alors d’un agent transparent (Roundtree et al., 2021). Vered et al. (2020) définissent une intelligence artificielle explicable (XAI) comme une intelligence qui peut justifier son comportement complexe auprès de l’utilisateur. Roundtree et al. (2021) considèrent que l’explicabilité est équivalente à l’utilisabilité, dans le sens où elle influence la perception de l’utilisateur. Mais attention, un système peut être transparent dans son fonctionnement interne sans être compréhensible.

Transparence et confiance

La transparence a des effets positifs sur la confiance et l’acceptation des systèmes autonomes ; et la confiance de l’utilisateur a un effet significatif sur l’acceptation de l’utilisateur et l’utilisation continue du système. On parle de « confiance calibrée » lorsque la fiabilité réelle de l’automatisation correspond à la confiance que l’on peut avoir dans le système. Toute incohérence constatée dans l’usage créé un décalage soit par excès de confiance ou de méfiance, créant un phénomène connu sous le nom de biais de calibrage (de Visser et al., 2018). Le calibrage de la confiance est essentiel pour une confiance appropriée dans l’automatisation (Lebiere et al., 2021) et la sécurité. Hélas on notera qu’il n’existe pas de mesure de la confiance universellement applicable (de Visser, 2018).
L’anthropomorphisme dans la conception de l’automate est souvent une voie préconisée en conception pour renforcer transparence et confiance, mais elle se décline sur un continuum assez large dans sa réalité. 
La transparence a toutefois des limites, particulièrement quand il s’agit de transmettre les incertitudes. Kunze et al. (2019) ont notamment conduit une étude expérimentale pour explorer comment la communication des incertitudes dans les systèmes automatisés affecte diverses métriques. L’étude souligne le bénéfice potentiel à transmettre les « incertitudes inhérentes » du système. Mais d’autres études (Bhaskara et al 2020) ont aussi montré qu’une transparence excessive sur toutes les incertitudes possibles pouvait submerger les opérateurs. Akash et al. (2020) soulignent que l’effet négatif de la transparence sur la charge de travail pourrait compromettre d’autres facteurs tels que la sécurité, la confiance et l’acceptation, et insistent sur la nécessité de se concentrer sur l’interaction entre ces facteurs. L’une des principales conclusions d’Akash est qu’une plus grande transparence est loin d’être toujours positive pour la confiance ou la charge de travail. Le niveau optimal dépend plutôt d’une interaction dynamique entre la confiance, la charge de travail, le type de décision, l’expérience individuelle et le statut actuel de la transparence.

Utiliser une conception transparente à tous les niveaux d’interface

L’interface entre un opérateur humain et un agent intelligent peut être considérée à trois niveaux : informationnel, communicatif et physique. La conception transparente peut être appliquée à chacun de ces niveaux. Par exemple, au niveau de l’information, il convient de tenir compte de la quantité d’informations et de la mesure dans laquelle elles sont intuitives. Au niveau de la communication, la transparence peut être améliorée en incorporant des réponses rapides. Au niveau physique de l’interface, les caractéristiques esthétiques de l’interface, telles que l’utilisation d’expressions émotionnelles le cas échéant, peuvent contribuer à la transparence et, en fin de compte, à l’acceptation (Wang et al., 2022).
La conception transparente doit transmettre des informations verbales et visuelles par des canaux visuels et vocaux (Wang et al., 2022) en temps réel, et le retour d’information verbal doit être synchronisé avec le retour d’information visuel. L’affichage des informations visuelles est essentiel pour améliorer la transparence. Les principales caractéristiques automatiques doivent être affichées à l’écran de manière à faciliter le suivi de l’activité de l’automatisation (Skraaning & Jamieson, 2021).

Adapter la conception aux utilisateurs et à leurs besoins conceptuels, adopter des interfaces adaptatives au contexte d’utilisation

La transparence peut être améliorée en rendant un système plus adaptatif et piloté par l’utilisateur : le système s’adapte aux besoins spécifiques de l’utilisateur dans chaque contexte particulier. Une interface peut ainsi être conçue pour ne présenter que les informations de base et laisser à la main de l’opérateur un menu pour ajouter des éléments propres à la situation, des explications sur des options choisies par l’automate, et des éléments sur l’anticipation des actions et situations à venir.
Outre les considérations de conception individuelle, il convient également de prendre en compte les contextes. L’ordre dans lequel les informations sont présentées, leur quantité et leur qualité, le moment choisi et les modes de communication doivent être adaptés au contexte pour permettre l’adaptabilité. 
Plus globalement, on retiendra qu’il faut donner la priorité à la transparence axée sur la demande plutôt qu’à la transparence séquentielle rigide.

Améliorer la conscience partagée dans l’équipe

Roundtree et al. (2021) ont effectué une analyse de la transparence de la visualisation et ont conclu que la visualisation collective pouvait être considérée comme plus transparente. En effet, les opérateurs, bien que présentant des différences et des capacités individuelles variables, étaient en mesure d’effectuer des tâches similaires. En outre, elle imposait une charge de travail globale moindre, créait des exigences physiques et temporelles moindres et causait moins de frustration.

Jusqu’où la transparence dans les systèmes complexes ?

Dans les situations critiques, la priorité doit être donnée aux données qui répondent à la demande et à l’équilibre entre la qualité et la quantité, ce qui plaide pour une adaptabilité dynamique de l’interface et suggère de s’écarter d’une conception d’interface rigide et unique dans sa présentation. 
Ces implications semblent également s’aligner sur la notion d’explicabilité qui gagne en importance dans le domaine de l’intelligence artificielle. 
Toutefois, l’adaptabilité et la transparence dynamique ont leurs propres limites liées à la complexité croissante des systèmes d’automatisation avec en corollaire des degrés d’incertitude plus grands et des systèmes de plus en plus autonomes. On peut prédire que les activités internes deviendront plus complexes et peut-être même moins transparentes avec l’IA. 
Il convient donc d’être prudent et de ne pas tomber dans une approche du « voir à travers » pour toute prise de décision d’agents entièrement autonomes. Le résultat et bénéfice pour l’opérateur pourraient être négatifs si l’explication devient impossible à comprendre (trop complexe) ou trop éloignée de ce qu’il peut comprendre dans la dynamique réelle de l’action.
Une approche alternative peut-être plus réaliste pourrait consister à limiter l’ambition de transparence à des niveaux préparés de détail et de contexte dans un domaine de conception bien défini. Ce terme de « domaine de conception opérationnel » est d’ailleurs couramment utilisé pour décrire les conditions dans lesquelles un système autonome fonctionne en toute sécurité (Lee et al., 2017).