L'IA entre les mains d'utilisateurs imparfaits

npj Digital Medicine volume 5, Numéro d'article : 197 (2022) Citer cet article

5965 accès

3 Citations

35 Altmétrique

Détails des métriques

Alors que l'utilisation de l'intelligence artificielle et de l'apprentissage automatique (IA/ML) continue de se développer dans les soins de santé, une grande attention a été accordée à l'atténuation des biais dans les algorithmes pour garantir qu'ils sont utilisés de manière équitable et transparente. Moins d'attention a été accordée à la résolution des biais potentiels parmi les utilisateurs humains de l'IA/ML ou des facteurs qui influencent la confiance des utilisateurs. Nous préconisons une approche systématique pour identifier l'existence et les impacts des biais des utilisateurs lors de l'utilisation d'outils d'IA/ML et appelons au développement de fonctionnalités de conception d'interfaces intégrées, en s'appuyant sur les connaissances de la science de la décision et de l'économie comportementale, pour pousser les utilisateurs vers une prise de décision plus critique et réfléchie à l'aide de l'IA/ML.

L'utilisation de l'intelligence artificielle et de l'apprentissage automatique (IA/ML) continue de se développer dans les soins de santé, avec de grandes promesses pour améliorer la prise de décision clinique personnalisée1. À mesure que les outils d'IA/ML se répandent, une grande attention a été accordée à l'atténuation des biais dans les algorithmes pour garantir qu'ils sont utilisés de manière équitable et transparente. Cependant, moins d'attention a été accordée à l'atténuation des biais potentiels parmi les utilisateurs humains de l'IA. À mesure que les systèmes automatisés deviennent plus sophistiqués dans leur capacité à prédire, dépister ou diagnostiquer les maladies, la tentation de s'appuyer sur eux dans la prise de décision clinique augmentera2. Cependant, les facteurs qui influencent la dépendance des utilisateurs à l'IA sont mal compris et les professionnels de la santé manquent de lignes directrices sur le rôle que l'IA devrait jouer dans leur prise de décision. Nous préconisons une approche plus systématique pour identifier l'existence et les impacts des biais des utilisateurs lors de l'utilisation d'outils d'IA et leurs effets sur la prise de décision clinique et les résultats pour les patients. Plus précisément, nous appelons à une recherche empirique plus approfondie sur la manière d'atténuer les biais avec des résultats négatifs anticipés grâce à l'utilisation de fonctionnalités de conception d'interface intégrées, en s'appuyant sur les connaissances de la science de la décision et de l'économie comportementale, pour inciter les utilisateurs à prendre des décisions plus critiques et réfléchies à l'aide d'outils d'IA.

Reconnaissant les méfaits potentiels d'une dépendance excessive à l'égard des systèmes d'IA dans le contexte d'une prise de décision à enjeux élevés, les régulateurs et les décideurs politiques semblent approuver le fait de garder les humains "dans la boucle" et de concentrer leurs plans d'action et leurs recommandations sur l'amélioration de la sécurité des systèmes d'IA/ML, par exemple grâce à une précision de calcul améliorée3,4,5. Pendant ce temps, les développeurs innovent de nouvelles façons d'aborder la fiabilité, la responsabilité et l'explicabilité de l'IA/ML "boîte noire" qui implique un apprentissage en profondeur ou des réseaux de neurones avec des limitations d'interprétabilité importantes6,7. Ces objectifs semblent être particulièrement importants lors de l'utilisation de l'IA/ML dans la prise de décision clinique, non seulement parce que les coûts des erreurs de classification et des dommages potentiels pour les patients sont élevés, mais aussi parce qu'un scepticisme excessif ou un manque de confiance peut réduire l'adoption par les parties prenantes de nouvelles technologies d'IA prometteuses et inhiber leur utilisation et leur disponibilité en dehors des paramètres expérimentaux.

L'un d'entre nous (SG dans Babic et al.8) a cependant récemment averti les professionnels de la santé de se méfier des explications qui leur sont présentées pour les modèles IA/ML en boîte noire.

Explicable AI/ML… offre des justifications post hoc générées par des algorithmes de prédictions de boîte noire, qui ne sont pas nécessairement les raisons réelles derrière ces prédictions ou liées de manière causale à celles-ci. En conséquence, l'avantage apparent de l'explicabilité est un "or dupe" car les rationalisations post hoc d'une boîte noire sont peu susceptibles de contribuer à notre compréhension de son fonctionnement interne. Au lieu de cela, nous avons probablement la fausse impression que nous le comprenons mieux."

Par conséquent, au lieu de se concentrer sur l'explicabilité en tant que condition stricte de l'IA/ML dans les soins de santé, les régulateurs comme la Food and Drug Administration (FDA) des États-Unis devraient se concentrer de manière plus holistique sur les aspects des systèmes d'IA/ML qui influent directement sur leur sécurité et leur efficacité, en particulier sur la façon dont ces systèmes fonctionnent entre les mains de leurs utilisateurs prévus. Alors que la FDA a récemment publié ses directives finales reconnaissant explicitement les risques de biais d'automatisation9 et travaille sur un nouveau cadre réglementaire pour les modifications des logiciels basés sur l'IA/ML en tant que dispositifs médicaux (c'est-à-dire, les logiciels qui sont eux-mêmes classés comme dispositifs médicaux en vertu de la section 201(h)(1) de la Federal Food, Drug, and Cosmetic Act des États-Unis10), Babic et al. soutiennent que les régulateurs comme la FDA devraient également, au moins dans certains cas, mettre l'accent sur des essais cliniques bien conçus pour tester les facteurs humains et d'autres résultats de l'utilisation de l'IA dans des contextes réels. Gerke et al.11,12 soutiennent de la même manière que davantage d'outils algorithmiques doivent être testés de manière prospective pour comprendre leurs performances dans une variété de contextes procéduraux qui reflètent les paramètres d'utilisation prévus et les interactions homme-IA. Le type de test utilisateur que ces chercheurs suggèrent va au-delà des tests d'utilisabilité et d'acceptabilité typiques qui caractérisent le pipeline de la version bêta à une version plus finalisée d'un outil d'IA. Ce type de test est le plus souvent effectué de manière heuristique13, en utilisant un petit groupe d'évaluateurs pour examiner l'interface et juger de sa conformité aux principes d'utilisabilité pertinents (par exemple, interprétabilité, utilité perçue, navigabilité, satisfaction d'utilisation, etc.). Bien que ces mesures soient souvent utiles pour évaluer les expériences utilisateur immédiates (c'est-à-dire les tests « UX ») avec l'interface d'un outil, un niveau plus approfondi de tests utilisateur est nécessaire14 pour aider à identifier et à traiter les sources potentielles de biais « émergents » ou « contextuels »15 qui surviennent en raison d'inadéquations entre la conception d'un produit et les caractéristiques de ses utilisateurs, cas d'utilisation ou paramètres d'utilisation. Ces décalages peuvent être plus difficiles à prévoir et à prendre en compte dans le cas des outils d'IA que pour les dispositifs médicaux traditionnels ou les produits pharmaceutiques dont les performances dépendent moins des interactions et des interprétations de l'utilisateur12, ou dont les algorithmes adaptatifs changent en permanence16. L'atténuation de ces inadéquations ne peut être obtenue qu'en élargissant notre notion de test utilisateur au-delà de son objectif actuel sur les mesures de performance de l'IA et la convivialité immédiate pour examiner les facteurs humains et systémiques qui façonnent la façon dont les systèmes d'IA sont appliqués dans la pratique17,18 par des utilisateurs imparfaits dans des environnements imparfaits. De plus, les tests ne doivent pas se limiter à simplement observer comment les individus dans divers contextes interagissent avec les outils d'IA ; nous pouvons également tester la meilleure façon de façonner ces interactions en utilisant les connaissances existantes des sciences du comportement, comme nous le verrons ci-dessous.

À ce stade de l'histoire des relations homme-machine, presque tout le monde est un utilisateur imparfait de l'IA. Par cela, nous entendons imparfaitement rationnel : nos interprétations et l'intégration des informations dans la prise de décision, y compris les informations dérivées de l'IA, sont susceptibles de formes de biais bien documentées19,20. Cependant, tous les préjugés ne sont pas également saillants ou pertinents pour l'utilisation sûre, efficace et responsable de l'IA. D'un point de vue juridique et éthique, les biais cognitifs les plus importants sont ceux qui ont un impact sur la mesure dans laquelle les humains s'appuient sur l'IA dans leur prise de décision de manière à introduire des risques. La confiance s'inscrit dans un spectre allant du rejet total ou du scepticisme à l'égard de l'IA d'un côté à une confiance excessive ou une acceptation « aveugle » des conclusions dérivées de l'IA de l'autre. Les deux types d'erreurs peuvent avoir des effets négatifs sur les résultats pour les patients, le manque de confiance pouvant entraîner des erreurs d'omission et une confiance excessive dans les erreurs de commission.

La position des décideurs cliniques dans ce spectre dépend de leur degré de confiance dans un système d'IA. La littérature de l'anthropologie et de la psychologie du développement documente les conclusions selon lesquelles la confiance humaine est influencée par la façon dont les autres se comportent dans des contextes de réciprocité et d'échange21, non seulement de biens et de services, mais aussi de comportements d'attachement22,23 (par exemple, affection, encouragement). La loyauté24, l'intégrité25 et la compétence26 jouent un rôle important dans la confiance entre les humains, de plus en plus conceptualisée comme une capacité évoluée pour nous aider à naviguer dans des dynamiques sociales complexes et à atténuer les risques personnels en comprenant quelles entités et quels objets peuvent être dignes de confiance dans quelles contingences27,28,29. Bien que nous en sachions beaucoup sur la confiance dans les relations humaines, nous commençons à peine à comprendre comment et dans quelles circonstances les humains font confiance aux machines. La littérature sur les interactions homme-machine, ou la recherche sur les «facteurs humains», existe depuis des décennies dans d'autres domaines, notamment le militaire, l'aérospatiale et la robotique; mais ce n'est qu'au cours de la dernière décennie que les questions entourant les interactions humaines avec les systèmes autonomes (par exemple, le biais d'automatisation) ont commencé à animer le domaine de l'IA au sens large, et l'éthique de l'IA en particulier2,11.

La confiance joue un rôle particulièrement critique lorsque les décisions sont prises dans des contextes d'incertitude. L'incertitude, bien sûr, est une caractéristique centrale de la plupart des prises de décision cliniques, en particulier pour les conditions (par exemple, COVID-1930) ou les traitements (par exemple, la stimulation cérébrale profonde31 ou les thérapies géniques32) qui n'ont pas une longue histoire de résultats observés. Comme Wang et Busemeyer (2021)33 le décrivent, les situations de choix « incertaines » peuvent être distinguées des situations « risquées » en ce que les décisions risquées ont une gamme de résultats avec des cotes ou des probabilités connues. Si vous lancez une pièce, nous savons que nous avons 50 % de chances d'atterrir sur face. Cependant, parier sur face comporte un niveau de risque élevé, en particulier 50% de chances de perdre. Les scénarios de prise de décision incertains, en revanche, n'ont pas de probabilités de résultat bien connues ou convenues. Cela rend également risqués les contextes décisionnels incertains, mais ces risques ne sont pas suffisamment connus pour permettre une prise de décision rationnelle. Dans des contextes où l'information est rare, les décisions critiques sont nécessairement prises à l'aide d'un raisonnement imparfait ou de l'utilisation d'« heuristiques de comblement de lacunes » qui peuvent conduire à plusieurs biais cognitifs prévisibles20. Les individus peuvent s'en remettre à une figure d'autorité (biais du messager34, biais d'autorité35) ; ils peuvent regarder pour voir ce que font les autres (effets de « train en marche » et de normes sociales35,36) ; ou peut faire des erreurs de prévision affective, projetant des états émotionnels actuels sur son moi futur37. L'urgence perçue ou réelle des décisions cliniques peut ajouter d'autres biais, comme l'aversion à l'ambiguïté (préférence pour les risques connus par rapport aux risques inconnus38) ou le report au statu quo ou au défaut39, et l'aversion aux pertes (pesant plus lourdement les pertes que les gains de même ampleur40). Ces biais visent à atténuer les risques d'inconnu lorsque des décisions rapides doivent être prises, mais ils ne nous rapprochent pas toujours de la "meilleure" ligne de conduite si toutes les informations possibles étaient disponibles.

L'un des avantages les plus convaincants de l'IA pour les soins de santé est de réduire cette incertitude, par exemple en calculant une estimation personnalisée selon laquelle l'état d'un patient s'aggravera après X temps ou bénéficiera d'un avantage de survie de Y années après l'intervention. Cependant, la contribution réussie de l'IA à la réduction de l'incertitude dépend encore dans une large mesure de la manière dont les estimations sont interprétées et mises en œuvre. Un petit nombre d'études examinant les biais décisionnels lors de l'utilisation de l'IA ont identifié que les médecins de tous les niveaux d'expertise échouent souvent à rejeter les conseils inexacts générés par les systèmes informatisés (biais d'automatisation41,42,43,44,45), mais aussi par les humains, ce qui indique que les gens sont généralement sensibles aux suggestions. La tendance à suivre même les mauvais conseils semble être encore plus répandue chez les participants ayant moins d'expertise dans le domaine46,47. Recevoir de tels conseils de la part des systèmes d'IA peut soulever d'autres dangers en engageant potentiellement d'autres biais cognitifs tels que des effets d'ancrage et des biais de confirmation, dans lesquels les utilisateurs sont amorcés vers une certaine perspective et orientent de manière disproportionnée leur attention vers des informations qui la confirment48. D'autres études ont montré que les participants sont réticents à suivre les conseils algorithmiques lors de la prise de décisions finales (biais algorithmique)49,50,51, mais ce résultat est incompatible avec d'autres études, qui montrent que les gens préfèrent parfois le jugement algorithmique au jugement humain46,47,52.

Compte tenu de la diversité des biais cognitifs et des contingences dans lesquelles ils sont susceptibles d'apparaître, des recherches systématiques supplémentaires sont nécessaires pour documenter les facteurs saillants qui façonnent la manière dont nous intégrons l'IA dans les décisions et la meilleure façon de calibrer la confiance afin qu'elle corresponde à ce que les systèmes d'IA peuvent réellement faire (par exemple, prédire quelque chose avec un degré donné de probabilité et de précision). En robotique, un « calibrage de confiance » médiocre entre les humains et les machines est considéré comme une vulnérabilité fondamentale et un prédicteur clé de la dégradation des performances53,54. De même, mettre l'IA entre les mains des utilisateurs sans systématiquement mesurer, contrôler ou essayer de calibrer la confiance et la dépendance exacerbe probablement plutôt que de réduire les niveaux d'incertitude déjà élevés qui caractérisent ces contextes de prise de décision, avec des conséquences potentiellement graves.

La poussée actuelle55,56,57 pour améliorer les connaissances des professionnels de la santé en matière d'IA/ML souligne la nécessité de remplacer la variation idiosyncratique par un raisonnement éclairé sur le rôle que l'IA devrait jouer dans la prise de décision clinique. Cependant, il est difficile de savoir quel type de conseils les professionnels de la santé devraient recevoir alors que si peu de conclusions empiriques ont été tirées sur la manière dont l'IA est ou devrait être utilisée dans la prise de décision clinique (ou toute autre). Tirant les leçons d'outils algorithmiques dont il a été démontré qu'ils reproduisent des biais sociétaux négatifs dans la prédiction de facteurs tels que la récidive criminelle58, l'état de santé et l'assurabilité1, et le risque de maladie (p. Dans le milieu de la santé, certains experts recommandent que même l'IA ayant une capacité bien démontrée à identifier et à diagnostiquer de manière autonome la maladie soit confirmée par des tests dirigés par l'homme62,63. Des conclusions similaires ont été tirées sur les systèmes d'armes autonomes (AWS) dans les applications militaires64 et maritimes (par exemple, la navigation sans pilote65), avec des débats en cours sur l'opportunité de garder les humains "dans" la boucle ou "sur" la boucle, ce dernier suggérant que les humains n'ont peut-être pas besoin de jouer un rôle actif dans la prise de décision, mais peuvent (et devraient) toujours intervenir ou être en mesure de faire appel aux inférences de l'IA lorsque leurs conclusions contredisent celles de l'AWS (si elles sont prises à temps).

Si nous convenons que les humains doivent toujours être "dans" ou "sur" la boucle, comment peut-on s'attendre à ce que les professionnels de la santé réagissent aux informations dérivées de l'IA ? La recommandation de procéder avec prudence, bien que justifiée, semble trop large pour répondre aux besoins décisionnels des médecins qui utilisent une IA puissante pour éclairer des décisions médicales complexes. Il est de plus en plus admis que la maîtrise de l'IA (y compris ses lacunes liées à la partialité, à la transparence et à la responsabilité) devrait faire partie de la formation médicale, avec des suggestions selon lesquelles les étudiants en médecine doivent acquérir une connaissance suffisante de la science des données, de la biostatistique, de la science informatique et même de l'éthique de l'IA en santé66 pour s'assurer qu'ils peuvent, entre autres, séparer « l'information du battage médiatique » et évaluer de manière critique les systèmes d'IA57,67. D'autres68 ont soutenu que l'apprentissage de stratégies efficaces de réduction des biais et la sensibilisation à la façon dont l'heuristique peut influer sur la prise de décision clinique devraient être prioritaires à toutes les étapes de la formation médicale. Cependant, on ne sait toujours pas quels sont les préjugés dont les prestataires de soins de santé devraient être le plus conscients ; si les prestataires devraient être responsables d'être conscients de leurs propres préjugés, ou si l'atténuation des préjugés peut (ou devrait) être intégrée dans des processus normalisés pour la mise en œuvre d'outils d'IA dans la prise de décision clinique ou dans la conception des technologies elles-mêmes.

S'il est probablement vrai que les médecins devront de plus en plus apprendre à utiliser l'IA de manière responsable pour suivre le rythme des innovations cliniques, d'autres approches complémentaires devraient également être explorées. Une option prometteuse consiste à soutenir les médecins dans leur probabilité de démontrer les caractéristiques spécifiques que nous apprécions dans la prise de décision clinique en intégrant des techniques d'atténuation des biais dans les caractéristiques de conception mêmes de nos systèmes d'IA et interfaces utilisateur. Cette notion s'appuie sur des travaux de longue date en éthique informatique69,70 et est connue sous divers termes, notamment Value-Sensitive Design (VSD71), Values @ Play72, flective design73, adversarial design74 et Critical Technical Practice75. De nombreuses variations subsistent dans la manière dont le VSD est mis en œuvre, mais l'hypothèse centrale de motivation derrière cette approche est que les approches de conception réflexive peuvent aider à atténuer les préjugés des utilisateurs pour des résultats plus favorables. Suivre les trois étapes principales du VSD impliquerait d'identifier la gamme et la diversité des valeurs des parties prenantes et la meilleure façon de les équilibrer vers un objectif articulé (conceptuel), d'observer les impacts de valeurs et de pratiques données sur les résultats pertinents (empirique) et de concevoir des spécifications techniques pour concevoir des systèmes qui reflètent ou aident à façonner l'utilisation d'un système pour s'aligner sur les valeurs des parties prenantes (technique). Un exemple serait de concevoir des systèmes de gestion des cookies de navigateur Web interactifs pour refléter les principes de confidentialité, de volontariat et de droit à la divulgation71. Les chercheurs ont étendu une quatrième étape continue de surveillance et d'évaluation du cycle de vie au VSD pour l'IA en particulier, compte tenu des impacts souvent imprévisibles et de la nature adaptative des outils d'IA14,78.

En nous appuyant sur ces approches, nous soutenons qu'une approche VSD pourrait non seulement aider à intégrer des valeurs dans la conception d'outils d'IA, mais aussi à influencer activement et stratégiquement (inciter) les utilisateurs à s'engager dans une réflexion plus éthique et critique dans leur utilisation de ces outils. Une telle approche nécessite un engagement critique avec l'éthique du coup de coude dans les décisions de santé ainsi que l'identification de la gamme de valeurs cibles que l'on veut que les médecins démontrent dans la prise de décision. Le nudging est une forme de paternalisme libertaire dans lequel les décisions sont activement façonnées par des stratégies telles que le cadrage de l'information, la structuration des incitations et d'autres moyens pour améliorer l'adoption de certains comportements79. Bien que les preuves de l'efficacité de cette approche remontent à près de deux décennies80, les tactiques de coup de pouce se sont révélées efficaces, par exemple, pendant la pandémie de COVID-19 pour encourager le respect de comportements favorables à la santé publique, tels que le lavage des mains et la distanciation sociale81. Bien que non sans critiques (par exemple, qu'il peut s'agir d'une forme de manipulation82,83), une justification centrale du nudge est de préserver le choix individuel tout en guidant les gens vers des comportements présentant des avantages au niveau de la population84. Cependant, déterminer qui peut décider quelles valeurs sont engagées au service de la prise de «bonnes» décisions lors de l'utilisation d'un outil d'IA est complexe et doit s'appuyer sur les perspectives de multiples parties prenantes diverses, et pas seulement sur celles des développeurs qui conçoivent ces systèmes. Le serment d'Hippocrate établit un critère fondamental selon lequel les décisions des médecins doivent être au service de ce qu'ils croient être l'intérêt supérieur des patients. Des critères supplémentaires proviennent d'une abondante littérature sur la prise de décision et l'aide à la décision clinique85, suggérant que les décisions de « qualité » sont celles qui sont éclairées et génèrent des résultats positifs qui sont conformes aux valeurs d'un patient. D'autres valeurs cibles, telles que l'autonomie décisionnelle82, sont susceptibles d'être pertinentes, et il convient de noter que les valeurs cibles saillantes peuvent changer en fonction de la nature de l'outil d'IA ou des questions éthiques soulevées par ses utilisateurs prévus ou les contextes d'utilisation. Par exemple, un outil d'IA conçu pour prédire et prévenir l'apparition de maladies psychiatriques chez les adolescents soulève un ensemble particulier de valeurs cibles dans la prise de décision (par exemple, l'autonomie décisionnelle, le droit des patients à un avenir ouvert) tandis qu'un outil pour identifier la présence et le pronostic du cancer du poumon chez les adultes peut en soulever d'autres (par exemple, éviter les réactions émotionnelles négatives, les considérations d'actionnabilité, le droit des patients de ne pas savoir). Des recherches sont nécessaires pour élucider quelles valeurs cibles pour la prise de décision de « qualité » sont les plus importantes dans quels scénarios cliniques.

Une valeur cible susceptible d'être pertinente dans toute prise de décision clinique impliquant l'IA est la nécessité de promouvoir la réflexivité dans la prise de décision afin d'éviter les conséquences négatives potentielles d'une dépendance excessive à l'IA. Une littérature croissante1,86 démontrant les effets potentiellement délétères d'une dépendance excessive à l'égard des algorithmes d'IA souligne l'importance de la réflexivité et de la délibération comme principes directeurs du déploiement de l'IA. Ces explorations et observations informent ainsi les étapes conceptuelles et empiriques de l'approche VSD, laissant le défi technique de concevoir des interfaces qui aideront à façonner l'utilisation délibérative et réflexive des systèmes d'IA de manière à s'aligner sur les intérêts des utilisateurs. La recherche a démontré que la manière dont l'information est présentée peut influencer la probabilité qu'ont les utilisateurs de s'engager dans une réflexion réflexive ou critique. Par exemple, une étude de Zhang et al.87 a utilisé une interface simple pour encourager la réflexion en demandant aux participants de répondre à de brèves questions clarifiant leurs propres opinions par rapport à ce qu'ils considéraient comme des raisons conduisant à des perspectives alternatives. Weinmann88 a développé une interface en ligne avec des questions similaires pour améliorer la "délibération interne" en posant des questions qui encouragent le raisonnement sur des perspectives alternatives. D'autres recherches menées par Harbach et al.89 démontrent l'efficacité de l'utilisation d'éléments de conception d'interface pour inspirer la réflexion en illustrant les conséquences des choix des utilisateurs (par exemple, rappeler aux utilisateurs les impacts potentiels sur la sélection de certains paramètres de confidentialité des utilisateurs). Menon et al.90 ont également exploré comment la modification des « coups de pouce d'interface » par rapport à des biais cognitifs spécifiquement ciblés (par exemple, les effets d'ancrage et de désirabilité sociale) a influencé la délibération et les réponses des utilisateurs. Ces études soulignent comment la conception d'interfaces stratégiques peut aider à améliorer la réflexion et à réduire la réception passive d'informations.

Par exemple, spécifiques aux interfaces du système d'IA, les éléments de conception peuvent varier en fonction du type de partie prenante. Une interface conçue pour réduire la dépendance excessive des médecins à un modèle d'IA estimant la survie d'un patient à 1 an après l'intervention peut inclure de brèves questions ou une liste de contrôle encourageant les médecins à documenter les autres facteurs cliniques, psychosociaux ou environnementaux ou les avis d'experts supplémentaires qu'ils ont consultés afin de corroborer (ou de contester) l'estimation de l'IA. De manière complémentaire, une interface face au patient pour le même outil peut contextualiser l'estimation numérique de la survie dans un exercice de clarification des valeurs plus holistique demandant aux patients d'encercler un ou plusieurs objectifs de traitement influençant leurs décisions, encourageant une prise de décision réfléchie et fondée sur des valeurs. L'intégration de telles mesures de réflexivité pourrait non seulement aider les utilisateurs à s'éloigner de la dépendance excessive aux outils d'IA, mais également évaluer les impacts sur la prise de décision clinique dans la pratique, à la fois dans et au-delà des contextes d'essais cliniques.

Cependant, les interfaces ne sont pas les seuls outils disponibles avec cette capacité. La conceptualisation de la manière dont un système d'IA pourrait s'intégrer dans le flux clinique de manière à encourager la délibération entre les équipes cliniques peut également aider à réduire le potentiel de dépendance excessive91. Des facteurs situationnels et logistiques pourraient être pris en compte, tels que le cadre (par exemple, l'utilisation collective d'un outil d'IA lors d'un comité d'examen médical par rapport à individuellement dans le cabinet d'un médecin), le moment (avant ou après la candidature au traitement) et l'accès à l'information (directement au patient par rapport à la communication des résultats privilégiée par le médecin). L'intégration de l'IA à d'autres technologies cliniques existantes peut également modifier les résultats de l'utilisation des outils d'IA en élargissant les informations qui sont intégrées dans la prise de décision92. Les aspects organisationnels peuvent inclure la formation, la supervision, le transfert et le flux d'informations entre les membres de l'équipe clinique91.

Ces informations discutées ci-dessus ne représentent que la pointe de l'iceberg des facteurs qui peuvent potentiellement être coordonnés pour influencer positivement la qualité des décisions et les résultats à l'aide de l'IA. Ils ont été identifiés et souvent largement discutés dans des domaines aussi divers que la science de la décision, l'économie comportementale, les facteurs humains, la psychologie, les sciences politiques, la robotique et autres. Cependant, peu de ces connaissances ont encore été intégrées dans la conception de systèmes d'IA ou systématiquement testées dans des essais cliniques pour façonner de manière proactive l'utilisation de l'IA.

Nous faisons écho aux appels des autres selon lesquels avant que les outils d'IA ne soient «lâchés dans la nature», nous devons mieux comprendre leurs résultats et leurs impacts entre les mains d'acteurs humains imparfaits en testant au moins certains d'entre eux selon une approche basée sur les risques dans des essais cliniques qui reflètent leurs paramètres d'utilisation prévus. Nous faisons avancer cette proposition en attirant l'attention sur la nécessité d'identifier et de tester empiriquement comment les biais spécifiques des utilisateurs et les contextes de décision façonnent la façon dont les outils d'IA sont utilisés dans la pratique et influencent les résultats des patients. Nous proposons que le VSD puisse être utilisé pour élaborer des stratégies d'interfaces homme-machine de manière à encourager la réflexion critique, à atténuer les biais et à réduire la dépendance excessive aux systèmes d'IA dans la prise de décision clinique. Nous pensons que cette approche peut aider à réduire certaines des charges pesant sur les médecins pour déterminer par eux-mêmes (avec seulement une formation ou des connaissances de base sur l'IA) le rôle optimal des outils d'IA dans la prise de décision en intégrant un certain degré d'atténuation des biais directement dans les systèmes et interfaces d'IA.

Obermeyer, Z. & Emanuel, EJ Prédire l'avenir : mégadonnées, apprentissage automatique et médecine clinique. N. Engl. J. Med. 375, 1216 (2016).

Article Google Scholar

Klugman, CM & Gerke, S. Montée de l'IA bioéthique : malédiction ou bénédiction ? Suis. J. Bioeth. 22, 35–37 (2022).

Article Google Scholar

Administration américaine des aliments et médicaments. Logiciel basé sur l'intelligence artificielle/apprentissage automatique (AI/ML) en tant que plan d'action de dispositif médical (SaMD). (2021).

Commission E. Fixant des règles harmonisées sur l'intelligence artificielle (loi sur l'intelligence artificielle) et modifiant certains actes législatifs de l'Union. Commission européenne (Bruxelles, 21.4.2021).

Jobin, A., Ienca, M. & Vayena, E. Le paysage mondial des lignes directrices sur l'éthique de l'IA. Nat. Mach. Renseignement. 1 , 389–9 (2019).

Article Google Scholar

Chen T, Guestrin C. Actes de la 22e conférence internationale ACM SIGKDD sur la découverte de connaissances et l'exploration de données. 2016.

Markus, AF, Kors, JA & Rijnbeek, PR Le rôle de l'explicabilité dans la création d'une intelligence artificielle digne de confiance pour les soins de santé : une étude complète de la terminologie, des choix de conception et des stratégies d'évaluation. J. Biomed. Informer. 113, 103655 (2021).

Article Google Scholar

Babic, B., Gerke, S., Evgeniou, T. & Cohen, IG Méfiez-vous des explications de l'IA dans les soins de santé. Sciences 373, 284-286 (2021).

Article CAS Google Scholar

Administration américaine des aliments et médicaments. Logiciel d'aide à la décision clinique - Conseils pour le personnel de l'industrie et de la Food and Drug Administration. (2022).

Administration américaine des aliments et médicaments. Loi fédérale américaine sur les aliments, les médicaments et les cosmétiques. (2018).

Gerke, S. Health AI pour le bien plutôt que pour le mal ? la nécessité d'un nouveau cadre réglementaire pour les dispositifs médicaux basés sur l'IA. Yale J. Health Policy, Law, Ethics 20, 433 (2021).

Google Scholar

Gerke, S., Babic, B., Evgeniou, T. & Cohen, IG La nécessité d'une vue système pour réglementer les logiciels basés sur l'intelligence artificielle/l'apprentissage automatique en tant que dispositifs médicaux. Chiffre NPJ. Méd. 3, 1–4 (2020).

Article Google Scholar

Nielsen, J. & Molich, R. Évaluation heuristique des interfaces utilisateur. Proc. SIGCHI Conf. Hum. facteurs Comput. Syst. 1990, 249-256 (1990).

Google Scholar

Wu, E. et al. Comment les dispositifs médicaux d'IA sont évalués : limites et recommandations issues d'une analyse des approbations de la FDA. Nat. Méd. 27, 582–584 (2021).

Article CAS Google Scholar

Prix WN II. IA médicale et biais contextuel. Harvard Journal of Law and Technology 33, 2019.

Babic, B., Gerke, S., Evgeniou, T. & Cohen, IG Algorithmes sur le verrouillage réglementaire en médecine. Sciences 366, 1202-1204 (2019).

Article CAS Google Scholar

Ansell, DA & McDonald, EK Bias, vies noires et médecine universitaire. N. Engl. J. Med. 372, 1087-1089 (2015).

Article CAS Google Scholar

Kostick-Quenet, KM et al. Atténuation des préjugés raciaux dans l'apprentissage automatique. J. Law Med. Éthique 50, 92-100 (2022).

Article Google Scholar

Blumenthal-Barby, JS Bonne éthique et mauvais choix : la pertinence de l'économie comportementale pour l'éthique médicale. (MIT Press, 2021).

Kahneman D., Slovic SP, Slovic P. & Tversky A. Jugement sous incertitude : heuristiques et biais. (Presses universitaires de Cambridge, 1982).

Pillutla, MM, Malhotra, D. & Murnighan, JK Attribution de confiance et calcul de la réciprocité. J. Exp. Soc. Psychol. 39, 448–455 (2003).

Article Google Scholar

Corriveau, KH et al. La confiance des jeunes enfants dans les revendications de leur mère : liens longitudinaux avec la sécurité de l'attachement dans la petite enfance. Dév enfant. 80, 750–761 (2009).

Article Google Scholar

Fett, A.-K. et coll. Apprendre à faire confiance : confiance et attachement dans la psychose précoce. Psychol. Méd. 46, 1437-1447 (2016).

Article Google Scholar

Butler, JK Jr. & Cantrell, RS Une approche de la théorie de la décision comportementale pour modéliser la confiance dyadique envers les supérieurs et les subordonnés. Psychol. Rep. 55, 19–28 (1984).

Article Google Scholar

Mayer, RC, Davis, JH & Schoorman, FD Un modèle intégrateur de confiance organisationnelle. Acad. Géré. Rév. 20, 709–734 (1995).

Article Google Scholar

Grover, SL, Hasel, MC, Manville, C. & Serrano-Archimi, C. Réactions des suiveurs aux violations de la confiance des leaders : une théorie fondée sur les types de violation, la probabilité de récupération et le processus de récupération. EUR. Géré. J. 32, 689–702 (2014).

Article Google Scholar

Banaji MR & Gelman SA Naviguer dans le monde social : ce que les nourrissons, les enfants et les autres espèces peuvent nous apprendre. (Oxford University Press; 2013).

Fawcett, C. Les enfants assistent au partage de salive pour déduire les relations sociales. Sciences 375, 260-261 (2022).

Article CAS Google Scholar

Kaufmann, L. & Clément, F. Wired for society : connaître les voies vers la société et la culture. Topoï 33, 459–75. (2014).

Article Google Scholar

Vickery, J. et al. Défis à la prise de décision éclairée par des données probantes dans le contexte des pandémies : étude qualitative des perspectives des conseillers en politiques COVID-19. BMJ Glob. Santé 7, e008268 (2022).

Article Google Scholar

Muñoz, KA et al. Problèmes éthiques pressants dans l'examen de la stimulation cérébrale profonde pédiatrique pour le trouble obsessionnel-compulsif. Stimulation cérébrale. 14, 1566–72. (2021).

Article Google Scholar

Hampson, G., Towse, A., Pearson, SD, Dreitlein, WB & Henshall, C. Thérapie génique : preuves, valeur et abordabilité dans le système de santé américain. J. Comp. Eff. Rés. 7, 15–28 (2018).

Article Google Scholar

Wang, ZJ & Busemeyer, JR Modélisation des choix cognitifs. (MIT Press, 2021).

Menon, T. & Blount, S. Le biais messager : un modèle relationnel d'évaluation des connaissances. Rés. Organe. Comportement 25, 137-186 (2003).

Google Scholar

Howard, effet J. Bandwagon et biais d'autorité. Erreurs cognitives et erreurs de diagnostic. 21–56 (Springer; 2019).

Slovic, P. La construction de la préférence. Suis. Psychol. 50, 364 (1995).

Article Google Scholar

Levine, LJ, Lench, HC, Karnaze, MM & Carlson, SJ Biais dans l'émotion prédite et mémorisée. Courant. Avis. Comportement Sci. 19, 73–77 (2018).

Article Google Scholar

Christman, J. La politique des personnes : autonomie individuelle et soi socio-historique. (Cambridge University Press, 2009).

Samuelson, W. & Zeckhauser, R. Biais de statu quo dans la prise de décision. J. Risque incertain. 1, 7-59 (1988).

Article Google Scholar

Hardisty, DJ, Appelt, KC & Weber, UE Bon ou mauvais, nous le voulons maintenant : le biais actuel de coûts fixes pour les gains et les pertes explique les asymétries de magnitude dans le choix intertemporel. J. Behav. Décis. Mak. 26, 348-361 (2013).

Article Google Scholar

Alon-Barkat, S. & Busuioc, M. Traitement par les décideurs des conseils algorithmiques IA : biais d'automatisation versus adhésion sélective. https://arxiv.org/ftp/arxiv/papers/2103/2103.02381.pdf (2021).

Bond, RR et al. Biais d'automatisation en médecine : influence des diagnostics automatisés sur la précision et l'incertitude des interprètes lors de la lecture d'électrocardiogrammes. J. Électrocardiol. 51, S6–S11 (2018).

Article Google Scholar

Cummings, biais d'automatisation ML dans les systèmes intelligents d'aide à la décision critique. Prise de décision dans l'aviation. 289–294 (Routledge, 2017).

Jussupow, E., Spohrer, K., Heinzl, A. & Gawlitza, J. Augmenter les décisions de diagnostic médical ? Une enquête sur le processus décisionnel des médecins avec l'intelligence artificielle. Inf. Syst. Rés. 32, 713–735 (2021).

Article Google Scholar

Skitka, LJ, Mosier, KL et Burdick, M. L'automatisation fausse-t-elle la prise de décision ? Int. J. Hum. Calcul. Étalon. 51, 991-1006 (1999).

Article Google Scholar

Dijkstra, JJ, Liebrand, WB & Timminga, E. Persuasion des systèmes experts. Comportement Inf. Technol. 17, 155-163 (1998).

Article Google Scholar

Logg, JM, Minson, JA & Moore, DA Appréciation de l'algorithme : les gens préfèrent le jugement algorithmique au jugement humain. Organe. Comportement Hum. Décis. Processus. 151, 90-103 (2019).

Article Google Scholar

Furnham, A. & Boo, HC Une revue de la littérature sur l'effet d'ancrage. J. Socio-Econ. 40, 35–42 (2011).

Article Google Scholar

Diab, DL, Pui, SY, Yankelevich, M. & Highhouse, S. Lay perceptions des aides à la décision de sélection dans les échantillons américains et non américains. Int. J. Sel. Évaluer. 19, 209-216 (2011).

Article Google Scholar

Dietvorst, BJ, Simmons, JP & Massey, C. Aversion aux algorithmes : les gens évitent à tort les algorithmes après les avoir vus se tromper. J. Exp. Psychol. Gen. 144, 114 (2015).

Article Google Scholar

Promberger, M. & Baron, J. Les patients font-ils confiance aux ordinateurs ? J. Behav. Décis. Mak. 19, 455–468 (2006).

Article Google Scholar

Gaube, S. et al. Faites comme l'IA dit : susceptibilité dans le déploiement d'aides à la décision clinique. Chiffre NPJ. Méd. 4, 1–8 (2021).

Article Google Scholar

Mosier, KL, Skitka, LJ, Burdick, MD & Heers, ST Biais d'automatisation, responsabilité et comportements de vérification. Actes de la réunion annuelle de la Human Factors and Ergonomics Society. pp. 204–208 (SAGE Publications Sage CA, Los Angeles, CA, 1996).

Wickens, CD, Clegg, BA, Vieane, AZ & Sebok, AL Complaisance et biais d'automatisation dans l'utilisation d'une automatisation imparfaite. Hum. Facteurs 57, 728–739 (2015).

Article Google Scholar

Li, D., Kulasegaram, K. & Hodges, BD Pourquoi nous n'avons pas à craindre les machines : opportunités pour la médecine dans un monde d'apprentissage automatique. Acad. Méd. 94, 623–625 (2019).

Article Google Scholar

Paranjape, K., Schinkel, M., Panday, RN, Car, J. et Nanayakkara, P. Introduction de la formation à l'intelligence artificielle dans l'enseignement médical. JMIR Méd. Éduc. 5, e16048 (2019).

Article Google Scholar

Park, SH, Do, K.-H., Kim, S., Park, JH & Lim, Y.-S. Que doivent savoir les étudiants en médecine sur l'intelligence artificielle en médecine ? J. Educ. Éval. Prof. Santé 16, 18 (2019).

Article Google Scholar

Leavy, S., O'Sullivan, B. & Siapera, E. Données, pouvoir et biais dans l'intelligence artificielle. https://arxiv.org/abs/2008.07341 (2020).

Goyal, M., Knackstedt, T., Yan, S. et Hassanpour, S. Méthodes de classification d'images basées sur l'intelligence artificielle pour le diagnostic du cancer de la peau : défis et opportunités. Calcul. Biol. Méd. 127, 104065 (2020).

Article Google Scholar

Loftus, TJ et al. Intelligence artificielle et prise de décision chirurgicale. JAMA Surg. 155, 148–158 (2020).

Article Google Scholar

Rudin, C. Arrêtez d'expliquer les modèles d'apprentissage automatique en boîte noire pour les décisions à enjeux élevés et utilisez plutôt des modèles interprétables. Nat. Mach. Renseignement. 1, 206-215 (2019).

Article Google Scholar

Kelly, CJ, Karthikesalingam, A., Suleyman, M., Corrado, G. et King, D. Principaux défis pour obtenir un impact clinique avec l'intelligence artificielle. BMC Med. 17, 1–9 (2019).

Article CAS Google Scholar

Yu, K.-H., Beam, AL & Kohane, IS L'intelligence artificielle dans les soins de santé. Nat. Biomédical. Ing. 2, 719–731 (2018).

Article Google Scholar

Cowen MBCrRW. Human-On-the-Loop est-il la meilleure réponse pour des réponses rapides et pertinentes ? 2021. https://www.japcc.org/essays/is-human-on-the-loop-the-best-answer-for-rapid-relevant-responses/ (consulté le 23 août 2022).

Man, Y., Lundh, M. & Porathe, T. À la recherche de l'harmonie dans la manutention des navires sans pilote à terre : du point de vue des facteurs humains, quelle est la différence sur laquelle nous devons nous concentrer entre être à bord et être à terre ? Facteurs humains dans les transports. 81–90 (CRC Press, 2016).

Katznelson, G. & Gerke, S. La nécessité d'une éthique de l'IA en santé dans l'enseignement des facultés de médecine. Adv. Santé Sci. Éduc. 26, 1447–1458 (2021).

Article Google Scholar

Grunhut, J., Marques, O. & Wyatt, AT Besoins, défis et applications de l'intelligence artificielle dans les programmes d'enseignement médical. JMIR Méd. Éduc. 8, e35587 (2022).

Article Google Scholar

Doherty, TS & Carroll, AE Croire au dépassement des biais cognitifs. AMA J. Éthique 22, 773–778 (2020).

Article Google Scholar

Friedman, B. & Nissenbaum, H. Biais dans les systèmes informatiques. Éthique informatique. 215–232 (Routledge, 2017).

Introna, LD & Nissenbaum, H. Façonner le Web : pourquoi la politique des moteurs de recherche est importante. Inf. Soc. 16, 169-185 (2000).

Article Google Scholar

Friedman B., Kahn PH, Borning A. & Huldtgren A. Conception sensible à la valeur et systèmes d'information. Engagement précoce et nouvelles technologies : ouverture du laboratoire. 55–95 (Springer, 2013).

Flanagan, M., Howe, DC et Nissenbaum, H. Valeurs en jeu : compromis de conception dans la conception de jeux à vocation sociale. Proc. SIGCHI Conf. Hum. facteurs Comput. Syst. 2005, 751–760 (2005).

Article Google Scholar

Sengers, P., Boehner, K., David, S. & Kaye, JJ Conception réfléchissante. Proc. 4ème Décenn. Conf. Crit. Comput. : sensibilité sensorielle 2005, 49–58 (2005).

Google Scholar

DiSalvo C. Conception contradictoire : Mit Press ; 2015.

Agre, P. & Agre, PE Calcul et expérience humaine. (Cambridge University Press, 1997).

Friedman, B. & Kahn, PH Jr. Agence humaine et informatique responsable : implications pour la conception de systèmes informatiques. J. Syst. Logiciel 17, 7–14 (1992).

Article Google Scholar

Nissenbaum, H. Responsabilité dans une société informatisée. Sci. Ing. Éthique 2, 25–42 (1996).

Article Google Scholar

Floridi, L., Cowls, J., King, TC et Taddeo, M. Comment concevoir l'IA pour le bien social : sept facteurs essentiels. Sci. Ing. Éthique 26, 1771–1796 (2020).

Article Google Scholar

Dolan, P. et al. Influencer le comportement: la voie de l'espace mental. J. Economic Psychol. 33, 264-277 (2012).

Article Google Scholar

Kosters, M. & Van der Heijden, J. Du mécanisme à la vertu : évaluation de la théorie du coup de pouce. Évaluation 21, 276-291 (2015).

Article Google Scholar

Smith, HS et al. Un examen du cadre MINDSPACE pour encourager la promotion de la santé pendant les premiers stades de la pandémie de COVID-19. Gestion de la santé de la population, 2022.

Blumenthal-Barby, JS Entre raison et coercition : influence éthiquement acceptable dans les contextes des soins de santé et des politiques de santé. Kennedy Institut. Éthique J. 22, 345–366 (2012).

CAS Google Scholar

Hausman, DM & Welch, B. Débat : pousser ou ne pas pousser. J. Polit. Philos. 18, 123–36. (2010).

Article Google Scholar

Sunstein CR Pourquoi nudge ? : La politique du paternalisme libertaire : Yale University Press ; 2014.

Witteman, HO et al. Développement systématique d'aides à la décision pour les patients : une mise à jour de la collaboration IPDAS. Méd. Décis. Mak. 41, 736–754 (2021).

Article Google Scholar

Dressel, J. & Farid, H. L'exactitude, l'équité et les limites de la prédiction de la récidive. Sci. Adv. 4, eaao5580 (2018).

Article Google Scholar

Zhang, W., Yang, T. & Tangi Perrault, S. Coup de pouce à la réflexion : plus qu'un simple canal vers la connaissance politique. Proc. Conférence CHI 2021 Hum. Calcul des facteurs. Syst. 2021, 1–10 (2021).

Google Scholar

Weinmann, C. Mesurer la pensée politique : élaboration et validation d'une échelle de « délibération intérieure ». Politique. Psychol. 39, 365–380 (2018).

Article Google Scholar

Harbach, M., Hettig, M., Weber, S. & Smith, M. Utilisation d'exemples personnels pour améliorer la communication des risques pour les décisions en matière de sécurité et de confidentialité. Proc. SIGCHI Conf. Hum. facteurs Comput. Syst. 2014, 2647–2656 (2014).

Article Google Scholar

Menon, S., Zhang, W. & Perrault, ST Coup de pouce à la délibération : comment les fonctionnalités d'interface influencent le discours en ligne. Proc. Conférence CHI 2020 Hum. Calcul des facteurs. Syst. 2020, 1–13 (2020).

Google Scholar

Sujan M., Furniss D., Hawkins RD et Habli, I. Facteurs humains de l'utilisation de l'intelligence artificielle dans les soins de santé : des défis qui s'étendent à tous les secteurs. Symposium sur les systèmes critiques pour la sécurité : York ; 2020.

Sujan, M. et al. Défis liés aux facteurs humains pour une utilisation sûre de l'intelligence artificielle dans les soins aux patients. Informer sur les soins de santé BMJ. 26, e100081 (2019).

Télécharger les références

KK-Q. rapporte les subventions des National Institutes for Health National Center for Advancing Translational Sciences (1R01TR004243-01) et des National Institutes for Mental Health (n° 3R01MH125958-02S1). SG rapporte des subventions de l'Union européenne (Accord de subvention n° 101057321 et 101057099), du National Institute of Biomedical Imaging and Bioengineering (NIBIB) des National Institutes of Health (Accord de subvention n° 3R01EB027650-03S1) et du Rock Ethics Institute de l'Université Penn State.

Centre d'éthique médicale et de politique de santé, Baylor College of Medicine, Houston, TX, États-Unis

Kristin M. Kostick-Quenet

Penn State Dickinson Law, Carlisle, Pennsylvanie, États-Unis

Sarah Gerke

Vous pouvez également rechercher cet auteur dans PubMed Google Scholar

Les deux auteurs ont également contribué conceptuellement à cet article. KK-Q. a contribué à une première ébauche et SG a contribué à la rédaction des ébauches suivantes.

Correspondance à Kristin M. Kostick-Quenet.

Les auteurs ne déclarent aucun intérêt concurrent.

Note de l'éditeur Springer Nature reste neutre en ce qui concerne les revendications juridictionnelles dans les cartes publiées et les affiliations institutionnelles.

Libre accès Cet article est sous licence Creative Commons Attribution 4.0 International License, qui permet l'utilisation, le partage, l'adaptation, la distribution et la reproduction sur n'importe quel support ou format, tant que vous donnez le crédit approprié à l'auteur ou aux auteurs originaux et à la source, fournissez un lien vers la licence Creative Commons et indiquez si des modifications ont été apportées. Les images ou tout autre matériel tiers dans cet article sont inclus dans la licence Creative Commons de l'article, sauf indication contraire dans une ligne de crédit au matériel. Si le matériel n'est pas inclus dans la licence Creative Commons de l'article et que votre utilisation prévue n'est pas autorisée par la réglementation légale ou dépasse l'utilisation autorisée, vous devrez obtenir l'autorisation directement du détenteur des droits d'auteur. Pour voir une copie de cette licence, visitez http://creativecommons.org/licenses/by/4.0/.

Réimpressions et autorisations

Kostick-Quenet , KM , Gerke , S. AI entre les mains d'utilisateurs imparfaits . npj Chiffre. Méd. Rév. 5, 197 (2022). https://doi.org/10.1038/s41746-022-00737-z

Télécharger la citation

Reçu : 24 août 2022

Accepté : 29 novembre 2022

Publié: 28 décembre 2022

DOI : https://doi.org/10.1038/s41746-022-00737-z

Toute personne avec qui vous partagez le lien suivant pourra lire ce contenu :

Désolé, aucun lien partageable n'est actuellement disponible pour cet article.

Fourni par l'initiative de partage de contenu Springer Nature SharedIt

Nouvelles