Standing on FURM Ground: A Framework for Evaluating Fair, Useful, and Reliable AI Models in Health Care Systems
Item
- Titre (article, livre complet, chapitre de livre, publication réseaux sociaux, pageWeb, SiteWeb complet, etc.)
- Standing on FURM Ground: A Framework for Evaluating Fair, Useful, and Reliable AI Models in Health Care Systems
- Auteur de la référence bibliograpique
- Alison Callahan, Duncan McElfresh, Juan M. Banda, Gabrielle Bunney, Danton Char, Jonathan Chen, Conor K. Corbin, Debadutta Dash, Norman L. Downing, Sneha S. Jain, Nikesh Kotecha, Jonathan Masterson, Michelle M. Mello, Keith Morse, Srikar Nallan, Abby Pandya, Anurang Revri, Aditya Sharma, Christopher Sharp, Rahul Thapa, Michael Wornow, Alaa Youssef, Michael A. Pfeffer, Nigam H. Shah
- Date de publication (AAAA ou AAAA-MM-JJ)
- 2024-09-18
- Résumé
-
Cet article présente le cadre d'essai et d'évaluation mis au point par l'équipe de science des données de Stanford Health Care pour apprécier les modèles d'intelligence artificielle avant leur déploiement en milieu clinique.
Les auteur·rices posent que l'effet d'un système d'intelligence artificielle sur les soins ou sur les processus organisationnels ne dépend pas du seul modèle. Il résulte de l'interaction entre la sortie du modèle, le protocole de décision fondé sur cette sortie, la capacité des parties prenantes à poser ensuite l'action requise, et les bénéfices comme les préjudices de l'action posée. Estimer les effets de cette interaction avant le déploiement, puis les étudier en temps réel une fois le système en place, leur apparaît nécessaire pour combler l'écart entre le développement d'un modèle et le bénéfice effectivement atteignable.
Le mécanisme proposé comporte plusieurs volets. Un examen éthique vise d'abord à repérer les désaccords de valeurs susceptibles d'opposer ce que le modèle optimise et ce que les parties prenantes tiennent pour souhaitable. Des simulations servent ensuite à estimer l'utilité du système, et des projections financières à en évaluer la viabilité. S'y ajoutent une analyse de faisabilité informatique, l'élaboration d'une stratégie de déploiement et la recommandation d'un plan de suivi et d'évaluation prospectifs.
L'acronyme FURM désigne les qualités visées par le cadre. Selon le chapitre santé du rapport AI Index 2025, préparé par RAISE Health, il correspond aux termes anglais fair, useful, reliable et measurable, tandis que l'article utilise fair, useful and reliable models. Le même chapitre rapporte que six cas d'usage ont été soumis au cadre à Stanford Health Care et que deux ont abouti à une mise en œuvre complète : le dépistage de l'artériopathie oblitérante des membres inférieurs et l'amélioration de la documentation et du codage des soins hospitaliers. L'outil de dépistage, passé en phase deux après un projet pilote concluant, devrait toucher environ 1 400 personnes par année et fonctionne sans financement externe.
L'article est signé par vingt-quatre personnes rattachées à l'Université Stanford et à Stanford Health Care. Plusieurs déclarent des intérêts. Danton Char, Keith Morse et Nigam H. Shah indiquent recevoir un financement de la Gordon and Betty Moore Foundation pour le développement de déploiements virtuels de modèles. Nigam H. Shah déclare en outre être cofondateur de Prealize Health, entreprise d'analyse prédictive, et d'Atropos Health, entreprise de production de données probantes à la demande, ainsi que siéger au conseil d'administration de la Coalition for Healthcare Artificial Intelligence, organisme de recherche de consensus qui publie des lignes directrices sur l'usage responsable de l'intelligence artificielle en santé. - Numéro (revues scientifiques)
- 10
- Volume (revues scientifiques)
- 5
- Maison d'édition / Nom de la revue scientifique / Nom du site Web / Nom de l'institution universitaire (thèses) / Institution d'un rapport, etc.
- NEJM Catalyst Innovations in Care Delivery
- Intervalles des pages (articles)
- Article CAT.24.0131
- Format, type de document (ex: image, publication textuelle, vidéo, etc.)
- Article en ligne
- Quel type de publication sur réseau social (ex: statut Facebook, statut Twitter, etc.)
- Article scientifique
- URL (adresse Web)
- https://doi.org/10.1056/CAT.24.0131
- Media
callahan furm.png
Linked resources
| Title | Class |
|---|---|
 Enjeux du déploiement de l’intelligence artificielle en santé |
|
 RAISE Health Symposium 2025 |
Annotations
There are no annotations for this resource.