Deloitte fait l'objet d'un nouvel examen minutieux concernant la recherche générée par l'IA dans un rapport de plusieurs millions de dollars pour le compte d'un gouvernement provincial canadien. Une étude de 526 pages sur les soins de santé à Terre-Neuve-et-Labrador, d'une valeur de près de 1,6 million de dollars canadiens, contient des citations qui ne correspondent à aucun article universitaire connu, des références à des revues inexistantes et des coauteurs inventés. Les enquêteurs établissent un lien entre ces anomalies et intelligence artificielle les outils utilisés pour l'intégration de la recherche et l'analyse des données, ce qui soulève des questions sur la manière dont les sociétés de conseil intègrent l'IA dans les travaux à fort enjeu du secteur public.
Le rapport a guidé les décisions sur les soins virtuels, les incitations à l'emploi et l'impact des pandémies à un moment où il y avait une grave pénurie d'infirmières et de médecins. Lorsqu'un gouvernement dépend d'un cabinet de conseil pour obtenir des preuves afin d'orienter le financement provincial, une recherche non fiable générée par l'IA passe d'un défaut technique à un risque de gouvernance. Des problèmes similaires étaient déjà apparus dans un rapport australien sur la protection sociale produit par Deloitte, où Azure OpenAI a créé des citations hallucinées et a imposé un remboursement partiel. Ensemble, ces incidents montrent comment l'intelligence artificielle dans le conseil, si elle est mal gérée, menace la confiance dans les rapports gouvernementaux et affaiblit l'obligation de rendre compte de l'utilisation des deniers publics.
La recherche générée par l'IA de Deloitte est à l'origine d'un rapport de plusieurs millions de dollars
Le rapport sur les soins de santé à Terre-Neuve-et-Labrador illustre la manière dont la recherche générée par l'IA s'articule avec la politique, l'argent et la confiance. Des journalistes d'investigation ont examiné le document de 526 pages publié en mai et ont trouvé de nombreux signaux d'alarme indiquant que les sources étaient générées de manière automatisée.
Plusieurs citations font référence à des articles universitaires qui n'existent pas dans les bases de données des revues. Certaines citent de vrais chercheurs pour des articles qu'ils n'ont jamais écrits, ainsi que des coauteurs fictifs qui n'ont jamais collaboré. Une citation fait référence à un numéro du Journal canadien de thérapie respiratoire que les chercheurs et les bibliothécaires n'ont pas réussi à localiser.
- Faux articles universitaires utilisés dans l'analyse coût-efficacité
- De vrais chercheurs sont malencontreusement associés à des études inexistantes
- Références de revues qui ne correspondent à aucune archive
- Inventer des équipes de coauteurs qui n'ont jamais travaillé ensemble
Une chercheuse en sciences infirmières citée dans un article fantôme a fait remarquer que ce schéma suggère fortement une forte dépendance à l'égard de l'intelligence artificielle pour l'incorporation dans la recherche. Son commentaire reflète une préoccupation plus large partagée par de nombreux experts qui suivent les incidents liés à l'intelligence artificielle, tels que ceux documentés dans des analyses spécialisées sur le site études de cas sur l'impact de la recherche en IA sur les industries. Lorsque des citations hallucinées figurent dans un rapport gouvernemental, le problème n'est plus technique, il devient un problème de finances publiques et d'éthique.
L'intelligence artificielle dans les flux de travail des consultants en recherche
Deloitte a déclaré que l'IA n'avait pas été utilisée pour rédiger le rapport, mais qu'elle avait été utilisée de manière sélective pour étayer un petit nombre de citations de recherche. Cette expression, "incorporation de la recherche", cache un problème complexe de flux de travail. Lorsque les analystes s'appuient sur de grands modèles de langage pour analyser la littérature ou rédiger des bibliographies, des références hallucinées apparaissent à moins que les équipes n'appliquent des étapes de vérification rigoureuses.
Les consultants sont souvent confrontés à des délais serrés et à des champs d'application étendus. Pour l'étude de Terre-Neuve-et-Labrador, le rapport couvrait les soins virtuels, les incitations à la dotation en personnel et les impacts du COVID-19 en un seul paquet. Sous la pression, les équipes ont tendance à pousser les outils d'IA à résumer les articles, à générer des références candidates ou à suggérer des travaux connexes. En l'absence d'une solide vérification croisée avec les bases de données des revues, les référentiels institutionnels et la vérification manuelle par des experts en la matière, des sources fabriquées se glissent dans la masse.
- L'IA utilisée pour les suggestions et les résumés de recherche documentaire
- Listes de citations générées et copiées dans les sections d'analyse
- Validation manuelle limitée en raison des délais et des contraintes budgétaires
- Confiance excessive dans les résultats de l'IA traités comme des données faisant autorité
D'autres secteurs observent des risques similaires. Les études sur la manière dont l'IA contribue à la sécurité en ligne, telles que les travaux couverts par le document La technologie de l'IA rend l'internet plus sûrLa recherche consultative a besoin de la même discipline, car les erreurs dans les rapports gouvernementaux ont un impact direct sur la politique. La recherche en matière de conseil doit faire l'objet de la même discipline, car les erreurs dans les rapports gouvernementaux ont un impact direct sur les politiques.
Intégrité des rapports gouvernementaux et analyse des données du secteur public
Le gouvernement provincial canadien a payé Deloitte en huit versements pour le rapport sur les soins de santé. Pour les contribuables, une dépense de près de 1,6 million de dollars implique des preuves solides, et non des données synthétiques. Lorsqu'un rapport gouvernemental contient des erreurs de recherche générées par l'IA, plusieurs niveaux de contrôle sont remis en question, de la passation des marchés à l'assurance qualité interne.
Les administrations publiques font appel à des partenaires consultants pour l'analyse de données spécialisées et la modélisation des politiques lorsque les capacités internes sont limitées. Dans ce cas, le rapport a permis de prendre des décisions sur les modèles de soins virtuels et les mesures d'incitation à la rétention des infirmières et des médecins dans une province déjà confrontée à une pénurie de personnel. Si l'analyse coût-efficacité sous-jacente repose sur des preuves académiques fabriquées, le risque ne concerne pas seulement les budgets, mais aussi la qualité des services et la planification de la main-d'œuvre.
- Les choix politiques en matière de santé numérique sont influencés par des données erronées
- Des allocations budgétaires façonnées par des modèles de coûts peu fiables
- La confiance du public s'érode lorsque les médias révèlent des erreurs liées à l'IA
- Les futurs appels d'offres devraient exiger une plus grande transparence sur l'utilisation de l'IA
D'autres domaines de la politique publique montrent que l'IA dans le conseil doit s'aligner sur une gouvernance forte. Les travaux sur l'IA pour la cyberdéfense, présentés dans des rapports tels que L'IA dans la course aux armements en matière de cybersécuritéIl met l'accent sur l'équilibre entre automation et un contrôle humain. Les recommandations en matière de financement des soins de santé exigent la même rigueur, avec des pistes d'audit claires sur la manière dont l'intelligence artificielle a soutenu l'analyse.
L'affaire de Terre-Neuve-et-Labrador : un signal d'alarme
Terre-Neuve-et-Labrador n'est pas la première juridiction à soulever des préoccupations concernant Deloitte et la recherche générée par l'IA, mais le contexte fait de cet épisode un avertissement fort. Le rapport reste en ligne, ce qui signifie que les médecins, les infirmières et les parties prenantes locales continuent de se référer à un document dont la base factuelle est contestée.
La province a changé de direction lorsqu'un premier ministre progressiste-conservateur a pris ses fonctions après la publication du rapport. La nouvelle administration est confrontée à une question difficile. Comment un gouvernement doit-il réagir lorsqu'un produit de conseil coûteux révèle des problèmes de preuves structurelles liés à l'utilisation de l'intelligence artificielle dans l'incorporation de la recherche ?
- Réexaminer les recommandations existantes en matière de dépendance à l'égard de sources défectueuses
- Commander une validation indépendante ou une réplication des résultats critiques
- Envisager des recours contractuels, tels que des remboursements ou des pénalités
- Mettre à jour les règles de passation des marchés pour exiger des informations sur la gouvernance de l'IA
D'autres gouvernements suivent cette affaire de près, de la même manière qu'ils suivent les enseignements en matière d'intelligence artificielle tirés d'événements tels que le Les tendances de l'IA discutées lors de conférences financières. Si un grand cabinet de conseil se débat avec la gouvernance de l'IA dans la production de rapports gouvernementaux, des schémas similaires pourraient exister dans d'autres projets de plusieurs millions de dollars qui utilisent l'intelligence artificielle en coulisses.
Comparaison avec l'étude australienne sur la protection sociale et problèmes répétés liés à l'IA
L'incident canadien fait suite à une précédente affaire Deloitte en Australie, où un rapport de 290 000 dollars sur le bien-être s'appuyait sur Azure OpenAI. Cette étude contenait des références hallucinantes, notamment des articles universitaires inexistants et une citation inventée d'une décision d'un tribunal fédéral. Une fois signalé, Deloitte a révisé le rapport et reconnu la contribution des outils d'IA, tout en affirmant que les conclusions restaient valables.
Le gouvernement australien a obtenu un remboursement partiel et la version mise à jour a discrètement remplacé la version originale sur un site web gouvernemental. Si l'on considère le rapport canadien sur les soins de santé, un schéma se dessine. L'IA dans les services de conseil entre dans les flux de travail sans divulgation claire, sans contrôles robustes ou sans appréciation complète des risques d'hallucination dans l'analyse des données.
- Citations inexistantes dans les rapports australien et canadien
- Admission a posteriori de l'utilisation de l'IA uniquement après un examen externe
- Transparence limitée sur les étapes de validation de la recherche générée par l'IA
- Conséquences financières dans au moins une juridiction par le biais d'un remboursement
Les institutions financières et les régulateurs ont commencé à documenter des schémas de risque similaires dans le cadre d'une adoption plus large de l'IA, comme le résume le document suivant Rapports sur les risques liés à l'IA. Les épisodes de Deloitte montrent que les missions de conseil nécessitent des clauses explicites de gestion des risques liés à l'IA, et pas seulement des lignes directrices techniques.
Les citations hallucinées, un échec systémique de la gouvernance de l'IA
Les citations hallucinées ne résultent pas d'erreurs isolées de l'utilisateur. Elles reflètent un problème de conception plus profond dans la manière dont l'IA générative interagit avec le travail de connaissance. Les grands modèles de langage génèrent des chaînes de texte plausibles basées sur des modèles, et non sur des requêtes de bases de données réelles. En l'absence d'une validation stricte, les références fabriquées semblent convaincantes et se glissent dans les documents finaux.
Dans les contextes de conseil où des centaines de citations alimentent un rapport de plusieurs millions de dollars, la tentation est grande de laisser l'IA s'occuper de la préparation des bibliographies et de se contenter d'un contrôle par échantillonnage des résultats. Cette approche échoue lorsque le modèle fabrique des noms de revues, des numéros d'édition ou des combinaisons de coauteurs. La recherche dans le domaine de la santé, où les données doivent répondre à des normes cliniques, est particulièrement vulnérable.
- Les LLM produisent des modèles de texte et non des requêtes de base de données vérifiées.
- Les champs de citation semblent corrects au premier coup d'œil, ce qui réduit les soupçons.
- Le volume élevé de références décourage l'examen manuel complet
- Les décisions en matière de politique de santé dépendent de l'exactitude de chaque référence
Les équipes techniques d'autres secteurs à forte intensité d'IA, tels que ceux décrits dans la rubrique rapports sur les percées de la PNLLes auteurs de ces rapports recommandent d'intégrer des couches explicites de vérification des faits. Les sociétés de conseil qui utilisent l'IA pour intégrer des recherches ont besoin de garde-fous équivalents avant d'intégrer les résultats dans les rapports gouvernementaux.
Meilleures pratiques pour l'IA dans les services de conseil et les marchés publics
Les affaires Deloitte au Canada et en Australie montrent que les méthodes traditionnelles d'assurance qualité ne suffisent pas lorsque l'intelligence artificielle soutient l'incorporation de la recherche. Les cabinets de conseil et les acheteurs publics ont besoin de normes actualisées pour l'IA dans l'analyse des données, l'examen de la littérature et la rédaction de rapports sur les politiques.
Pour les grands projets de rapports gouvernementaux financés par les budgets provinciaux ou nationaux, les exigences doivent aller au-delà des clauses standard de confidentialité et d'indépendance. Les contrats doivent préciser quand et comment les outils d'IA sont autorisés, comment leurs résultats sont vérifiés et comment la responsabilité est attribuée si des sources fabriquées ou des erreurs d'analyse apparaissent.
- Divulgation obligatoire de tous les systèmes d'IA utilisés dans la recherche et la rédaction
- Examen humain documenté de chaque citation générée par l'IA
- Vérification indépendante des preuves pour les recommandations critiques
- Des conséquences financières et juridiques claires pour les erreurs liées à l'IA
Certaines organisations considèrent déjà l'IA comme un élément à haut risque qui doit faire l'objet d'une surveillance structurée. Des analyses telles que la Perspectives d'accès à l'IA de Forrester montre comment les entreprises définissent des niveaux d'utilisation de l'IA et des pistes d'audit. Les cadres de passation des marchés publics peuvent adapter des modèles similaires aux services de conseil.
Contrôles internes et garanties techniques pour l'incorporation de la recherche
Au-delà du langage contractuel, les sociétés de conseil ont besoin de contrôles techniques qui réduisent le risque d'erreurs de recherche générées par l'IA dans les résultats finaux. Ces contrôles portent à la fois sur le choix des outils et sur la conception des flux de travail. Par exemple, le fait de séparer la rédaction assistée par l'IA de la gestion des citations limite le risque de voir des références synthétiques s'infiltrer dans les bibliographies.
Des protocoles stricts devraient exiger que chaque référence dans un rapport gouvernemental renvoie à une source vérifiée dans une base de données fiable. Les équipes peuvent utiliser des gestionnaires de références connectés aux API des revues, qui réduisent les erreurs de saisie manuelle et introduisent une validation automatisée. Si l'intelligence artificielle suggère des sources, les chercheurs doivent les confirmer dans des bases de données primaires et ne pas se fier au texte produit par le modèle linguistique.
- Utiliser des outils de gestion des références liés à des bases de données faisant autorité
- Rejeter toute référence non confirmée dans un système de sources primaires
- Enregistrer toutes les invites et sorties IA utilisées pendant l'incorporation de la recherche
- Désigner des réviseurs spécifiques pour l'intégrité des preuves, distincts des réviseurs de contenu
Travaux sur l'infrastructure des données, tels que des études sur les API qui remodèlent l'accès aux données numériques, par exemple Accès aux données par APIfournit des analogies utiles. Dans les deux cas, l'accès structuré et traçable à des données fiables réduit les erreurs et favorise la transparence des audits.
Recherche générée par l'IA, éthique des soins de santé et confiance du public
La politique en matière de soins de santé repose sur une prise de décision fondée sur des données probantes. Lorsque des recherches générées par l'IA apparaissent dans un rapport sur les soins de santé commandé par le gouvernement, les enjeux éthiques augmentent. Les cliniciens, les syndicats et les groupes de patients attendent des références transparentes qui fondent chaque recommandation concernant le personnel, les modèles de service et l'affectation des ressources.
Terre-Neuve-et-Labrador est confrontée à des défis permanents en matière de main-d'œuvre. Les infirmières et les médecins travaillent souvent sous pression, tandis que le recrutement dans les zones rurales reste difficile. Un rapport de plusieurs millions de dollars contenant des citations fabriquées de toutes pièces risque d'entamer la confiance entre les travailleurs de première ligne et les décideurs politiques. Lorsque les professionnels remarquent des références incorrectes à leurs propres travaux ou à des revues qu'ils connaissent bien, ils remettent en question l'ensemble de la base de données probantes.
- Les professionnels de la santé s'appuient sur des données précises pour assurer la sécurité de leurs pratiques
- Des documents falsifiés sapent la confiance dans les stratégies provinciales
- Les défenseurs des patients attendent des preuves traçables pour les décisions de financement
- La couverture médiatique amplifie les atteintes à la réputation de l'ensemble du système
L'utilisation responsable de l'intelligence artificielle dans le domaine des soins de santé exige déjà des cadres solides, comme le montrent certains outils de triage et d'aide à la décision dans des études sur la santé publique. L'IA au service des professionnels de la santé. Lorsque l'IA passera du stade d'outil clinique à celui de recherche consultative, les attentes éthiques devront rester tout aussi strictes.
Perception des citoyens et responsabilité politique
Souvent, les citoyens ne lisent pas les rapports gouvernementaux dans leur intégralité, mais ils suivent les gros titres sur la recherche générée par l'IA dans le cadre de contrats de plusieurs millions de dollars. Lorsque les électeurs constatent qu'un gouvernement provincial a dépensé près de 1,6 million de dollars pour une étude comportant de fausses citations, les questions relatives à l'optimisation des ressources et au contrôle deviennent des enjeux politiques.
Les partis d'opposition et les organisations de surveillance attirent l'attention sur ces incidents pour plaider en faveur d'une plus grande transparence et d'un contrôle plus strict des financements provinciaux. Les dirigeants politiques doivent ensuite expliquer comment ils entendent éviter des problèmes similaires lors de futurs appels d'offres, comment ils entendent gérer l'utilisation de l'IA dans les activités de conseil et s'ils entendent demander des remboursements ou des travaux correctifs.
- Débats publics sur l'utilisation de l'IA dans les projets financés par le contribuable
- Pression sur les gouvernements pour qu'ils divulguent les méthodes de consultation
- Demande d'audits indépendants des principaux rapports sur l'intelligence artificielle
- Exigences de mesures disciplinaires ou financières en cas d'apparition d'erreurs
Discussions plus larges sur l'éthique de l'IA dans la vie publique, y compris les débats couverts par le document entretiens avec des leaders de l'industrie de l'IACes attentes influencent indirectement la manière dont les citoyens interprètent des cas comme celui de Deloitte. Les stratégies de communication des pouvoirs publics doivent répondre à ces attentes de manière claire et détaillée sur le plan technique, et ne pas se limiter à des messages politiques.
Notre avis
L'affaire Deloitte concernant la recherche générée par l'IA dans un rapport de plusieurs millions de dollars pour un gouvernement provincial canadien signale un changement structurel dans la manière dont les institutions publiques doivent envisager la consultance. L'intelligence artificielle est passée du statut d'outil d'arrière-plan à celui de facteur de risque visible pour l'intégrité des rapports gouvernementaux, en particulier lorsque l'incorporation de la recherche et l'analyse des données alimentent directement les décisions de financement.
Les grandes entreprises comme Deloitte continueront à intégrer l'intelligence artificielle dans les flux de travail de recherche. La question clé est de savoir si elles associent cette intégration à des pratiques de validation strictes, à une divulgation transparente aux clients gouvernementaux et à une responsabilité claire en cas de contenu fabriqué. Sans ces éléments, chaque rapport soutenu par l'IA pour une administration provinciale ou nationale devient un test de la confiance du public.
- Les contrats de conseil doivent comporter des clauses explicites sur la gouvernance de l'IA
- La validation des preuves doit recevoir autant d'attention que la modélisation
- Les acheteurs publics devraient exiger des pistes d'audit techniques pour l'utilisation de l'IA
- Les citoyens et les professionnels doivent savoir clairement comment les rapports ont été élaborés
D'autres secteurs expérimentent l'IA, de l'analyse de l'agriculture à l'analyse de l'environnement. L'agriculture pilotée par l'IA à l'analyse d'entreprise décrite dans L'intelligence artificielle au service des outils de BILes études de cas de l'OCDE montrent qu'une conception et une gouvernance solides font de l'intelligence artificielle un atout plutôt qu'un handicap. Les services de conseil aux pouvoirs publics ont besoin du même niveau de maturité. Lorsque la recherche générée par l'IA soutient la politique publique, la précision importe plus que la vitesse, et la vérification plus que la nouveauté.