Black Hat 2025 a mis en évidence une convergence de la prolifération des fournisseurs et des systèmes d'IA avancés qui crée un risque systémique concentré dans de nombreuses entreprises. Les leaders de la sécurité ont discuté de la façon dont l'adoption de l'IA par des tiers amplifie les vulnérabilités de la chaîne d'approvisionnement, introduit un comportement de boîte noire et concentre les surfaces d'attaque d'une manière que les cadres traditionnels de risque de tiers peinent à saisir. Les enseignements pratiques mettent l'accent sur la télémétrie continue, la rationalisation des fournisseurs et le renforcement des exigences contractuelles en matière de sécurité des modèles et de transparence des incidents.
Naviguer dans les risques de tiers et la concentration des risques liés à l'IA : Aperçu stratégique du paysage des menaces
Les présentations de Black Hat 2025 ont souligné que la concentration des risques liés à l'IA n'est plus un sujet de gouvernance abstrait - c'est un problème opérationnel qui affecte le temps de fonctionnement, la conformité et la réputation. Les organisations qui s'appuient sur un ensemble restreint de fournisseurs d'IA, de fournisseurs de modèles hébergés ou de pipelines de données partagés centralisent effectivement les risques. Cette centralisation augmente la probabilité de défaillances en cascade lorsqu'un seul fournisseur ou composant est compromis.
Les risques liés aux tiers sont devenus plus nuancés : il ne s'agit pas seulement de vulnérabilités logicielles, mais aussi de modèles de comportement opaques, de filières de formation partagées et de dépendances de la chaîne d'approvisionnement. Les équipes de sécurité doivent cartographier les voies d'influence entre les fournisseurs et les services de base pour mesurer la concentration. Par exemple, un processeur de paiement dépendant d'un seul fournisseur de modèle pour l'évaluation des fraudes peut voir ses transactions échouer à grande échelle si ce modèle est empoisonné ou retiré.
Signaux opérationnels clés de la concentration des risques liés à l'IA
Les équipes opérationnelles présentes à la conférence Black Hat ont mis en évidence plusieurs signaux indiquant une concentration malsaine. Ces signaux doivent donner lieu à un examen immédiat et à des plans d'atténuation :
- Une forte dépendance à l'égard d'un seul fournisseur de modèles pour plusieurs fonctions critiques (par exemple, l'authentification, la détection des fraudes, les interfaces de dialogue en ligne).
- Manque de transparence sur les sources de données de formation ou sur la provenance des modèles dans l'ensemble du portefeuille de fournisseurs.
- Une infrastructure partagée entre les fournisseurs qui crée des modes de défaillance corrélés.
- Les limites contractuelles qui empêchent l'analyse médico-légale après les incidents.
- Réévaluation peu fréquente des fournisseurs et absence de plan de remplacement rapide des fournisseurs.
Des exemples ont été cités où les équipes chargées des opérations de sécurité ont découvert que les services d'agrégation de télémétrie et les plateformes d'hébergement de modèles étaient utilisés par des dizaines de partenaires, transformant une vulnérabilité isolée en une exposition systémique. Des fournisseurs tels que CrowdStrike, Palo Alto Networks et Microsoft ont été cités dans les débats d'experts pour leur rôle dans l'écosystème et leurs intégrations qui, tout en favorisant l'efficacité, créent également des vecteurs de concentration.
Pour passer de la prise de conscience à l'action, une approche pragmatique en trois étapes est apparue : inventaire et cartographie, ingénierie de la diversité et renforcement contractuel. L'inventaire doit permettre de suivre non seulement les noms des fournisseurs, mais aussi leurs dépendances internes, les points de terminaison des modèles et les formats d'échange de données. L'ingénierie de la diversité met l'accent sur les voies de contrôle alternatives et les solutions de repli ; par exemple, le maintien d'un moteur de fraude basé sur des règles de base pour fonctionner en cas de défaillance d'un fournisseur de notation ML. Le renforcement contractuel exige des accords de niveau de service explicites concernant l'explicabilité des modèles, les fenêtres de divulgation des vulnérabilités et la préservation des preuves.
- Inventaire et cartographie des dépendances entre les services et les flux de données.
- Concevoir des mécanismes de contrôle redondants pour éviter la défaillance d'un seul fournisseur.
- Négocier les conditions du fournisseur qui exigent des détails sur les incidents en temps voulu et des audits par des tiers.
Les études de cas présentées lors de la conférence ont montré comment les entreprises qui ont adopté ces mesures ont réduit le délai moyen de rétablissement en cas d'incidents liés aux fournisseurs. Un exemple dans le secteur des services financiers a montré qu'après l'ajout d'un modèle de repli et d'un routage multifournisseur, la perte de transactions lors d'une panne de fournisseur a chuté de plus de 70%. La conclusion est claire : La concentration du risque d'IA doit être traitée comme les autres formes de risque de concentration - mesurée, diversifiée et soumise à des contraintes contractuelles.
Perspective : traiter les écosystèmes des fournisseurs comme des surfaces d'attaque dynamiques et donner la priorité à la cartographie pour révéler la concentration des risques liés à l'IA avant qu'ils ne se transforment en incidents en cascade.
Points aveugles opérationnels et défis de détection pour la concentration des risques liés à l'IA
La détection et la surveillance constituent des défis majeurs dans le cadre de la concentration des risques liés à l'IA. Les solutions d'observabilité traditionnelles sont optimisées pour les systèmes binaires et déterministes ; les modèles et les pipelines de ML se comportent de manière probabiliste et évoluent en permanence. Lors de la conférence Black Hat 2025, les experts ont fait valoir que l'absence de télémétrie des modèles et le manque de transparence des fournisseurs sont les principaux angles morts qui permettent des compromissions et des dérives non détectées.
La surveillance doit évoluer pour inclure une télémétrie spécifique au modèle : métriques de dérive des concepts, changements dans la distribution des prédictions, fréquence des entrées adverses et marqueurs de provenance des données. Sans ces signaux, une organisation peut ignorer qu'un modèle est manipulé ou que sa distribution de sortie a changé d'une manière qui sape la logique de l'entreprise. La détection devrait également mettre en corrélation les incidents des fournisseurs avec les anomalies internes afin de repérer plus rapidement les défaillances provoquées par des tiers.
Lacunes en matière de détection et mesures pratiques de détection
Les équipes chargées des opérations de sécurité ont identifié plusieurs mesures pratiques pour réduire les angles morts liés à la concentration des risques liés à l'IA :
- Instrumenter les extrémités du modèle avec une observabilité qui enregistre les distributions d'entrée et de sortie tout en préservant la vie privée.
- Appliquer en permanence des tests synthétiques et contradictoires aux modèles des fournisseurs.
- Corréler les flux de sécurité des fournisseurs avec les journaux SIEM et EDR internes de fournisseurs tels que SentinelOne et Rapid7.
- Déployer des tests de chaos orientés vers les pipelines de ML pour mettre en évidence les dépendances cachées.
- Utilisez le baselining comportemental pour détecter les écarts subtils que les alertes publiques de type CVE pourraient manquer.
Des exemples d'intégration de fournisseurs montrent l'utilité de cette approche. Les organisations qui utilisent Tanium pour la télémétrie des terminaux et CyberArk pour le contrôle des accès privilégiés ont pu élaborer des alertes plus exploitables liées aux activités des fournisseurs. La combinaison de la télémétrie de l'EDR (par exemple, CrowdStrike ou SentinelOne) et des contrôles de réseau (par exemple, Palo Alto Networks ou Check Point) avec des signaux spécifiques au modèle a permis de détecter plus rapidement les abus de la chaîne d'approvisionnement.
L'opérationnalisation de ces mesures nécessite des changements dans la chaîne d'outils et la coopération des fournisseurs. Plusieurs fournisseurs présents à Black Hat ont fait la démonstration d'API qui exposent des journaux de validation, des attestations de vérification de modèle et des jetons de provenance. Ces caractéristiques deviennent des points de négociation contractuelle : les équipes exigent désormais que les fournisseurs d'IA fournissent des artefacts normalisés pour soutenir les flux de travail de criminalistique et de détection.
- Définir les artefacts de télémétrie requis dans les contrats avec les fournisseurs.
- Intégrer les flux des fournisseurs dans les manuels d'utilisation SIEM et SOAR existants.
- Programmer périodiquement des tests contradictoires et des exercices de résilience avec des modèles tiers.
Une anecdote du monde réel concerne une plateforme de vente au détail qui a détecté une augmentation soudaine des rétrocessions. La corrélation de la télémétrie interne avec un jeton de provenance fourni par le fournisseur a révélé qu'un modèle de recommandation tiers avait été réentraîné sur des données altérées. Rapid7 et FireEye ont été cités comme des partenaires ayant contribué à l'enquête, permettant d'isoler le pipeline spécifique et de réduire l'exposition.
Perspicacité : pour combler les lacunes en matière de détection, il faut à la fois de nouvelles données télémétriques pour les modèles et des obligations contractuelles qui mettent ces signaux à la disposition des équipes chargées de la sécurité.
Quantifier l'impact sur l'entreprise et les priorités de remédiation pour la concentration des risques liés à l'IA
Il est essentiel de quantifier l'impact afin de hiérarchiser les mesures correctives lorsque la concentration des risques liés à l'IA est susceptible d'entraîner les dommages les plus importants pour l'entreprise. L'évaluation des risques doit tenir compte des perturbations financières, de l'exposition aux réglementations et des atteintes à la réputation. Les sessions de Black Hat 2025 ont insisté sur une approche ajustée au risque - en utilisant des mesures mesurables plutôt que des scores abstraits - lors de l'évaluation de la concentration dans les écosystèmes de fournisseurs.
Les modèles de risque devraient combiner la probabilité (probabilité de compromission d'un fournisseur ou de défaillance d'un modèle) et l'impact (processus opérationnels affectés, amendes réglementaires, perte de clients). Les résultats permettent d'établir des priorités : il s'agit de concentrer les efforts de remédiation sur les voies à fort impact où la concentration des risques liés à l'IA est la plus forte. Par exemple, un modèle de fraude sur les paiements ou un système de vérification de l'identité alimenté par un modèle tiers unique nécessite un examen plus approfondi qu'un modèle de génération de contenu marketing.
Tableau comparatif : Concentration des risques liés à l'IA par rapport à l'impact sur l'activité et aux contrôles
| Zone | Indicateurs de concentration des risques liés à l'IA | Impact sur les entreprises | Atténuations |
|---|---|---|---|
| Authentification | Fournisseur unique de l'AFM/du modèle biométrique | Blocage de comptes, fraude, amendes réglementaires | Fournisseurs redondants, règles de repli, accord de niveau de service du fournisseur pour les données de criminalistique |
| Détection de fraude | Modèle de notation unifié pour tous les produits | Échecs de transaction, rétrocessions | Repli hybride basé sur des règles, tests synthétiques, vérifications de la provenance des modèles |
| Classification des données | Fournisseur d'ensembles de données d'entraînement partagés | Fuites de données, violations de la conformité | Lignage des données, cryptage au repos, audit par un tiers |
| Assistance à la clientèle | Un seul fournisseur d'IA générative pour les réponses | Atteinte à la marque, informations incorrectes | L'homme dans la boucle, la validation des résultats, les garde-fous spécifiques au domaine |
Les cas d'utilisation présentés à Black Hat ont illustré des résultats quantifiables. Une bourse de taille moyenne a indiqué qu'après avoir diversifié ses modèles de risque transactionnel et ajouté des contrôles de filigrane, le temps moyen de confinement des incidents provoqués par le fournisseur s'est amélioré de 45%. Le tableau ci-dessus aligne les domaines de service du monde réel sur les indicateurs et les contrôles afin que les équipes puissent allouer plus efficacement les ressources limitées en matière de sécurité.
- Donner la priorité aux services ayant un impact important sur l'entreprise et dépendant d'un seul fournisseur.
- Calculer des notes d'exposition corrigées du risque qui intègrent des multiplicateurs de concentration.
- Investir dans les contrôles qui permettent de réduire le plus possible les pertes attendues par dollar dépensé.
Pour mettre en œuvre cette approche, les dirigeants doivent accepter que l'atténuation de la concentration des risques liés à l'IA puisse nécessiter des compromis commerciaux, tels que le ralentissement du déploiement des intégrations des fournisseurs et l'investissement dans des solutions internes ou alternatives. Les groupes d'experts ont cité des fournisseurs tels que Darktrace et Check Point comme fournisseurs de capacités de détection de réseaux et de modèles qui aident à quantifier le risque en termes opérationnels.
Insight : un modèle de concentration ajusté au risque permet des investissements ciblés qui réduisent les pertes financières et opérationnelles attendues de la manière la plus efficace possible.
Gouvernance, contrats et normes pour limiter la concentration des risques liés à l'IA
Les cadres de gouvernance et les instruments contractuels sont apparus à Black Hat 2025 comme les leviers les plus pratiques pour aborder la concentration des risques liés à l'IA parmi les tiers. Les cadres tels que les orientations actualisées du NIST pour la sécurité de l'IA et les normes industrielles émergentes ont été cités à plusieurs reprises comme des mécanismes permettant d'opérationnaliser les contrôles et de définir les responsabilités des fournisseurs.
Une gouvernance efficace comporte trois niveaux : la politique interne et la surveillance du conseil d'administration, les contrôles contractuels avec les fournisseurs et la participation à la normalisation du secteur afin de réduire les obligations asymétriques. L'objectif est de passer de relations informelles avec les fournisseurs à des obligations explicites en matière d'explicitation des modèles, de délais de notification des incidents et d'accès aux audits.
Clauses contractuelles et mesures de gouvernance pour atténuer la concentration des risques liés à l'IA
Les responsables de la sécurité ont recommandé une approche contractuelle fondée sur les preuves, qui impose des artefacts techniques et des engagements en matière de processus :
- Périodes requises d'exportation de télémétrie et de conservation des preuves pour les journaux d'exécution des modèles.
- Définition des fenêtres de divulgation des vulnérabilités et obligation de soutenir l'analyse des causes profondes.
- Modéliser les attestations de provenance et les clauses d'audit par des tiers.
- Conditions de résiliation et d'assistance à la migration garantissant un remplacement rapide du fournisseur.
- Clauses d'assurance et d'indemnisation liées à l'utilisation abusive d'un modèle ou à la contamination des données.
Plusieurs équipes juridiques et de conformité ont indiqué qu'elles construisaient des playbooks qui spécifient les seuils de risque à partir desquels les contrats des fournisseurs doivent être renégociés ou résiliés. Pour les secteurs réglementés, les groupes d'experts ont indiqué que le fait de ne pas contrôler la concentration des risques liés à l'IA pouvait entraîner des amendes ou des restrictions de licence. Les références réglementaires et les orientations évolutives - par exemple du NIST et des organismes sectoriels - ont été soulignées comme des éléments essentiels à la conception de la gouvernance. Des liens vers des ressources et des analyses telles que les cadres de sécurité de l'IA du NIST permettent d'aligner ces clauses sur les mesures à prendre.
En pratique, les efforts de gouvernance nécessitent également un travail interfonctionnel : les achats, le service juridique, la sécurité et l'ingénierie doivent définir conjointement les contrôles techniques et juridiques acceptables. Des entreprises comme Accenture ont décidé d'acquérir des capacités pour aider leurs clients à gérer la gestion des identités et des accès (par exemple, des acquisitions comme celle d'IAMConcepts rapportée sur la consolidation du marché), ce qui illustre la réponse du marché à la demande en matière de gouvernance. La participation à des événements et à des forums sectoriels, tels que les congrès sur le cyber-agenda et les initiatives communautaires de partage des menaces, facilite l'application des obligations contractuelles, car les normes et les attentes sont plus largement acceptées.
- Institutionnaliser des cycles d'examen des fournisseurs liés à des mesures de concentration.
- Intégrer les artefacts de sécurité requis et les obligations de transparence dans les cahiers des charges.
- Aligner les plans de réponse aux incidents sur les voies d'escalade contractuelles et les stratégies de défense du cloud.
Aperçu : la gouvernance transforme des préoccupations abstraites concernant la concentration des risques liés à l'IA en obligations exécutoires qui réduisent de manière significative l'exposition systémique.
Opérationnaliser les défenses : Playbooks, outils et stratégies des fournisseurs pour réduire la concentration des risques liés à l'IA
Les défenses opérationnelles sont le point de rencontre entre la stratégie et l'exécution. Black Hat 2025 a présenté des outils de fournisseurs, des projets open-source et des playbooks d'équipes bleues que les organisations peuvent appliquer pour réduire la concentration des risques liés à l'IA dans la pratique. Le consensus : mélanger les contrôles techniques, la gouvernance des fournisseurs et la validation continue pour créer des systèmes résilients.
Les technologies qui ont fait surface à plusieurs reprises comprenaient le model-watermarking, les jetons de provenance cryptographiques et le sandboxing des modèles de tiers en cours d'exécution. Les outils permettant d'intégrer les données télémétriques des fournisseurs dans les plateformes existantes (par exemple, en reliant les signaux des modèles aux solutions SIEM telles que celles prises en charge par SentinelOne, Rapid7 ou CrowdStrike) ont été présentés comme une tâche d'intégration essentielle. Les équipes devraient planifier à la fois la prévention et la récupération rapide.
Éléments du cahier des charges et modèles de collaboration avec les fournisseurs
Un guide pratique décrit lors de la conférence comprend les phases suivantes :
- Découverte : analyse et inventaire automatisés de tous les composants d'IA tiers et de leurs dépendances.
- Évaluation : notation de la concentration et hiérarchisation sur la base de modèles d'impact sur l'entreprise.
- Durcissement : déploiement de la redondance, des contrôles d'accès (PAM de type CyberArk pour les informations d'identification du fournisseur) et de l'isolation de l'exécution.
- Validation : tests contradictoires, vérification du filigrane et production de l'ombre.
- Reprise : test des procédures de changement de fournisseur, de restauration des données et des manuels juridiques et de relations publiques.
Les modèles pratiques de collaboration avec les fournisseurs comprennent des projets pilotes multi-fournisseurs et une intégration progressive où les nouveaux services d'IA sont exécutés en parallèle avec les contrôles internes pendant des semaines avant la mise en production complète. Pour les entreprises qui ne peuvent pas accepter la diversité des fournisseurs, la microsegmentation et la journalisation judiciaire stricte sont des exigences minimales.
Des exemples de cas ont mis en évidence la manière dont différentes piles technologiques peuvent être combinées : Check Point et Palo Alto Networks pour la segmentation du réseau, CyberArk pour l'accès privilégié et Microsoft cloud security pour les contrôles d'identité et de charge de travail. Les startups et les acteurs de niche apportent également des capacités spécialisées ; les présentateurs ont mentionné une startup israélienne de cybersécurité qui offre des solutions de provenance de modèles et des capacités de renseignement sur les menaces agentiques signalées dans des articles sur le secteur.
- Élaborer une feuille de route sur la diversité des fournisseurs et mesurer les progrès accomplis par rapport aux paramètres de concentration.
- Exiger des fournisseurs une télémétrie interopérable et une provenance normalisée.
- Maintenir une capacité de substitution rapide dans le cadre du plan de continuité des activités.
Des liens vers des ressources pratiques et des lectures complémentaires ont été partagés lors des sessions, tels que des guides sur la sécurité de l'IA et sur la manière d'appliquer l'analyse prédictive à la prise de décision des fournisseurs. Les lectures recommandées comprennent des conseils opérationnels sur l'IA dans les risques des tiers et des techniques pratiques de renseignement sur les menaces agentiques. Ces ressources aident les équipes à traduire les idées de la conférence en changements programmatiques.
Aperçu : la résilience opérationnelle à la concentration des risques liés à l'IA est obtenue en combinant divers fournisseurs, des exigences contractuelles strictes en matière de télémétrie, et des manuels de validation et de récupération disciplinés.
Notre avis sur l'établissement d'un ordre de priorité des actions visant à atténuer la concentration des risques liés à l'IA
La conférence Black Hat 2025 a confirmé que la concentration des risques liés à l'IA est un défi structurel qui nécessite une action interdisciplinaire. Les mesures les plus efficaces sont pragmatiques : cartographier les dépendances, limiter l'exposition à un fournisseur unique pour les fonctions critiques et exiger une télémétrie exploitable par le biais de contrats. Ces mesures réduisent la fragilité systémique tout en préservant les avantages de l'IA en matière d'innovation.
Les priorités d'action sont simples et mesurables. Tout d'abord, il convient d'inventorier toutes les dépendances à l'IA de tiers et de les classer en fonction de leur impact sur l'entreprise. Deuxièmement, exiger la transparence : provenance du modèle, exportations télémétriques et obligations prédéfinies de réponse aux incidents. Troisièmement, concevoir la redondance là où elle est la plus importante, en utilisant des approches hybrides qui combinent les règles et la ML. Quatrièmement, intégrer ces exigences dans les flux de travail juridiques et d'approvisionnement afin qu'elles fassent partie de l'évaluation normale des fournisseurs.
- Inventaire et notation : rendre la concentration visible et mesurable.
- Télémétrie contractuelle : exiger les artefacts nécessaires à la détection et à la criminalistique.
- Redondance et repli : veiller à ce que les fonctions critiques disposent d'autres voies de contrôle.
- Validation continue : tests contradictoires et surveillance de la production pour détecter les dérives et les empoisonnements.
Des exemples tirés de la conférence illustrent le retour sur ces investissements. Les entreprises qui ont mis en place des systèmes de repli et appliqué des contrôles de provenance ont réduit à la fois l'impact de l'incident et le temps de remédiation. Les écosystèmes de fournisseurs sont complexes, mais la concentration peut être gérée par une gouvernance disciplinée, des changements techniques ciblés et une collaboration avec les fournisseurs.
Pour les praticiens, la conclusion est claire : il faut se concentrer sur des réductions mesurables des pertes attendues en s'attaquant aux vecteurs de concentration qui menacent les processus opérationnels les plus critiques. Ceux qui agissent maintenant réduiront leurs risques d'incidents systémiques dus à des défaillances de l'IA de tiers et seront mieux placés pour se conformer aux nouvelles attentes réglementaires.
Vision : donner la priorité aux actions qui modifient immédiatement les paramètres d'exposition - visibilité, obligations contractuelles et redondance - et surveiller leur effet sur la concentration du risque d'IA au fil du temps.
AskNewt AI Insights 3.0
Sécurité de l'IA et risque de cybersécurité
Startup israélienne de cybersécurité
Congrès sur le cyber-agenda
Socadar Agentic Threat Intelligence
Cadres de sécurité de l'IA du NIST
Accenture acquiert IAMConcepts
IA Cloud Cyberdéfense