Le National Institute of Standards and Technology (NIST) a publié un document de réflexion et une proposition de plan d'action qui étendent les contrôles de cybersécurité mis en place de longue date par l'organisme au domaine complexe de l'intelligence artificielle. Cette initiative propose une série de NIST SP 800-53 Control Overlays for Securing AI Systems (en anglais)-une architecture destinée à traduire les pratiques de sécurité établies en contrôles concrets pour les modèles génératifs, l'analyse prédictive et l'IA multi-agents. Les parties prenantes de l'industrie et du gouvernement étant de plus en plus préoccupées par les nouveaux vecteurs d'attaque tels que l'injection rapide, l'empoisonnement de modèles et l'exfiltration de données par le biais d'interfaces d'IA, les superpositions proposées visent à combler les lacunes entre les cadres de gestion des risques et les opérations d'IA dans le monde réel. Les sections suivantes examinent les objectifs de conception, les recommandations de contrôle technique, les implications opérationnelles pour les fournisseurs de cloud et de sécurité, les scénarios adverses représentatifs et le chemin collaboratif vers l'adoption par le biais de canaux de retour d'information publics.
NIST SP 800-53 Control Overlays for Securing AI Systems : Portée et objectifs
Le document de réflexion présente les nouvelles superpositions comme des extensions modulaires de l'infrastructure existante de l'UE. SP 800-53 Cette conception modulaire permet aux organisations de sélectionner les superpositions en fonction des cas d'utilisation de l'IA, comme la génération de contenu, l'aide à la décision ou l'orchestration d'agents autonomes. Cette conception modulaire permet aux organisations de sélectionner des superpositions en fonction des cas d'utilisation de l'IA, tels que la génération de contenu, l'aide à la décision ou l'orchestration d'agents autonomes, tout en préservant les artefacts de conformité plus larges des cadres existants du NIST, tels que la norme AI RMF. Les superpositions sont présentées comme un mécanisme pratique permettant de produire des contrôles de sécurité exploitables que les équipes de développement et les opérations de sécurité peuvent mettre en œuvre tout au long du cycle de vie de l'IA.
Les objectifs des superpositions sont clairement définis :
- Définir des contrôles qui s'attaquent aux surfaces d'attaque spécifiques à l'IA, y compris l'intégrité des données de formation et la surveillance du comportement des modèles.
- Associer les contrôles aux rôles organisationnels - développeurs, ingénieurs de données, opérations informatiques et gestionnaires de risques.
- Permettre aux déploiements "cloud-native" d'intégrer des protections spécifiques à des fournisseurs tels que Google Cloud, Microsoft Azure, et Amazon Web Services.
- Fournir des mesures et des possibilités d'audit pour répondre aux exigences en matière de réglementation et d'approvisionnement.
Les compromis en matière de conception sont reconnus. Une superposition unique qui tenterait d'être universellement prescriptive serait probablement fragile ; au lieu de cela, les superpositions adoptent une approche composable où les contrôles de base portent sur la confidentialité, l'intégrité et la disponibilité, tandis que les contrôles spécialisés portent sur l'intégrité des modèles et la provenance des données. Ce choix tient compte des diverses architectures de déploiement, depuis les moteurs d'inférence sur site jusqu'aux orchestrations hybrides multi-cloud liées aux services de fournisseurs tels que IBM et des partenaires en matière de sécurité gérée.
Cartographier les superpositions en fonction des cas d'utilisation de l'IA
Pour en démontrer l'applicabilité, le document de réflexion propose des groupements superposés pour quatre grands scénarios de déploiement de l'IA :
- IA générative: Pipelines de production de contenu où l'intégrité de la production et le risque de fuite de données sont des préoccupations majeures.
- L'IA prédictive: Systèmes décisionnels utilisés dans les domaines de la finance, des soins de santé ou de la chaîne d'approvisionnement, où les biais du modèle peuvent créer un risque opérationnel.
- Systèmes à agent unique: Modèles autonomes intégrés dans des dispositifs dont les ressources sont limitées ou dont l'observabilité est restreinte.
- Systèmes multi-agents: Orchestration d'agents où les interactions latérales amplifient les risques émergents.
Chaque superposition spécifie également des contrôles orientés vers les développeurs, destinés à être intégrés dans les pipelines CI/CD, tels que le versionnement des ensembles de données, la formation reproductible et le stockage sécurisé des artefacts. Ces contrôles sont associés à des contrôles de surveillance en cours d'exécution pour la détection des anomalies et l'application des politiques. Le cadre fait explicitement référence à la nécessité d'aligner les fournisseurs, en soulignant la façon dont les solutions des fournisseurs de plates-formes de sécurité, à savoirPalo Alto Networks, CrowdStrike, Fortinetet des fournisseurs de télémétrie tels que Trace sombre ou FireEye-peut correspondre à des objectifs de contrôle.
| Type de recouvrement | Objectif principal | Contrôles représentatifs |
|---|---|---|
| IA générative | Prévenir les fuites de données et vérifier la provenance des résultats | Provenance de l'étiquetage des données, filigrane de sortie, authentification de l'utilisateur |
| L'IA prédictive | Garantir l'équité et l'intégrité du modèle pour la prise de décision | Test de biais, attestation de modèle, contrôle des changements |
| Multi-agents | Contrôler les comportements émergents et les risques latéraux | Isolation des agents, contraintes de comportement, gouvernance inter-agents |
Des exemples pratiques illustrent la manière dont les recouvrements se traduisent en tâches organisationnelles. Par exemple, un fournisseur de soins de santé de taille moyenne - appelé ici Medanta AI-La superposition des données sur les soins de santé permettrait d'imposer des points de contrôle des modèles cryptés, des registres de provenance des données pour les données de formation clinique et des contrôles d'accès plus stricts liés aux fournisseurs d'identité. Ces mesures complètent les contrôles de l'informatique en nuage de Microsoft Azure ou Amazon Web Services et s'intègrent à la détection des points d'extrémité par McAfee ou CrowdStrike.
Aperçu principal : Les superpositions donnent la priorité à la modularité pour permettre aux organisations d'appliquer des contrôles précis et réalisables à leurs flux de travail d'IA spécifiques tout en préservant l'alignement sur des lignes de base de sécurité éprouvées.
Contrôles techniques pour l'IA générative et prédictive : orientations pratiques pour les développeurs
L'ossature technique des superpositions se concentre sur les contrôles que les développeurs peuvent incorporer dans le cycle de vie de l'IA. Les contrôles sont organisés en phases de pré-entraînement, d'entraînement, de post-entraînement et d'exécution. Cette perspective du cycle de vie garantit que la sécurité est intégrée depuis l'ingestion des données jusqu'au déploiement et à la mise hors service. L'approche s'aligne sur les pratiques DevSecOps et reconnaît que les artefacts tels que les poids entraînés, les journaux d'inférence et les historiques d'invite nécessitent la même rigueur que les artefacts logiciels traditionnels.
Les contrôles préalables à la formation mettent l'accent sur la provenance et la validation :
- Sécuriser les pipelines d'ingestion avec des contrôles d'intégrité et un hachage cryptographique des ensembles de données.
- Audits d'étiquetage automatisés pour détecter les biais systémiques avant l'apprentissage du modèle.
- Règles de minimisation des données pour réduire l'exposition des attributs sensibles.
Pendant la formation, les contrôles se concentrent sur l'intégrité et la reproductibilité du modèle :
- Formation à la modélisation dans des environnements isolés avec des artefacts de construction signés.
- Détection de l'empoisonnement par validation différentielle et validation croisée sur plusieurs tranches de données.
- Journaux d'expérimentation obligatoires et graines aléatoires reproductibles pour permettre une analyse médico-légale.
Les contrôles post-formation et en cours d'exécution s'attaquent à la dérive et à l'exploitation des modèles :
- Surveillance continue des changements de distribution et des résultats anormaux.
- Assainissement des entrées en cours d'exécution pour atténuer l'injection rapide et les requêtes malveillantes.
- Application d'une politique empêchant l'exfiltration de données privilégiées par le biais de sorties de modèles.
Intégration de la chaîne d'outils du développeur et cartographie des fournisseurs
Les intégrations concrètes réduisent les frictions. Par exemple, la signature d'artefacts peut être mise en œuvre à l'aide de l'attestation binaire et des services de gestion de clés proposés par les principaux fournisseurs de services en nuage. Google Cloud et Microsoft Azure disposent de solutions natives pour les services de calcul confidentiel et de coffre-fort qui peuvent être référencés dans les superpositions. Amazon Web Services fournit des services gérés pour la surveillance des modèles, qui peuvent être mis en correspondance avec les contrôles d'observabilité au moment de l'exécution. Les fournisseurs de sécurité ajoutent des protections en couches : Palo Alto Networks offre une application au niveau du réseau, tandis que la détection au moment de l'exécution par Trace sombre ou les protections des points de terminaison de McAfee et Fortinet peut compléter la télémétrie et la réponse aux incidents.
Des exemples permettent d'étayer les recommandations techniques. Prenons l'exemple d'une entreprise de fintech qui souhaite déployer un modèle de notation prédictive. Les contrôles pourraient nécessiter :
- Instantanés immuables d'ensembles de données avec enregistrement des accès.
- Évaluations automatisées de la partialité et de l'équité exécutées dans le cadre des pipelines de CI.
- Les étranglements d'exécution et les crochets d'explicabilité pour justifier les décisions auprès des auditeurs.
Un autre exemple concerne une plateforme de contenu génératif : les sorties en filigrane et les politiques strictes de traitement des invites réduisent le risque de fuite d'informations sensibles. L'intégration de contrôles statiques dans la couche de traitement des messages empêche que les données soumises par l'utilisateur soient utilisées pour l'entraînement de modèles en aval sans consentement explicite.
Des questions restent en suspens pour les développeurs : comment équilibrer l'inférence sensible à la latence avec des vérifications d'exécution lourdes, et comment mettre en œuvre l'explicabilité dans des dispositifs de périphérie aux ressources limitées. Les choix d'outils et d'orchestration de fournisseurs tels que IBM et les marchés de l'informatique dématérialisée influenceront cet équilibre.
| Phase | Catégorie de contrôle | Action du développeur |
|---|---|---|
| Préformation | Provenance | Hachage des données, catalogage des métadonnées |
| Formation | Intégrité | Points de contrôle signés, journaux d'expérience |
| Temps d'exécution | Surveillance | Télémétrie, détection des anomalies, vérification des entrées |
Aperçu principal : L'intégration de contrôles dans la chaîne d'outils du développeur garantit que les obligations en matière de sécurité sont automatisées et vérifiables, ce qui réduit les erreurs humaines et permet une assurance évolutive.
Opérationnalisation de COSAIS : fournisseurs de services d'informatique dématérialisée, fournisseurs et rôles de l'entreprise
L'adoption opérationnelle des superpositions dépend de la coordination des responsabilités entre les fournisseurs de services en nuage, les fournisseurs de sécurité et les rôles organisationnels internes. Le document de réflexion envisage les superpositions comme des plans de mise en œuvre qui font référence aux capacités offertes par les principaux fournisseurs d'infrastructure et de sécurité. Les fonctions natives de l'informatique en nuage de Amazon Web Services, Google Cloud, et Microsoft Azure sera au cœur de nombreux déploiements, mais les contrôles d'entreprise doivent rester neutres par rapport aux fournisseurs afin d'éviter tout blocage.
Les rôles de l'entreprise doivent être redéfinis pour gérer la sécurité spécifique à l'IA :
- Architecte de la sécurité de l'IALe service d'assistance technique : traduit les superpositions en diagrammes d'architecture et en spécifications d'approvisionnement.
- Responsable des donnéesLa qualité des données, les contrôles d'accès et les politiques de conservation des données sont des éléments qui leur appartiennent.
- Opérations de modélisation (MLOps) l'équipe : met en œuvre des contrôles CI/CD, surveille la dérive du modèle et gère les politiques de retour en arrière.
- Opérations de sécurité (SecOps)Le système de télémétrie des modèles : intègre la télémétrie des modèles avec des fournisseurs de SIEM et d'EDR tels que CrowdStrike et FireEye.
Les relations avec les fournisseurs changent. Les fournisseurs de solutions de sécurité gérées et les MSSP devront faire preuve de compétences spécifiques à l'IA, notamment en matière de détection des attaques ciblées par des modèles et de correction des vulnérabilités des modèles intégrés. Des entreprises comme Palo Alto Networks ont déjà élargi leur portefeuille - voir les nouvelles acquisitions et l'activité de l'écosystème - tandis que les startups se spécialisent dans l'assurance des modèles et la détection des attaques.
Clauses contractuelles et de passation de marchés
Le libellé des marchés publics devrait intégrer les recouvrements par défaut. Les conditions contractuelles recommandées sont les suivantes :
- Obligations de niveau de service pour l'intégrité du modèle et le traitement des données.
- Droits d'audit pour les ensembles de données et les artefacts de modèle.
- Délais de réaction en cas d'incident et accès aux journaux par les services de police scientifique.
Les conseils pratiques pour une équipe d'approvisionnement comprennent la mise en correspondance des contrôles superposés avec les caractéristiques des fournisseurs d'informatique en nuage. Par exemple, les offres d'informatique confidentielle des fournisseurs de services en nuage peuvent être liées à des contrôles exigeant des environnements informatiques qui protègent les poids des modèles pendant la formation. Les intégrations avec les fournisseurs d'identité et l'accès conditionnel des fournisseurs de sécurité garantissent que seuls les acteurs autorisés effectuent des opérations sensibles. Des exemples sur le terrain illustrent ces points : une entreprise de vente au détail qui utilise le Microsoft Azure pour l'inférence, en combinant le calcul confidentiel d'Azure avec les flux SIEM de Fortinet afin de mettre en place une défense multicouche en profondeur.
L'interopérabilité et la gestion des risques de la chaîne d'approvisionnement apparaissent comme des priorités absolues. Les recoupements recommandent d'exiger des fournisseurs qu'ils divulguent la provenance des modèles, les dépendances des tiers et les ensembles de données de formation lorsque cela est possible. Cette recommandation reflète des initiatives plus larges en matière de chaîne d'approvisionnement et s'aligne sur les pratiques évoquées dans les analyses sectorielles des startups de la cybersécurité et des tendances en matière de risques liés aux fournisseurs.
- Liste de contrôle opérationnel pour les chefs d'entreprise :
- Inventaire des actifs de l'IA et cartographie des superpositions.
- Intégrer des contrôles dans les modèles de marchés publics.
- Mettre à jour les plans d'intervention en cas d'incident afin d'y inclure des scénarios de compromission modélisés.
Les mécanismes de collaboration avec les parties prenantes sont essentiels. Le canal Slack du NIST pour les superpositions sert de forum public aux personnes chargées de la mise en œuvre, qui peuvent y partager des playbooks, et il soutient les discussions facilitées avec les chercheurs principaux afin d'affiner les contrôles. Cette transparence renforce l'harmonisation entre les secteurs et réduit la duplication des efforts.
Aperçu principal : L'intégration des contrôles de superposition dans les rôles opérationnels et d'approvisionnement transforme les superpositions d'orientations théoriques en pratiques organisationnelles applicables, en exploitant efficacement les capacités des fournisseurs de services de sécurité et d'informatique en nuage.
Paysage de la menace, études de cas et scénarios adverses pertinents pour COSAIS
La compréhension des scénarios de menace qui ont motivé les superpositions permet de comprendre pourquoi des contrôles spécialisés sont nécessaires. Les principales catégories d'attaques sont les suivantes injection rapideLes attaques les plus courantes sont l'empoisonnement de modèles, l'exfiltration de données par le biais de sorties générées et les entrées adverses qui manipulent le comportement des modèles. Chaque attaque diffère par ses mécanismes techniques et par l'ensemble des contrôles nécessaires pour l'atténuer.
Étude de cas représentative : une plateforme d'assistance à la clientèle utilisant un assistant génératif a involontairement divulgué des informations personnelles de clients après qu'une chaîne d'invite mal définie a permis de concaténer du contenu fourni par l'utilisateur dans des données d'entraînement. L'incident qui en a résulté a nécessité la révocation des points de contrôle du modèle, la notification des parties concernées et une remédiation contractuelle avec un fournisseur d'informatique en nuage. Les superpositions recommandent des mesures d'atténuation directes - filtres de sortie, filigrane et gouvernance des données de formation - afin d'éviter que l'incident ne se reproduise.
- Vecteurs d'attaque courants et solutions d'atténuation :
- Injection d'invites : assainissement des entrées et contextes d'invites contraignants.
- Empoisonnement des modèles : provenance des données et détection des valeurs aberrantes pendant la formation.
- Exfiltration de données : filtres de sortie et contrôles d'accès stricts.
Les exemples adverses méritent une attention particulière. Les attaquants conçoivent des entrées pour exploiter les faiblesses du modèle, en forçant une mauvaise classification ou en provoquant une sortie dangereuse. Les défenses comprennent l'entraînement à l'adversité, l'optimisation robuste et les couches de détection en cours d'exécution qui surveillent les changements soudains dans la distribution des données d'entrée. Ces mesures ne sont pas universelles ; elles nécessitent un réglage minutieux pour éviter les faux positifs dans les environnements de production.
Incidents dans l'industrie et réponses des fournisseurs
Les fournisseurs de sécurité et les fournisseurs de services en nuage ont commencé à formuler des contre-mesures techniques. Par exemple, les leaders de la détection des points d'accès fournissent des données télémétriques qui peuvent être mises en corrélation avec des modèles de journaux afin de mettre en évidence les activités suspectes. Les fournisseurs de solutions de sécurité tels que CrowdStrike et FireEye proposent des playbooks intégrant la télémétrie des modèles dans les flux de travail SOC. Les fournisseurs de services en nuage tels que Google Cloud et Amazon Web Services ont publié des conseils et des caractéristiques de produits pour sécuriser les pipelines de ML ; ces capacités des fournisseurs aident les organisations à faire correspondre les superpositions aux technologies opérationnelles.
Exemple concret d'atténuation : une société de services financiers a intégré un composant de détection des anomalies d'un fournisseur tiers pour surveiller les demandes d'évaluation d'un modèle de crédit. La combinaison de la limitation des taux, de la télémétrie enrichie et du retour en arrière automatique a empêché toute tentative de manipulation des décisions de prêt. Les recouvrements codifient ces défenses en couches et recommandent des champs de télémétrie spécifiques et des politiques de conservation pour soutenir l'analyse post-incident.
Les listes de contrôles recommandés liés aux attaques aident les équipes de sécurité à établir des priorités :
- Priorité élevée : validation des entrées, accès basé sur l'identité et contrôles de l'intégrité des ensembles de données.
- Priorité moyenne : crochets d'explicabilité en cours d'exécution et filigrane de modèle pour la provenance.
- Priorité moindre : outils d'analyse approfondie lorsque les systèmes disposent déjà de solides protections de base.
Aperçu principal : Les superpositions sont ancrées dans un modèle de menace pratique qui associe les attaques à des contrôles réalisables, ce qui permet aux défenseurs d'établir des priorités et de mettre en œuvre des mesures d'atténuation contre les adversaires spécifiques à l'IA.
Contribution de la communauté, feuille de route pour l'adoption et implications politiques pour les entreprises
L'initiative du NIST met l'accent sur le retour d'information de la communauté comme partie intégrante de la finalisation des superpositions. Le canal public Slack et les ateliers prévus permettent aux technologues, aux vendeurs et aux régulateurs de mettre en évidence les contraintes du monde réel et de proposer des améliorations. Ce processus participatif vise à produire des contrôles qui restent rigoureux sur le plan technique et exécutables sur le plan opérationnel.
Le processus d'adoption recommandé par le document de réflexion se déroule en plusieurs phases :
- Sensibilisation et cartographie : les organisations inventorient les ressources d'IA et les mettent en correspondance avec les exigences de superposition.
- Mises en œuvre pilotes : sélection de systèmes représentatifs pour des essais de superposition, mesure des incidences opérationnelles.
- Étendre et soutenir : intégrer les superpositions dans les cycles de politique, d'approvisionnement et d'audit de l'entreprise.
Les implications politiques vont au-delà des entreprises individuelles. Les régulateurs et les autorités sectorielles peuvent faire référence aux recoupements lorsqu'ils élaborent des régimes de conformité, en particulier dans des secteurs critiques tels que la santé et la finance. Par exemple, un fournisseur d'IA dans le domaine de la santé comme Medanta AI trouveraient l'alignement sur les recouvrements essentiel lors des contacts avec les équipes d'approvisionnement des hôpitaux et des contrôles de conformité aux réglementations.
Rapprocher l'expertise de l'industrie et les ressources publiques
Des écosystèmes industriels sont déjà en train de se former. Les fournisseurs de sécurité et les fournisseurs de services en nuage publient des livres blancs et des outils de développement qui correspondent aux recommandations de superposition. Les liens vers des ressources pratiques peuvent accélérer l'adoption : les équipes techniques et d'approvisionnement peuvent consulter des ressources sur les acquisitions des fournisseurs et les tendances en matière de sécurité, telles que la couverture de Acquisitions de Palo Alto Networks ou des discussions sur la cybersécurité de l'IA native dans le nuage à l'adresse suivante AWS generative AI security.
Les liens de référence supplémentaires qui fournissent un contexte plus large comprennent des analyses de la dynamique sectorielle de la cybersécurité et de la gestion des risques liés à l'IA, permettant aux équipes de tirer des enseignements des initiatives adjacentes (Protocoles CISA, l'état des lieux de l'industrie et les perspectives de l'ASRet des discussions sur les marchés publics à l'adresse suivante L'intelligence artificielle au service de la gestion).
- Mesures pratiques pour les dirigeants :
- Rejoignez les forums de discussion publics et le canal du NIST pour faire part de votre expérience en matière de mise en œuvre.
- Donner la priorité aux recouvrements des systèmes à fort impact.
- Collaborer avec les fournisseurs d'informatique en nuage et de sécurité pour la mise en œuvre de contrôles cartographiés.
Enfin, il faut tenir compte de la nécessité d'une coopération et d'une harmonisation internationales. Au fur et à mesure que les overlays sont affinés, l'alignement sur les normes mondiales et les réglementations sectorielles déterminera leur utilité finale. Le modèle collaboratif et itératif choisi par le NIST fait de ces recouvrements un pont durable entre la théorie du risque et la pratique opérationnelle de la sécurité.
Aperçu principal : L'adoption à grande échelle dépendra d'outils pragmatiques, de partenariats avec les fournisseurs et d'un langage clair en matière d'approvisionnement, ce qui rend la contribution de la communauté et les correspondances avec les fournisseurs essentielles pour étendre les superpositions à l'ensemble des secteurs.