Sécurité, Constitutional AI et politique d'usage responsable

Anthropic à développé une approche d'entrainement appelée Constitutional AI, ou le modèle apprend à évaluer et corriger ses propres réponses au regard d'un ensemble explicite de principes, une forme de constitution, plutôt que de reposer uniquement sur un volume massif de retours humains directs sur chaque réponse individuelle. L'idée est de rendre le comportement du modèle plus previsible et plus facile à faire évoluer, en explicitant les valeurs recherchées plutôt qu'en les laissant implicites dans des données d'entrainement.

Pour un candidat à la certification, l'element important à retenir n'est pas le detail technique de la methode, mais le fait qu'Anthropic met en avant une approche de sécurité intégrée des l'entrainement du modèle, plutôt que geree uniquement à posteriori via des filtres externes.

Avant la mise à disposition d'un modèle, Anthropic et des equipes externes mènent des campagnes de red teaming : des tests adversariaux ou des experts cherchent volontairement à faire produire au modèle des sorties dangereuses, biaisées ou non conformes, afin d'identifier les faiblesses avant un déploiement à grande échelle. Ces tests couvrent des domaines variés, allant de la génération de contenu dangereux à la manipulation ou au contournement des instructions système par des utilisateurs malveillants.

Les enseignements de ces campagnes alimentent les ajustements ultérieurs du modèle et des mécanismes de sécurité au niveau de la plateforme. Une entreprise qui déploie Claude dans un produit peut s'inspirer de la même logique en menant ses propres tests adversariaux sur son cas d'usage specifique avant une mise en production.

L'Usage Policy publiee par Anthropic définit les utilisations autorisées et explicitement interdites de ses modèles, qu'il s'agisse d'un usage via claude.ai ou via l'API. Elle couvre par exemple l'interdiction de générer du contenu visant à nuire à des personnes, de contourner des mesures de sécurité critiques, ou d'utiliser le modèle dans des contextes à haut risque sans supervision humaine appropriée, comme certaines decisions médicales ou juridiques automatisées.

Tout développeur intégrant l'API Claude dans une application est responsable du respect de cette politique pour son propre cas d'usage, y compris lorsque ce sont les utilisateurs finaux de l'application qui interagissent indirectement avec le modèle. Ignorer cette responsabilité expose non seulement à un risque de suspension d'acces à l'API, mais aussi à un risque réputationnel et légal pour l'entreprise déployant l'application.

Lorsque Claude estime qu'une demande viole ses principes de sécurité, la réponse peut se terminer avec un stop_reason à la valeur refusal, accompagné d'informations structurees permettant de comprendre la categorie du refus. Une application bien conçue vérifié ce champ avant de traiter la réponse comme une sortie normale, et adapte le message affiché à l'utilisateur final plutôt que de considerer ce refus comme une erreur technique à retenter en boucle.

Independamment des refus explicites, tout grand modèle de langage, y compris Claude, peut produire des hallucinations : des affirmations énoncées avec assurance mais incorrectes. Pour limiter ce risque sur des cas d'usage à fort enjeu, les bonnes pratiques consistent à ancrer les réponses dans des documents vérifiés fournis en contexte, à demander des citations vérifiables lorsque c'est pertinent, et à maintenir une supervision humaine sur les decisions critiques plutôt que de presenter la sortie du modèle comme une vérité absolue.