Lettre ouverte d'Anthropic : le faux Sam Altman, maître du PUA

Je souhaite clarifier très clairement les informations actuellement diffusées par OpenAI, ainsi que leurs aspects hypocrites. C’est leur véritable manière d’agir, et j’espère que tout le monde pourra en prendre conscience.

Bien que nous ayons encore beaucoup d’incertitudes concernant leur contrat avec le Département de la Défense (DoD) — peut-être même qu’eux-mêmes ne le savent pas complètement, car les clauses sont probablement très floues — il y a certains points certains : d’après les descriptions publiques de Sam Altman et du DoD (bien qu’il faille encore voir le texte du contrat pour en être sûr), leur mode de collaboration serait à peu près le suivant : le modèle lui-même n’a aucune restriction légale d’utilisation, c’est-à-dire « toutes les utilisations légales » ; en plus, ils mettent en place une couche dite de « sécurité ». À mon avis, cette « couche de sécurité » est essentiellement un mécanisme de refus du modèle, destiné à empêcher le modèle d’accomplir certaines tâches ou de participer à certains usages.

Cette « couche de sécurité » pourrait aussi désigner une solution que nos partenaires (par exemple Palantir, qui collabore avec Anthropic pour servir le gouvernement américain) essaient de nous vendre lors des négociations. Ils proposent un classificateur ou un système d’apprentissage automatique, prétendant qu’il permettrait certains usages tout en en bloquant d’autres. De plus, il semble qu’OpenAI fasse superviser l’utilisation du modèle par des employés (FDE, c’est-à-dire des ingénieurs déployés en première ligne), pour éviter des usages inappropriés.

Notre jugement global est : ces solutions ne sont pas totalement inefficaces, mais dans le contexte militaire, elles sont à peu près 20 % de véritable protection, 80 % de simple « spectacle de sécurité ».

Le problème principal réside dans le fait que l’utilisation du modèle pour la surveillance de masse ou pour des systèmes d’armes entièrement autonomes dépend souvent d’un contexte plus large. Le modèle lui-même ignore dans quel système il se trouve, il ne sait pas si une « boucle humaine » est impliquée (human-in-the-loop, c’est-à-dire la question cruciale des armes autonomes) ; il ignore aussi la provenance des données qu’il analyse. Par exemple, s’agit-il de données américaines ou étrangères, de données fournies par des entreprises après consentement des utilisateurs, ou achetées par des moyens gris ?

Les professionnels de la sécurité savent depuis longtemps que ces mécanismes de refus ne sont pas fiables. Les attaques par « jailbreaking » sont très courantes : il suffit souvent de mentir sur la nature des données pour contourner ces restrictions.

Il y a aussi une différence essentielle qui complique encore plus la sécurité : il est souvent possible de détecter si un modèle mène une attaque cybernétique en observant ses entrées et sorties ; mais distinguer la nature de l’attaque et le contexte précis est une toute autre affaire — et c’est précisément cette capacité de jugement qui est requise ici. Dans de nombreux cas, cette tâche est extrêmement difficile, voire impossible.

La situation avec la « couche de sécurité » que nous propose Palantir (je pense qu’ils ont aussi proposé une solution similaire à OpenAI) est encore pire. Notre évaluation est que c’est presque entièrement une mise en scène de sécurité.

La logique de Palantir semble être la suivante : « Il se peut qu’il y ait des employés mécontents dans votre entreprise, vous avez besoin de leur donner quelque chose pour les apaiser, ou pour rendre ce qui se passe invisible pour eux. C’est précisément ce que nous proposons. »

Quant à faire superviser directement par des employés d’Anthropic ou d’OpenAI le déploiement du modèle, nous en avons discuté il y a quelques mois lors de l’élaboration d’une politique d’utilisation acceptable (AUP) dans un environnement sécurisé. La conclusion est très claire : cette méthode n’est viable que dans de très rares cas. Nous ferons de notre mieux, mais ce n’est pas une garantie fiable, surtout dans un environnement confidentiel. Pour info, nous faisons déjà tout notre possible dans ce sens, et nous ne sommes pas différents d’OpenAI à cet égard.

Donc, je tiens à dire que : les mesures prises par OpenAI ne résolvent fondamentalement pas le problème.

La différence essentielle, c’est que leur priorité est de rassurer leurs employés, alors que la nôtre est de prévenir les abus.

Ces solutions ne sont pas totalement inutiles, nous en utilisons aussi une partie, mais elles sont loin d’atteindre les standards de sécurité requis. Par ailleurs, le Département de la Défense ne traite pas OpenAI et nous de la même manière.

En réalité, nous avions tenté d’insérer dans le contrat des clauses de sécurité similaires à celles d’OpenAI (en complément de l’AUP, que nous considérons comme plus important), mais le DoD a refusé. La preuve est dans la chaîne de mails de discussion à l’époque. Étant donné que je suis très occupé, mes collègues devront peut-être rechercher les formulations exactes plus tard. Donc, dire que « l’accord d’OpenAI nous a été proposé puis rejeté » n’est pas tout à fait exact ; de même, dire que « les clauses d’OpenAI peuvent efficacement empêcher la surveillance de masse nationale ou les armes autonomes » ne l’est pas non plus.

De plus, la communication de Sam et d’OpenAI laisse entendre que notre ligne rouge — armes entièrement autonomes et surveillance de masse nationale — est déjà une infraction, et que leur politique d’utilisation est donc superflue. Cette déclaration est presque identique à celle du DoD, ce qui donne l’impression d’une coordination préalable.

Mais ce n’est pas la réalité.

Comme nous l’avons expliqué dans notre déclaration d’hier, le DoD dispose effectivement de l’autorisation de faire de la surveillance intérieure. Avant l’ère de l’IA, ces pouvoirs avaient un impact limité, mais à l’ère de l’IA, leur portée a complètement changé.

Par exemple : le DoD peut légalement acheter en masse des données privées de citoyens américains auprès de fournisseurs (souvent via des clauses de consentement implicites ou dissimulées), puis utiliser l’IA pour analyser ces données à grande échelle, pour établir des profils citoyens, évaluer leurs tendances politiques, suivre leurs déplacements dans l’espace réel, y compris des données GPS, etc.

Un autre point important : lors des négociations, à la fin, le DoD a proposé que si nous supprimions une clause concernant « l’analyse de données acquises en masse », il accepterait toutes nos autres clauses. Or cette clause est précisément la seule qui correspondait à nos préoccupations principales. Nous avons trouvé cela très suspect.

Concernant la question des armes autonomes, le DoD affirme que « l’humain doit être dans la boucle » — mais ce n’est pas vrai. Il s’agit en réalité d’une politique du Pentagone sous l’administration Biden, qui exige que la décision de tirer une arme implique une participation humaine. Or cette politique peut être modifiée unilatéralement par le ministre de la Défense actuel, Pete Hegseth — c’est là où se trouve notre vrai souci. Donc, d’un point de vue pratique, ce n’est pas une contrainte réelle.

Les nombreuses déclarations publiques d’OpenAI et du DoD à ce sujet sont soit mensongères, soit volontairement confuses. Ces faits révèlent un mode de comportement que j’ai déjà observé chez Sam Altman à plusieurs reprises. J’espère que tout le monde pourra le reconnaître.

Ce matin, il a d’abord déclaré qu’il partageait la ligne rouge d’Anthropic, dans le but de donner l’impression de soutenir notre position, pour emporter une part du mérite, tout en évitant la critique lors de leur prise en main du contrat. Il a aussi tenté de se présenter comme un « bâtisseur d’uniformité dans l’industrie » — un médiateur pour établir des standards communs.

Mais en coulisses, il signe des contrats avec le DoD, prêt à nous remplacer dès que nous serons considérés comme un risque dans la chaîne d’approvisionnement.

Il doit aussi s’assurer que tout cela ne donne pas l’impression que « dans Anthropic, ils tiennent leur ligne rouge, alors qu’OpenAI abandonne ses principes ». La raison pour laquelle il peut faire cela, c’est que :

Premièrement, il peut signer toutes les mesures de « spectacle de sécurité » que nous refusons, et le DoD ainsi que ses partenaires acceptent de coopérer, en emballant ces mesures de façon suffisamment crédible pour rassurer ses employés.

Deuxièmement, le DoD accepte certaines clauses qu’il avait initialement refusées, alors que nous avions proposé les mêmes.

Ce double jeu permet à OpenAI de conclure un accord alors que nous ne pouvons pas.

Les véritables raisons pour lesquelles le DoD et l’administration Trump n’aiment pas notre position sont : nous n’avons pas fait de dons politiques à Trump (alors qu’OpenAI et Greg Brockman en ont fait beaucoup) ; nous n’avons pas loué Trump de façon dictatoriale (alors que Sam l’a fait) ; nous soutenons la régulation de l’IA, ce qui va à l’encontre de leur agenda politique ; nous disons la vérité sur plusieurs questions de politique IA (par exemple, sur le remplacement de l’emploi par l’IA) ; et surtout, nous avons respecté nos lignes rouges, plutôt que de faire semblant de sécurité pour apaiser les employés.

Sam essaie maintenant de tout présenter comme : une difficulté à coopérer, une attitude ferme, un manque de flexibilité — je veux que tout le monde comprenne qu’il s’agit là d’un classique cas de gaslighting.

L’expression vague « difficile à collaborer » est souvent utilisée pour dissimuler les vraies raisons — que j’ai déjà mentionnées : dons politiques, loyauté politique, et mise en scène de sécurité.

Chacun doit en prendre conscience, et lors de discussions privées avec des employés d’OpenAI, il est crucial de contrer cette narration.

En d’autres termes, Sam agit en prétendant « soutenir notre position » pour affaiblir la nôtre. Je souhaite que tout le monde reste lucide : en affaiblissant le soutien public à notre égard, il facilite la répression gouvernementale contre nous. Je suspecte même qu’il pourrait, dans l’ombre, encourager cette dynamique, même si je n’ai pas de preuve directe pour le moment.

Sur le plan public et médiatique, cette rhétorique semble avoir perdu de son efficacité. La majorité pense que la transaction entre OpenAI et le DoD est préoccupante, voire inquiétante, et nous voit comme la partie qui tient bon (au passage, nous sommes maintenant deuxième dans le classement des téléchargements sur l’App Store).

[Note : par la suite, Claude a atteint la première place de l’App Store.]

Bien sûr, cette narration a fonctionné auprès de certains idiots sur Twitter, mais cela n’a pas d’importance. Ce qui m’inquiète vraiment, c’est de s’assurer qu’elle n’influence pas les employés d’OpenAI.

En raison de l’effet de sélection, ils sont déjà une population relativement facile à convaincre. Mais il reste crucial de contrer cette narration que Sam tente de leur vendre.