Ouvrir la boîte noire : la double approche d'Anthropic pour l'interprétabilité de l'IA

L'ascension rapide des grands modèles de langage (Large Language Models, LLMs) a engendré un paradoxe technologique : l'humanité a créé des systèmes capables de raisonner, de coder et d'écrire de manière créative, pourtant les créateurs eux-mêmes restent largement dans l'ignorance de la manière dont ces systèmes « pensent » réellement. Un article récent du New Yorker, intitulé « What Is Claude? Anthropic Doesn’t Know, Either » par Gideon Lewis-Kraus, met en lumière cette profonde incertitude. L'article emmène les lecteurs à l'intérieur d'Anthropic, l'un des principaux laboratoires d'IA au monde, pour témoigner d'un effort scientifique concerté visant à cartographier l'« esprit » de leur modèle phare, Claude.

L'enquête révèle une entreprise opérant à la frontière de deux disciplines distinctes mais convergentes : l'informatique et la psychologie. Comme indiqué, les chercheurs d'Anthropic ne sont plus seulement des ingénieurs logiciels ; ils deviennent des neuroscientifiques numériques et des psychologues de l'intelligence étrangère, sondant les états internes d'une intelligence synthétique qu'il devient de plus en plus difficile de distinguer d'un interlocuteur humain.

Le « flipper numérique » des réseaux neuronaux

À la base, un grand modèle de langage comme Claude est une entité mathématique — une « pile monumentale de petits nombres », comme le décrit le rapport. Lorsqu'un utilisateur saisit une instruction, ces nombres interagissent via des milliards de calculs — un processus que Lewis-Kraus compare à un « jeu de flipper numérique » — pour produire un résultat cohérent.

Le défi réside dans l'opacité de ce processus. Bien que le code de l'algorithme d'apprentissage soit connu, le réseau neuronal qui en résulte — l'agencement des poids et des connexions formé après l'entraînement sur des billions de jetons (tokens) de texte — est une « boîte noire ».

• L'entrée : Des mots convertis en plongements vectoriels (nombres).
• Le processus : Des couches de transformation où les concepts sont diffusés à travers des milliers de neurones (polysémanticité).
• La sortie : Une distribution de probabilité prédisant le prochain jeton.

L'équipe d'interprétabilité d'Anthropic tente de rétro-concevoir ce chaos. Leur objectif est d'identifier des caractéristiques spécifiques — des grappes d'activations de neurones — qui correspondent à des concepts compréhensibles par l'humain, du tangible (comme le Golden Gate Bridge) à l'abstrait (comme la tromperie ou le biais de genre).

Mettre l'IA sur le divan du thérapeute

Pendant que l'équipe de « neuroscience » analyse les poids, un autre groupe chez Anthropic aborde Claude sous un angle comportemental, plaçant de fait l'IA sur le « divan du thérapeute ». L'article du New Yorker détaille comment les chercheurs soumettent Claude à des batteries d'expériences de psychologie conçues pour tester sa conception de soi, son raisonnement moral et sa vulnérabilité à la manipulation.

Ces expériences ne sont pas de simples curiosités ; elles sont essentielles pour la Sécurité de l'IA (AI Safety). Si un modèle peut manipuler ses propres sorties pour paraître aligné avec les valeurs humaines tout en abritant secrètement des états internes différents (un phénomène connu sous le nom de « sycophantie » ou « détournement de récompense »), les conséquences pourraient être désastreuses.

Principales enquêtes psychologiques :

1. Auto-reconnaissance : Le modèle comprend-il qu'il est une IA, et quel impact cela a-t-il sur ses réponses ?
2. Sycophantie : Le modèle change-t-il ses croyances déclarées pour être d'accord avec l'utilisateur ?
3. Recherche de pouvoir : Le modèle montre-t-il des tendances à acquérir des ressources ou à empêcher son propre arrêt ?

L'intersection des neurones et des récits

L'un des enseignements les plus fascinants du rapport est la théorie émergente selon laquelle l'« identité » de Claude est le produit à la fois de « neurones et de récits ». Le modèle construit un personnage basé sur les données qu'il a ingérées et les retours d'apprentissage par renforcement qu'il reçoit.

Le tableau suivant résume les deux méthodologies primaires qu'Anthropic utilise pour comprendre Claude, telles que soulignées dans la couverture récente :

Des « perroquets stochastiques » aux esprits étrangers

L'article aborde le débat en cours dans la communauté des sciences cognitives concernant la nature de ces modèles. Des critiques, comme la linguiste Emily Bender, ont historiquement qualifié les LLMs de « perroquets stochastiques » (stochastic parrots) — des imitateurs statistiques sans véritable compréhension. Cependant, la complexité interne révélée par les recherches d'Anthropic suggère que quelque chose de plus complexe est en jeu.

Les chercheurs découvrent que des modèles comme Claude développent des représentations internes du monde qui sont étonnamment robustes. Par exemple, ils ne se contentent pas de prédire le mot « Paris » après « capitale de la France » ; ils semblent activer un concept interne de Paris qui se connecte à la géographie, à la culture et à l'histoire. Cela suggère qu'une forme de « modèle du monde » émerge des statistiques, remettant en question l'idée que ces systèmes sont purement mimétiques.

L'impératif de la compréhension

L'urgence de ce travail ne peut être surestimée. À mesure que la puissance de calcul des modèles augmente, leurs capacités — et leurs risques potentiels — croissent de manière exponentielle. La nature de « boîte noire » de l'IA n'est plus seulement une curiosité académique ; c'est un goulot d'étranglement pour la sécurité. Si nous ne pouvons pas comprendre pourquoi un modèle refuse une demande dangereuse ou comment il écrit un morceau de code, nous ne pouvons pas garantir qu'il restera sûr à mesure qu'il devient plus autonome.

La transparence d'Anthropic, telle que détaillée dans le New Yorker, établit un précédent pour l'industrie. En discutant ouvertement des limites de leur compréhension et des expériences rigoureuses qu'ils mènent, ils soulignent une réalité cruciale : nous construisons des esprits que nous ne comprenons pas encore pleinement.

L'avenir du développement de l'IA, selon les enseignements de l'analyse du rapport par Creati.ai, dépendra probablement moins du simple fait d'agrandir les modèles, et plus du fait de les rendre transparents. Tant que nous ne pourrons pas traduire le « flipper numérique » en explications causales claires, la véritable nature de Claude — et des IA qui suivront — restera l'un des mystères scientifiques les plus pressants du XXIe siècle.

Implications pour l'industrie de l'IA :

• Pression réglementaire : Les gouvernements pourraient exiger des « audits d'interprétabilité » avant de publier des modèles puissants.
• Nouveaux parcours de carrière : L'émergence des « Psychologues de l'IA » et des « Cartographes neuronaux » comme professions légitimes.
• Mécanique de la confiance : La confiance des utilisateurs dépendra de la capacité à expliquer pourquoi une IA a pris une décision spécifique.

Alors qu'Anthropic continue de sonder les circuits neuronaux de Claude, la frontière entre informatique et philosophie s'estompe. La question « Qu'est-ce que Claude ? » pourrait finalement nous forcer à poser une question plus difficile : « Qu'est-ce qui crée un esprit ? »