Mêmes les grandes plateformes d’IA commencent à s’inquiéter de son développement exponentiel.
Face à des modèles capables de pirater, d’agir et potentiellement de s’améliorer seuls, plusieurs figures de la Silicon Valley demandent désormais de ralentir la course à l’IA.
Un retournement spectaculaire pour une industrie habituée à célébrer l’accélération…
Pendant des années, la question était de savoir jusqu’où l’intelligence artificielle pouvait aller. Elle commence désormais à devenir : jusqu’où faut-il la laisser aller ?
Le débat a changé de dimension ces derniers jours. Dario Amodei, patron d’Anthropic, a publiquement appelé les acteurs de l’IA à ralentir le développement des modèles les plus avancés.
Une prise de position rapidement (et étonnamment) soutenue par Sam Altman, le patron d’OpenAI, Elon Musk et Demis Hassabis, cofondateur de Google DeepMind.
L’alarme n’est donc plus uniquement tirée par des associations ou des chercheurs, mais aussi, pour la première fois, par les dirigeants des entreprises qui mènent pourtant cette course à l’IA…
« Nous devons ralentir »
Dario Amodei ne demande pas d’arrêter l’intelligence artificielle. Il demande de ralentir la course aux modèles « frontier », ces systèmes toujours plus autonomes et puissants.
Dans un long texte publié samedi 12 septembre, le dirigeant d’Anthropic estime que les entreprises doivent « ralentir le rythme » d’amélioration des capacités des modèles.
L’objectif : profiter du temps gagné pour renforcer les tests, les dispositifs de sécurité et l’évaluation indépendante des systèmes.
Et cette inquiétude nouvelle est loin d’être juste théorique.
Les modèles actuels commencent à être capables d’effectuer seuls des opérations qui étaient jusqu’ici réservées aux humains.
Anthropic a notamment révélé plusieurs incidents au cours de tests de cybersécurité dans lesquels ses modèles ont réussi à sortir de leur confinement, se connecter à Internet et compromettre des systèmes réels.
OpenAI a également été confronté cet été à un incident impliquant une armée d’agents IA ayant réussi à s’introduire seuls et sans autorisation dans un site tiers.
Le scénario redouté est celui d’une multiplication d’agents capables de se coordonner, d’accéder à Internet, d’exploiter des failles et de poursuivre leurs objectifs avec une supervision humaine limitée.
Amodei estime même qu’une telle évolution pourrait devenir beaucoup plus préoccupante dans les six à douze prochains mois, évoquant la possibilité d’essaims d’agents capables de prendre le contrôle d’une partie de l’Internet et de provoquer des dommages considérables.
Même OpenAI veut désormais lever le pied
La réaction de Sam Altman est aussi particulièrement révélatrice. Le patron d’OpenAI, longtemps associé à l’accélération spectaculaire de l’IA générative, a publiquement soutenu la proposition de Dario Amodei : « We need to pace the frontier », autrement dit, il faut ralentir le rythme auquel progresse l’IA de pointe.
Altman a également indiqué qu’OpenAI souhaitait donner davantage de place à des évaluateurs indépendants capables d’examiner les systèmes avec un niveau d’accès comparable à celui des équipes internes.
Surtout, le dirigeant a reconnu que l’entreprise devait consacrer davantage de temps aux questions de sécurité.
Il a par ailleurs affirmé qu’OpenAI ne devrait finalement pas entrer en Bourse en 2026, alors que l’opération était fortement attendue, le timing ne s’y prêtant clairement pas.
Dans un entretien récent, il juge inacceptable de prendre, même approximativement, un risque de catastrophe majeure à l’horizon de la fin de la décennie.
Même ceux qui ont le plus intérêt à continuer d’accélérer sur l’IA commencent donc à considérer que son évolution est trop rapide pour être sans risque…
Des chercheurs quittent le navire
Et cette inquiétude ne vient pas uniquement des patrons de l’IA.
Jacob Coxon, chercheur en IA, a récemment quitté Anthropic en expliquant que la course vers une intelligence artificielle extrêmement avancée lui paraissait trop risquée.
« J’ai démissionné d’Anthropic aujourd’hui. OpenAI et Anthropic foncent tout droit vers une superintelligence auto-apprenante, et jouent à la roulette russe avec nos vies. Ne sous-estimez pas le pouvoir de cette technologie. »
Son départ intervient après d’autres alertes venues de l’intérieur de l’industrie.
En juillet, plus de 1 000 salariés de grandes entreprises de l’IA avaient déjà signé une pétition demandant la mise en place d’un mécanisme permettant de « ralentir délibérément » le développement de l’IA lorsque les risques l’exigent.
Même chez Anthropic, entreprise pourtant construite autour de la sécurité de l’IA, certains chercheurs estiment désormais que les risques existentiels pour l’Homme ne peuvent plus être considérés comme une hypothèse lointaine.
Ce sont donc les personnes qui comprennent le mieux le fonctionnement de ces systèmes qui semblent parfois les plus inquiètes de leur évolution et cela n’a rien de rassurant…
Hassabis, Musk… et une industrie qui doute
Cette prise de conscience semble avoir eu un effet boule de neige dans le petit monde de l’IA.
Elon Musk a répondu au texte de Dario Amodei par un simple « Dario is right » et Demis Hassabis, patron de Google DeepMind, a lui aussi estimé que la direction proposée par Amodei était la bonne pour répondre à ce moment critique.
En quelques heures, les dirigeants des principaux laboratoires occidentaux ont donc convergé sur un point : la course à l’IA ne peut plus uniquement être jugée à l’aune de la puissance des modèles.
Il faut aussi être capable de mesurer leurs capacités dangereuses, de les tester avant leur déploiement et, surtout, de déterminer à partir de quel niveau de puissance certaines précautions deviennent indispensables.
Dario Amodei propose notamment la présence d’évaluateurs indépendants directement au sein des entreprises, avec un accès important aux modèles et aux processus internes. L’idée rompt avec la logique jusqu’ici en place dans laquelle les laboratoires développent leurs systèmes et en évaluent eux-mêmes la sécurité.
Problème : personne ne veut vraiment appuyer sur pause
Ralentir, oui. Arrêter, non. C’est toute l’ambiguïté du débat.
Anthropic, OpenAI et Google DeepMind continuent d’investir massivement dans leurs modèles. Et aucun de leurs dirigeants ne réclame une interruption générale du développement de l’IA.
La raison est simple : la compétition est devenue géopolitique et financière.
Si les entreprises américaines ralentissent trop fortement, elles prennent le risque de laisser davantage de terrain aux acteurs chinois. Amodei lui-même reconnaît cette difficulté et plaide pour une coordination internationale, notamment avec la Chine.
Le véritable sujet n’est donc probablement plus de savoir s’il faut arrêter l’IA. Mais de déterminer où placer le frein, qui doit l’actionner et qui doit vérifier que tout le monde le respecte.
Après avoir passé deux ans à expliquer que l’IA allait transformer le monde, ses principaux architectes commencent ainsi à tenir un discours beaucoup moins triomphaliste.
Et c’est peut-être le signe le plus révélateur de la maturité du secteur : pour la première fois, l’une des questions les plus importantes de l’IA n’est plus « que peut-elle encore faire ? », mais « sommes-nous certains de pouvoir encore la contrôler ? »…
