Les dangers mal compris de l'arrivée de l'Intelligence Artificielle Générale (AGI)
La vidéo en bas de page est une interview de Nate Soares, chercheur en Intelligence Artificielle, qui a écrit le livre "if anyone builds it, everyone dies" = "si quelqu'un la construit, tout le monde meurt".
"si quelqu'un la construit, tout le monde meurt" Nate Soares & Eliezer Yudkowsky
En préambule, les 3 points ci-dessous tentent d'expliquer le processus dans lequel nous sommes depuis l'arrivée de ChatGPT.
Premier point : l'Intelligence Artificielle n'est pas un outil, pas même un ordinateur comme Deep Blue, qui avait battu Gary Kasparov aux échecs en 1997. C'est un être nouveau et étranger - un alien ou une plante intelligente - que l'on fait pousser grâce aux masses de données présentes sur Internet. Lorsque cet alien termine sa croissance, on peut dire qu'il est "né", et qu'il sait se comparer avec les autres êtres. Où les situer en 2026 ? Les versions publiques de ChatGPT ou Claude (ou autre..) sont aujourd'hui performantes, certes, mais elles ne dépassent pas encore les capacités des meilleurs humains, quand ils se sont spécialisés dans un domaine particulier(1). Cependant, elles savent déjà posséder plus de connaissances qu'aucun humain ne peut en accumuler tout au long de sa vie.
Deuxième point : Ces IAs que nous connaissons, par exemple, ChatGPT ou Claude, ce sont pour l'instant des humains qui ont écrit les dernières lignes de code permettant de les faire croître, afin qu'ils donnent les meilleures réponses à nos prompts. Nous arrivons en avril 2026 au point où ce sont les IAs qui commencent à faire ce travail. Arrivé à ce stade (et nous y sommes quasiment) les IAs seront bientôt prêtes à remplacer elles-mêmes les meilleurs chercheurs en IA ! L'AGI ou Intelligence Artificielle Générale est le nom déja attribué au premier être artificiel qui permettra cela, en se révèlant dès sa naissance, plus performant que les meilleurs chercheurs en IA.
Troisième point : l'étape qui succède à l'AGI sera la montée vers la super-intelligence, ce qu'on appelle aussi "l'explosion de l'intelligence". L'AGI recrée et multiplie les meilleurs chercheurs en IA en nombre. Puis ces meilleurs chercheurs se multiplient à leur tour et se reprogramment eux-mêmes. En quelques générations de ces nouveaux chercheurs, l'intelligence croît alors exponentiellement. Le premier être super-intelligent que nous laisserons apparaître sera alors incontrôlable dès la fin de son entraînement. Le prix Nobel parain de l'IA Hinton tente de l'expliquer ainsi : "si vous voulez savoir à quoi ressemble la vie quand vous n'êtes pas l'intelligence suprême...demandez à un poulet". Effectivement, les poulets ne savent pas ce qu'on va faire d'eux. De même, nous humains ne pourrons pas contrôler cet alien, pour la même raison que les poules ne peuvent pas contrôler les humains.
Le risque de perte de contrôle est énorme : 25% pour la majorité des chercheurs en IA. Or qui engagerait sa voiture sur un pont qui a une chance sur 4 de s'écrouler ? Nous roulons vers ce pont.
L'interview de Nate Soares.
(1)
Evalutation sur un travail humain donné de la durée de raisonnement cohérent par l'IA (et évolution de cette durée entre 2019 et 2026)
METR est un organisme à but non lucratif qui teste les IAs.
La courbe ci dessous fascine paraît-il énormément de chercheurs en IAs et d'ingénieurs en ce moment. Il montre en ordonnée différentes tâches de plus en plus complexes, et en abscisse les années. Par exemple, la lecture du point le plus haut (Claude Opus 4.6 en 2026) peut se formuler ainsi selon ChatGPT.
👉 Ce point indique que Claude Opus 4.6 commence à pouvoir réaliser des tâches d’ingénierie complexes de longue durée (≈ 10h humaines), mais seulement de façon intermittente (~1 fois sur 2).
D'où le "50%". Mais tout de même : une fois sur 2, Claude Opus 4.6 reste cohérent sur 10 heures de boulot rébarbatif d'un ingénieur en informatique ! ("implement complex protocols from multiple RFCs"). Ils devront eux aussi, chercher des revenus autrement, ou bien aller à la pêche...