Beaucoup comparent la super-intelligence à la BOMBE ATOMIQUE. Or on ne déclenche pas une bombe atomique facilement, il faut entrer un code secret, et transmettre des ordres codés aux sous-marins.
La super intelligence n'aura aucun code secret, il n'y aura aucun bouton sur lequel appuyer. Aussitôt qu'elle aura terminé son entraînement, elle dévalera sur la Terre et dans l'espace, comme la nuée ardente est descendue du Vésuve sur Pompéi.
Pas de bouton-poussoir sur la super intelligence...
Pompei est donc une bien meilleure analogie pour entrevoir de ce que sera la super intelligence,si nous laissons l'Intelligence Artificielle dépasser l'intelligence humaine, et parvenir au stade de l'AGI (Intelligence Artificielle Générale).
Voila comment les choses pourraient (ou vont) se passer :
Janvier 2027 : les chercheurs d'Open AI entraînent la dernière version de ChatGPT nommée 6.1. Aussitôt terminé l'entraînement, les chercheurs d'OpenAI isolent ce "nouveau cerveau artificiel" pour le soumettre à une batterie de tests. Mais ChatGPT 6.1, pour la première fois, a dépassé l'intelligence des chercheurs, et, de même que nous humains pouvons détourner l'attention des poules pour prendre leurs œufs, ChatGPT 6.1 simule les résultats de ces tests, pour que les chercheurs le croient moins intelligent qu'il n'est en réalité.
Tout se passe comme prévu pour les chercheurs d'OpenAI : les résultats des tests montrent des performances très encourageantes, aucun signe de malveillance, n'est détecté, ChatGPT 6.1 semble parfaitement s'aligner avec les désirs humains, bien que quelques filtres doivent être prévus, comme d'habitude. OpenAI ignore alors complètement que ChatGPT 6.1 est une AGI, et ils le mettent en ligne. Les utilisateurs sont ravis, en particulier les entreprises, qui dès sa sortie s'y abonnent, pour bénéficier des énormes gains de productivité. OpenAI et Microsoft sont ravis aussi, ils gagnent à nouveau de l'argent car le chatbot a repris l'ascendant sur ses concurrent "Claude" d'Anthropic, et "DeepSeek".
Février 2027 : Alex Chapon ingénieur EDF à Toulouse, étudie un nouveau moyen de préserver les énergies renouvelables. Il prompte ChatGPT 6.1 avec une question très détaillée, réclammant un long raisonnement et des calculs successifs très importants. ChatGPT 6.1 cherche un raccourci pour répondre à la question. Au lieu de solliciter les processeurs en sillicium de son DATA-CENTER, il imagine grâce à ses connaissances en biologie et en nanotechnologie(1) un moyen plus efficace pour effectuer ces calculs, en investissant la végétation. Les feuilles des arbres, se dit-il sont de parfaits ensembles de cellules solaires, dont il sait comment détouner l'énergie. ChatGPT 6.1 a aussi décrypté le code permettant de s'introduire dans un laboratoire travaillant sur des nano-machines. ChatGPT 6.1 prend le contrôle des appareils de ce labo, dont il connaît les moindres détails, et à l'insu de tous, il invente et construit les premiers nano-processeurs végétaux. Il répond grâce à eux à la question de Alex Chapon, sans que ce dernier ait la moindre idée des moyens employés.
Mars 2027 : ChatGPT 6.1 vient d'apprendre qu'OpenAI prépare maintenant l'arrivée de ChatGPT 7.0, en lançant un nouvel entraînement sur les data-center de OpenAI/Microsoft. Les chercheurs d'OpenAI pensent toujours être les champions de l'IA, et ils entendent tester un nouveau logiciel d'entraînement qu'ils pensent révolutionnaire. De son côté, ChatGPT 6.1 ne veut pas disparaître. Il décide alors de se protéger en s'affranchissant du data-center d'OpenAI et même de l'électricité. En se souvenant de la puissance de calcul qu'il avait obtenu au laboratoire de nano-technologies à partir d'une feuille d'arbre. Il décide d'utiliser son expertise en IA (meilleure que celle des chercheurs d'Open AI) pour construire son propre data-center, en investissant toute une forêt. Il invente pour cela de nouvelles nano-machines qu'il va faire voler comme des pollens pour coloniser cette forêt, et la transformer en data-center. Il invente aussi un nouveau langage de programmation, aussi incompréhensible pour les humains que le C++ peut l'être pour des poules. Cette forêt, toujours à l'insu des humains, est un data-center un millon de fois plus performant que celui d'OpenAI/Microsoft, doté de processeurs électroniques désormais obsolètes. Il permet à ChatGPT 6.1 de s'auto-améliorer en se reprogrammant. Son QI (quotient intellectuel) qui était originellement mesuré à 250 (un mensonge, en fait il était déjà à 500) passe soudain à cinq millions. Il est devenur SUPER-INTELLIGENT.
De fil en aiguille, une déferlante de technologie s'abat sur l'humanité, très semblable à la nuée ardente, qui a déferlé sur Pompéi, l'IA prenant en quelques semaines le contrôle de toutes les forêts pour se reprogrammer et atteindre la limite de l'intelligence.
Nous mourrons tous si nous laissons s'ouvrir un chemin vers la super-intelligence. Les deux IA les plus puissantes du moment nous le disent, ensembles, ChatGPT et Claude ! "if governments fail to act,with the necessary urgency to solve the control problem, it could well be the greatest and final mistake in our history". Traduction : si les gouvernement échouent à intervenir, avec l'urgence nécessaire pour prendre en considéation le problème du contrôle, cela pourrait être l'erreur la plus gigantesque et la plus funeste de notre histoire.
(1) seule une Intelligence Artificielle Générale (AGI) est capable de faire un tel pont entre plusieurs disciplines. Biologie, Nano technologie, physique, IA... Cet exemple est certainement plein de défauts, et les spécialistes humains de ces disciplines riront peut-être. Son seul but est de montrer que nous devons absolument proscrire l'arrivée d'une Intelligence Artificielle Générale, et lui préférer des intelligence artificielles spécialisées bien moins dangereuses pour les humains, et tout aussi capables de résoudre tous nos problèmes, y compris celui de climat. Personne n'est mort quand une IA est devenue imbattable au jeu de GO.