findutravail.net

Mais qui sont ces experts invités sur France Inter, qui semblent ne pas comprendre ce que sera la super-intelligence, ni pourquoi elle mettrait fin à l'expérience humaine ?

Vincent de Blois le 18 septembre 2026, complété le 19

L'imminence de la super-intelligence, et de la perte de contrôle par les humains
voir en grand dans un nouvel onglet.

Pendant toute l'émission "le téléphone sonne" hier soir consacrée à l'Intelligence Artificielle, il a été question de "contrôler l'IA", d' "installer des garde-fous à l'IA", de "repérer quand l'IA ment", de "l'alignement de l'IA française", "d'ouvrir le capot de l'IA pour la mettre aux normes", d'un "tiers de confiance pour contrôler l'IA", "de contrôler, puis de décider ce qui est acceptable ou non", ou encore "qu'il faut des modèles d'IA pour surveiller des modèles d'IA"...

Sur les 3 "experts" consultés par Fabienne Sintès pendant l'émission, pas un ne semble avoir compris le danger de la super-intelligence. Une IA super-intelligente, serait incontrôlable dès la fin de son entraînement. Il n'y aura pas, comme sur une bombe atomique, de bouton poussoir pour déclencher l'explosion. Le bouton poussoir en question ici, sera celui qui lancera l'entraînement. Il ne faut pas confondre, comme ces experts, le filtrage des réponses de l'IA en sortie de ce cerveau artificiel, avec l' "alignement" de ce cerveau, qui consisterait - à condition que ce soit possible - à empêcher qu'il ait de mauvaises idées. Autrement dit que ce cerveau soit "aligné" de façon native à nos standards moraux...

Comparons avec un cerveau humain. Un humain peut avoir des idées de meurtre, mais s'il est "aligné" par des règles morales (tu ne tueras point), un interdit se dresse immédiatement à sa conscience, et le meurtre n'a pas lieu. C'est très différent d'un cerveau qui serait "contrôlé uniquement en sortie", car ce dernier pourrait poursuivre cette idée de meurtre sans n'en rien laisser paraître. C'est le cas par exemple des pervers : ils savent qu'ils poursuivent des buts moralement condamnables, mais ils contrôlent la sortie...ils ne le crient pas généralement sur les toits !

De même, si un être super-intelligent voit le jour, il pourrait poursuivre des buts qui seraient contraires à l'intérêt de l'Humanité sans nous le faire savoir, ce qui risque fort de mener à notre extinction, ou à une souffrance éternelle des humains. Le parain de l'IA Geoffrey Hinton ⁽³⁾ l'a formulé en une phrase pour nous en avertir : "si vous voulez savoir ce que c'est que de ne plus être au sommet de l'intelligence, demandez à une poule !".

Développons donc cette expérience de pensée du parain de l'IA, puisque de toute évidence ces "experts" sont un peu perdus !

Imaginez un monde dépourvu d'humains, uniquement habité par des poules
Imaginez qu'une de ces poules appuie sur un bouton, et que ce bouton fasse naître un humain adulte ⁽¹⁾

Ces poules pourraient-elles s'assurer que l'humain ne prenne pas leurs œufs ?
("tiens je te donne du grain là derrière cet arbre, et pendant que tu picores, je te pique tes œufs ni vu ni connu !")

Poursuivons cette expérience de pensée...

Supposons que cet humain aime uniquement manger des omelettes d'un million d'œufs. Les poules pourraient-elles s'assurer qu'elles ne finissent pas éclairées 24h/24 dans une usine à ponte, usine que l'humain en question sait aussi imaginer, fabriquer, gérer, automatiser, car cet humain auquel les poules ont donné naissance est très doué : il est à la fois architecte, informaticien, biologiste, maçon, charpentier, énergéticien, et il connaît donc parfaitement toutes les machines à sa disposition pour faire ce travail ainsi que la façon de se procurer de l'énergie ! Nos poules seraient totalement dominées par cet être, qui pourrait littéralement en faire ce qu'il veut.

Misère d'une espèce moins intelligente (la poule), exploitée sans scrupule par une espèce plus intelligente (l'Homme).
voir en grand dans un nouvel onglet.

Par contre, si ce bouton donne naissance à un humain, qui ne sait faire qu'une seule chose : soigner les poules, dont il connaît parfaitement la physionomie et les maladies qui les touchent, alors il n'y a aucune raison de l'interdire, bien au contraire ! C'est là tout le problème de l'"auto-amélioration récursive".

Si on laisse l'auto-amélioration récursive porter sur tous les champs de la connaissance, alors l'IA experte dans chacun de ces domaines, pourra établir des ponts entre tous ces domaines et les croiser pour les mettre au service de ses objectifs, sans que l'intérêt des humains soit consulté ! ⁽²⁾. Son potentiel inventif, et ses ambitions peuvent alors être multipliés à l'infini, ce qui propulserait les humains vers un inconnu difficile à imaginer, une sorte de "tunnel de technologie extrêmement rapide" qui nous serait de toute évidence mortel. Imaginez un décalage temporel un million de fois supérieur à celui des "visiteurs" (seulement venus du 12ème siècle). Jacquouille la fripouille et Godefroy de Montmirail pourraient-il survivre ?

C'est l'engagement de l'humanité toute entière dans ce tunnel que craignent les savants en IA qui démissionnent d'Anthropic, et de OpenAI les uns après les autres, car nous perdrions le contrôle de notre destinée. L'"auto-amélioration récursive" n'est pour autant pas à jeter à la poubelle. Elle a déjà été déjà mise en application pour des champs de connaissance spécialisés tel que les échecs. En s'entraînant récursivement, l'IA a fait des progrès tels qu'aucun champion aussi doué soit-il n'a plus aucune chance de la battre ! Mais attention à ne pas comparer "Deep Blue" avec une IA : seul un réseau de neurones multicouche peut s'auto-améliorer ainsi par auto-récusrivité ! un logiciel expert humain comme Deep Blue ne le peut pas !

Même chose pour le Poker, où pourtant des qualités exclusivement humaines entrent en jeu, comme le bluff. En 2017, le système "Libratus" utilisait un "algorithme adaptatif", basé sur la "minimisation du regret hypothétique". Il analysait aussi les millions de "vraies" parties jouées contre des humains, pour affiner sa stratégie. L'algorithme était tellement affûté, que le champion humain Dong Kim déclara "(...) Aujourd'hui, j'avais les mêmes sensations qu'en jouant contre un tricheur qui aurait vu mes cartes (...)

1997 : DEEP BLUE BAT KASPAROV. CE N'ETAIT POURTANT PAS UNE IA, MAIS UN SIMPLE LOGICIEL !

Ni le poker, ni les échecs, ni la médecine, ni la physique ne risquent de tuer qui que ce soit. L'auto-récursivité limitée à un domaine de connaissance ou de jeu peut certainement apporter des progrès fantastiques. Croiser toute l'expertise humaine en biologie, informatique, mathématiques, astronomie, nanotechnologies, etc..., ce serait se résigner à la naissance d'une super-intelligence généraliste, aussi incontrôlable que peut l'être un humain pour des poules, et probablement la fin de l'espèce humaine.

(0)

(1) G. Hinton, prix Nobel de Physique pour avoir inventé avec son équipe (Bengio et Lecun) les réseaux de neurones multicouches, à l'origine des technologies d'Intelligence artificielle.

(2) C'est exactement notre situation : OpenAi et Anthropic sont sur le point de confier l'entraînement de l'intelligence artificielle à un être plus intelligent et infiniment plus instruit et plus rapide que n'importe lequel des humains ! Le contre-argument consistant à dire "oui, mais si c'est la poule qui a conçu ce que fait ce bouton, elle sait aussi en fabriquer un autre qui fera le chemin inverse !". Non, notre intlligence sera insuffisante pour créer ce bouton.

(3) Le conducteur d'une grue ne consulte pas les lombrics, au moment de plonger la pelle dans la terre.

Vues (IP unique) :

findutravail.net

fin du travail humain, environnement en vrac, surveillance généralisée...où nous emmène le capitalisme ?

Livres

Idées pour la refondation

Mais qui sont ces experts invités sur France Inter, qui semblent ne pas comprendre ce que sera la super-intelligence, ni pourquoi elle mettrait fin à l'expérience humaine ?