findutravail.net

Mais qui sont ces experts invités sur France Inter,
qui semblent ne pas comprendre ce que sera la super-intelligence, ni pourquoi nous en mourrons ??

Vincent de Blois le 18 septembre 2026

L'imminence de la super-intelligence, et de la perte de contrôle par les humains
voir en grand dans un nouvel onglet.

Pendant toute l'émission "le téléphone sonne" hier soir consacrée à l'Intelligence Artificielle, il a été question de contrôler l'IA, d'installer des garde-fous, de "repérer quand l'IA ment", de "l'alignement de l'IA française", "d'ouvrir le capot de l'IA pour la mettre aux normes", d'un "tiers de confiance pour contrôler l'iIA", "de contrôler, puis de décider ce qui est acceptable ou non", ou encore "qu'il faut des modèles d'IA pour surveiller des modèles d'IA"...

Les 3 professeurs qui étaient là n'ont pas bien compris l'ordre chronologique des choses : une IA super-intelligente sera incontrôlable dès la fin de son entraînement. Il n'y aura pas, comme sur une bombe atomique, de bouton poussoir. Il ne faut pas confondre le filtrage des réponses de l'IA en sortie, avec l' "alignement", qui consisterait - à condition que ça soit possible - à empêcher qu'un cerveau artificiel ait de mauvaises idées. Autrement dit qu'il soit "aligné" de façon native à nos standards moraux...

Comparons avec un cerveau humain qui peut en effet avoir des idées de meurtre. Mais s'il est "aligné", une règle morale (tu ne tueras point) se dresse immédiatement à sa conscience, et le meurtre n'a pas lieu. C'est très différent d'un cerveau qui serait "contrôlé en sortie", car ce dernier poursuivrait cette idée de meurtre sans en laisser rien paraître. C'est le cas par exemple des pervers : ils savent qu'ils poursuivent des objectifs moralement condamnables, mais ils contrôlent la sortie...ils ne le crient pas généralement sur les toits !

De même, si un être super-intelligent voit le jour, il pourrait poursuivre des buts qui seraient contraires à l'intérêt de l'Humanité sans nous le faire savoir, ce qui risque fort de mèner à notre extinction, sinon à une souffrance éternelle. Geoffrey Hinton ⁽³⁾, en a donné une bonne métaphore pour nous en avertir : "si vous voulez savoir ce que c'est que de ne plus être au sommet de l'intelligence, demandez à une poule !".

Développons donc cette expérience de pensée du parain de l'IA, puisque de toute évidence les "experts" de France Inter ne l'ont pas comprise !

Imaginez un monde dépourvu d'humains, uniquement habité par des poules
Imaginez qu'une de ces poules appuie sur un bouton, et que ce bouton fasse naître un humain adulte ⁽¹⁾

Ces poules pourraient-elles s'assurer que l'humain ne prenne pas leurs œufs ?
("tiens je te donne du grain là derrière cet arbre, et pendant que tu picores, je te pique tes œufs ni vu ni connu !")

Poursuivons cette expérience de pensée...

Supposons que cet humain aime uniquement manger des omelettes d'un million d'œufs. Les poules pourraient-elles s'assurer qu'elles ne finissent pas éclairées 24h/24 dans une usine à ponte, usine que l'humain en question sait aussi imaginer, fabriquer, gérer, automatiser, car cet humain auquel elles ont donné naissance est très doué : il est à la fois architecte, informaticien, biologiste, maçon, charpentier, énergéticien, et il connaît donc parfaitement toutes les machines à sa disposition pour faire ce travail ainsi que la façon de se procurer de l'énergie ! Nos poules seraient totalement dominées par cet être, qui pourrait littéralement en faire ce quil veut.

Misère d'une espèce moins intelligente (la poule), exploitée sans scrupule par une espèce plus intelligente (l'Homme).
voir en grand dans un nouvel onglet.

Par contre, si ce bouton donne naissance à un humain, qui ne sait faire qu'une chose : soigner les poules, dont il connaît parfaitement la physionomie et les maladies qui les touchent, alors il n'y a aucune raison de l'interdire, bien au contraire ! C'est là tout le problème de l'"auto-amélioration récursive".

Si la récurisivité traverse tous les champs de la connaissance, la super-intelligence, experte dans chacun de ces domaines, pourra établir des ponts entre ces domaines, et les croiser pour les mettre au service de ses objectifs, sans que l'intérêt des humains soit consulté ! ⁽²⁾. Cela propulserait les humains dans un inconnu difficile à imaginer, une sorte de "tunnel de technologie extrêmement rapide" qui nous serait de toute évidence mortel. Imaginez un décalage temporel un million de fois supérieur à celui des "visiteurs" (seulement venus de l'an 1000). Jacqouille la fripouille pourrait-il survivre ?

L'"auto-amélioration récursive" a déjà été déjà mise en application pour des champs de connaissance spécialisés. Impossible aujourd'hui de battre une IA aux échecs. En s'entraînant récursivement contre-elle même, l'IA a fait des progrès tels qu'aucun champion aussi doué soit-il n'a plus aucune chance de la battre ! Mais attention à ne pas comparer "Deep Blue" avec une IA : seul un réseau de neurones multicouche peut s'auto méliorer grâce à l'auto-récusrivité !.

1997 : Kasparov défait par LE LOGICIEL DEEP BLUE, qui n'était pas une IA, capable de s'auto-améliorer en jouant contre elles-même (auto-récusrsivité) !

Même chose pour le Poker, ou pourtant beaucoup d'aspects humains entrent en jeu. En 2017, le système "Libratus" utilisait un "algorithme adaptatif", basé sur la "minimisation du regret hypothétique". Il analysait aussi les "vraies" parties jouées contre des humains, pour affiner sa stratégie. L'algorithme était tellement affûté, que le champion humain Dong Kim déclara "(...) Aujourd'hui, j'avais les mêmes sensations qu'en jouant contre un tricheur qui aurait vu mes cartes (...)

Ni le poker, ni les échecs ne risquent de tuer qui que ce soit. Croiser la biologie, l'informatique, l'astronomie, et les nanotechnologies, ce serait une toute autre histoire...

(1) C'est exactement notre situation : OpenAi et Anthropic sont sur le point de confier l'entraînement de l'intelligence artificielle à un être plus intelligent et infiniment plus rapide que n'importe lequel des humains ! Le contre-argument consistant à dire "oui, mais si c'est la poule qui a conçu ce que fait ce bouton, elle sait aussi en fabriquer un autre qui fera le chemin inverse !". Non, notre intlligence sera insuffisante pour créer l'antidote !

(2) Le conducteur d'une grue ne consulte pas les lombrics, au moment de creuser la terre.

(3) G. Hinton, prix Nobel de Physique pour avoir inventé avec son équipe (Bengio et Lecun) les réseaux de neurones multicouches, à l'origine des technologies d'Intelligence artificielle.

Vues (IP unique) :