































Magnifique conférence de presse de Dominique de Villepin, qui est à ce jour le seul candidat à avoir pris la mesure du péril, même si pour l'instant, il n'approfondit pas assez de mon point de vue le lien de causalité entre ce péril et la technologie. Pour le soutenir, adhérez à la France Humaniste !
Il ne reste pas beaucoup de temps. Outre le problème politique français et européen auquel veut s'atteler Dominique de Villepin, nous serions exposés à un accident d'IA majeur dans les 3 ans qui viennent selon ce spécialiste de l'alignement Paul Christiano ! Nous sommes donc en train de recommencer avec l'IA, ce à quoi nous avons échappé de justesse avec le Nucléaire ! (une explosion de plusieurs mégatonnes, qui aurait rendue la vie impossible dans un rayon de 200km)
Voici en français ce que dit Paul Christiano, chercheur en alignement des Intelligences Artificielles (un sous-domaine de la recherche sûreté de l'IA visant à orienter les systèmes d'IA vers les intérêts humains).
I'm going to start with the most important sentence... Uh, I think there is a high risk of an AI takeover within the next three years.
What I mean by an AI takeover is a situation where AI systems are pursuing goals and those systems call the shots, in the same sense that humans today call the shots on what happens on Earth. And where, if, say, you, or me, or Donald Trump wanted to stop them, we would be as ineffective as if you or I were trying to stop the US military.
I think this is a terrible situation, and it's reasonably likely that many people would die during that transition, and that many people would die shortly thereafter if we were unable to maintain a habitable environment.
Uh, even if we don't die, I think the takeover would mark the end of human sovereignty and self-determination, and it's something we should be working incredibly hard to avoid.
I say "high risk"... I don't think we have any kind of quantitative model we can turn to in order to put a number on this event. We don't have any kind of reference class we can look at to say this is a 10% event or a 50% event.
Any number we give is an expression of someone's subjective opinion. Someone might say it is 10%, or 50%, or 90%. I think it is very hard to say or put a number on this.
It also depends, as others have mentioned, on what we do.
So my feeling is that if we try to develop AI along the most rapid trajectory, if we say we are just going to build this as quickly as we can, and in the easiest way we can, we would be looking at something like a coin flip in terms of the likelihood of an AI takeover.
I hope the probability is much lower than that, because we are not going to develop the technology in the very fastest way we can. But I think that, even all things considered, with realistic policies, the risk remains exceptionally high.
I think for most people in this room, the most likely reason they will die is because of an AI accident.
I wrote "within the next three years"... Uh, I think we could give different time horizons for different events to occur. Um, I think there is meaningful risk even in the next 6 to 12 months (...)
TRADUCTION
Je vais commencer par la phrase la plus importante... Euh, je pense qu'il existe un risque élevé de prise de contrôle par l'intelligence artificielle (IA) au cours des trois prochaines années.
Par prise de contrôle par l'IA, j'entends une situation dans laquelle des systèmes d'intelligence artificielle poursuivent leurs propres objectifs et prennent les décisions, de la même manière que les êtres humains décident aujourd'hui de ce qui se passe sur Terre, et dans laquelle, si, par exemple, vous, ou moi, ou Donald Trump nous voulions les arrêter, nous serions aussi impuissants que si vous ou moi essayions d'arrêter l'armée américaine.
Je pense que ce serait une situation terrible. Il est vraisemblable que de nombreuses personnes meurent pendant cette période de transition, et que beaucoup d'autres meurent peu de temps après si nous ne parvenons pas à maintenir un environnement habitable.
Euh, même si nous ne mourons pas, je pense que cette prise de contrôle marquerait la fin de la souveraineté humaine et de notre capacité à déterminer nous-mêmes notre avenir. C'est quelque chose que nous devrions absolument nous efforcer d'éviter.
Je parle de « risque élevé »... Je ne pense pas que nous disposions d'un quelconque modèle quantitatif auquel nous pourrions nous référer pour attribuer une probabilité chiffrée à cet événement.
Nous ne disposons d'aucune catégorie d'événements de référence à laquelle nous pourrions comparer cette situation pour affirmer qu'il s'agit d'un événement ayant 10 % ou 50 % de chances de se produire.
Tout chiffre que nous avancerions serait l'expression de l'opinion subjective de quelqu'un. Certains pourraient dire que le risque est de 10 %, d'autres de 50 % ou encore de 90 %. Je pense qu'il est très difficile de se prononcer ou de donner un chiffre précis.
Cela dépend également, comme d'autres l'ont mentionné, de ce que nous allons faire.
Mon sentiment est donc que si nous essayons de développer l'IA en suivant la trajectoire la plus rapide possible, si nous décidons simplement de construire ces systèmes aussi vite et aussi facilement que possible, nous nous retrouverions face à une probabilité de prise de contrôle par l'IA comparable à celle d'un pile ou face, autrement dit environ 50 %.
J'espère que cette probabilité est bien inférieure, car nous n'allons pas développer cette technologie de la manière la plus rapide qui soit. Mais je pense que, même en tenant compte de tous les éléments et en considérant des politiques réalistes, le risque reste exceptionnellement élevé.
Je pense que, pour la plupart des personnes présentes dans cette salle, la cause de décès la plus probable sera un accident lié à l'intelligence artificielle.
J'ai écrit « au cours des trois prochaines années »... Euh, je pense que nous pourrions définir différents horizons temporels pour les différents événements susceptibles de se produire.
Hum, je pense qu'il existe déjà un risque significatif à l'échelle des 6 à 12 prochains mois (...)
nous sommes donc avec l'IA sur le même chemin que l'accident nucléaire majeur, évité de justesse à Tchernobyl
Vues (IP unique) :