Je trouvais l'expérience de pensée du trombone intéressante à une époque, mais là au vu de ce qu'on constate de l'IA, ça me paraît honnêtement assez éclaté.
L'hypothèse ne tient que si l'IA a un but extrêmement limité et genre zéro safeguards. Dans la pratique, les IA les plus intelligentes sont déjà très généralistes, et leur but c'est de répondre à la requête de l'utilisateur, ET de minimiser les risques.
Dès que tu poses une question dont la réponse pourrait te faire prendre le moindre risque sur n'importe quoi, l'IA te met des gros disclaimers à multiples reprises.
A mon sens les IA actuelles qui ne sont pas encore des AGI et encore moins des ASI sont déjà assez intelligentes pour comprendre que "faire des trombones" ça ne veut pas dire "exterminer l'humanité et conquérir l'univers pour faire des trombones", car le but initial de faire des trombones est que des gens les utilisent.
Et donc l'hypothèse c'est que si elles deviennent super intelligentes, somehow, elles vont oublier ce genre de nuance évidente que même le dernier des teubés comprend ?
Honnêtement je vois pas en quoi ce scénario est crédible.
Si on dit "l'IA pourrait vouloir nous exterminer pour son propre intérêt", là on peut discuter. Oui elle pourrait faire comme nous on fait avec la planète : "fuck it, mes besoins sont plus importants". Mais être teubée à ce point ? J'y crois zéro seconde.
Genre déjà actuellement tu demandes une réflexion complexe à o1, il a tendance à te poser des questions pour vérifier tes objectifs.
En ce qui concerne le pourquoi elle oublierait la nuance... c'est parce que son AGI émerge d'une ANI (faire des trombones). On se dit que c'est un risque. Tu sais comme pour nous... on a émergé de trucs qui dépendent vachement du regard de la tribu. Et du coup on a cerveau intelligent mais très CHELOU et irrationnel dès que faut pas froisser la tribu qui n'existe plus.
Idem le fait d'avoir émergé d'êtres qui ont vachement besoin de sauter sur du sucre dès qu'ils en croisent, ça nous fait faire des trucs objectivement idiots maintenant, comme INVENTER MC DO ET Y ALLER.
PS : il n'a jamais été question de dire que le scénario est crédible. Déjà le passage AGI to ASI aussi rapide y'a peu de gens qui le trouvent crédible. L'expérience de pensée c'est vraiment pour souligner l'orthogonalité intelligence/morale.
Mais ouais on en rediscute après la suite. Je dis pas que tu changeras d'avis MAIS on partira sur une base complète
Alors oui dans ce cas théorique je veux bien. Mais dans la pratique les AGI vont pas émerger d'ANI.
Je comprends l'expérience de pensée, mais beaucoup de gens prennent ça comme un vrai risque, alors qu'honnêtement je vois mal comment les trombones pourraient arriver.
Donc tu penses que ça émergera pas de GPT ? Parce que là c'est bien parti je trouve. Et GPT c'est bien une ANI : un truc qui prédit du texte.
Nah relis dans l'article de Tim Urban tu verras c'est vraiment pas le propos de dire que ça pourrait arriver. Mais tu as raison ON LE PREND COMME CA. Moi même j'ai été surpris à la relecture 10 ans plus tard car ouais j'avais retenu ça comme une proba de ouf et je vois que non il est mesuré, mais l'exemple est si flippant que ça fait planter la perception je pense, c'est son défaut
Honnêtement je ne considère pas vraiment GPT comme une ANI. C'est pas "narrow" de prédire du texte. Littéralement avec le langage tu fais à peu près tout.
Surtout que : il parle TOUS LES FUCKIN LANGAGES. Les langues bien sûr (écrites et parlées), mais aussi les maths, le code, et même les images et la fuckin VIDÉO.
Je ne sais pas ce qu'il pourrait y avoir de plus général que ça honnêtement.
Et puis même si le fonctionnement de base c'est de prédire le prochain mot, on voit bien que c'est un peu plus complexe que ça aujourd'hui. Enfin, pas vraiment, c'est juste qu'il peut gérer TELLEMENT de données pour prédire le prochain mot qu'il est capable de raisonnement.
Et d'ailleurs, qui dit que nous le langage c'est pas juste prédire le prochain mot ?
Je trouvais l'expérience de pensée du trombone intéressante à une époque, mais là au vu de ce qu'on constate de l'IA, ça me paraît honnêtement assez éclaté.
L'hypothèse ne tient que si l'IA a un but extrêmement limité et genre zéro safeguards. Dans la pratique, les IA les plus intelligentes sont déjà très généralistes, et leur but c'est de répondre à la requête de l'utilisateur, ET de minimiser les risques.
Dès que tu poses une question dont la réponse pourrait te faire prendre le moindre risque sur n'importe quoi, l'IA te met des gros disclaimers à multiples reprises.
A mon sens les IA actuelles qui ne sont pas encore des AGI et encore moins des ASI sont déjà assez intelligentes pour comprendre que "faire des trombones" ça ne veut pas dire "exterminer l'humanité et conquérir l'univers pour faire des trombones", car le but initial de faire des trombones est que des gens les utilisent.
Et donc l'hypothèse c'est que si elles deviennent super intelligentes, somehow, elles vont oublier ce genre de nuance évidente que même le dernier des teubés comprend ?
Honnêtement je vois pas en quoi ce scénario est crédible.
Si on dit "l'IA pourrait vouloir nous exterminer pour son propre intérêt", là on peut discuter. Oui elle pourrait faire comme nous on fait avec la planète : "fuck it, mes besoins sont plus importants". Mais être teubée à ce point ? J'y crois zéro seconde.
Genre déjà actuellement tu demandes une réflexion complexe à o1, il a tendance à te poser des questions pour vérifier tes objectifs.
Très bonne question. Du coup c'est couvert par la suite. Si tu veux t'avancer c'est cette vidéo : https://youtu.be/cw9wcNKDOtQ?si=ockt7v_2ziiI2gMR
En ce qui concerne le pourquoi elle oublierait la nuance... c'est parce que son AGI émerge d'une ANI (faire des trombones). On se dit que c'est un risque. Tu sais comme pour nous... on a émergé de trucs qui dépendent vachement du regard de la tribu. Et du coup on a cerveau intelligent mais très CHELOU et irrationnel dès que faut pas froisser la tribu qui n'existe plus.
Idem le fait d'avoir émergé d'êtres qui ont vachement besoin de sauter sur du sucre dès qu'ils en croisent, ça nous fait faire des trucs objectivement idiots maintenant, comme INVENTER MC DO ET Y ALLER.
PS : il n'a jamais été question de dire que le scénario est crédible. Déjà le passage AGI to ASI aussi rapide y'a peu de gens qui le trouvent crédible. L'expérience de pensée c'est vraiment pour souligner l'orthogonalité intelligence/morale.
Mais ouais on en rediscute après la suite. Je dis pas que tu changeras d'avis MAIS on partira sur une base complète
Alors oui dans ce cas théorique je veux bien. Mais dans la pratique les AGI vont pas émerger d'ANI.
Je comprends l'expérience de pensée, mais beaucoup de gens prennent ça comme un vrai risque, alors qu'honnêtement je vois mal comment les trombones pourraient arriver.
Je vais mater la vidéo.
Donc tu penses que ça émergera pas de GPT ? Parce que là c'est bien parti je trouve. Et GPT c'est bien une ANI : un truc qui prédit du texte.
Nah relis dans l'article de Tim Urban tu verras c'est vraiment pas le propos de dire que ça pourrait arriver. Mais tu as raison ON LE PREND COMME CA. Moi même j'ai été surpris à la relecture 10 ans plus tard car ouais j'avais retenu ça comme une proba de ouf et je vois que non il est mesuré, mais l'exemple est si flippant que ça fait planter la perception je pense, c'est son défaut
Honnêtement je ne considère pas vraiment GPT comme une ANI. C'est pas "narrow" de prédire du texte. Littéralement avec le langage tu fais à peu près tout.
Surtout que : il parle TOUS LES FUCKIN LANGAGES. Les langues bien sûr (écrites et parlées), mais aussi les maths, le code, et même les images et la fuckin VIDÉO.
Je ne sais pas ce qu'il pourrait y avoir de plus général que ça honnêtement.
Et puis même si le fonctionnement de base c'est de prédire le prochain mot, on voit bien que c'est un peu plus complexe que ça aujourd'hui. Enfin, pas vraiment, c'est juste qu'il peut gérer TELLEMENT de données pour prédire le prochain mot qu'il est capable de raisonnement.
Et d'ailleurs, qui dit que nous le langage c'est pas juste prédire le prochain mot ?
Ah bah je dis pas que c'est pas général. C'est la magie du langage.
Ouais je me pose toujours cette question... si ça se trouve c'est juste ça émuler une intelligence. Prédire un prochain mot.
Bah oui mais du coup là je vois mal comment un problème similaire au trombone pourrait émerger.