Le secret de ChatGPT
Je viens de demander à ChatGPT de me traduire un texte en Tamoul. En effet, j’ai besoin de communiquer avec mes voisins (locataires) sur notre problème de punaises de lit. Leur propriétaire a décidé de laisser empirer les choses jusqu’à ce que la copropriété emprunte la voie judiciaire.
Mais eux sont victimes de la situation et personne ne les tient au courant à cause de la barrière de la langue. J’ai donc demandé à ChatGPT de traduire le texte suivant :
Bonjour, J'espère que tout va bien ? Voici un petit résumé de la situation pour les punaises de lit. Nous sommes actuellement en conflit ouvert avec votre propriétaire.
J’ai ensuite été vérifier avec Google Traduction. J’ai pris ce texte et j’ai demandé à Google Traduction de me le donner en français.
L’échec est total.
Mais total à un point presque absurde.
Si c’était ma première expérience avec ChatGPT, je reconnais que j’aurais pu me dire non mais c’est vraiment nul ce truc.
Surtout que… c’est quoi l’intérêt d’une interface conversationnelle si elle ne me prévient pas. Il aurait pu me dire voilà une traduction approximative, je ne suis pas sûr…
Mais en fait non.
Il ne fera jamais ça.
Pourquoi ?
Pour ça il faut comprendre le secret. Ou plus précisément le manuel secret de ChatGPT.
J’ai commis 3 énormes erreurs
En écrivant l’instruction je savais déjà que ça risquait de planter. Mais je voulais m’amuser. Le problème c’est que j’ai enfreint trois principes de bases de ChatGPT.
Le premier principe c’est que je n’ai pas mis suffisamment de contexte.
D’ailleurs quelqu’un me l’a signifié quand j’ai posté cette histoire sur LinkedIn :
Je pense que le problème vient de la transcription de l'alphabet latin vers un autre alphabet. On pourrait avoir le même soucis avec les kanjis japonais qui ont plusieurs significations en fonction du contexte de la phase.
J'avait fait le test de traduire un mail Français > Allemand pour un négocier le prix d'une voiture avec un concessionnaire allemand, mon "traducteur" officiel a validé l'orthographe et la grammaire et mon destinataire ne n'a fait aucune remarque... J'ai même eu la ristourne demandée !
Mais je pense qu'avec le bon prompt (du style "prépare moi un dictionnaire de traduction Tamoul <> français pour expulser des punaises de lit, que je pourrais utiliser ensuite dans un mail formel"), on peut avoir quelque chose de plus cohérent.
Le deuxième principe que j’ai enfreint c’est que je lui ai demandé de me produire du contenu sur lequel je n’ai pas l’expertise. Rappelle-toi ce que je te disais hier sur le mirage GPT :
Or…
Il faut à tout prix l’éviter :
Résumé : Est-ce que c’est safe d’utiliser ChatGPT pour ta tâche ? Est-ce que c’est important que le résultat soit vrai ? Si la réponse est non, tu peux l’utiliser. Si la réponse est oui, tu ne dois l’utiliser que si tu as l’expertise de tout vérifier.
Le troisième principe est encore plus profond : je l’ai utilisé directement comme on ferait avec Google Traduction. Or, il n’est pas conçu pour ça.
C’est un peu comme si j’allais dans l’eau avec une montre qui n’est pas waterproof puis que je disais oh la la c’est nul les montres.
Le manuel secret de ChatGPT
Mais comment je sais tout ça ?
Et bah c’est parce que y’a un manuel secret. Un ensemble de règles de conception de l’outil qui ont pour conséquences certains principes.
D’ailleurs, le diagramme que je t’ai mis plus haut n’est pas fourni par la documentation de ChatGPT, c’est un utilisateur comme toi et moi qui l’a créé. Mais c’est clairement une page de manuel.
Par exemple, il est normal que ChatGPT me dise des trucs faux avec aplomb.
D’ailleurs, je dis que le manuel est secret, mais cette partie ne l’est pas. C’est écrit noir sur bland dans la documentation. Ils appellent ça les hallucinations de ChatGPT et ils expliquent pourquoi elles sont un moindre mal. Pourquoi c’est mieux qu’il hallucine de temps en temps plutôt que l’alternative qu’on a pour le moment.
Ce que je veux dire par manuel secret c’est que c’est à nous d’aller comprendre les règles en l’utilisant.
Un peu comme l’iPhone. L’iPhone vient sans manuel d’utilisation. On doit apprendre à l’utiliser.
Mais l’iPhone est beaucoup beaucoup plus intuitif et moins piégeur que ChatGPT.
J’ai une partie du manuel…
En passant plusieurs heures sur l’outil, en suivant des formations, en regardant des vidéos… j’ai fini par comprendre une partie du manuel.
Suffisamment pour me servir de ChatGPT dans mon quotidien à moi.
Si je devais m’en servir pour un autre métier, il faudrait probablement que j’apprenne les règles spécifiques.
Ces règles je vais te les partager. Dans une formation.
On en reparle, dans 4 jours, mardi.