ChatGPT m'a permis un truc impossible
La plupart du temps, quand j’utilise GPT, c’est pour faire quelque chose que je sais faire mais de manière moins douloureuse. Soit parce que ça m’évite la page blanche, soit parce que c’est un truc fastidieux.
Mais ça me fait rarement gagner significativement du temps.
Y’a cependant une exception.
Quand j’ai découvert la puissance de centrer les formations sur les exercices, j’ai tout de suite compris un truc que je savais déjà : les études de cas c’est vraiment cool.
Depuis que j’enseigne je me dis que ça serait cool. Sauf que…
Produire une étude de cas est trop compliqué
La quantité d’heures qu’il me faudrait pour créer une étude de cas m’a toujours découragé. Alors j’en faisais uniquement quand il en existait des toutes faites. Par exemple quand j’enseigne la négociation c’est facile car Harvard met à disposition des études de cas bien faites.
ChatGPT peut produire des kilomètres de texte crédible
Normalement c’est plutôt un danger : ChatGPT a une tendance structurelle à produire des choses crédibles mais pas très exactes. On appelle ça l’hallucination.
Mais… si je dois produire un cas fictif où l’exactitude n’est pas l’enjeu principal ça devient une force.
Julie contre Sophie
J’avais imaginé un exercice dans le cadre de ma formation au recrutement. Il s’agissait d’une journée sur la méthode de l’entretien structuré.
Je voulais commencer avec une étude de cas où on voit d’un côté Sophie faire un entretien comme le font les gens aujourd’hui (c’est-à-dire à l’intuition) et de l’autre Julie qui applique la méthode de l’entretien structuré.
À la main ça serait un cauchemar.
Mais avec GPT…. j’ai simplement écrit :
J'aimerais créer un exercice où des élèves qui n'ont jamais vu l'entretien structuré comportemental puisse en comprendre les bénéfices. Il leur faudra donc lire deux descriptions puis dire laquelle correspond à un entretien structuré comportemental et laquelle correspond à un entretien au feeling.
Voici les étapes que doit comprendre la description de la démarche entretien structuré comportemental. Par exemple sur le poste de vendeur/vendeuse en boutique.
1. Définir des critères pertinents et reliés au poste. (méthode des incidents critiques)
2. Rechercher les comportements clefs et créer des questions comportementales passées et hypothétiques.
3. Créer un guide de question reliées au poste (à poser à tout les candidat·e·s).
4. Faire un barème d’évaluation et un compte rendu (si possible avec une échelle BARS).
5. Avoir des règles de prise de décision. Pré-établie.
Alors que, de l'autre côté la description de la démarche classique au feeling, comprendra les étapes habituelles d'un entretien comme font les gens au feeling, avec tous les problèmes
Tu remarques que je lui explique davantage comment faire le cas avec la méthode de l’entretien structuré, alors que pour le cas consistant à juste faire un entretien moyen, je n’ai pas besoin.
Bon… la première réponse n’allait pas du tout :
Il m’a donné des descriptions alors que je voulais des histoires. Mais en relisant c’est vrai que je n’ai jamais dit que c’était une étude de cas ni que je voulais quelque chose de narratif.
Alors j’ai enchaîné avec :
C'est pas mal, refais moi tout ça en incarnant les choses. Tu donnes un prénom à la recruteuse. Puis tu décris le recrutement avec des dates, une étude de cas, et un résultat
Alors ça m’a donné une bonne première base
Il ne faut jamais s’arrêter au premier résultat de GPT
Si je n’avais pas d’expérience avec GPT j’aurais pu dire non mais c’est bon j’ai déjà demandé deux fois et c’est toujours nul.
Mais le secret c’est qu’une des grandes difficultés dans l’interaction avec GPT c’est qu’il faut être extrêmement précis·e dans le premier degré utilisé.
Donc en voyant cette première version, je comprends ce qui manquait et j’enchaîne :
C'est vraiment mieux ! Maintenant développe moi l'histoire de Julie (elle est recruteuse et non RH) en développant davantage de critères et en la faisant interagir avec un manager à qui elle demande les incidents
Il me renvoie alors un truc qui fait le double de taille. Sauf que moi j’imaginais vraiment une longue histoire ! Alors je continue :
C'est pas mal. Je veux que tu continue à développer en utilisant du markdown et en sautant des lignes entre chaque bullet point. Je veux également que tu insistes sur le fait que chaque critère doit être un ensemble de comportements clés. Donc tu dois détailler chaque critère
Ça donne ça :
Là encore, c’est trop laconique. Moi je veux vraiment que chaque journée soit détaillée.
Bon bah suffit de le dire :
Super, j'aimerais que tu développes ce qui se passe le 15 mars, comment elle recueille les incidents
Et ça donne enfin un truc satisfaisant ! Mais du coup… j’ai juste un jour de bon.
Bon bah c’est facile de deviner la suite : je le guide sur un autre jour :
Super ! Merci ! maintenant développe le 25 mars et explicites un guide avec 2 questions comportementales (passée et/ou hypothétiques) par critères (donc 6 au total), dans ce guide on rajoute le titre du poste, on écrit dès le début les trois critères que l'on va évaluer pendant l'entretien et on rajoute des questions d'introduction et d'ouverture (non comportementales) comme celles ci :
Quelques exemples de questions :
Introduction :
Est-ce que tu as des questions sur le poste, le métier au quotidien, notre organisation ? Ce que tu veux.
Est-ce que tu as des questions sur la boite, la culture, notre organisation ? Ce que tu veux.
Qu’est-ce que tu as envie de changer dans ta vie (pro ou perso) en changeant de job ?
Conclusion
Y'a-t-il des choses que je n’ai pas abordé et que tu aimerais qu'on aborde ?
Comment tu t'es senti•e ?
Es-tu content•e de ce que tu m'as dit, ou veux-tu revenir sur certains points ?
Enfin... je veux que tu rajoutes des questions sur la volonté à effectuer les tâches et éventuellement une question de connaissance
Et ainsi de suite…
Super ! Maintenant pour le 05 avril, tu peux me proposer un faux compte rendu qui comprend : les critères, un verbatim de la réponse, une échelle BARS, une note (dans un tableau) puis la moyenne ainsi qu'un verdict. En respectant le guide qu'on vient de créer
Jusqu’à obtenir une étude de cas de 10 pages, 5 pages sur le cas de Sophie (l’entretien mal fait) et 5 pages sur le cas de Julie (l’entretien bien fait)
Attention, GPT reste une machine imprécise
Je suis allé le lendemain avec cet exercice, super fier de moi. Et ça a fonctionné. Mais en relisant (grâce à mes collègues) j’ai vu que y’avait plein de micro-erreurs toutes bêtes. Par exemple un Luc qui devient Jean au fur et à mesure, etc.
Parce que GPT est une machine à créer un truc crédible plutôt qu’un truc cohérent.
Et donc il a fallu une bonne dose de relecture pour enlever toutes ces micro-erreurs.
Mais il n’en demeure pas moins que…
Ça aurait été impossible sans ChatGPT
Là ce n’est pas juste que j’ai gagné du temps, c’est que la quantité de temps qu’il m’aurait fallu aurait été rédhibitoire.
Au final, ça m’a pris 30 minutes à tout casser pour le premier jet, et une grosse heure pour les relectures je dirais.
Vraiment c’est fou d’avoir une machine qui peut créer des dialogues fictifs :
Car, autant ça serait mauvais pour faire de l’art… autant c’est parfait pour faire un dialogue banal, sans âme, puisque c’est exactement ce que je cherche : décrire l’expérience la plus lambda possible d’un entretien.
Récemment, j’ai créé une étude de cas similaire. Sauf que cette fois je voulais, pour chaque question d’entretien :
la réponse d’une personne socialement désirable mais sans compétence recherchée
une réponse moyenne
la réponse d’une personne compétente
Là encore GPT est dans son élément :
Et là encore je peux profiter de sa capacité à faire du kilomètre de texte quand il faut :
La meilleure utilisation de ChatGPT pour la conception pédagogique
J’ai essayé ChatGPT pour plein de cas de figure de la conception pédagogique mais, pour le moment c’est vraiment le seul endroit où je trouve qu’il brille vraiment.
Les autres tâches où ça va dans mes tests :
Générer des questions type QCM à partir d’une leçon
Proposer des idées d’activités à faire
Faire des ébauches de déroulé pédagogique
Mais… je vais tellement plus vite et mieux que lui que j’ai fini par abandonner l’utilisation dans ces cas de figure.
Qu’est-ce que la conception pédagogique ?
La semaine dernière j’ai fait une conférence gratuite sur le sujet. Dedans :
- La liste des erreurs à éviter pour ne pas saccager ta formation
- Les étapes à suivre pour concevoir une bonne formation
- 7 idées d’exercices que j’ai testé cette année et qui augmentent les chances de pratique ensuite
Le lien du replay :