Bac de philo 2024. "La nature est-elle hostile à l'homme ?". ChatGPT a-t-il progressé pendant cette année scolaire ?

C'est parti pour les épreuves du baccalauréat 2024 avec traditionnellement les épreuves de philo ce mardi matin. Il y a un an, ChatGPT avait été mis à l'épreuve, pas si terrible, de proposer un corrigé. La presse en fût témoin. Le modèle d'Intelligence Artificielle a-t-il progressé en cette année scolaire ?

Dissertation ou commentaire de texte. Notion neutre et sans piège, ou option tout risque en se disant : "je ne suis pas à l'abri d'une belle inspiration". Plus de 540.000 lycéens planchent ce mardi matin sur les épreuves de philosophie, avant d'attaquer en fin de semaine les épreuves de spécialité au fort coefficient.

Car la note de cette première épreuve écrite du baccalauréat compte pour 40% de la note totale, composée à 60% du contrôle continu. Quant à son poids dans le diplôme : coefficient 8 pour la filière générale, et 4 dans la filière technologique. Autant dire que la pression n'est pas à son maximum ce mardi.

"Étant donné qu'il y a les spécialités avec un coefficient 16 chacune la même semaine, j'ai clairement laissé de côté la philo", assure Romane, lycéenne costarmoricaine de 18 ans.

Justice, vérité, nature : matière à réflexion

Quoi qu'il en soit, il a bien fallu choisir entre la dissertation : "l'Etat nous doit-il quelque chose ?"; "La science peut-elle satisfaire notre besoin de vérité ?" ou encore "La nature est-elle hostile à l'homme ?" en filière technologique. 

Un brin de politique, d'épistémologie des sciences et de romantisme ; la justice, la vérité, la nature ; John Rawls, Karl Popper, Jean-Jacques Rousseau... On est en terrain connu.

C'est parfait pour un modèle d'Intelligence Artificielle générative tel que Chat-GPT, l'un des plus populaire et sans doute le plus connu. Trop facile, pourrait-on dire.

ChatGPT, "philosophe" avisé ?

Pour preuve, déjà, l'année dernière. Une autre époque, à la vitesse où déboulent les modèles d'IA successifs à la suite de celui d'Open AI : Gemini de Google, le français Mistral, Claude-3 (peu connu en France) pour ne citer que les principaux.
Nos confrères de France 3 Rhône Alpes avaient soumis le sujet "Le bonheur est-il affaire de raison ?" à Chat-GPT, sans doute le modèle 3 ou 3,5. "En moins de trente secondes, l'outil propose les titres d'un plan, une introduction et une conclusion" raconte la journaliste Emilie Mechenin, qui rebondit sur la demande d'un plan développé.
"Nous lui avons donc reformulé notre demande, en réclamant cette fois-ci des paragraphes rédigés. À nouveau en trente secondes, voilà une dissertation de 762 mots, bien loin des quatre heures accordées aux élèves de terminale pour plancher sur ce sujet" écrit-elle.

VIDEO. Intelligence artificielle. “L’impact sur les métiers va être colossal”, l’usage des IA présenté par des experts (francetvinfo.fr)

Une "copie" qui n'a guère impressionné un enseignant de philosophie, qui, reconnaissant "l'apparence d'une réflexion", sentait toutefois l'IA à plein nez : "Si un des élèves dans mon lycée, me rendait cette copie, je saurais que ce n'est pas la sienne". Pas suffisant pour avoir la moyenne.

"Passe ton bac d'abord"

Un an plus tard, l'outil d'openAI a connu plusieurs mises à jour. De là à revoir sa copie pour rendre un devoir aussi excellent que celui que pourrait rédiger un brillant élève de Terminale ? C'est ce que nous avons voulu savoir.

Comme son nom le suggère, l'interface de ChatGPT est un "tchat", un outil conversationnel, qui répond aux questions qu'on lui pose. Et aux "prompts", consignes rédigées qui lui sont adressées.

Nous avons donc décidé de lui soumettre un des choix proposés à l'épreuve 2024 : "La nature est-elle hostile à l'homme ?"

Un vaste sujet de réflexion... auquel répond pourtant l'outil en un clin d'œil. 

Après quelques échanges pour affiner la proposition (reformuler à la manière d'une rédaction digne d'un lycéen, mobiliser des sources pertinentes et s'appuyer sur des ressources bibliographiques pour étayer cette dissertation), ChatGPT nous livre un texte.

À notre demande, l'outil évalue sa production. "Si je devais donner une note sur 20, je mettrais probablement une note entre 14 et 16. Cette évaluation reflète une maîtrise des concepts et une structure solide, mais avec un potentiel d'approfondissement et de nuance pour atteindre un niveau d'excellence." précise ChatGPT.

Si je devais donner une note sur 20, je mettrais probablement une note entre 14 et 16. Cette évaluation reflète une bonne maîtrise des concepts et une structure solide, mais avec un potentiel d'approfondissement et de nuance pour atteindre un niveau d'excellence.

ChatGPT, à propos de sa dissertation

"Une dissertation bien structurée, aux références philosophiques pertinentes"... pouvant toutefois s'améliorer avec "un approfondissement des arguments et l'inclusion de nuance supplémentaires". Un avis partagé par les professeurs de philosophie ? Nous en avons questionné un.

"Sans supplément d'âme"

Si un élève produisait ce genre de travail, je n'aurais rien d'autre à lui dire que: "Oui, mais toi, tu en penses quoi?

Karl Brozec, professeur de philosophie

"Le gros problème de l'intelligence artificielle, c'est qu'elle fait le boulot au mieux, en mobilisant un ensemble de références glanées sur internet, qui sont la plupart du temps justes" remarque paradoxalement Karl Brozec, prof de philo dans un lycée de Nantes.

Ainsi on retrouve un plan didactique (thèse, antithèse, synthèse, conformément à ce que qu'on lui avait demandé), un "catalogue d'auteurs" qui s'opposent "de manière assez schématique", Hobbes et Rousseau, avec une troisième partie dans laquelle "il" sort de la contradiction en proposant une approche plus contemporaine, soutenue par Edgar Morin. Jusque-là, on a bon.

Mais cela manque de raisonnement abstrait. De création. On reste dans la logique pure. "D'ailleurs, ce moment clé de la problématisation  (c’est-à-dire la transformation de la question où l'élève doit montrer qu'il sait mettre le sujet en perspective) est totalement absent." Ouille, on commence à le sentir moyen.
La copie est appliquée, sans surprise, donc.

On y trouve la récitation de base, telle que l'on peut la trouver dans n'importe quelle fiche de révision. Sans supplément d'âme. "Si un élève produisait ce genre de travail, je n'aurais rien d'autre à lui dire que : "Oui, mais toi, tu en penses quoi ? Quels sont les enjeux pour l'avenir ? Pourquoi ne t'appropries-tu pas ce sujet ?" tranche Monsieur Brozek (pourtant un prof vraiment trop cool).

"Une IA ne sait ni interpréter une question, ni la problématiser en se l'appropriant. Cela ressort aussi dans la conclusion très convenue, qui ne fait que compiler des généralités sur notre rapport à l'environnement" note l'enseignant, pour conclure. Et pour finir, "la question de l'hostilité de la nature ne trouve finalement pas de réponse, c'est donc un peu à côté de la plaque." 

Le verdict :"ce n'est donc pas un mauvais travail, mais cela reste très mécanique et très peu inventif. Je mettrais tout juste la moyenne à une copie comme celle-là, à condition qu'elle soit davantage développée, mais cela reste une copie appliquée et terne."

Tout juste la moyenne :- ( Et encore, imaginez que l'IA soit détectée dans un vrai devoir. Là, c'est la cata. Reste que l'IA a réellement fait des progrès. Et sans doute, ses utilisateurs "lambda" comme nous, ont appris à l'utiliser.

Dompter l'IA... et mieux la prompter

Voici d'ailleurs quelques conseils pour obtenir des réponses fiables qui, si elles ne remplacent pas votre réflexion, peuvent vous être utile pour vous aider à la stimuler.

1 - Fournissez autant de contexte et de détails que possible dans votre prompt. Plus vous donnez d'informations, de contraintes et d'exemples, mieux ChatGPT pourra comprendre vos attentes et générer une réponse pertinente.

2 - Soyez clair et spécifique sur l'objectif et le type de réponse attendue. Par exemple, indiquez si vous voulez un résumé, une analyse, des instructions étape par étape, etc.

3 - Vous pouvez demander à ChatGPT d'adopter un certain ton ou style d'écriture en le précisant dans le prompt. Par exemple, "Écris une réponse dans un style formel et professionnel".

4 - Divisez votre prompt en plusieurs parties si nécessaire pour aborder différents aspects ou étapes. ChatGPT peut traiter des prompts longs et complexes.

5 - Interagissez avec ChatGPT de manière itérative en affinant vos prompts si les premières réponses ne sont pas satisfaisantes. Vous pouvez lui demander de clarifier, d'approfondir ou de reformuler certains points.

Si l'outil évolue quotidiennement, vous l'aurez compris, c'est encore et surtout l'usage que l'on en fait qui permet la plus grande marge de progression. 

De quoi vous donner envie de garder ces quelques conseils précieusement de côté...