Expériences · EXP-002
Un modèle de langage sans contexte préalable écrit un projet complet
Avec le seul guide de rédaction pour contexte, un modèle a écrit un projet comportant quatre demandes à des fournisseurs, résolu du premier coup. C’est une exécution unique, sans protocole : elle aide à poser la question, pas à y répondre.
Question
Si une application est vraiment AAA3, un modèle qui ne l’a jamais vue devrait pouvoir la piloter en lisant uniquement sa documentation. Est-ce le cas en pratique ?
Dispositif
On a fourni à un modèle de langage, dans une nouvelle session, uniquement le guide de rédaction d’Experience Creator (experience-creator.llm-guide.json, zone aaa3 et sa recette). On lui a demandé un projet utilisant les quatre fournisseurs.
Résultat
Le modèle a écrit un JSON comportant quatre demandes, qui a été validé et résolu du premier coup, avec un code de sortie 0.
Pourquoi la preuve est partielle
- Une seule exécution, sans trace du modèle ni de sa version.
- Le guide a été rédigé et ajusté par l’équipe même qui a mené l’essai, en sachant que l’essai aurait lieu.
- Il n’y a aucune mesure de la qualité du résultat au-delà de sa validité et de sa résolution.
Ce qu’il faudrait
Un protocole avec plusieurs exécutions par modèle, plusieurs modèles différents, des tâches rédigées par quelqu’un qui ne connaît pas le guide et un critère de réussite défini avant de commencer : taux de projets valides, nombre de corrections nécessaires et temps jusqu’à un projet accepté par une personne.