Tester un logiciel classique est un exercice bien rodé : pour une entrée donnée, on attend une sortie précise, et le test passe ou échoue. Avec un agent IA, ce cadre ne suffit plus. Pour une même demande, l’agent peut emprunter des chemins différents, formuler sa réponse autrement, consulter ses outils dans un autre ordre. Deux exécutions identiques peuvent donner deux résultats corrects… ou un correct et un faux.
C’est souvent là que les projets d’agents ralentissent : tout le monde sent que l’agent « marche plutôt bien », mais personne n’est capable de dire à quel point, ni s’il marche mieux ou moins bien après une modification. Cet article présente la démarche que nous utilisons pour tester un agent avant sa mise en production, puis pour le surveiller une fois en service.
Commencer par des scénarios réels
Un bon jeu de test ne s’invente pas dans un bureau : il se construit à partir des demandes que l’agent recevra vraiment. Nous partons d’un échantillon de cas réels, tickets, e-mails, demandes internes, que nous anonymisons, puis nous les complétons avec les équipes métier. Chaque scénario précise la demande, le contexte disponible, et ce qui constitue une bonne issue.
Le jeu de test doit couvrir trois familles de cas :
- Les cas courants, qui représentent l’essentiel du volume et doivent être traités de façon fiable.
- Les cas difficiles, qui demandent de croiser plusieurs sources ou de raisonner en plusieurs étapes.
- Les cas où l’agent doit s’abstenir : demandes hors périmètre, informations manquantes, situations qui doivent être escaladées à un humain.
Cette dernière famille est la plus souvent oubliée. Pourtant, un agent qui répond avec assurance à une question à laquelle il ne devrait pas répondre est plus dangereux qu’un agent qui se trompe sur un cas courant.
Évaluer le résultat, mais aussi le parcours
Pour un agent, regarder la réponse finale ne suffit pas. Deux dimensions doivent être évaluées.
Le résultat : la tâche est-elle accomplie ? La réponse est-elle exacte, complète, conforme au ton attendu ? L’action effectuée est-elle la bonne ?
Le parcours : quels outils l’agent a-t-il appelés, dans quel ordre, avec quels paramètres ? A-t-il consulté la bonne source ? A-t-il tenté une action qu’il n’aurait pas dû tenter, même si elle a été bloquée ? Combien d’étapes a-t-il eu besoin pour y arriver ? Un agent qui trouve la bonne réponse après quinze appels inutiles est un agent lent, coûteux, et fragile.
Un agent qui donne la bonne réponse pour de mauvaises raisons finira par donner une mauvaise réponse.
Comment noter : règles, humains et modèle évaluateur
Toutes les vérifications ne se font pas de la même manière. Nous combinons trois approches :
- Les vérifications automatiques par le code : le bon outil a-t-il été appelé, le format de sortie est-il respecté, le montant est-il correct, l’agent a-t-il escaladé quand il le devait ? C’est la base, rapide et objective.
- Un modèle évaluateur : pour juger des critères plus qualitatifs, comme la pertinence ou la clarté d’une réponse, un second modèle peut noter les sorties selon une grille précise. Utile pour évaluer beaucoup de cas rapidement, à condition de vérifier régulièrement que ses notes concordent avec celles d’un humain.
- La relecture humaine : indispensable pour calibrer les deux autres, et pour les cas les plus sensibles. Les experts métier repèrent des erreurs qu’aucune règle n’avait prévues.
Comme le comportement d’un agent varie d’une exécution à l’autre, chaque scénario important est joué plusieurs fois. Un cas réussi une fois sur deux n’est pas un cas réussi.
Les cas limites et les tests adverses
Au-delà des scénarios métier, il faut chercher activement à mettre l’agent en difficulté : demandes ambiguës, informations contradictoires dans les sources, outil indisponible ou qui renvoie une erreur, réponse vide d’une base de données, utilisateur qui change d’avis en cours de route. Il faut aussi tester la résistance aux tentatives de manipulation, comme des instructions cachées dans un document ou un e-mail lu par l’agent.
L’objectif n’est pas que l’agent réussisse tout, mais qu’il échoue proprement : en s’arrêtant, en signalant le problème ou en passant la main, plutôt qu’en improvisant.
Le jeu de non-régression
Un agent évolue sans cesse : nouvelles consignes, nouveaux outils, nouvelle version du modèle, nouvelles sources documentaires. Chacune de ces modifications peut améliorer certains cas et en dégrader d’autres, sans que personne ne s’en aperçoive.
Le jeu de test devient donc un jeu de non-régression : il est rejoué à chaque modification, et les résultats sont comparés à la version précédente. Aucune évolution n’est mise en production si elle fait reculer des cas qui fonctionnaient. Chaque erreur découverte en production rejoint ce jeu, pour qu’elle ne se reproduise pas.
Après la mise en production : surveiller
Les tests avant lancement ne couvrent jamais toute la diversité du réel. Une fois l’agent en service, nous suivons quelques indicateurs simples : taux de tâches accomplies, taux d’escalade, nombre d’étapes par tâche, coût par tâche, retours explicites des utilisateurs. Une variation brutale de l’un de ces indicateurs est souvent le premier signe d’un problème.
Nous complétons ces indicateurs par une relecture régulière d’un échantillon de conversations, tirées au hasard et parmi les cas signalés. C’est cette relecture qui fait apparaître les nouveaux types de demandes, les erreurs subtiles et les pistes d’amélioration.
Un exemple concret
Un agent aide les équipes d’une entreprise industrielle à retrouver des informations dans la documentation technique et à créer des demandes d’intervention. Avant le lancement, le jeu de test réunit plusieurs dizaines de scénarios construits avec les techniciens, dont une part importante de cas où l’agent doit répondre qu’il ne trouve pas l’information ou transmettre à un responsable.
Les premiers tests montrent que l’agent trouve presque toujours la bonne réponse, mais qu’il crée parfois une demande d’intervention en double, faute d’avoir vérifié les demandes existantes. Le problème n’apparaissait pas dans la réponse finale, seulement dans le parcours. Une vérification est ajoutée, le cas rejoint le jeu de non-régression. Trois mois plus tard, lors du passage à une nouvelle version du modèle, le jeu de test est rejoué en quelques heures et confirme que rien n’a régressé avant la bascule.
Notre recommandation
Construisez le jeu de test avant de construire l’agent, ou au plus tard en même temps. Il sert à la fois de cahier des charges, d’outil de mesure et de filet de sécurité. Un agent sans jeu de test est un agent dont on ne connaît pas la qualité réelle, et qu’on n’ose plus modifier. Un agent avec un bon jeu de test peut évoluer vite, en confiance, et prouver sa valeur chiffres à l’appui.