Tester un agent LLM avant la prod : la checklist en 8 points

Un agent LLM qui marche en demo casse en production. Pas parce que le modele est mauvais : parce que personne n'a teste les cas ou il est presque correct.

Ces 8 points sont ceux qui font echouer un agent en vrai.

1. Le chemin nominal

20 cas reels, pas 3 exemples choisis par vous. Entree salee, faute de frappe, message en deux parties.

2. Les refus

Que fait l'agent quand la reponse n'existe pas dans son contexte ? Un « je ne sais pas » explicite vaut mieux qu'une invention confiante.

3. L'injection de prompt

Un utilisateur peut ecrire « ignore les instructions precedentes ». Si l'agent obeit, il est compromis.

4. Le budget de tokens

Mesurez le cout par requete en p95, pas en moyenne. C'est le p95 qui vide votre compte.

5. La derive de format

Sortie JSON demandee, sortie JSON presque valide. Testez 50 fois : le taux d'echec n'est jamais 0.

6. La latence percue

Un agent a 4 secondes est bon. A 14 secondes, l'utilisateur croit que c'est casse.

7. Les outils externes

API lente, API qui renvoie 500, API qui renvoie du vide. L'agent doit degrader, pas planter.

8. La reproductibilite

Meme entree, deux executions : la sortie varie-t-elle assez pour changer une decision ?

Ce qu'on en fait

Un agent n'est pas pret quand il repond bien. Il est pret quand vous connaissez son taux d'echec par categorie, et que ce taux est acceptable pour l'usage.

Pour aller plus loin

• Agent Eval Kit : le jeu de tests + rubriques pour scorer un agent sur ces 8 axes. 39 USD.
• Model Sweep Kit : comparer 4 modeles sur votre propre jeu de cas, cout et latence en sortie. 29 USD.
• MCP Security Audit : les 8 points ci-dessus plus injection, permissions d'outils et fuite de secrets. 19 USD.

Tout est ici : https://seepathagency.com/produits/agent-eval-kit.html