Agent Eval Kit v1.0.0

Ce que tu recois

• 90 cas de test repartis en 4 suites (structured-output, support-fr, tool-calling, safety)
• runner.py: CLI multi-providers (mock, fixture, openai-compatible, ollama)
• scoring deterministe: JSON strict, faits requis avec formulations acceptees, interdits, appels d'outils, detection de refus
• rapport JSON + markdown par suite, seuil par suite, code de sortie non nul en cas d'echec (CI-ready)
• self-tests du kit + provider fixture hors ligne

Pour qui

Developpeurs et AI builders qui mettent un agent/LLM en production (support, extraction, tools). Agences qui livrent des agents a leurs clients. Tout operateur LLM qui veut un chiffre avant de shipper.

Infrastructure d'evaluation ready-to-run: 90 cas, 4 suites, runner multi-providers, score chiffre par run.