🔍
Formation « Évaluer un système d'IA agentique »
Évaluer pour mieux maîtriser les agents IA
Publié le 4 novembre 2026
Un agent IA ou un pipeline RAG est un système informatique complexe, coûteux, et parfois imprévisible. Sans monitoring ni évaluation, impossible de savoir s'il répond correctement aux utilisateurs finaux, s'il ne dérive pas après une mise à jour du modèle, s'il peut être détourné par un pirate...
L'évaluation des agents IA et des pipelines RAG fait la différence entre un système professionnel de qualité et un prototype.
Les bénéfices de l'évaluation d'un système IA agentique sont concrets : réduire les coûts à qualité égale, améliorer la qualité des réponses, comprendre le comportement des utilisateurs finaux, réduire l'impact environnemental du système, tester des alternatives open source ou souveraines, et détecter les problèmes de sécurité tels que les injections de prompt.
Cette formation s'adresse aux développeurs et développeuses de systèmes d'IA agentique, qu'ils viennent initialement du développement logiciel ou de la data science. La formation s'appuie sur des plateformes de monitoring agentique (Langfuse, Opik, LangSmith) utilisées par les entreprises.
Durée
2 jours
Modalités
À distance (présentiel possible en intra-entreprise)
Au maximum 6 participants
Prix
1000€ HT (1200€ TTC) par participant
Sur devis en intra-entreprise
Prochaines sessions
Programme de la formation
- Rappel des fondamentaux : définition des différentes typologies de systèmes d'IA agentique (LLM, agents IA, boucle agentique, RAG, multi-agents, harnais, serveur MCP...) et des enjeux liés à leur évaluation (texte en langage naturel, non-déterminisme, coût, autonomie)
- Confirmer la pertinence de mobiliser un système d'IA agentique pour différents cas d'usage, dans une optique de frugalité favorisant les solutions numériques sans IA
- Analyse d'un système d'IA agentique pour définir les scénarios d'utilisation attendus ou hors périmètre, le profil des utilisateurs finaux en tenant compte de l'accessibilité, et les risques associés à sa mise en œuvre et à son utilisation
- Mise en place d'une plateforme de monitoring agentique open source ou commerciale (Langfuse, Opik, LangSmith ou équivalent) et découverte des typologies de données collectées et stockées (inférence, trace agentique, label, score, annotation)
- Mise en pratique : instrumenter un agent IA ou un pipeline RAG existant pour collecter ses traces
- Lire une trace agentique pour détecter les cas valides et les cas problématiques
- Constituer un jeu de données à partir des traces agentiques, d'exemples synthétiques générés par l'IA et de datasets open source, puis valider son niveau de couverture face aux scénarios d'utilisation prévus
- Annoter manuellement ou automatiquement un jeu de données pour définir des références d'évaluation
- Documenter le processus de constitution du jeu de données d'évaluation et la provenance des données de test
- Mise en pratique : implémentation d'un premier script d'évaluation
- Ouverture : mobiliser le clustering pour analyser les grandes tendances dans un jeu de données de monitoring agentique
- Découverte des métriques et techniques mobilisables pour construire des évaluations avancées : LLM-as-a-judge, BERTScore, scores ROUGE/BLEU, matrices de confusion, calculs de distributions, distances d'embeddings, problème de la calibration des scores...
- Implémenter et exécuter un pipeline d'évaluation automatique ou semi-automatique de bout en bout
- Auditer un agent IA en contexte d'entreprise : mobiliser une grille multicritère tenant compte des enjeux réglementaires, environnementaux, des utilisateurs finaux notamment en situation de handicap, et globalement de l'impact socio-économique des systèmes d'IA agentique
- Mobiliser les référentiels standardisés et les cadres légaux (normes AFNOR, top 10 de l'OWASP, AI Act, RGPD, charte IA de l'entreprise) pour évaluer les critères de conformité et de sécurité informatique
- Panorama de techniques pour optimiser un agent IA à partir des résultats de l'évaluation et réduire sa consommation d'énergie : fine-tuning, RLHF, entraînement de SLM, choix d'un modèle de petite taille selon une logique de frugalité, conception d'architectures agentiques multi-étapes, reformulation du problème pour le résoudre sans IA générative...
- Constituer un banc d'essai et comparer plusieurs architectures agentiques pour évaluer l'impact des optimisations
- Mise en pratique : comparer un modèle propriétaire et une alternative open source sur le même jeu de données d'évaluation
- Stocker et versionner les résultats pour garantir leur reproductibilité sur le long terme
- Évaluer en continu la robustesse aux problèmes de sécurité : mésusage, déclenchement des guardrails, tentatives d'injection de prompt et de jailbreaking, motifs de tiercé létal, auto-réplication, prédation agentique...
- Ouverture : concevoir des environnements simulés pour l'évaluation dans des conditions proches de la réalité
Le programme s'étend sur 2 jours. La première journée est consacrée au cadrage de l'évaluation : analyse du système IA à évaluer, mise en place d'une plateforme de monitoring, constitution d'un jeu de données d'évaluation. La seconde journée aborde l'automatisation de l'évaluation, et bien sûr son exploitation pour améliorer les agents IA et pipelines RAG : métriques avancées, audit de conformité et de sécurité, optimisation agentique...
Notre approche pédagogique alterne apports méthodologiques et ateliers pratiques guidés sur un système d'IA agentique réel. À l'issue de la formation, vous repartez avec un pipeline d'évaluation fonctionnel et une méthode réutilisable sur vos propres agents IA.
Mise en pratique : évaluer un agent IA de bout en bout
Vous instrumenterez un système d'IA agentique (type agent IA / RAG) avec une plateforme de monitoring (Langfuse, LangSmith ou Opik) afin de collecter ses traces. À partir de ces traces, vous constituerez et annoterez un jeu de données d'évaluation, puis vous implémenterez un pipeline d'évaluation combinant métriques classiques et LLM-as-a-judge. Vous comparerez enfin plusieurs architectures et modèles sur un banc d'essai pour mesurer l'impact de vos optimisations en qualité, coût et consommation d'énergie.
Cette formation vise à rendre les développeurs et développeuses de systèmes d'IA agentique capables de cadrer, exécuter et interpréter l'évaluation d'un agent IA ou d'un pipeline RAG, afin de l'optimiser et d'en garantir la conformité en contexte d'entreprise.
- Analyser un système d'IA agentique (agent IA, RAG, serveur MCP...) afin de cadrer son évaluation
- Instrumenter un système d'IA agentique avec une plateforme de monitoring
- Constituer et annoter un jeu de données d'évaluation
- Implémenter un pipeline d'évaluation de bout en bout
- Auditer un systéme agentique afin de maîtriser ses risques et sa conformité (AI Act, RGPD, référentiels AFNOR, top 10 de l'OWASP, accessibilité, éco-conception...)
- Optimiser un système d'IA agentique à partir des résultats de l'évaluation via un banc d'essai reproductible
Cette formation s'adresse aux développeurs et développeuses de systèmes d'IA agentique. Il n'est pas nécessaire d'avoir des compétences préalables en science de données, les développeurs IA agentiques formés à l'ingénierie logicielle peuvent participer à cette formation. Il est nécessaire de savoir créer un agent IA ou un RAG avec la technologie de son choix, et de savoir écrire des scripts simples en Python ou éventuellement JavaScript. Les product builders no-code et les chefs de projets IA peuvent aussi rejoindre la formation à condition de remplir les prérequis en matière de programmation informatique.
- Connaître les bases de l'utilisation d'un ordinateur et d'Internet, ainsi que des outils bureautiques : tableurs, partage de fichiers sur le cloud
- Maîtriser les bases des LLM (IA générative) : prompting, activer la recherche sur Internet
- Savoir créer un système d'IA agentique simple (agent IA, RAG, serveur MCP par exemple), avec une technologie de code de son choix : LangChain, LangGraph, Mastra, Rig, Google ADK, etc.
- Savoir écrire des scripts simples en Python (ou JavaScript) et manipuler des données aux formats CSV et JSON
- Connaître le principe de fonctionnement d'une application web (architecture client/serveur, requêtes HTTP) et d'une base de données
- Avoir une expérience en entreprise d'au moins 3 mois (incluant l'alternance, les stages, le freelancing) afin de pouvoir raisonner sur des enjeux organisationnels
- Avoir une maîtrise suffisante de l'anglais pour lire les documentations techniques
- Disposer du matériel technique nécessaire au bon déroulement de l’épreuve à distance : ordinateur, pièce isolée, caméra, microphone, connexion Internet haut débit stable.
Modalités d'évaluation
Projet d'évaluation d'un système d'IA agentique - Évaluation sommative : suite à cette formation, un cahier des charges représentatif de l'activité d'évaluation d'un système d'IA agentique en entreprise vous sera présenté. Vous serez amenés à cadrer l'évaluation, constituer un jeu de données, concevoir et exécuter un pipeline d'évaluation répondant aux objectifs visés, optimiser l'agent et évaluer l'impact des améliorations apportées. Vous rédigerez une note technique synthétique documentant votre protocole d'évaluation et les résultats obtenus. Vous présenterez votre travail oralement devant un jury constitué de deux professionnels du domaine.
Évaluation formative : un suivi des mises en pratique et des QCM intermédiaires permettront de vérifier la bonne acquisition des compétences tout au long de la formation. Retrouvez les modalités d'évaluation détaillées sur notre page dédiée.
N'hésitez pas à nous appeler :
Votre formateur - Eric Burel
Eric Burel est ingénieur en informatique et mathématiques appliquées diplômé de l'ENSIMAG. Il est le co-fondateur de LBKE et a contribué à la création de plusieurs startups technologiques.
Eric est actif dans le domaine de l'intelligence artificielle générative en tant qu'ambassadeur IA et membre de la communauté LangChain.
Il contribue aussi à l'open source en tant que membre du collectif Devographics, qui organise les enquêtes annuelles "State of" JavaScript, React et AI.
Contactez-nous
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.
FAQ
-
Qu'est-ce qu'un système d'IA agentique ?
Il s'agit typiquement des agents d'intelligence artificielle, aussi bien ceux intégrés aux plateformes grand public comme ChatGPT que ceux créés par des développeurs agentiques avec des technologies telles que LangChain. L'architecture RAG, utilisée pour créer des moteurs de recherche intelligents, entre aussi dans cette catégorie, de même que les systèmes multi-agents, les agents IA pour le code, ou plus généralement tout système informatique intégrant l'intelligence artificielle pour prendre des décisions. -
Quelles plateformes de monitoring agentique peuvent être utilisées en formation ?
Des solutions open source comme Langfuse et Opik, ou commerciales comme LangSmith peuvent être utilisées en formation. La méthode enseignée est indépendante de la plateforme choisie, tant qu'elle permet de collecter des traces agentiques, constituer des jeux de données annotés, et exécuter des évaluations. -
À quoi sert l'évaluation ?
Le monitoring et l'évaluation permettent de bien comprendre le fonctionnement d'un agent IA, pour pouvoir ensuite :- L'améliorer, par exemple en réduisant son coût ou en accélérant les calculs à niveau de qualité égal ;
- Le sécuriser, en détectant les entrées et sorties problématiques ;
- Le rendre indépendant d'un fournisseur d'IA donné, grâce à la possibilité de comparer rapidement des alternatives souveraines ou moins onéreuses.
-
L'évaluation d'un système d'IA agentique est-elle obligatoire ?
Le niveau de risque d'un système d'IA doit être maîtrisé par ses fournisseurs : un système d'IA sans évaluation n'est généralement pas conforme à l'AI Act. L'article 43 impose une obligation d'évaluation de la conformité pour les systèmes à haut risque : par exemple, un agent IA d'analyse de CV peut déjà entrer dans cette catégorie, car il peut avoir un impact sur la carrière professionnelle des personnes. -
Peut-on suivre la formation avec un outil no-code (n8n, Dify) ?
Les outils no-code tels que n8n permettent de créer des agents IA et des pipelines RAG : les compétences vues en formation sont donc applicables à ces technologies. Cependant, la mise en place de l'évaluation peut être plus complexe car le code sous-jacent n'est pas directement accessible. C'est pourquoi il est nécessaire de savoir créer un agent IA (même très simple) avec du code pour suivre notre formation « Évaluer un système d'IA agentique ». -
Quelle est l'expertise de LBKE dans le domaine de l'évaluation de l'IA agentique ?
LBKE est un organisme spécialisé en IA agentique, qui forme depuis 2025 les développeurs et développeuses informatiques à la création d'agents IA avec des technologies de code telles que LangChain, et à leur évaluation avec la plateforme LangSmith. Eric Burel, co-fondateur de LBKE, a contribué à la rédaction du livre blanc sur l'évaluation de l'IA agentique, publié en 2026 par l'association Hub France IA.
Ressources complémentaires
Formation RAG pour l'IA générative
Deux jours pour maîtriser l'architecture RAG, des fondamentaux jusqu'aux optimisations avancées, et construire un système prêt à être évalué. Lire la suite
Lexique complet de l'IA générative
Ne soyez plus surpris lorsque l'on vous parle de prompter un LLM pour construire un RAG ! Un lexique pour comprendre les mots-clés de l'IA générative. Lire la suite
LBKE propose des formations professionnelles courtes (1 à 5 jours) dans le domaine de l'intelligence artificielle agentique à destination des développeurs et développeuses informatiques.
Nous accompagnons aussi les dirigeants, cadres et managers techniques via des formations qui leur sont dédiées.