STAGE 2026 - IA / NLP - Gestion d'incertitude et hallucination dans les réponses d'agents IA - F/H

Informations générales

Vos missions

🔍 Sujet : Détection et gestion d’incertitude dans les réponses d’agents IA

🧩 Contexte :

Au sein de la Direction de la Recherche et de l’Innovation Technologique (DRIT), le Lab IA explore les nouveaux paradigmes d’intelligence artificielle, et en particulier l’intégration des modèles de langage de grande taille (LLM) dans des systèmes multi-agents intelligents.

L’un des défis majeurs de ces systèmes concerne la fiabilité et la transparence des réponses générées : les modèles peuvent produire des affirmations incorrectes tout en affichant une confiance élevée. Cette « illusion de certitude » nuit à la confiance des utilisateurs et à la robustesse globale du système.

Le stage s’inscrit dans une démarche de R&D exploratoire, visant à concevoir et expérimenter des mécanismes d’auto-évaluation et de calibration de confiance pour des agents conversationnels intégrant des LLM. Ce travail contribuera à l’amélioration de la fiabilité, de la traçabilité et de l’ergonomie cognitive de l’assistant IA développé dans le cadre du projet Athena de Berger-Levrault.

🛠️ Missions :

• Étudier les approches existantes de détection d’incertitude et de calibration de confiance dans les modèles de langage : estimation probabiliste, self-consistency, chain-of-thought scoring, contradiction detection, LLM uncertainty estimation.

• Concevoir un module d’évaluation de fiabilité, capable d’estimer la fiabilité d’une réponse générée à partir d’indicateurs sémantiques : évaluation de similarité de la réponse principale avec des réponses candidates, cohérence inter-agent, vérification de sources externes (API sur sites web de référence ou corpus métier de référence, etc.).

• Mettre en place un système de scoring sémantique pour évaluer la cohérence interne des réponses et identifier les contradictions ou divergences logiques.

• Prototyper un mécanisme de retour d’incertitude dans l’interface agentique : visualisation de la confiance (barres, couleurs, reformulations automatiques), feedback utilisateur.

• Évaluer scientifiquement le dispositif, via un protocole expérimental mesurant précision, robustesse, calibrage et perception utilisateur.

Selon l’avancement de la mission d’autres pistes comme la suggestion de correction seraient envisageable.

Approches et technologies envisagées :

• LLM : Modèles de Mistral AI
• Frameworks : LangChain
• Méthodes : self-consistency, contradiction-check, semantic similarity scoring (SBERT, Cosine distance), combinaison de métriques
• Stack possible : Python, FastAPI, Streamlit pour les tests, VectorDB (Weaviate).

Livrables attendus :

• Une étude comparative des méthodes d’estimation de confiance pour les LLM.
• Un prototype fonctionnel d’agent capable de produire un score de confiance accompagné d’une visualisation explicite.
• Un protocole d’évaluation et un rapport scientifique présentant les résultats.
• Des recommandations pour l’intégration de ce module

Cette offre est faite pour vous ? Uniquement si...

• Vous êtes étudiant(e) en Master 2, école d’ingénieurs ou formation universitaire en intelligence artificielle, data science, NLP ou informatique. Et vous recherchez un stage de 6 mois débutant au printemps 2026.

• Vous présentez un intérêt marqué pour la recherche appliquée et les modèles de langage (LLM).

• Vous maîtrisez Python ainsi que la manipulation de modèles de langage et d’embeddings.

• Vous faites preuve de curiosité scientifique, de rigueur méthodologique et d’un réel goût pour l’expérimentation.

Pourquoi vous lancer dans cette nouvelle aventure ?

• Parce que vous avez suivi toutes les astuces mentionnées dans la vidéo ici
  
• Parce que vous avez envie de donner un nouvel élan à votre carrière au sein du groupe Berger-Levrault et challenger votre expertise dans un autre contexte
• Parce que vous êtes doté(e) d'une expérience et de compétences pertinentes pour le poste
• Parce que 100% des gagnants ont tenté leur chance ? 😉
  

Et si vous avez la moindre question, n’hésitez pas à contacter directement PERUSIN CAMILLE qui est en charge du recrutement !

Quelles sont les étapes du processus de recrutement ?

• Première étape : Envoyez votre CV et lettre de motivation via l'espace candidat (Éléments obligatoires, même pour de l'interne !)
  
• Deuxième étape : Votre profil attire notre attention, votre recruteur ou votre futur manager aura le plaisir de vous contacter pour un premier échange téléphonique.
• Troisième étape : Vous avez suscité notre curiosité:-), nous vous contacterons pour un 2ème entretien à distance ou au sein de nos locaux.  

Naturellement, vous aurez une réponse de notre part que cela soit 👎 ou 👍.