Localisation du poste
Labège, FRANCE
Envie de vous lancer un nouveau défi et bénéficier d'une mobilité en interne ? Alors postulez dès maintenant et devenez notre nouveau STAGE RÉMUNÉRÉ - Feedback implicite pour l'évaluation automatique d'agents IA F/H en STAGE au sein de l'entité BERGER-LEVRAULT !
💸 Rémunération annuelle :
Fixe : Selon niveau académique - / Euros (€ EUR)
Variable : /
🎥 Nous découvrir en vidéo, cliquez ici
Visiter nos coulisses sur Welcome to the Jungle, cliquez ici
Votre future équipe
Vous rejoindrez la Direction de la Recherche et de l'Innovation Technologique (DRIT) et serez accompagné(e) par une équipe pluridisciplinaire composée de : Nihed Bendahmani - Ingénieure de recherche ; Vincent Laval - Développeur Full Stack ; Myriam Robbana - Ingénieure de recherche.
Vos missions
Au sein de la Direction de la Recherche et de l'Innovation Technologique (DRIT), vous contribuerez à l'amélioration d'ATHENA, notre plateforme agentique qui mobilise plusieurs agents IA spécialisés pour répondre aux besoins des utilisateurs.
Aujourd'hui, les utilisateurs peuvent évaluer explicitement les réponses des agents, mais ces retours restent facultatifs et ne couvrent qu'une partie des interactions. Pourtant, leurs comportements au fil d'une conversation fournissent de nombreux indices : reformulation d'une question, demande de précision, correction d'une information, changement d'agent ou encore consultation de sources.
Votre défi ? Exploiter ces signaux pour mieux comprendre si une réponse a été utile, sans tirer de conclusions hâtives sur les utilisateurs ou sur la qualité du service rendu.
- Réaliser un état de l'art sur le feedback implicite, l'analyse des dialogues multi-tours, la satisfaction utilisateur et l'évaluation continue des assistants conversationnels.
- Définir une typologie de signaux comportementaux observables dans ATHENA.
- Concevoir un schéma de données reliant les réponses, les actions observables et le contexte des conversations, en veillant à la minimisation et à la traçabilité des données.
- Constituer un corpus d'étude associant des interactions, des feedbacks explicites lorsqu'ils existent et des annotations de référence.
- Étudier et comparer différentes approches : règles interprétables, modèles de classification, analyse séquentielle et combinaison de plusieurs signaux.
- Développer un protocole d'évaluation permettant de mesurer la précision, la calibration, la stabilité et la capacité de généralisation des indicateurs.
- Concevoir un prototype intégrable à ATHENA pour générer, stocker et visualiser les indicateurs de feedback implicite.
- Rendre les estimations explicables en identifiant les signaux qui ont conduit à chaque résultat et en permettant leur correction ou leur invalidation.
- Prendre en compte les enjeux de confidentialité, de biais et d'incertitude en privilégiant des analyses agrégées.
L'objectif sera notamment de faire émerger des indicateurs probabilistes et explicables : besoin d'approfondissement, réponse potentiellement incomplète, ambiguïté non levée ou encore tâche vraisemblablement aboutie.
NB : Stage à pourvoir à partir de Janvier / Février 2027 pour une durée de 6 mois.
Cette offre est faite pour vous ? Uniquement si...
🎓 Vous préparez un diplôme de niveau Bac+5, en dernière année d'école d'ingénieur ou de Master, avec une spécialisation en intelligence artificielle, traitement automatique des langues (TAL/NLP), recherche d'information, data science ou informatique appliquée.
📈 Vous maîtrisez Python et l'analyse de données.
💡 Vous avez des connaissances en NLP/TAL et en modèles de langage.
👩💻 Vous avez des notions de classification, d'analyse de séquences et de statistiques.
🚀 Vous portez un intérêt à l'évaluation des systèmes conversationnels et l'intelligence artificielle responsable.
🤝 Vous êtes autonome, rigoureux(se), doté(e) d'un bon esprit d'analyse et de synthèse.
Pourquoi vous lancer dans cette nouvelle aventure ?
- Parce que vous avez suivi toutes les astuces mentionnées dans la vidéo ici
- Parce que vous avez envie de donner un nouvel élan à votre carrière au sein du groupe Berger-Levrault et challenger votre expertise dans un autre contexte
- Parce que vous êtes doté(e) d'une expérience et de compétences pertinentes pour le poste
- Parce que 100% des gagnants ont tenté leur chance ? 😉
Et si vous avez la moindre question, n’hésitez pas à contacter directement PREVOST EMMA qui est en charge du recrutement !
Quelles sont les étapes du processus de recrutement ?
- Première étape : Envoyez votre CV et lettre de motivation via l'espace candidat (Éléments obligatoires, même pour de l'interne !)
- Deuxième étape : Votre profil attire notre attention, votre recruteur ou votre futur manager aura le plaisir de vous contacter pour un premier échange téléphonique.
- Troisième étape : Vous avez suscité notre curiosité:-), nous vous contacterons pour un 2ème entretien à distance ou au sein de nos locaux.
Naturellement, vous aurez une réponse de notre part que cela soit 👎 ou 👍.