Stage 2025 - Data Science et Machine Learning/AI practitionner - Sujet : Language model interpretability (H/F/N)
Société : Ekimetrics Lieu : Paris (Île-de-France)
Descriptif du poste
Société : Ekimetrics Catégorie : Stage Filiere : IT/Etudes, développement et intégration Lieu : Paris (Île-de-France)
Mission
Ekimetrics est leader en data science et fournisseur de solutions AI. Depuis 2006, nous utilisons la data science au service de l’optimisation de performance marketing, business et de la transition vers une performance plus durable.Si vous êtes passionné.e de data, ou de technologie en général, et que vous avez envie d’être de votre avenir professionnel, votre place est sûrement chez Ekimetrics ! Et si nous vous présentions quelques datas ? • 400 en data science • 1000 projets divers et variés pour plus de 350 clients • 5 bureaux : Paris, Hong Kong, Shanghai, Londres et New York • 1 milliard de $ de profits générés pour nos clients depuis 2006 Chez Ekimetrics nous avons l’ambition d’accompagner nos clients à repenser leur business model, en réconciliant performance économique et objectifs durables, grâce à la data science. C’est pourquoi nous avons en interne toutes les compétences nous permettant de répondre aux besoins de nos clients : Product Managers, Product Designers, Data Architects, Lead Tech, Data Engineers, DevOps Engineers, Data Scientists. L’équipe Data Science que vous pourriez rejoindre Pourquoi recrutons-nous ? Au sein d’Ekimetrics, le département Innovation travaille sur des sujets de recherche en IA en collaboration avec nos partenaires industriels et académiques. Le département regroupe plusieurs docteurs experts dans le domaine de l’IA générative, du deep learning, de la vision par ordinateur, de la série temporelle, de l’explicabilité, et de la causalité. Deux thèses CIFRE sont en cours, et deux débuteront en 2025. Autour de chaque expert des équipes sont constituées en charge de tester les algorithmes état de l’art et les adapter à des problématiques business spécifiques, de créer de nouvelles méthodologies ou algorithmes répondant à un problème relevé, et d’’assurer la passation en vue d’une intégration dans l’écosystème industriel d’Ekimetrics.Le stream interprétabilité/explicabilité a vocation à développer des modèles ou des méthodes permettant une meilleure compréhension du comportement de modèles de machine learning ou de deep learning. L’équipe travaille par exemple à la construction de Concept Bottleneck Model pour le traitement du langage, afin de rendre les modèles Transformers plus interprétables. L’équipe travaille de même expliquer les prédictions effectuées par des modèles multimodaux, manipulant du texte, de l’image et des données tabulaires.Ce stage se concentrera sur l’interprétabilité de modèles de langage (LLMs). En particulier, il s’agira d’investiguer différentes méthodes d’interprétabilité afin d’aligner le comportement du LLM avec des attentes utilisateurs. Ces méthodes incluent par exemple l’entrainement de Sparse Autoencoders [1] afin d’assigner des activations de neurones à des comportements spécifiques. Le stage investiguera aussi des méthodes visant à expliquer en langage naturel les représentations latentes des LLMs [2,3]. Ainsi, ces approches pourront être utilisées afin d’influencer le comportement du LLM [4]. Enfin, nous investiguerons la possibilité de réaliser des interventions afin de directement modifier les paramètres du LLM, dans l’optique de lui faire oublier certaines connaissances non souhaitées, comme par exemple des connaissances toxiques, ou bien des biais [5,6].Le stage pourra déboucher sur une thèse ou un poste de data scientist en IA.Plus particulièrement vos responsabilités seront de :• Assurer une veille sur l’état de l’art dans le domaine du deep learning et plus spécialement de l’IA générative• Effectuer un travail de recherche au sein du département Innovation• Respecter les bonnes pratiques de code pour assurer l’industrialisation de ceux-ci avec nos experts Solution• Partager vos connaissances en interne en apportant un support d’expertLe profil et les compétences recherchées :• En stage de fin d’étude d’une grande école d’ingénieur ou de master 2, vous avez acquis de solides connaissances en deep learning• Expérience dans les méthodologies et bonnes pratiques de développement : Tests unitaires, versionning, CD/CI• Compétences approfondies en Python• Maitrise des librairies Pytorch, numpy, sklearn• Maitrise des Transformers• Connaissances approfondies en probabilités, mathématiques et statistiques• Une appétence pour l’interprétabilité est un plus.• Anglais courant. Pourquoi nous rejoindre ?Rejoindre Ekimetrics, c’est intégrer une entreprise dont les valeurs s’appliquent au quotidien :• Evoluer dans un environnement type start-up et non traditionnel (#curiosité)• Être capable de prendre le feedback pour s’améliorer (#excellence)•Se former dès son arrivée et en continu grâce à une expérience apprenante unique et riche de nombreuses ressources (internes, externes, live et digital) alliant savoirs techniques, savoir-être et savoir-faire (#transmission)• Faire partie d’une communauté accueillante et soudée (#plaisir)• Imaginer des solutions inattendues & sortir de sa zone de confort (#créativité) En 2023, Ekimetrics a obtenu le statut d’entreprise à mission qui témoigne de notre ambition forte en matière de RSE. Nous sommes également certifiés Great Place to Work. Vous aurez accès à … • Au catalogue de formation EkiA qui contient des programmes qui vous feront monter en compétences sur nos solutions et nos métiers, des parcours apprenants sur notre plateforme digitale ainsi que des programmes dédiés à nos enjeux prioritaires, dont la sensibilisation aux sujets environnementaux avec la Climate School AXA.• Une vie sportive, artistique, musicale, ludique, caritative et engagée : de notre salle de sport privatisée à nos expositions d’art, en passant par des jeux vidéo et des concerts, ou encore les défis RSE sur la plateforme Vendredi ;• De nombreux évènements et séminaires pour rester proche de votre communauté ; • Des locaux modernes dans un quartier dynamique au cœur de Paris (Grands boulevards)• Une politique de télétravail flexible. Notre processus recrutement Un test technique sur HackerRank Un entretien RH avec un(e) Talent Acquisition Une étude de cas avec un(e) Consultant(e) Un entretien final avec un(e) Consultant(e) SeniorNous serions de vous donner de plus amples informations lors d’un entretien et attendons votre candidature avec impatience ! Références[1] Scaling and evaluating sparse autoencoders[2] SelfIE: Self-Interpretation of Large Language Model Embeddings[3] Patchscopes: A Unifying Framework for Inspecting Hidden Representations of Language Models[4] Steering Language Models With Activation Engineering[5] Editing Factual Knowledge in Language Models[6] The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Language ModelEn tant qu’employeur, Ekimetrics offre à tous les mêmes opportunités d’accès à l’emploi sans distinction de genre, ethnicité, religion, orientation sexuelle, statut social, handicap et d’âge. Ekimetrics veille à développer un environnement de travail inclusif qui reflète la diversité dans ses équipes. €1,800 - €1,800 a monthCLIQUER ICI POUR POSTULER
