Contexte:
NAPOLEON est un assistant médical à destination des médecins, utilisant la reconnaissance vocale (ASR) et l’intelligence artificielle (LLM) pour automatiser certaines tâches, avec un double objectif : libérer du temps au médecin et améliorer l’information du patient.
Missions :
Elaborer la stratégie de fine-tuning (langage médical) du modèle d’ASR sélectionné
Contribuer à la mise en place de ce fine-tuning et à son évaluation
Contribuer au choix du (des) modèle(s) de LLM qui seront utilisés et à leur fine-tuning (langage médical)
Participer à l’élaboration de la stratégie de déploiements des agents LLM et à l’évaluation de leur performance
Encadrement d’un (ou de deux) stagiaires
Données et pipeline :
- Collecte/curation de jeux de données audio + transcriptions, prétraitements (VAD, segmentation, normalisation audio), nettoyage texte, anonymisation/pseudonymisation si nécessaire, versioning et tracking d'expériences
Fine-tuning Speech-to-text (ASR) :
- Fine-tuning efficient (LoRA/PEFT), augmentation (bruit, reverb, speed), evaluation WER/CER et analyses d'erreurs ciblées (noms de médicaments, jargon médical, acronymes).
Déploiement d’un modèle de LLM :
- Définition de taches (structuration de compte-rendu, résumé, traduction, extraction d'éléments ciblés, génération de documents à partir de ces éléments), SFT/instruction tuning, contrôle qualite (fidélité au verbatim, réduction d'hallucinations), et mise en place de garde-fous.
Deploiement :
- Packaging (Docker), exposition via API (ex. FastAPI), optimisation inference (quantization, batching/streaming si besoin), monitoring (latence, couts, erreurs, qualite) et documentation technique.
Connaissances :
- Speech / Audio : notions ASR, VAD, WER/CER, segmentation, augmentation audio.
- Python, Git, environnements (conda/poetry), bonnes pratiques Linux.
- Bonus : Hugging Face (transformers/datasets), PyTorch, PEFT/LoRA, accelerate, VLLM/TGI, MLflow ou Weights & Biases
Type d'emploi : Temps plein, Temps partiel, CDD, Indépendant / freelance
Durée du contrat : 6 mois
Rémunération : à partir de 2 000,00€ par mois
Lieu du poste : Télétravail hybride (Perpignan (66))