Solutions / Modèles

Une famille de LLM multimodaux ouverts, sobres et performants, pour offrir transparence et contrôle

Collecter des données “propres” en français. Permettre l’injection de connaissances métier sûres pour fiabiliser les réponses générées.

Caractériser et populariser une méthodologie et des benchmarks adaptés au contexte applicatif industriel, sensible et francophone.

Réduction des coûts d’entraînement et d’inférence. Limitation des impacts sur l’environnement.

S’assurer de la validité éthique et réglementaire (droit d’auteur, RGPD, IA Act) des modèles.

Caractéristiques des modèles développés par LINAGORA

Avec les autres membres du consortium OpenLLM France 🇫🇷, il s’agit de faire progresser l'état de l'art de la recherche académique visant à démontrer que des modèles sobres et spécialisés, dont la cible de taille serait idéalement de 1,5 milliard de paramètres mais entraînés sur des données de haute qualité, peuvent rivaliser avec les plus grands LLM.

Conscient que ces modèles ne peuvent bien entendu embarquer toute la connaissance nécessaire à la génération de réponses de qualité et disposant d’un haut niveau de confiance, il est donc nécessaire d’envisager l’« hybridation » des modèles. Il s’agit de combiner la puissance générative des LLM avec l’apport de base de données structurées disponibles dans les organisations.

Concrètement lors de l’inférence, nos modèles peuvent interroger des sources de données sûres pour compléter, amender et fiabiliser les réponses générées par le LLM.

Enfin, peu de modèles existants offrent la multimodalité, c'est-à-dire la compétence à interagir avec des médias autres que du texte, souvent injecté via des prompts saisis au clavier. Les modèles développés par le consortium auront donc la possibilité de raisonner à la fois sur des données textuelles et vocales.

Vers une nouvelle génération de modèles compacts et sobres

Depuis le mois septembre 2023, l’initiative LLM4All financée au travers d'un financement de l'ANR, travaille à l'élaboration d'un 1er modèle dénommé CLAIRE qui sera très prochainement disponible au téléchargement sur le site Hugging Face (https://huggingface.co/OpenLLM-France).

Le projet LLM4All réuni un consortium d’acteurs stratégiques et complémentaires issus du monde de la recherche et de la technologie : LINAGORA, le CNRS, au travers du Laboratoire lorrain de recherche en informatique et ses applications (Loria – CNRS/Inria/Université de Lorraine - Equipe SyNaLP), le Laboratoire d’informatique de l’École polytechnique (LIX - CNRS/Institut Polytechnique de Paris), l’AP-HP et HuggingFace.

Le LLM CLAIRE est un modèle de petite taille spécialisé au traitement de taches dans le domaine conversationnel et entraîné sur des données d’apprentissage en langue française respectueuses de notre réglementation. Ce LLM doit permettre le traitement de deux cas d’usage :

• faciliter le traitement des appels arrivant sur les numéros d’urgence de l’APHP ;

• soulager le travail de transcription et de génération des comptes rendus de réunion suite aux interventions réalisées par le personnel soignant.
  

Compte tenu de la sensibilité des données, l’APHP souhaite dispose d’un modèle 100 % construit et maîtrisé en France tout en ayant la capacité de le mettre en opération dans son propre système d’informations.

A noter que nos modèles sont entraînés sur des puissances de calcul fournies par le GENCI.

En parallèle, LINAGORA travaille sur deux grandes générations de modèles, tout en développant une approche de services d’accompagnement en parallèle.

CLAIRE constitue la première génération des modèles issus de fine tuning de modèle pré existants. Cela permet d’obtenir des résultats rapides et de pouvoir valider des approches techniques avant de lancer de longues phases d’entrainement de modèles fondation. Cette génération de modèles valide notre compétence et notre expertise auprès des clients, des institutions et des potentiels futurs investisseurs.

La deuxième génération de modèles comblera les lacunes importantes des modèles actuels pour devenir utilisables par les entreprises en toute sécurité et à un prix abordable tout en fournissant l’alternative crédible Open Source et Souveraine aux grands modèles fermés actuels. Ce sont des travaux que nous menons avec le consortium OpenLLM France 🇫🇷.

La multimodalité prendra naissance dans cette seconde génération de modèle permettant ainsi dans l'intervalle de collecter les données d’apprentissage nécessaires pour le traitement de la voix en particulier en capitalisant sur nos investissement depuis 2016 sur notre technologie de transcription de la voix LinTO.

Un premier modèle pour valider nos orientations technologiques