Le projet EuroLLM a développé EuroLLM-22B, un modèle de langage open-source entièrement européen, capable de comprendre et générer du texte dans les 24 langues officielles de l'UE ainsi que 11 autres langues. Ce modèle, entraîné sur environ 4 000 milliards de tokens grâce à l'infrastructure EuroHPC, est le meilleur modèle de langage entièrement ouvert et européen à ce jour. Il performe dans les tâches de traduction et se classe bien dans les benchmarks généraux. Après l'entraînement initial, le modèle a subi un post-entraînement pour le rendre capable de suivre des instructions et de gérer des conversations multi-tours.
Écrire des prompts reste un passage obligé pour l'utilisation actuelle des LLM. S'il n'y a pas de recette miracle, l'augmentation des fenêtres de contexte permet de préciser toujours plus les demandes. Dans cet article, L'auteur nous explique simplement une démarche pour allez vers des résultats plus précis
Un excellent article de synthèse sur les difficultés de comprendre un fichier PDF pour une machine et en particulier pour un LLM. L'auteur revient sur les outils de reconnaissance de caractères (OCR) et les avancées actuelles.
Une synthèse intéressante sur le comportement des LLM et l'évaluation de leur "intelligence". Les tests actuels sont à interpréter d'affairement pour les humains et les LLM. La mémorisation pourrait être plus importante pour les seconds et la question de la compréhension du contexte reste incertaine
L'exemple très intéressant de la SNCF nous montre que les LLM s'adaptent mal aux conversations quand il s'agit de renseigner que des règles et des faits. L'aspect génératif de la technologie entraine toujours des incertitudes et il parait peu raisonnable de vouloir recréer de cette manière des systèmes experts.