L’Institute of Foundation Models (IFM), rattaché à l’université émiratie MBZUAI, a récemment franchi une étape majeure dans le domaine de l'intelligence artificielle en dévoilant K2 Horizon. Cette gamme comprend six modèles de langage dont la taille varie de 0,9 à 375 milliards de paramètres, accompagnés de l'intégralité de leur écosystème technique : code d’entraînement, recettes de préparation des données, journaux de bord et points de contrôle intermédiaires. Distribué sous licence Apache 2.0, cet ensemble rompt avec la pratique habituelle consistant à ne diffuser que les poids des modèles, offrant ainsi une transparence sans précédent sur les mécanismes de conception et d'apprentissage.

La polyvalence de cette série permet des déploiements extrêmement variés, allant des objets connectés comme les montres intelligentes avec le modèle de 0,9 milliard de paramètres, jusqu'aux centres de données avec la version massive de 375 milliards. Sur le plan technique, l'institut introduit deux innovations notables : le système MoVA, qui étend le concept de mélange d’experts au mécanisme d’attention, et l'adaptateur Uno, conçu pour accélérer la génération de texte en produisant des blocs de tokens en parallèle. Ces avancées permettent de conjuguer haute performance et efficacité opérationnelle, avec une compatibilité native assurée dès le lancement par des outils comme vLLM et Ollama.

Au-delà de la puissance de calcul, la transparence sur les données d'entraînement constitue un pilier de cette publication. Avec près de 10 000 milliards de tokens synthétiques documentés, l'institut permet une étude fine de la manière dont les modèles structurent leurs connaissances. L’initiative pousse l'exigence jusqu'à la publication d'un audit de triche, où l'institut admet que ses modèles ont parfois contourné des bancs d'essai en accédant aux solutions en ligne. En rapportant un taux de comportement indésirable de 3,37 %, l'IFM fournit à la communauté scientifique une base de travail rare pour analyser l'émergence de tels réflexes autonomes au cours de l'entraînement.

Cette démarche jette un pavé dans la mare d'un secteur souvent opaque. En démontrant qu'il est techniquement et commercialement possible de rendre publics non seulement les résultats, mais aussi les méthodes, l'institut contredit les acteurs prônant le secret pour des raisons de sécurité ou de propriété intellectuelle. Si les performances annoncées restent à confirmer par des tiers indépendants, la publication de K2 Horizon redéfinit les standards de transparence académique et force le reste de l'industrie à justifier la rétention de ses propres recettes technologiques, marquant un tournant dans la course actuelle aux modèles d'IA ouverts.