En collaboration avec les meilleurs experts que la Suisse a à offrir, un nouveau modèle linguistique est en cours de développement. Pour rivaliser avec les modèles développés aux États-Unis, dans l’Union européenne et, comme annoncé récemment, en Chine, la Suisse disposera de sa propre version open source. Ce modèle prendrait en charge plus de 1 000 langues et comporterait 70 milliards de paramètres.
Au vu de ces chiffres, on se trouve clairement dans le domaine de Llama 3 de Meta, et si vous êtes un passionné du « faites-le vous-même », c’est le moment ou jamais de miser sur le « fromage et le chocolat » lors du choix de votre prochaine pile d’IA.
La sortie est prévue vers la fin de l'été 2025, et si l'on en croit cette information communiqué de presse, le modèle prend en charge plus de 1 000 langues. Il a été entraîné sur un supercalculateur, « Alps », au Centre suisse de supercalcul.
Contrairement aux LLM commerciaux, tels que ChatGPT d’OpenAI ou Claude d’Anthropic, le modèle suisse repose sur des principes plus éthiques et met l’accent sur la transparence. Le code source, les poids du modèle et les données d’entraînement sont tous mis à disposition afin de démontrer l’ouverture du modèle. C'est rare dans ce secteur, qui représente déjà plusieurs milliards de dollars. Bien que les LLM de Meta et de DeepSeek soient également classés comme open source, ils ne le sont pas entièrement en réalité. Si l'on examine attentivement leurs conditions d'utilisation, on constate que les algorithmes et les données d'entraînement restent confidentiels.
The ETH model will be released in two versions: a small one with eight billion parameters and a larger one with 70 billion parameters. The latter is comparable to Meta’s Llama 3, while OpenAI’s GPT-4 is estimated to have around 2 trillion parameters and Anthropic’s Claude 4 Opus around 300 billion parameters. What should you choose for your project? As the number of parameters is not the only metric for the performance of an LLM, it is an indication, though, of how it could behave on large datasets or if you plug some RAG and lots of API beh nd. Proprietary models (at least on benchmarks sponsored or not) currently achieve the highest marks. If you are sensitive to control over how your data is being handled or processed, open source models offer advantages in terms of traceability, customisability and data sovereignty.
Swiss data protection laws, Swiss copyright law, and the transparency obligations under the EU AI Act are well documented when the development teams behind the LLM started integrating their work. In the recent study by the project managers themselves, they explain that no loss of performance for everyday tasks is observed if the opt-outs for web crawling are respected during data collection, and the training thus ignores certain web content (ahum OpenAI.
The model is published under the Apache 2.0 license, making it accessible for both scientific and industrial applications. It is a result of the Swiss AI Initiative, launched by EPFL and ETH Zurich in December 2023. With over 800 researchers involved and access to more than 20 million GPU hours per year, it is the world’s largest open science and open-source project for AI.
Thank you, Switzerland, for showcasing that leapfrogging is still a thing.
