Des chercheurs chinois ont créé une IA inspirée du cerveau humain… et elle ridiculise les modèles classiques

Les chatbots actuels, comme ChatGPTChatGPT ou Gemini, fonctionnent grâce à de grands modèles de langage (LLM). Toutefois, ils nécessitent beaucoup de puissance de calcul et sont très énergivores. En Chine, le problème est exacerbé par la difficulté d'obtenir les puces graphiques Nvidia habituellement utilisées pour ce type d'applicationsapplications.

Dans un article publié sur arXiv, des chercheurs de l'Académie chinoise des sciences ont trouvé une solution. Ils ont créé un nouveau modèle appelé SpikingBrain, qui imite le fonctionnement du cerveaucerveau humain.

Tout comme les neuronesneurones biologiques communiquent grâce à des impulsions électriques, les réseaux de neurones à impulsions (SNN) reposent sur un mécanisme similaire. Cette approche permet à SpikingBrain d'être bien plus économe. Plutôt que d'activer l'ensemble d'un réseau comme un LLM classique, ses « neurones » répondent de manière sélective, ne s'activant que lorsqu'ils sont spécifiquement déclenchés.

Moins de données, mêmes résultats

Les chercheurs ont conçu deux versions de SpikingBrain, avec 7 milliards et 76 milliards de paramètres. Dans un des tests, avec un prompt de 4 millions de tokens, le plus petit des deux modèles était plus de 100 fois plus rapide qu'un modèle classique. Dans un autre test, en utilisant un contexte d'un million de tokens, il était 26,5 fois plus rapide pour générer le premier token.

Mieux encore, ce type d'approche pourrait être la réponse à la pénurie de contenus : la totalité des connaissances humaines disponibles sur Internet ne suffit plus à entraîner les IAIA. L'entraînement de SpikingBrain a nécessité moins de 2 % des données utilisées par des modèles classiques tout en affichant des performances similaires. Le modèle est disponible sous licence libre sur GitHub.

Ce ne sont pas les premiers chercheurs à utiliser des impulsions pour les IA. En début d’année, des chercheurs allemands avaient publié des travaux suivant une approche similaire.

SpikingBrain a été optimisé pour fonctionner sur des processeurs autres que ceux de Nvidia, notamment ceux de MetaX. Toutefois, combiné avec l'informatique neuromorphique, capable de simuler le fonctionnement des neurones au niveau matériel, ce type de modèle pourrait devenir encore plus performant tout en étant beaucoup moins énergivore.