Apple lance FastVLM, une IA pour décrire le monde en temps réel !

Plus tôt cette année, AppleApple avait dévoilé en toute discrétion un modèle vision-langage (VLM), nommé FastVLM. Cette technologie permet à l'intelligence artificielle d'analyser une image et de décrire son contenu sous forme de texte. C'est un peu l'inverse d'un générateurgénérateur d'images.

Désormais, le modèle est disponible sur Hugging Face. Si vous savez déjà faire tourner des IA en local, vous pouvez télécharger la version la plus complète avec 7 milliards de paramètres, ou opter pour une version plus légère avec 1,5 ou 0,5 milliard de paramètres. Vous pouvez aussi tester le modèle 0,5 directement dans votre navigateur, sans la moindre installation.

Vers des lunettes intelligentes ?

Par défaut, FastVLM décrit ce qu'il voit à travers la webcam en une phrase, mais il est possible de changer le prompt. Par exemple, demandez-lui d'identifier l'émotion exprimée, de lire le texte d'une affiche ou encore de reconnaître un objet en particulier. Le modèle fonctionne sur différents ordinateurs, mais a été optimisé pour les processeurs d'Apple et sera donc bien plus rapide s'il tourne sur un Mac. Selon le développeur, il serait 85 fois plus rapide que d'autres modèles de la même taille.

Mais pourquoi Apple développe-t-il ce genre d'IA ? On imagine que FastVLM pourrait avoir son utilité dans les casques Vision Pro. Intégré dans l'iPhoneiPhone, il pourrait permettre de scanner le contenu de son frigo pour établir une liste de courses ou suggérer des recettes, ou encore traduire des panneaux et affiches lors d'un voyage à l'étranger. Mais ce type d'IA est surtout utile en combinaison avec des lunettes intelligentes, comme les Ray-Ban Meta.

Apple serait en train de travailler sur ses propres lunettes, qui devraient sortir en 2026 ou 2027. Et surtout, ce genre de technologie pourrait grandement améliorer le quotidien des personnes malvoyantes, en leur décrivant en continu le monde qui les entoure.