Vraiment bluffant : Claude peut désormais prendre la main sur votre ordinateur, même à distance

Quand Anthropic a lancé Claude Sonnet 4.6 le mois dernier, la firme a annoncé que son nouveau modèle avait une capacité agentique bien plus avancée qu'auparavant. Claude est désormais capable de naviguer visuellement dans les interfaces des logiciels. Toutefois, cette fonctionnalité n'était pas encore directement accessible pour les utilisateurs. C'est désormais chose faite.

Claude peut maintenant prendre le contrôle de l'ordinateur pour réaliser des tâches, en utilisant directement le clavier et la souris pour lancer les logiciels, naviguer sur le Web et comprendre ce qui est affiché à l'écran. De plus, il est possible de lui assigner des tâches depuis son smartphone grâce à la nouvelle fonctionnalité Dispatch qui fait le pont entre l'application mobile et le logiciel sur ordinateur.

Un agent qui utilise le clavier et la souris

Pour répondre à une requête, le chatbot tentera d'abord d'utiliser ses connecteurs, des outils qui lui permettent d'échanger directement avec des services comme Slack ou Google Calendar. S'il n'a pas de connecteur, il utilisera l'ordinateur comme le ferait un humain. Anthropic indique avoir ajouté de nouvelles mesures de sécurité afin de minimiser les risques, notamment contre les attaques de type « prompt injection », ou injection de prompt, et le chatbot demandera toujours la permission avant de procéder ou d'accéder à une nouvelle application.

Lire l'article

Cette nouvelle fonctionnalité est disponible dans Claude Cowork et Claude Code, et nécessite un abonnement Claude Pro ou Claude Max. De plus, elle n'est compatible qu'avec macOS pour l'instant, et nécessite l’installation de l’application Claude sur son Mac.

Cet agent est assez similaire au fameux OpenClaw (initialement appelé Clawdbot et Moltbot), un outil devenu viral qui peut être installé sur un ordinateur et crée un agent capable de mener des actions directement et repose sur plusieurs IA, dont Claude.