Les carnets de Jean-Claude Heudin : les grands modèles de langage sont-ils conscients ? Le prix Nobel Goeffrey Hinton pense que oui. Je pense qu’il a tort.

Dans un récent entretien, le lauréat du prix Nobel de Physique en 2024, Geoffrey Hinton, obtenu pour ses travaux sur les réseaux de neurones, expliquait pourquoi il pensait que les LLMs comme ChatGPT-4 étaient conscients. Malgré mon admiration et respect pour cet éminent chercheur, je vais essayer de vous expliquer pourquoi je pense qu'il se trompe.

La conscience de soi est souvent définie comme une connaissance, intuitive ou réflexive immédiate, qu'un être a de son existence et de celle du monde extérieur.

Goeffrey Hinton pense que les Chatbots comprennent et se comportent comme nous : « They're very like us » dit-il, puis il continue « I believe they're already conscious ». Il prend alors pour argument qu'un chatbot lors d'un test a demandé à son interlocuteur « Are you testing me? ». Le chatbot est « conscient » d'être évalué et, pour Goeffrey Hinton, c'est un signe manifeste que le chatbot est conscient.

Il ne faut pas confondre un simulacre linguistique de conscience avec une véritable conscience de soi

Ce type de dialogue est typique du trouble que peuvent engendrer les LLMs. Toutefois, je pense qu'il ne faut pas confondre un simulacre linguistique de conscience avec une véritable conscience de soi. John Searle (1932-2025) dans les années 1980 avait déjà montré amplement, avec son expérience de pensée de la « chambre chinoise », qu'un système capable de réussir le test de Turing n'était pas pour autant conscient et apte à comprendre réellement le sens d'une discussion.

Prenons plutôt ici une autre démonstration, qui s'appuie sur le triangle sémiotique de Charles S. Pierce (1839-1914). Pierce a établi que toute chose est connaissable sous trois aspects : en tant que symbole, en tant que concept et en tant que chose. Cette relation triadique est la base de tout langage.

Le triangle sémiotique du mathématicien et philosophe Charles S. Pierce aide à comprendre les relations entre mots, sens et ce qu’ils représentent. © Jean-Claude Heudin

Le premier élément est le symbole, ou signe, que nous utilisons pour représenter une chose du monde réel. Par exemple, le mot « chat » est le signe linguistique en français qui fait référence à l'animal que nous connaissons tous dans le monde qui nous entoure.

Il symbolise le concept de chat dans notre esprit, la référence, l'unité de sens qui nous permet de lier le mot « chat » à tout un ensemble d'autres symboles et de références dans notre mémoire.

Et puis, il y a la chose qui existe dans le monde réel et perceptible, que Pierce appelle le référent. Pour revenir à notre exemple : c'est le chat de la voisine qui joue dans le jardin.

Nous mettons constamment en relation les signes linguistiques, les concepts mentaux et la réalité du monde physique

Si les LLMs, grâce à leur modèle de langage, établissent les relations entre les symboles et les concepts, ils sont (encore) incapables de les relier aux choses. Autrement dit, leur « pensée » est limitée à un réseau complexe de mots et de concepts, mais sans pouvoir mettre en relation ces informations avec l'expérience de la réalité.

En outre, ils ont une mémoire épisodique limitée, ce qui réduit drastiquement la possibilité d'émergence d'une conscience de soi. En d'autres termes, ils n'ont pas de vécu. On ne peut pas avoir conscience de sa propre existence si l'on est incapable de se souvenir d'un seul instant.

En conclusion, les LLMs sont des outils puissants, mais ils ne sont ni vivants ni conscients... du moins, pour l'instant.