Comprendre le fonctionnement des LLM comme GPT

GPT ne fouille pas dans une base de données pour vous répondre. Il assemble le texte bribe par bribe à partir de schémas assimilés lors de son apprentissage. En comprenant cela, ses forces, ses faiblesses et l'art de le questionner s'éclairent.

7 min de lectureMis à jour

Lorsque vous posez une question dans notre chat, GPT ne cherche pas dans une bibliothèque de réponses enregistrées. Il rédige une réponse inédite, bribe par bribe, en se basant sur les structures qu'il a assimilées à partir d'une quantité colossale de textes durant son entraînement. Ce principe explique à lui seul bien des choses : pourquoi il maîtrise si bien le langage, pourquoi il sait presque tout expliquer, pourquoi il affirme parfois des erreurs avec un aplomb parfait, et pourquoi la façon de formuler votre demande change tout. Ce guide en détaille les rouages essentiels avec des mots simples, sans jargon mathématique, et ce que cela implique pour vos échanges.

Que signifient les lettres de GPT ?

GPT signifie generative pre-trained transformer (transformeur génératif pré-entraîné). Génératif signifie qu'il produit du texte nouveau au lieu de choisir parmi des réponses prédéfinies. Pré-entraîné indique qu'il a d'abord appris à partir d'un immense corpus de textes avant d'être ajusté pour le dialogue. Le transformeur (transformer) est le type de réseau de neurones sous-jacent, une architecture publiée par des chercheurs de Google en 2017, particulièrement douée pour relier chaque mot à tous les autres qui l'entourent. OpenAI a lancé son premier modèle GPT en 2018 ; les modèles intégrés à notre chat, GPT-6 Luna et GPT-6.1 Terra, comptent parmi les plus récents de cette lignée. La page sur l'histoire de GPT propose une chronologie complète, et l'article qu'est-ce que GPT offre une vision d'ensemble.

Les tokens : comment un modèle lit

Un modèle ne voit ni lettres ni mots entiers. Le texte est d'abord découpé en tokens (jetons). Un mot courant correspond généralement à un seul token ; un mot long ou rare est scindé en plusieurs fragments. Selon la règle empirique d'OpenAI pour l'anglais, un token représente environ trois quarts d'un mot. D'autres langues nécessitent souvent davantage de tokens pour exprimer le même sens.

Les tokens expliquent plusieurs particularités surprenantes. Les modèles peuvent hésiter au moment de compter les lettres d'un mot, car ils ne les voient jamais séparément. Les limites en entrée et en sortie se mesurent en tokens, et non en caractères. De plus, les tarifs destinés aux développeurs, présentés sur notre page API GPT, sont fixés par million de tokens.

La prédiction, un fragment après l'autre

Au fond, le modèle accomplit une tâche unique : à partir de tout le texte accumulé jusqu'ici, il estime quel token a le plus de chances d'apparaître ensuite. Il en choisit un, l'ajoute au texte et recommence, des centaines ou des milliers de fois, jusqu'à ce que la réponse soit complète. Voilà pourquoi les réponses s'affichent progressivement dans le chat plutôt que d'un seul coup.

Une légère part d'aléa dans ce choix évite d'obtenir des réponses rigoureusement identiques à chaque essai. C'est précisément ce qu'exploite le bouton de régénération : relancez la demande et vous emprunterez un chemin différent au sein des mêmes connaissances. Notre chat conserve d'ailleurs les essais précédents sous forme de versions pour vous permettre de les comparer.

La prédiction semble élémentaire, mais pour réussir à prédire avec justesse sur des milliards d'exemples, un modèle doit intégrer la grammaire, des faits, des styles, des schémas de raisonnement et bien plus encore. Ce qui ressemble à de la compréhension émerge naturellement de cette exigence prédictive.

Comment un modèle est entraîné

Les modèles GPT sont conçus par étapes :

  1. Le pré-entraînement. Le modèle traite un gigantesque corpus de textes pour s'exercer à une unique tâche : deviner le token suivant. À ce stade, il sait poursuivre n'importe quel texte, mais ne constitue pas encore un interlocuteur pertinent pour converser.
  2. L'ajustement aux instructions (instruction tuning). Il est entraîné sur des exemples de demandes associées à de bonnes réponses, apprenant ainsi à suivre des consignes et à répondre à des questions.
  3. Le retour d'information et l'apprentissage par renforcement. Des évaluateurs humains et des tests automatisés notent les réponses, ce qui permet d'orienter le modèle vers des formulations utiles, exactes et sûres. Les modèles axés sur le raisonnement sont également entraînés par cette méthode afin de décortiquer les problèmes avant de formuler une réponse.

L'entraînement s'arrête à un moment précis, date qui constitue la limite des connaissances du modèle. D'après OpenAI, les données de GPT-6 Luna s'arrêtent au 18 mai 2026 et celles de GPT-6.1 Terra au 1er juin 2026. Tout événement postérieur lui est inconnu, à moins que vous ne le colliez dans l'échange, et notre chat ne navigue pas sur le web.

La fenêtre de contexte : ce que voit le modèle

Un modèle ne garde aucune mémoire d'une conversation à l'autre. Au sein d'un même échange, il a accès à un contexte : les instructions, les messages échangés jusqu'alors et votre dernière saisie, le tout sous forme de tokens. OpenAI accorde à Luna et Terra une fenêtre de contexte d'environ 1,05 million de tokens, soit l'équivalent de plusieurs gros volumes de livres.

Un chat gratuit comme le nôtre transmet une portion bien plus restreinte : les messages les plus récents de la conversation, afin de garantir des réponses rapides. Lors d'un échange très long, les premiers messages finissent par sortir du champ de vision. Si un détail est capital, répétez-le, ou ouvrez un nouveau chat en résumant brièvement le contexte. Chaque conversation reste isolée ; le modèle ne se souvient pas de ce que vous avez écrit ailleurs.

Le raisonnement : réfléchir avant de répondre

Les modèles de raisonnement génèrent un fil de réflexion interne et invisible avant d'afficher la réponse finale. Cela leur permet de décomposer un problème complexe par étapes et de repérer leurs propres erreurs, au prix de quelques secondes supplémentaires. Dans notre chat, le bouton Think bascule sur GPT-6.1 Terra, qui prend un temps de réflexion bref ; GPT-6 Luna, sélectionné par défaut, répond de façon quasi instantanée. Notre guide sur les modèles de raisonnement détaille les situations où cette pause s'avère payante.

D'où viennent les réponses inventées ?

Comme le modèle cherche systématiquement à rédiger une suite plausible, il le fait même lorsque les faits lui manquent. Demander une source sur un sujet très pointu produira une réponse qui ressemble à une référence bibliographique, que cet ouvrage existe ou non. Une question sur un village méconnu engendrera des détails réalistes pour une petite ville en général. Le modèle ne possède aucun signal interne fiable lui indiquant « je ne sais pas », même si les versions récentes admettent plus facilement leurs doutes. C'est pourquoi vérifier reste indispensable pour les noms, les chiffres, les dates et les citations ; notre guide de vérification des faits propose une méthode rapide à appliquer.

Ce que cela change pour vos prompts

Tous ces éléments se résument à quelques règles pratiques :

À éviter :
Que dit le contrat sur la résiliation anticipée ?

Efficace :
Voici la clause 9 de mon bail : [coller la clause].
Expliquez clairement à quelles conditions je peux résilier
le bail de manière anticipée, quel préavis je dois respecter
et ce que cela peut me coûter. Citez la phrase sur laquelle
repose chaque point.
  • Collez directement vos documents. Le modèle est infiniment plus fiable sur un texte présent dans son contexte que sur de vagues souvenirs d'entraînement.
  • Soyez précis. Chaque détail fourni affine les prédictions vers ce dont vous avez réellement besoin.
  • Demandez des citations ou des extraits tirés du texte fourni, afin de vérifier facilement chaque affirmation.
  • Repartez de zéro lorsqu'une longue conversation s'égare ; un bref récapitulatif dans un nouveau chat donne souvent de bien meilleurs résultats. Notre outil de résumé peut rédiger cette synthèse pour vous.
Voyez-le comme un auteur très cultivé, mais sans notes sous les yeux. Il a énormément lu, écrit avec aisance et sait presque tout vulgariser, mais il ne peut rien vérifier par lui-même. Fournissez-lui les faits dont vous disposez, et contrôlez ceux que vous ne connaissez pas.

Envie de le voir à l'œuvre ? Demandez à GPT de s'expliquer lui-même en cinq étapes, puis posez des questions complémentaires sur les points qui vous paraissent obscurs.

FAQ

GPT comprend-il ce qu'il écrit ?

Tout dépend de ce que l'on entend par compréhension. Il saisit indéniablement les liens entre les concepts avec assez de finesse pour les expliquer, les résumer et structurer une réflexion, mais il n'a aucune expérience concrète du monde réel ni de moyen infaillible pour distinguer un fait avéré d'une déduction vraisemblable.

Apprend-il de mes conversations ?

Pas pendant l'échange, et pas non plus d'une conversation à l'autre dans notre chat. Les connaissances du modèle sont figées dès la fin de son entraînement. OpenAI indique que les données transmises via son API ne sont pas utilisées pour l'entraînement, sauf accord explicite du client.

Pourquoi la réponse change-t-elle si je repose la même question ?

Le modèle sélectionne chaque nouveau token avec une légère part de hasard, de sorte qu'une même question peut aboutir à des tournures ou des plans différents. Lorsqu'il s'agit de données factuelles, une réponse variable constitue un bon indice qu'une vérification s'impose.

GPT et ChatGPT, est-ce la même chose ?

Non. GPT désigne la famille de modèles conçus par OpenAI ; ChatGPT est l'application développée par OpenAI à partir de ces modèles. gpt.me est un site indépendant qui exploite les modèles GPT par le biais d'une API ; notre comparatif avec ChatGPT en détaille les différences.

Une question ? Posez-la maintenant

Sans compte ni téléchargement. Ouvrez le chat, écrivez ce que vous souhaitez et la réponse commence à s'afficher en une seconde ou deux.

Démarrer le chat