Hur stora språkmodeller som GPT fungerar

GPT slår inte upp svar i en databas. Den genererar text bit för bit utifrån mönster den lärt sig under träningen. När du förstår det blir dess styrkor, missar och hur du bäst ställer frågor helt självklara.

6 min läsningUppdaterad

När du skriver en fråga i vår chatt söker GPT inte i ett bibliotek med sparade svar. Den skriver ett nytt svar, en liten bit i taget, baserat på mönster den tog till sig från enorma mängder text under sin träning. Den principen förklarar mycket: varför den är så bra på språk, varför den kan förklara nästan vad som helst, varför den ibland påstår felaktigheter med fullt självförtroende och varför sättet du frågar på spelar roll. Den här guiden går igenom de viktigaste delarna på ren svenska, helt utan matematik, och vad varje del betyder för dina egna chattar.

Bokstäverna i GPT

GPT står för generative pre-trained transformer. Generative (generativ) innebär att den skapar ny text istället för att välja bland färdiga svar. Pre-trained (förtränad) betyder att den först lärde sig från en mycket stor samling text innan den anpassades för konversationer. Transformer är själva typen av neuralt nätverk inuti, en arkitektur som publicerades av Google-forskare 2017 och som är särskilt bra på att koppla samman varje ord med alla andra ord runt omkring. OpenAI lanserade sin första GPT-modell 2018; modellerna i vår chatt, GPT-6 Luna och GPT-6.1 Terra, är moderna medlemmar i samma familj. Sidan om GPT:s historia har hela tidslinjen, och vad är GPT ger en bredare överblick.

Tokens: hur en modell läser

En modell ser varken bokstäver eller hela ord. Texten hackas först upp i tokens. Ett vanligt ord blir oftast en token; ett långt eller ovanligt ord delas upp i flera fragment. OpenAI:s tumregel för engelska är att en token motsvarar ungefär tre fjärdedelar av ett ord. Andra språk kräver ofta fler tokens för att uttrycka samma sak.

Tokens förklarar en del konstigheter. Modeller kan få problem med att räkna bokstäver i ett ord, eftersom de aldrig ser bokstäverna en och en. Gränser för inmatning och utmatning mäts i tokens, inte i tecken. Och priserna för utvecklare, som visas på vår sida för GPT API, anges per miljon tokens.

Förutsägelser, en bit i taget

I grund och botten gör modellen en enda sak: utifrån all text hittills uppskattar den vilken token som mest sannolikt kommer härnäst. Den väljer en, lägger till den i texten och upprepar processen hundratals eller tusentals gånger tills svaret är klart. Det är därför svaren dyker upp gradvis i chatten istället för allt på en gång.

En liten nypa slumpmässighet i urvalet gör att svaren inte blir identiska varje gång. Det är just det som återskapa-knappen utnyttjar: fråga igen så tar den en annan väg genom samma kunskap. Vår chatt sparar tidigare försök som versioner så att du kan jämföra dem.

Förutsägelser kan låta enkelt, men för att kunna förutsäga bra över miljarder exempel måste modellen lära sig grammatik, fakta, stilar, resonemangsmönster och mycket mer. Det som ser ut som förståelse växer fram ur just det här kravet på att gissa rätt.

Hur en modell tränas

GPT-modeller byggs i flera steg:

  1. Förträning. Den bearbetar en enorm samling text och tränar på en enda uppgift: att gissa nästa token. I det här skedet kan den fortsätta på vilken text som helst, men är ännu ingen bra samtalspartner.
  2. Instruktionsträning. Den tränas på exempel med förfrågningar och bra svar, så att den lär sig att följa instruktioner och svara på frågor.
  3. Feedback och förstärkningsinlärning. Människor och automatiserade kontroller betygsätter svaren, och modellen justeras mot svar som är hjälpsamma, korrekta och säkra. Resonerande modeller tränas också på detta sätt för att bearbeta problem metodiskt innan de svarar.

Träningen avslutas vid en viss tidpunkt, och det datumet kallas modellens kunskapsgräns. Enligt OpenAI sträcker sig datan för GPT-6 Luna till den 18 maj 2026 och för GPT-6.1 Terra till den 1 juni 2026. Modellen känner inte till något som har hänt därefter om du inte klistrar in det, och vår chatt surfar inte på webben.

Kontextfönstret: vad modellen ser

En modell har inget minne mellan olika samtal. Inom en enskild chatt ser den en kontext: instruktionerna, meddelandena hittills och ditt senaste meddelande, allt i form av tokens. OpenAI ger Luna och Terra ett kontextfönster på runt 1,05 miljoner tokens, vilket räcker till flera tjocka böcker.

En gratischatt som vår skickar ett mycket mindre urval: den senaste delen av samtalet, så att svaren fortsätter gå snabbt. I en väldigt lång chatt kan tidiga meddelanden falla bort ur sikte. Om en detalj är viktig bör du upprepa den, eller starta en ny chatt med en kort sammanfattning av var ni står. Varje chatt är fristående; modellen minns inte vad du sa i en annan.

Resonemang: att tänka efter före

Resonerande modeller genererar en dold tankekedja innan det synliga svaret visas. Det ger dem en chans att bryta ner ett problem i flera steg och upptäcka sina egna misstag, på bekostnad av lite tid. I vår chatt växlar Think-knappen över till GPT-6.1 Terra, som resonerar kort; GPT-6 Luna, som är standard, svarar nästan direkt. Vår guide till resonerande modeller förklarar när pausen faktiskt är värd det.

Varifrån påhittade svar kommer

Eftersom modellen alltid skriver en rimlig fortsättning gör den det även när den saknar fakta. En efterfrågan på en källa om ett nischat ämne ger ett svar formulerat som en källhänvisning, oavsett om källan finns på riktigt eller inte. En fråga om en liten ort får detaljer som passar småstäder i allmänhet. Modellen har ingen pålitlig intern varningssignal som säger "det här vet jag inte", även om nyare modeller är bättre på att erkänna osäkerhet. Därför är det viktigt att faktagranska namn, siffror, datum och citat; vår faktagranskningsguide har en snabb rutin för detta.

Vad detta betyder för dina prompter

Allt ovanstående kokar ner till några praktiska regler:

Svag:
Vad står det i avtalet om att säga upp i förtid?

Stark:
Här är klausul 9 i mitt hyresavtal: [klistra in klausul].
Förklara på enkel svenska när jag kan säga upp avtalet i förtid,
vilken uppsägningstid jag har och vad det kan kosta mig. Citera
meningen som varje punkt baseras på.
  • Klistra in underlaget. Modellen fungerar betydligt bättre på text som finns i kontexten än på saker den halvt minns.
  • Var specifik. Varje detalj du lägger till styr förutsägelserna mot precis det du behöver.
  • Be om citat eller källor ur texten du gav, så att du enkelt kan kontrollera varje punkt.
  • Börja om på nytt när en lång chatt har spårat ur; en kort sammanfattning i en ny chatt fungerar ofta mycket bättre. Vårt sammanfattningsverktyg kan skriva den åt dig.
Se den som en påläst skribent utan anteckningar. Den har läst enormt mycket, skriver flytande och kan förklara nästan vad som helst, men den kan inte slå upp något. Ge den de fakta du har, och kontrollera de fakta du saknar.

Vill du se hur det fungerar i praktiken? Be GPT förklara sig själv i fem steg och ställ sedan följdfrågor om delarna som känns oklara.

Vanliga frågor

Förstår GPT vad den skriver?

Det beror på vad du menar med förståelse. Den fångar tveklöst sambanden mellan idéer tillräckligt bra för att förklara, sammanfatta och resonera kring dem, men den har ingen verklighetsuppfattning och inget pålitligt sätt att skilja fakta från en rimlig gissning.

Lär den sig av mina chattar?

Inte under samtalets gång och inte mellan olika konversationer i vår chatt. Modellens kunskap är låst vid träningstillfället. OpenAI uppger att data som skickas via deras API inte används för träning om kunden inte aktivt godkänner det.

Varför får jag ett annat svar om jag frågar igen?

Modellen väljer varje nästa token med en gnutta slumpmässighet, så samma fråga kan leda till olika formuleringar eller strukturer. När det handlar om fakta är ett avvikande svar en signal om att du bör dubbelkolla.

Är GPT samma sak som ChatGPT?

Nej. GPT är familjen av modeller som utvecklas av OpenAI; ChatGPT är OpenAI:s egen applikation som bygger på dem. gpt.me är en fristående webbplats som använder GPT-modeller via ett API; vår jämförelse med ChatGPT listar skillnaderna.

Har du en fråga? Fråga nu

Inget konto och ingen nedladdning. Öppna chatten, skriv vad du funderar på och få svar inom ett par sekunder.

Börja chatta