Paano gumagana ang large language models gaya ng GPT

Hindi naghahanap ang GPT sa database ng sagot. Isinusulat nito ito nang pira-piraso batay sa patterns na natutuhan sa training. Pag naunawaan ito, mas madali mong maiintindihan ang lakas at limitasyon nito.

7 min basahinNa-update

Kapag nag-type ka ng tanong sa aming chat, hindi naghahanap ang GPT sa isang library ng mga nakaimbak na sagot. Sumusulat ito ng bagong tugon, paunti-unti, batay sa mga pattern na natutunan nito mula sa napakalaking bulto ng text habang sinasanay. Ipinapaliwanag ng konseptong ito ang maraming bagay: kung bakit napakahusay nito sa wika, kung bakit kaya nitong ipaliwanag ang halos kahit ano, kung bakit kung minsan ay buong kumpyansa itong nagbibigay ng maling impormasyon, at kung bakit mahalaga ang paraan ng pagtatanong mo. Tinatalakay ng gabay na ito ang mga pangunahing bahagi sa simpleng pananalita, walang math na kailangan, kasama ang epekto ng bawat isa sa iyong sariling mga chat.

Ang kahulugan ng mga titik sa GPT

Ang ibig sabihin ng GPT ay generative pre-trained transformer. Generative dahil gumagawa ito ng bagong text sa halip na pumili mula sa mga nakatakdang sagot. Pre-trained dahil natuto muna ito mula sa napakalaking koleksyon ng text bago inayos para sa pakikipag-usap. Ang Transformer naman ay ang uri ng neural network sa loob nito, isang disenyong inilathala ng mga mananaliksik sa Google noong 2017 na sadyang mahusay sa pag-uugnay ng bawat salita sa iba pang mga salita sa paligid nito. Inilabas ng OpenAI ang unang modelo nitong GPT noong 2018; ang mga modelong nasa aming chat, ang GPT-6 Luna at GPT-6.1 Terra, ay mga pinakabagong miyembro ng parehong serye. Makikita sa pahina ng kasaysayan ng GPT ang kumpletong timeline, at ang ano ang GPT para sa mas malawak na overview.

Mga Token: kung paano nagbabasa ang isang modelo

Hindi mga titik o buong salita ang nakikita ng isang modelo. Ang text ay unang hinahati sa mga token. Ang karaniwang salita ay kadalasang nagiging isang token; ang mahaba o di-karaniwang salita naman ay nahahati sa ilang piraso. Ang pagtatantya ng OpenAI para sa English ay ang isang token ay humigit-kumulang tatlong-kapat (3/4) ng isang salita. Ang ibang mga wika ay madalas na nangangailangan ng mas maraming token para sa parehong kahulugan.

Ipinapaliwanag ng mga token ang ilang kakaibang gawi nito. Maaaring magkamali ang mga modelo kapag nagbibilang ng mga titik sa isang salita, dahil hindi nila kailanman nakikita ang mga titik nang paisa-isa. Ang mga limitasyon sa input at output ay sinusukat sa mga token, hindi sa mga character. At ang mga presyo para sa mga developer, gaya ng nakasaad sa aming pahina ng GPT API, ay nakapresyo bawat milyong token.

Panghuhula, bawat piraso sa bawat saglit

Sa pinakasentrong proseso nito, iisang bagay lang ang ginagawa ng modelo: batay sa lahat ng naunang text, tinatantiya nito kung aling token ang malamang na kasunod. Pipili ito ng isa, idaragdag ito sa text, at uulitin ang proseso nang daan-daan o libu-libong beses hanggang sa makumpleto ang sagot. Kaya naman unti-unting lumalabas ang mga sagot sa chat sa halip na biglang lumitaw nang buo.

May kaunting randomness sa pagpiling ito upang hindi maging magkakapareho ang mga sagot sa bawat pagkakataon. Iyan ang ginagamit ng regenerate button: magtanong muli at makakakuha ka ng ibang ruta gamit ang parehong kaalaman. Sine-save ng aming chat ang mga naunang bersyon para maihambing mo ang mga ito.

Mukhang simple lang ang panghuhula o prediction, ngunit para makapanghula nang maayos sa bilyun-bilyong halimbawa, kailangang matutunan ng modelo ang gramatika, mga katotohanan, estilo, mga pattern ng pangangatwiran, at marami pang iba. Ang tila tunay na pagkaunawa ay nagmumula lamang sa prosesong ito ng tuluy-tuloy na paghula.

Paano sinasanay ang isang modelo

Binuo ang mga modelong GPT sa pamamagitan ng mga yugto:

  1. Pre-training. Nagpoproseso ito ng napakalaking koleksyon ng text para magsanay sa iisang gawain: hulaan ang susunod na token. Sa yugtong ito, kaya nitong magpatuloy ng anumang text ngunit hindi pa ito epektibong kausap sa chat.
  2. Instruction tuning. Sinasanay ito sa mga halimbawa ng mga kahilingan at magagandang tugon, upang matuto itong sumunod sa mga tagubilin at sumagot sa mga tanong.
  3. Feedback at reinforcement learning. Nirerepaso ng mga tao at ng mga automated check ang mga sagot, at inaakma ang modelo para magbigay ng mga tugong kapaki-pakinabang, tumpak, at ligtas. Ang mga reasoning model ay sinasanay din sa ganitong paraan upang suriin muna ang mga problema bago sumagot.

May hangganan ang pagsasanay, at ang petsang iyon ang tinatawag na knowledge cut-off ng modelo. Ayon sa OpenAI, ang data ng GPT-6 Luna ay hanggang Mayo 18, 2026 at ang sa GPT-6.1 Terra naman ay hanggang Hunyo 1, 2026. Walang alam ang modelo sa anumang nangyari pagkatapos niyan maliban na lang kung i-paste mo ito, at hindi nagba-browse sa web ang aming chat.

Ang context window: ang nakikita ng modelo

Walang memorya ang isang modelo sa pagitan ng mga pag-uusap. Sa loob ng iisang chat, nakakakita ito ng context: ang mga tagubilin, ang mga mensahe sa ngayon, at ang iyong pinakabagong mensahe, lahat bilang mga token. Naglaan ang OpenAI sa Luna at Terra ng context window na humigit-kumulang 1.05 milyong token, sapat para sa ilang mahahabang libro.

Ang isang libreng chat tulad ng sa amin ay nagpapadala ng mas maliit na bahagi: ang pinakabagong parte ng pag-uusap, upang manatiling mabilis ang mga sagot. Sa napakahabang chat, maaaring mawala sa pananaw nito ang mga naunang mensahe. Kung mahalaga ang isang detalye, ulitin ito, o magsimula ng bagong chat na may maikling buod ng inyong pinag-uusapan. Hiwalay ang bawat chat; hindi naaalala ng modelo ang sinabi mo sa iba.

Reasoning: pag-iisip bago sumagot

Ang mga reasoning model ay bumubuo ng nakatagong proseso ng pag-iisip bago ipakita ang tugon. Nagbibigay ito sa kanila ng pagkakataong hatiin ang isang problema sa mga hakbang at itama ang sarili nilang mga pagkakamali, kapalit ng kaunting oras. Sa aming chat, ang Think chip ay lumilipat sa GPT-6.1 Terra, na panandaliang nag-iisip; ang GPT-6 Luna, ang default, ay sumasagot halos agad-agad. Ipinapaliwanag ng aming gabay sa mga reasoning model kung kailan sulit ang kaunting paghihintay.

Saan nagmumula ang mga gawa-gawang sagot

Dahil palaging sumusulat ang modelo ng tila kapani-paniwalang karugtong, sumusulat pa rin ito kahit kulang ang mga totoong impormasyon. Ang paghingi ng sanggunian sa isang partikular na paksa ay bibigyan ka ng sagot na mukhang sanggunian, mayroon man talagang ganoon o wala. Ang tanong tungkol sa isang maliit na bayan ay makakatanggap ng mga detalyeng karaniwan sa mga bayan sa pangkalahatan. Walang maaasahang panloob na signal ang modelo na nagsasabing "Hindi ko alam ito", bagama't mas mahusay na ang mga mas bagong modelo sa pag-amin ng kawalan ng katiyakan. Kaya naman mahalaga ang pag-verify sa mga pangalan, numero, petsa, at quote; ang aming gabay sa fact-checking ay may mabilis na routine para dito.

Ano ang ibig sabihin nito para sa iyong mga prompt

Ang lahat ng nabanggit ay nauuwi sa ilang praktikal na payo:

Mahina:
Ano ang sinasabi ng kontrata tungkol sa maagang pagtatapos?

Mabisa:
Narito ang clause 9 ng aking rental contract: [i-paste ang clause].
Sa simpleng Tagalog, ipaliwanag kung kailan ko maaaring tapusin nang maaga ang kontrata,
anong abiso ang dapat kong ibigay, at magkano ang posibleng maging gastos ko. I-quote ang
pangungusap kung saan nakabatay ang bawat punto.
  • I-paste ang mismong materyal. Mas mahusay gumana ang modelo sa text na nasa context nito kaysa sa mga bagay na tila naaalala lang nito.
  • Maging partikular. Bawat detalyeng idinadagdag mo ay naglilimita sa mga hula patungo sa eksaktong kailangan mo.
  • Humingi ng mga quote o sanggunian mula sa ibinigay mong text, para masuri mo ang bawat punto.
  • Magsimula muli kapag lumihis na ang napakahabang chat; kadalasang mas epektibo ang maikling buod sa isang bagong chat. Maaaring isulat ng summarizer ang buod na iyon para sa iyo.
Isipin ito bilang isang mahusay magbasa na manunulat na walang dalang mga tala. Malawak ang nabasa nito, matatas sumulat, at kayang magpaliwanag ng halos kahit ano, ngunit hindi ito makakapag-search ng anuman. Ibigay rito ang mga katotohanang mayroon ka, at i-verify ang mga detalyeng wala sa iyo.

Gusto mo bang makita ito sa aksyon? Hilingin sa GPT na ipaliwanag ang sarili nito sa limang hakbang, pagkatapos ay magtanong ng mga follow-up question tungkol sa mga bahaging hindi malinaw.

Mga Madalas Itanong (FAQ)

Nauunawaan ba ng GPT ang isinusulat nito?

Depende ito sa kahulugan mo ng pagkaunawa. Malinaw nitong natutukoy ang ugnayan sa pagitan ng mga ideya nang sapat upang magpaliwanag, magbuod, at mangatwiran tungkol sa mga ito, ngunit wala itong karanasan sa totoong mundo at walang maaasahang paraan para maipagkaiba ang katotohanan sa isang kapani-paniwalang hula.

Natututo ba ito mula sa aking mga chat?

Hindi habang nag-uusap, at hindi rin sa pagitan ng mga usapan sa aming chat. Nakapirmi na ang kaalaman ng modelo sa oras ng pagsasanay. Isinasaad ng OpenAI na ang data na ipinadala sa pamamagitan ng API nito ay hindi ginagamit para sa pagsasanay maliban na lang kung nag-opt in ang customer.

Bakit iba ang sagot kapag nagtanong ako ulit?

Pumipili ang modelo ng bawat susunod na token na may kaunting randomness, kaya ang parehong tanong ay maaaring magresulta sa magkaibang salita o istruktura. Pagdating sa mga katotohanan, ang magkaibang sagot ay palatandaan na dapat itong i-check.

Pareho ba ang GPT at ChatGPT?

Hindi. Ang GPT ay ang pamilya ng mga modelong ginawa ng OpenAI; ang ChatGPT naman ay ang sariling app ng OpenAI na binuo gamit ang mga ito. Ang gpt.me ay isang independiyenteng site na gumagamit ng mga modelong GPT sa pamamagitan ng API; nakalista sa aming paghahambing sa ChatGPT ang mga pagkakaiba.

May tanong ka? Itanong na ngayon

Walang account at walang download. Buksan ang chat, i-type ang naiisip mo, at lalabas na ang sagot sa loob ng isa o dalawang segundo.

Magsimulang mag-chat