Cara model bahasa besar seperti GPT berfungsi

GPT tidak mencari jawapan dalam pangkalan data. Ia membina teks bahagian demi bahagian berdasarkan corak yang dipelajari semasa latihan. Apabila anda memahaminya, kelebihan, kelemahan dan cara bertanya yang tepat akan menjadi jelas.

Masa membaca 5 minDikemas kini

Apabila anda menaip soalan ke dalam sembang kami, GPT tidak mencari daripada arkib jawapan yang disimpan. Ia menulis jawapan baharu, sedikit demi sedikit, berdasarkan corak yang dipelajarinya daripada jumlah teks yang amat besar semasa latihan. Konsep asas ini menjelaskan banyak perkara: mengapa ia begitu mahir berbahasa, mengapa ia boleh menerangkan hampir apa sahaja, mengapa kadangkala ia menyatakan perkara yang salah dengan penuh yakin, dan mengapa cara anda bertanya amat penting. Panduan ini menerangkan bahagian utamanya dalam bahasa mudah tanpa memerlukan formula matematik, berserta kepentingannya untuk sesi sembang anda sendiri.

Maksud huruf dalam GPT

GPT bermaksud generative pre-trained transformer. Generative (generatif) bermaksud ia menghasilkan teks baharu dan bukannya memilih daripada jawapan tetap. Pre-trained (pralatih) bermaksud ia terlebih dahulu belajar daripada koleksi teks yang sangat besar sebelum dilaraskan untuk perbualan. Transformer ialah jenis rangkaian saraf di dalamnya, sebuah reka bentuk yang diterbitkan oleh penyelidik Google pada tahun 2017 yang sangat mahir mengaitkan setiap perkataan dengan semua perkataan lain di sekelilingnya. OpenAI melancarkan model GPT pertamanya pada tahun 2018; model dalam sembang kami, GPT-6 Luna dan GPT-6.1 Terra, merupakan versi terkini daripada rangkaian yang sama. Halaman sejarah GPT menyediakan garis masa penuh, dan apa itu GPT memberikan gambaran yang lebih luas.

Token: cara model membaca

Model tidak melihat huruf atau perkataan penuh. Teks terlebih dahulu dipecahkan kepada token. Perkataan yang kerap digunakan biasanya menjadi satu token; perkataan yang panjang atau luar biasa dipecahkan kepada beberapa serpihan. Secara kasarnya bagi bahasa Inggeris menurut OpenAI, satu token adalah sekitar tiga suku daripada satu perkataan. Bahasa lain selalunya memerlukan lebih banyak token untuk menyampaikan maksud yang sama.

Token menjelaskan beberapa keanehan. Model boleh tersilap apabila mengira bilangan huruf dalam sesuatu perkataan kerana ia tidak pernah melihat huruf satu demi satu. Had input dan output diukur dalam token, bukan aksara. Malah harga untuk pembangun, seperti yang disenaraikan pada halaman GPT API kami, dinyatakan bagi setiap sejuta token.

Ramalan, sedikit demi sedikit

Pada terasnya, model ini melakukan satu perkara sahaja: berdasarkan semua teks yang ada setakat ini, ia menganggarkan token mana yang berkemungkinan muncul seterusnya. Ia memilih satu, menambahkannya pada teks, dan mengulanginya beratus-ratus atau beribu-ribu kali sehingga jawapan selesai. Itulah sebabnya jawapan muncul secara beransur-ansur dalam sembang dan bukannya sekali gus.

Sedikit unsur rawak dalam pilihan tersebut mengelakkan jawapan daripada menjadi serupa setiap kali. Itulah fungsi butang jana semula: tanya sekali lagi dan anda akan mendapat laluan berbeza melalui pengetahuan yang sama. Sembang kami menyimpan percubaan terdahulu sebagai versi berasingan supaya anda boleh membandingkannya.

Meramal kedengaran mudah, tetapi untuk membuat ramalan yang tepat merentasi berbilion contoh, model perlu menguasai tatabahasa, fakta, gaya penulisan, corak penaakulan dan banyak lagi. Apa yang kelihatan seperti pemahaman sebenarnya terhasil daripada proses meramal tersebut.

Cara model dilatih

Model GPT dibina melalui beberapa peringkat:

  1. Pralatihan. Ia memproses koleksi teks yang sangat luas, berlatih satu tugasan sahaja: meneka token seterusnya. Pada peringkat ini, ia boleh menyambung sebarang teks tetapi belum lagi menjadi rakan perbualan yang baik.
  2. Pelarasan arahan. Ia dilatih menggunakan contoh permintaan dan jawapan yang baik, agar ia belajar mengikut arahan dan menjawab soalan.
  3. Maklum balas dan pembelajaran pengukuhan. Manusia dan semakan automatik menilai jawapan, dan model dilaraskan ke arah respons yang hữu guna, tepat dan selamat. Model penaakulan juga dilatih dengan cara ini untuk memikirkan langkah penyelesaian masalah sebelum menjawab.

Latihan akan berakhir pada masa tertentu, dan tarikh tersebut ialah had pengetahuan (knowledge cut-off) model. Menurut OpenAI, data GPT-6 Luna merangkumi sehingga 18 Mei 2026 dan GPT-6.1 Terra sehingga 1 Jun 2026. Tiada maklumat selepas tarikh itu yang diketahui oleh model melainkan anda menampalnya, dan sembang kami tidak melayari web.

Tetingkap konteks: apa yang dilihat oleh model

Model tidak mempunyai ingatan antara perbualan yang berbeza. Dalam satu sesi sembang, ia melihat konteks: arahan, mesej setakat ini dan mesej terbaharu anda, semuanya dalam bentuk token. OpenAI memberikan Luna dan Terra tetingkap konteks sekitar 1.05 juta token, cukup untuk memuatkan beberapa buah buku tebal.

Sembang percuma seperti kami menghantar bahagian yang jauh lebih kecil: bahagian terkini daripada perbualan supaya jawapan kekal pantas. Dalam sembang yang sangat panjang, mesej terawal boleh terkeluar daripada pandangan. Jika sesuatu butiran itu penting, ulanginya semula atau mulakan sembang baharu dengan ringkasan pendek tentang topik anda. Setiap sembang adalah berasingan; model tidak mengingati apa yang anda katakan dalam sembang lain.

Penaakulan: berfikir sebelum menjawab

Model penaakulan menjana proses kerja tersembunyi sebelum memaparkan jawapan yang boleh dilihat. Ini memberikannya peluang untuk membahagikan masalah kepada beberapa langkah dan mengesan kesilapan sendiri, dengan mengambil sedikit masa tambahan. Dalam sembang kami, cip Think menukar model kepada GPT-6.1 Terra yang menaakul secara ringkas; GPT-6 Luna, iaitu pilihan lalai, menjawab hampir serta-merta. Panduan kami tentang model penaakulan menerangkan bilakah jeda masa ini berbaloi untuk digunakan.

Dari mana datangnya jawapan rekaan

Oleh kerana model sentiasa menulis sambungan yang meyakinkan, ia tetap menulisnya walaupun faktanya tiada. Permintaan untuk sumber bagi topik khusus akan menghasilkan jawapan yang menyerupai rujukan sebenar, tidak kira sama ada sumber tersebut wujud atau tidak. Soalan tentang pekan kecil akan menerima butiran umum yang sesuai untuk mana-mana pekan. Model tidak mempunyai isyarat dalaman yang boleh dipercayai untuk menyatakan "Saya tidak tahu perkara ini", walaupun model yang lebih baharu semakin baik dalam mengakui ketidakpastian. Itulah sebabnya semakan penting bagi nama, nombor, tarikh dan petikan; panduan semakan fakta kami menyediakan langkah pantas untuk melakukannya.

Maksud perkara ini untuk gesaan anda

Semua perkara di atas boleh disimpulkan kepada beberapa peraturan praktikal:

Lemah:
Apakah yang dinyatakan dalam kontrak tentang penamatan awal?

Kuat:
Ini ialah klausa 9 kontrak sewa saya: [tampal klausa].
Terangkan dalam bahasa mudah bila saya boleh menamatkan kontrak
lebih awal, berapa tempoh notis yang perlu saya berikan dan kos
yang mungkin dikenakan. Petik ayat yang menjadi asas bagi setiap perkara.
  • Tampal bahan rujukan. Model berfungsi jauh lebih baik pada teks dalam konteksnya berbanding perkara yang diingatinya secara samar-samar.
  • Beri butiran khusus. Setiap butiran yang anda tambah akan memperincikan ramalan ke arah apa yang anda perlukan.
  • Minta petikan atau sumber daripada teks yang anda berikan, supaya anda boleh menyemak setiap perkara.
  • Mula semula apabila sembang yang panjang mula terpesong; ringkasan pendek dalam sembang baharu selalunya lebih berkesan. Alat pemberi ringkasan boleh menulis ringkasan tersebut untuk anda.
Bayangkan ia seperti seorang penulis yang luas bacaan tetapi tiada nota rujukan. Ia telah membaca pelbagai perkara, menulis dengan lancar dan boleh menerangkan hampir apa sahaja, tetapi ia tidak boleh mencari maklumat baharu. Berikan fakta yang anda ada, dan semak semula fakta yang anda ragui.

Ingin melihat cara ia berfungsi? Minta GPT menerangkan dirinya sendiri dalam lima langkah, kemudian tanya soalan susulan tentang bahagian yang kurang jelas.

Soalan Lazim

Adakah GPT memahami apa yang ditulisnya?

Ia bergantung pada maksud pemahaman bagi anda. Ia jelas memahami hubungan antara idea dengan cukup baik untuk menerangkan, meringkaskan dan menaakul mengenainya, tetapi ia tidak mempunyai pengalaman dunia sebenar dan tiada cara yang boleh dipercayai untuk membezakan fakta daripada tekaan yang meyakinkan.

Adakah ia belajar daripada sembang saya?

Tidak semasa perbualan berlangsung, dan tidak antara perbualan dalam sembang kami. Pengetahuan model telah ditetapkan semasa latihan. OpenAI menyatakan bahawa data yang dihantar melalui API miliknya tidak digunakan untuk latihan melainkan pelanggan memilih untuk menyertainya.

Mengapa saya mendapat jawapan berbeza apabila bertanya lagi?

Model memilih setiap token seterusnya dengan sedikit unsur rawak, jadi soalan yang sama boleh membawa kepada susunan kata atau struktur yang berbeza. Bagi fakta, jawapan yang berbeza adalah petanda bahawa anda perlu menyemaknya.

Adakah GPT sama dengan ChatGPT?

Tidak. GPT ialah rangkaian model yang dibangunkan oleh OpenAI; ChatGPT ialah aplikasi OpenAI sendiri yang dibina berasaskan model tersebut. gpt.me ialah tapak bebas yang menggunakan model GPT melalui API; perbandingan kami dengan ChatGPT menyenaraikan perbezaannya.

Ada soalan? Tanya sekarang

Tanpa akaun dan tanpa muat turun. Buka sembang, taip apa yang anda fikirkan, dan jawapan akan mula dipaparkan dalam sesaat dua.

Mula bersembang