مدل‌های زبانی بزرگ مانند GPT چگونه کار می‌کنند

GPT برای یافتن پاسخ در یک پایگاه‌داده جستجو نمی‌کند. بلکه متن را بخش به بخش و براساس الگوهای آماری آموخته‌شده می‌نویسد. با درک این موضوع، نقاط قوت، خطاها و روش پرامپت‌نویسی بهتر مشخص می‌شوند.

زمان مطالعه: 7 دقیقهبه‌روزرسانی

وقتی در چت ما سؤالی تایپ می‌کنید، GPT در یک کتابخانه از پاسخ‌های ذخیره‌شده جستجو نمی‌کند. بلکه بر اساس الگوهایی که در طول آموزش از حجم عظیمی متن فراگرفته، پاسخی کاملاً جدید را تکه‌تکه می‌نویسد. همین یک نکته خیلی چیزها را روشن می‌کند: چرا در زبان‌آوری این‌قدر قوی است، چرا تقریباً همه‌چیز را می‌تواند توضیح دهد، چرا گاهی با اطمینان کامل ادعاهای نادرست می‌کند، و چرا نحوهٔ پرسیدن شما مهم است. در این راهنما بخش‌های اصلی را به زبانی ساده و بدون نیاز به مفاهیم ریاضی توضیح می‌دهیم تا ببینید هر کدام چه اثری در گفتگوهای شما دارند.

حروف اختصاری GPT

‏GPT مخفف generative pre-trained transformer (ترانسفورماتور پیش‌آموزش‌دیدهٔ مولد) است. واژهٔ Generative (مولد) به این معناست که متن‌های جدید خلق می‌کند و سراغ پاسخ‌های ثابت و از پیش‌تعیین‌شده نمی‌رود. Pre-trained (پیش‌آموزش‌دیده) یعنی پیش از تنظیم برای گفتگو، از مجموعهٔ عظیمی از متون آموخته است. Transformer نیز نوع شبکهٔ عصبی درون آن است؛ معماری نوین و طراحی‌شده توسط پژوهشگران Google در سال ۲۰۱۷ که مهارت ویژه‌ای در پیوند دادن هر کلمه به سایر کلمات اطرافش دارد. شرکت OpenAI نخستین مدل GPT خود را در سال ۲۰۱۸ عرضه کرد؛ مدل‌های موجود در چت ما، یعنی GPT-6 Luna و GPT-6.1 Terra، اعضای تازهٔ همین خانواده‌اند. برای بررسی خط زمانی به صفحهٔ تاریخچهٔ GPT مراجعه کنید و در صفحهٔ GPT چیست با تصویر بزرگ‌تر آشنا شوید.

توکن‌ها: مدل‌ها چگونه متن را می‌خوانند

مدل‌ها کلمات کامل یا حروف مجزا را نمی‌بینند. متن ابتدا به توکن تقسیم می‌شود. یک واژهٔ رایج معمولاً یک توکن حساب می‌شود؛ درحالی‌که کلمات طولانی یا غیرمعمول به چند بخش خرد می‌شوند. طبق قاعدهٔ تجربی OpenAI برای زبان انگلیسی، هر توکن تقریباً برابر با سه‌چهارم یک کلمه است. زبان‌های دیگر برای بیان همان معنی غالباً به توکن‌های بیشتری نیاز دارند.

مفهوم توکن برخی از رفتارهای عجیب را توجیه می‌کند. مثلاً مدل‌ها گاهی در شمارش حروف یک کلمه به مشکل می‌خورند، زیرا حروف را جداگانه نمی‌بینند. محدودیت‌های ورودی و خروجی نیز بر حسب توکن سنجیده می‌شوند، نه تعداد کاراکترها. همچنین قیمت‌های توسعه‌دهندگان، مطابق آنچه در صفحهٔ GPT API ما آمده، به ازای هر یک میلیون توکن محاسبه می‌شود.

پیش‌بینی، تکه به تکه

مدل در هستهٔ خود یک کار انجام می‌دهد: با توجه به کل متن دریافتی تا این لحظه، تخمین می‌زند که کدام توکن احتمالاً باید بعد از آن بیاید. یکی را برمی‌گزیند، به متن اضافه می‌کند و این کار را صدها یا هزاران بار تکرار می‌کند تا پاسخ کامل شود. به همین خاطر است که پاسخ‌ها در چت به مرور و کلمه‌به‌کلمه ظاهر می‌شوند، نه یک‌باره.

اندکی چاشنی تصادفی‌بودن در انتخاب کلمات مانع از آن می‌شود که پاسخ‌ها در هر بار پرسش، کاملاً تکراری و یکسان باشند. دکمهٔ «تولید مجدد» (regenerate) دقیقاً بر همین پایه کار می‌کند: دوباره بپرسید تا این‌بار از مسیری متفاوت در میان همان دانش عبور کنید. چت ما تلاش‌های قبلی را به شکل نسخه‌های مختلف ذخیره می‌کند تا بتوانید آن‌ها را با یکدیگر مقایسه کنید.

پیش‌بینی در ظاهر کار ساده‌ای به نظر می‌رسد، اما پیش‌بینی دقیق میان میلیاردها نمونه نیازمند آن است که مدل دستور زبان، فکت‌ها، سبک‌ها، الگوهای استدلال و موارد بی‌شمار دیگری را بیاموزد. آنچه شبیه به درک و فهم به نظر می‌آید، در واقع محصول همین تلاش مستمر برای پیش‌بینی دقیق است.

یک مدل چگونه آموزش می‌بیند

مدل‌های GPT در چند مرحله ساخته می‌شوند:

  1. پیش‌آموزش (Pre-training): مدل با پردازش حجم عظیمی از متن، تنها روی یک وظیفه تمرین می‌کند: حدس زدن توکن بعدی. در این مرحله می‌تواند هر متنی را ادامه دهد، اما هنوز هم‌صحبت خوبی برای گفتگو نیست.
  2. تنظیم بر اساس دستورالعمل (Instruction tuning): با دیدن نمونه‌های فراوان از درخواست‌ها و پاسخ‌های شایسته، می‌آموزد که چگونه دستورها را پیگیری کند و به پرسش‌ها جواب دهد.
  3. بازخورد و یادگیری تقویتی (Feedback and reinforcement learning): انسان‌ها و ابزارهای خودکار به پاسخ‌ها امتیاز می‌دهند و مدل طوری تنظیم می‌شود که پاسخ‌های مفید، دقیق و امن‌تری تولید کند. مدل‌های استدلالی نیز به همین شیوه آموزش می‌بینند تا پیش از پاسخ نهایی، مسئله را گام‌به‌گام بررسی کنند.

فرایند آموزش در یک نقطهٔ زمانی متوقف می‌شود که به آن تاریخ پایان داده‌های آموزشی (knowledge cut-off) می‌گویند. بنا بر اعلام OpenAI، داده‌های مدل GPT-6 Luna تا ۱۸ مه ۲۰۲۶ و GPT-6.1 Terra تا ۱ ژوئن ۲۰۲۶ به‌روزرسانی شده‌اند. مدل پس از این تاریخ‌ها هیچ اطلاعاتی ندارد، مگر آنکه خودتان آن را در متن وارد کنید؛ چرا که چت ما به وب دسترسی زنده ندارد.

پنجرهٔ زمینه (Context Window): مدل چه چیزی را می‌بیند

مدل‌ها هیچ حافظه‌ای بین گفتگوهای مجزا ندارند. در طول یک گفتگوی واحد، مدل به آنچه زمینه (context) نام دارد نگاه می‌کند: دستورالعمل‌ها، پیام‌های قبلی و پیام تازهٔ شما، که همگی به قالب توکن‌ها درآمده‌اند. OpenAI برای Luna و Terra پنجرهٔ زمینه‌ای در حدود ۱٫۰۵ میلیون توکن در نظر گرفته که برای گنجاندن چند کتاب قطور کافی است.

یک چت رایگان مثل سرویس ما بخش به مراتب کوچک‌تری را ارسال می‌کند؛ یعنی پیام‌های اخیر همان گفتگو تا سرعت پاسخ‌دهی بالا بماند. در گفتگوهای بسیار طولانی، ممکن است پیام‌های ابتدایی از کادر پردازش خارج شوند. اگر جزئیاتی حیاتی است، آن را تکرار کنید یا با ارائهٔ خلاصه‌ای کوتاه از موضوع، گفتگوی جدیدی باز کنید. هر گفتگو کاملاً مجزاست و مدل آنچه را در گفتگوی دیگر گفته‌اید به خاطر نمی‌آورد.

استدلال: اندیشیدن پیش از پاسخ

مدل‌های استدلالی پیش از نمایش پاسخ نهایی، مسیری از فرآیند فکری مخفی را پشت سر می‌گذارند. این کار به آن‌ها امکان می‌دهد مسئله را به مراحل کوچک‌تر تجزیه کرده و خطاهای احتمالی خود را اصلاح کنند، هرچند کمی زمان‌بر است. در چت ما، نشان Think مدل را به GPT-6.1 Terra تغییر می‌دهد که استدلال کوتاهی انجام می‌دهد؛ درحالی‌که GPT-6 Luna، مدل پیش‌فرض، بلافاصله پاسخ می‌دهد. راهنمای ما دربارهٔ مدل‌های استدلالی توضیح می‌دهد که این مکث کوتاه در چه مواردی ارزشش را دارد.

پاسخ‌های ساختگی و غیرواقعی از کجا می‌آیند؟

از آنجا که مدل همواره به دنبال تولید یک دنبالهٔ منطقی و موجه برای متن است، حتی هنگام مواجهه با خلأ اطلاعاتی نیز به نگارش ادامه می‌دهد. درخواست منبع برای موضوعی بسیار خاص پاسخی در ساختار ارجاع به شما می‌دهد، چه چنان منبعی وجود خارجی داشته باشد و چه نداشته باشد. پرسش دربارهٔ شهری کوچک نیز جزئیاتی کلی و متناسب با شهرها تولید خواهد کرد. مدل هیچ هشدار قطعی درونی ندارد که بگوید «این را نمی‌دانم»، گرچه مدل‌های جدیدتر بهتر می‌توانند بلاتکلیفی خود را اعلام کنند. به همین علت اعتبارسنجی اسامی، اعداد، تاریخ‌ها و نقل‌قول‌ها امری مهم است؛ راهنمای سریع ما برای راستی‌آزمایی پاسخ‌های هوش مصنوعی راهکاری آماده در اختیارتان می‌گذارد.

این موضوع چه تأثیری بر پرامپت‌های شما دارد؟

نکات بالا در چند قاعدهٔ کاربردی خلاصه می‌شوند:

ضعیف:
قرارداد دربارهٔ فسخ زودهنگام چه می‌گوید؟

قوی:
این بند ۹ قرارداد اجارهٔ من است: [متن بند را جای‌گذاری کنید].
به زبانی روان و ساده بگویید چه زمانی می‌توانم قرارداد را زودتر فسخ کنم،
چقدر زودتر باید اطلاع دهم و چه هزینه‌ای برایم خواهد داشت.
جمله‌ای که هر نکته بر پایهٔ آن بیان شده را هم نقل‌قول کنید.
  • متن را مستقیماً درج کنید. مدل روی متنی که در زمینه‌اش قرار دارد بسیار بهتر از دانسته‌های گنگ پیشین کار می‌کند.
  • دقیق و با جزئیات بنویسید. هر جزئیاتی که اضافه می‌کنید، مسیر پیش‌بینی‌ها را دقیقاً به سمتی که می‌خواهید هدایت می‌کند.
  • بخواهید که از متن ارائه‌شده نقل‌قول یا منبع بیاورد تا خودتان بتوانید صحت هر بخش را بررسی کنید.
  • وقتی گفتگویی طولانی شد و موضوع به حاشیه رفت، گفتگوی تازه‌ای آغاز کنید؛ خلاصه‌ای کوتاه در یک چت جدید معمولاً نتیجهٔ بهتری می‌دهد. ابزار خلاصه‌ساز می‌تواند این متن فشرده را برایتان بنویسد.
آن را مثل نویسنده‌ای اهل مطالعه ولی بدون دسترسی به یادداشت تصور کنید. بسیار خوانده، روان می‌نویسد و از پس توضیح هر چیزی برمی‌آید، ولی نمی‌تواند به منبعی رجوع کند. اطلاعاتی که دارید را در اختیارش بگذارید و مواردی را که از صحتشان مطمئن نیستید، راستی‌آزمایی کنید.

می‌خواهید عملکردش را به چشم ببینید؟ از GPT بخواهید ساختارش را در ۵ مرحله توضیح دهد، سپس دربارهٔ هر بخشی که ابهام داشت، سؤالات بعدی را بپرسید.

پرسش‌های متداول

آیا GPT آنچه را می‌نویسد می‌فهمد؟

بستگی دارد معنای درک را چه بدانید. مدل به‌خوبی روابط میان مفاهیم را تشخیص می‌دهد، به گونه‌ای که می‌تواند آن‌ها را شرح دهد، خلاصه کند و تحلیل نماید؛ با این حال، هیچ درکی از جهان واقعی ندارد و ابزار قابل‌اعتمادی برای تشخیص قطعی یک واقعیت از یک فرضیهٔ باورپذیر در اختیار ندارد.

آیا از چت‌های من یاد می‌گیرد؟

خیر، نه در میانهٔ گفتگو و نه بین گفتگوهای مختلف در چت ما چنین اتفاقی نمی‌افتد. دانش مدل در زمان آموزش ثابت شده است. شرکت OpenAI رسماً بیان کرده اطلاعات ارسال‌شده از طریق API برای آموزش مدل‌ها به کار نمی‌رود، مگر آنکه کاربر صراحتاً موافقت کند.

چرا وقتی سؤالم را دوباره می‌پرسم، جواب متفاوتی می‌گیرم؟

مدل هر توکن بعدی را با مقداری تصادفی‌سازی گزینش می‌کند؛ بنابراین یک سؤال یکسان می‌تواند به جمله‌بندی یا ساختارهای گوناگونی برسد. در مورد موضوعات علمی و واقعی، گرفتن جوابی متفاوت هشداری است برای اینکه خودتان آن را بسنجید.

آیا GPT همان ChatGPT است؟

خیر. GPT نام خانواده‌ای از مدل‌های ساخت OpenAI است و ChatGPT برنامه‌ای است که خود شرکت OpenAI بر پایهٔ این مدل‌ها ساخته است. سایت gpt.me پلتفرمی مستقل است که از مدل‌های GPT از طریق API بهره می‌برد؛ در صفحهٔ مقایسه با ChatGPT می‌توانید تفاوت‌هایشان را مرور کنید.

سؤالی دارید؟ همین الان بپرسید

بدون نیاز به حساب کاربری و دانلود. چت را باز کنید، سؤال خود را بنویسید و در عرض یکی دو ثانیه پاسخ را ببینید.

شروع چت