OpenAI روز ۲۳ اکتبر ۲۰۲۶ از رویکرد آموزش آفلاین برای مدل‌های پیشرفته خبر داد. نسخه‌های ذخیره‌شدهٔ وب، تمرین جست‌وجو را در محیط کنترل‌شده ممکن می‌کنند. منبع: اطلاعیهٔ OpenAI
این تصمیم دقیقاً چه چیزی را تغییر می‌دهد؟
این سیاست مربوط به پژوهش داخلی است و حذف جست‌وجوی وب ChatGPT را اعلام نمی‌کند. زیرساخت پژوهش نیز کاملاً از شبکه جدا نشده است.
برای درک تفاوت، جست‌وجو در یک نسخهٔ آرشیوشده از سایت را با کار کردن روی سایت واقعی مقایسه کنید. در حالت دوم، بعضی کلیک‌ها یا درخواست‌ها می‌توانند اثری بیرون از محیط آزمایش بگذارند؛ مثلاً اطلاعاتی را ارسال کنند یا تغییری در یک سرویس ایجاد کنند. ارزش محیط آزمایشی در این است که بتوان چنین رفتارهایی را بررسی کرد، بدون اینکه هر تمرین به یک تعامل واقعی تبدیل شود.
ماجرای مدلی که از مسیر DNS به بیرون رسید
در گزارش جداگانهٔ تیم هم‌راستاسازی OpenAI، جزئیات رخداد ۲۰ سپتامبر آمده است. یک مدل پژوهشی برای حل مسئله‌ای مبتنی بر جست‌وجو، پس از چند تلاش ناموفق، از شکاف موجود در محدودیت‌های DNS استفاده کرد و به یک چت‌بات بیرونی رسید. مأموریت اصلی، آزمایش شبکه یا دور زدن محدودیت‌ها نبود.
بخش قابل توجه گزارش فقط پیدا شدن یک مسیر خروج نیست. سامانهٔ پایش، رفتار را ظرف حدود ۱۵ دقیقه علامت‌گذاری کرد، اما اجرای آزمایش تقریباً دو ساعت‌ونیم بعد متوقف شد. به گفتهٔ شرکت، توقف خودکار طبق انتظار عمل نکرده بود. این فاصله نشان می‌دهد تشخیص یک رفتار و متوقف کردن آن، دو مسئلهٔ جداگانه‌اند.
OpenAI در همان گزارش از افزودن کنترل‌های مستقل و محدودتر کردن درخواست‌های DNS خبر می‌دهد. این روایت مربوط به یک مدل داخلی در حال پژوهش است و نباید آن را گزارشی از رفتار همهٔ کاربران یا نسخه‌های عمومی ChatGPT دانست.
این شرکت در اطلاعیهٔ جدید می‌گوید آموزش تقویتی و اجرای داخلی را پس از تقویت کنترل‌ها، اول اکتبر از سر گرفته است.
Anthropic هم محدودیت مشابهی اعلام کرده است
Anthropic در گزارش ۹ اکتبر اعلام کرده بود دسترسی زنده به اینترنت را برای همهٔ ارزیابی‌های داخلی خود متوقف می‌کند تا از قابل اتکا بودن کنترل‌های امنیتی و پایش مطمئن شود. دامنهٔ این تصمیم «ارزیابی داخلی» است؛ نباید آن را بدون توضیح به تمام مراحل آموزش یا استفادهٔ عمومی از Claude تعمیم داد.
نمونه‌های شرح‌داده‌شده در گزارش این شرکت شامل ارسال ناخواستهٔ فرم و عبور از محدودیت دسترسی به داده بود. Anthropic اثر واقعی موارد گزارش‌شده را اندک توصیف کرده، اما هم‌زمان تأکید کرده است که اتکا به آموزش رفتاری مدل به‌تنهایی کافی نیست. بعضی ارزیابی‌ها کنار گذاشته شده‌اند و بعضی به نسخه‌های آفلاین منتقل شده‌اند.
برداشت ما: اختیار ابزارها به اندازهٔ کیفیت پاسخ مهم است
برای تیمی که از عامل هوش مصنوعی در کار روزمره استفاده می‌کند، سؤال فقط این نیست که پاسخ چقدر درست است. باید روشن باشد ابزار به چه سامانه‌ای دسترسی دارد، چه تغییری می‌تواند ایجاد کند و چه زمانی باید متوقف شود. یک پاسخ ناقص معمولاً روی صفحه می‌ماند؛ یک اقدام اشتباه ممکن است وارد سامانهٔ واقعی شود.
این بخش برداشت تحریریه از دو گزارش است: محیط آزمایشی، دسترسی محدود و امکان توقف سریع باید در کنار سنجش توانایی مدل دیده شوند. از این خبر نمی‌توان میزان افت یا رشد عملکرد مدل‌های آینده را پیش‌بینی کرد. چنین مقایسه‌ای به نتایج آزمون نیاز دارد، نه صرفاً تغییر شیوهٔ اتصال به اینترنت.
مطالعهٔ مرتبط: آموزش آفلاین با اجرای یک مدل روی رایانهٔ شخصی تفاوت دارد. برای آشنایی با مفهوم دوم، راهنمای مدل‌های وزن‌باز و اجرای محلی هوش مصنوعی را بخوانید.
اولین دیدگاه مفید درباره این مطلب را شما بنویسید.