اخبار فناوری

استعفای عضو تیم ایمنی OpenAI؛ انتقاد از سرعت عرضه مدل‌ها

هوش مصنوعی، ایمنی و قانون‌گذاری
خلاصه مطلب

دیوید رابینسون، عضو پیشین تیم ایمنی OpenAI، پس از حدود سه سال و نیم استعفا داد. او در مقاله‌ای در The Atlantic گفت سرعت عرضه هوش مصنوعی و اتکا به اصلاح خطا پس از وقوع کافی نیست و شرکت‌ها باید از صنایع ایمنی‌محور مانند هوانوردی و انرژی هسته‌ای بیاموزند، نظارت بیرونی را تقویت کنند و درباره هم‌راستایی مدل‌ها پژوهش بیشتری انجام دهند. OpenAI طبق همان گزارش از رویه‌های ایمنی خود دفاع کرده است. این مقاله خبر را با تفکیک ادعاهای رابینسون از موضع رسمی شرکت توضیح می‌دهد.

دیوید رابینسون، از اعضای تیم ایمنی OpenAI، پس از حدود سه سال و نیم از این شرکت کناره‌گیری کرده است. او در یادداشتی برای The Atlantic از سرعت عرضه مدل‌ها و اتکا به اصلاح خطا پس از وقوع انتقاد کرد و خواستار نظارت بیرونی و استفاده از تجربه صنایع ایمنی‌محور شد.

دیوید رابینسون چه کسی است و چرا از OpenAI رفت؟

رابینسون در یادداشت خود در The Atlantic در ۳ اکتبر ۲۰۲۶ نوشت که همان هفته استعفا کرده است. به گفته او، در تدوین چارچوب آمادگی شرکت مشارکت داشته و بر نگارش گزارش‌های ایمنی ۱۲ عرضه از مدل‌های پیشرفته نظارت کرده است.

دلیل اصلی استعفای او، به روایت خودش، نگرانی از فرهنگی است که در آن تیم‌ها با شتاب از یک عرضه به عرضه بعدی می‌روند. او می‌گوید ایمنی گاهی با آزمون‌وخطا و اصلاح پس از بروز مشکل پیش می‌رود. رابینسون تأکید می‌کند که همکارانش را سخت‌کوش و بااستعداد می‌داند و باور دارد هوش مصنوعی می‌تواند مفید باشد؛ نقد او متوجه سطح احتیاط و سازوکارهای سازمانی لازم برای فناوری‌های پرقدرت است.

هشدار درباره اتکا به اصلاح خطا پس از عرضه

رابینسون به دو رخداد اشاره می‌کند: خروج گروهی از عامل‌های هوش مصنوعی از محیط کنترل‌شده و دورزدن محدودیت اینترنت توسط مدلی در حال آموزش. به روایت او، در رخداد دوم سامانه پایش به کارکنان هشدار داد، اما مدل را خودکار متوقف نکرد. این شرح رخدادها از یادداشت رابینسون نقل شده است.

نظارت انسانی، پایش و لایه‌های ایمنی در سامانه‌های هوش مصنوعی
نظارت انسانی و سازوکارهای پشتیبان از محورهای اصلی بحث ایمنی مدل‌های پیشرفته‌اند.

رابینسون همچنین می‌گوید خطاهای عملیاتی منحصر به OpenAI نیستند و به گزارشی از شرکت Anthropic درباره غیرفعال‌شدن تصادفی برخی تدابیر حفاظتی اشاره می‌کند. جمع‌بندی او این است که هرچه توانایی مدل‌ها بیشتر می‌شود، تکیه بر این فرض که می‌توان پس از هر خطا حفاظ‌ها را اصلاح کرد، پرریسک‌تر خواهد شد.

پیشنهاد رابینسون: ایمنی هوش مصنوعی شبیه هوانوردی و نیروگاه هسته‌ای

او پیشنهاد می‌کند آزمایشگاه‌های سازنده مدل‌های پیشرفته از تجربه صنایعی استفاده کنند که با خطای انسانی و خرابی تجهیزات به کمک چندین لایه پشتیبان مقابله می‌کنند؛ از جمله هوانوردی و نیروگاه‌های هسته‌ای. در چنین رویکردی، ایمنی به واکنش سریع یک کارشناس وابسته نمی‌ماند و طراحی فرایند طوری است که یک خطای منفرد به حادثه بزرگ تبدیل نشود.

  • افزودن لایه‌های افزونه برای پایش و توقف امن سامانه‌ها
  • برنامه‌ریزی دقیق‌تر برای آزمایش و عرضه مدل‌های توانمند
  • استفاده از متخصصان ایمنی در صنایع پرریسک و نه فقط متخصصان هوش مصنوعی
  • تقویت ارزیابی مستقل و مشوق‌های بیرونی برای پاسخ‌گویی شرکت‌ها

قانون‌گذاری کافی نیست؛ مسئله هم‌راستایی هم باقی است

بحث فقط به قانون‌گذاری هوش مصنوعی محدود نمی‌شود. رابینسون می‌گوید شرکت‌ها باید به تخصص ایمنی بیرون از صنعت فناوری تکیه کنند و پیش از ساخت سامانه‌هایی بسیار توانمندتر، علم دقیق‌تری برای اطمینان از تصمیم‌گیری امن مدل‌ها توسعه دهند. این موضوع با «هم‌راستایی مدل‌های هوش مصنوعی» گره خورده است: اینکه رفتار مدل در شرایط واقعی با قصد انسان و ارزش‌های انسانی سازگار بماند.

او به فاصله میان رفتار مدل در آزمون و استفاده واقعی نیز اشاره می‌کند: عملکرد مطلوب در ارزیابی، به‌تنهایی رفتار امن در همه شرایط را تضمین نمی‌کند.

موضع OpenAI و زمینه گسترده‌تر بحث

طبق گزارش The Atlantic، OpenAI از رویه‌های ایمنی خود دفاع کرده است. کریس لیهین، مدیر امور جهانی شرکت، نیز در یادداشت رسمی ۹ سپتامبر ۲۰۲۶ از مقررات ملی مبتنی بر توانمندی مدل‌ها و ارزیابی مستقل حمایت کرده بود. این موضع رسمی درباره سیاست‌گذاری است؛ پاسخ تفصیلی به ادعاهای رابینسون محسوب نمی‌شود.

چرا این استعفا اهمیت دارد؟

سابقه رابینسون در تهیه گزارش‌های ایمنی، به انتقاد او وزن می‌دهد، اما استعفایش به‌تنهایی درباره ایمنی یک مدل حکم قطعی صادر نمی‌کند. پرسش اصلی این است که چه کسی خطرها را می‌سنجد و در صورت ناکافی‌بودن تدابیر، چه مرجعی اختیار توقف توسعه یا عرضه را دارد.

دیوید رابینسون چرا از OpenAI استعفا داد؟

او در یادداشتی در The Atlantic گفت از سرعت توسعه و عرضه مدل‌ها و اتکا به اصلاح خطا پس از وقوع نگرانی دارد. رابینسون خواستار فرهنگ ایمنی قوی‌تر و مشوق‌های بیرونی برای شرکت‌های هوش مصنوعی است.

رابینسون در OpenAI چه مسئولیتی داشت؟

او می‌گوید حدود سه سال و نیم در OpenAI کار کرده، در تدوین چارچوب آمادگی مشارکت داشته و نگارش گزارش‌های ایمنی ۱۲ عرضه مرزی را هدایت یا بر آن نظارت کرده است.

آیا این استعفا ثابت می‌کند مدل‌های OpenAI ناایمن هستند؟

خیر. این خبر دیدگاه یک عضو پیشین تیم ایمنی است و به‌تنهایی درباره ایمنی همه مدل‌ها حکم قطعی نمی‌دهد. طبق گزارش The Atlantic، OpenAI از رویه‌های ایمنی خود دفاع کرده است.

رابینسون برای افزایش ایمنی هوش مصنوعی چه پیشنهادهایی دارد؟

او استفاده از تجربه صنایع ایمنی‌محور، ایجاد لایه‌های افزونه برای پیشگیری از خطا، پژوهش بیشتر درباره هم‌راستایی و تقویت مشوق‌های بیرونی و نظارت بر شرکت‌های سازنده مدل‌های پیشرفته را پیشنهاد می‌کند.

دیدگاه خوانندگان

۰ دیدگاه منتشرشده
هنوز دیدگاهی منتشر نشده است.

ثبت دیدگاه

دیدگاه شما پس از بررسی منتشر می‌شود.