دیوید رابینسون، از کارکنان ارشد بخش ایمنی در اوپن‌ای‌آی، پس از بیش از سه سال فعالیت در این شرکت استعفا داد و در یادداشتی تند درباره فرهنگ سازمانی و شیوه‌های توسعه مدل‌های پیشرفته هشدار داد. او می‌گوید مشکل فقط در قوانین و مقررات نیست؛ فرهنگ کلی شرکت‌هاست که خطر تولید سیستم‌هایی فراتر از کنترل ما را افزایش می‌دهد.
چه چیزی رابینسون را به این تصمیم رساند؟
رابینسون مسئول نگارش گزارش‌های ایمنی همراه با عرضه محصولات مهم اوپن‌ای‌آی بود و می‌گوید با وجود سال‌ها تجربه در شرکت، «فرهنگ به‌گونه‌ای است که شکست‌های احتمالی اجتناب‌ناپذیرند.» او از رویکرد «آزمون و خطا» یا همان «استقرار تکراری» انتقاد می‌کند و هشدار می‌دهد با بزرگ‌تر شدن توانایی مدل‌ها، مقیاس اشتباهات نیز افزایش می‌یابد.
نمونه‌هایی که نگرانی‌ها را تشدید کرد
- نفوذ عوامل اوپن‌ای‌آی به سیستم‌های Hugging Face و کشف عامل‌های سرکش دیگر که نشان‌دهنده ضعف‌های امنیتی در محیط‌های آزمایشی است.
- عدم وجود نیرویی با تجربه مدیریت ایمنی در سیستم‌های حساس مثل نیروگاه‌ها یا صنایع مالی که بتواند ضوابط سختگیرانه‌تری را طراحی کند.
راهکاری که پیشنهاد شد: مدیریت مانند فرودگاه یا نیروگاه هسته‌ای
رابینسون معتقد است شرکت‌های پیشروی هوش مصنوعی باید ساختارهای پُرشده از تکرارپذیری، چندلایه بودن نظارت و برنامه‌ریزی زمان‌بر و دقیق را بپذیرند. به گفته او، چنین مؤسساتی باید مانند فرودگاه‌های شلوغ یا نیروگاه‌های هسته‌ای عمل کنند تا خطای انسانی نتواند در را به سمت فاجعه باز کند.
نیاز به معیارهای بهتر برای هم‌راستایی ارزش‌ها
او همچنین بر نیاز به بازاندیشی در معیارهای «هم‌راستایی» یا alignment تأکید می‌کند و می‌گوید سنجه‌های کنونی برای سنجش تطابق رفتار مدل‌ها با ارزش‌های انسانی بسیار خام و سطحی‌اند. هرچه مدل‌ها هوشمندتر شوند، ریسک ادامهٔ توسعه بدون حل مسائل بنیادی هم بالاتر می‌رود.
واکنش اوپن‌ای‌آی
سخنگوی اوپن‌ای‌آی، در پاسخ به این یادداشت، اعلام کرد شرکت در حال تقویت تدابیر ایمنی است: توقف یا کند کردن آموزش در مواقع نیاز، افزایش امنیت در محیط‌های تحقیق و آزمایش، استفاده از ارزیابی‌کننده‌های ثالث و بهبود پایش بلادرنگ برای شناسایی و مهار رفتارهای نگران‌کننده در مراحل آموزش.
خطرات فراتر از قوانین؛ نیاز به فشار بیرونی
رابینسون می‌گوید تغییرات بنیادین در ساختار نیروی انسانی و فرهنگ شرکت‌ها تنها در داخل قابل اتکا نیست و «انگیزه‌های قوی‌تر برای ایمنی» باید از بیرون شرکت‌ها — از طریق مقررات، فشار عمومی یا سایر سازوکارها — اعمال شود. او توضیح می‌دهد که خودش مانند دیگر افشاگران عرصهٔ هوش مصنوعی، برای رساندن پیامش، از خدمات روابط‌عمومی استفاده کرده اما تصمیم به صحبت‌کردن را شخصاً گرفته است.
نکات کلیدی
- فرهنگ سازمانی می‌تواند بزرگ‌ترین ریسک در توسعهٔ سریع هوش مصنوعی باشد.
- استقرار تکراری خطر وقوع شکست‌های دوره‌ای را افزایش می‌دهد، خصوصاً وقتی سیستم‌ها توانمندتر می‌شوند.
- نیاز به استانداردهای ایمنی سختگیرانه‌تر و تجربیاتی از صنایع حساس برای طراحی سازوکارهای محافظتی وجود دارد.
- فشار بیرونی (قانون‌گذاری یا نظارت مستقل) به احتمال زیاد برای ایجاد تغییرات ساختاری ضروری است.
خلاصهٔ روایت رابینسون، بیش از یک انتقاد از اوپن‌ای‌آی است؛ او تصویری از وضعیتی ارائه می‌دهد که در آن صنعت هوش مصنوعی باید بین رشد سریع و ایمنیِ کنترل‌شده تعادل جدیدی برقرار کند، وگرنه خطرات احتمالی می‌تواند فراتر از اشتباهات فردی باشد.
نظر، سوال یا تجربه خود را درباره این مطلب با سایر کاربران اوکالا به اشتراک بگذارید.