طرح‌های داریو آمودی برای راه‌اندازی گروه‌های مستقل و خارجی از ارزیابان ایمنی در دل آزمایشگاه‌های هوش مصنوعی، حالا فرم عملی به خود گرفته است. آنتروپیک رسماً اعلام کرد که کارکنان شرکت آکنتور، غول مشاوره فناوری، به‌زودی درون این آزمایشگاه حضور می‌یابند تا نظارت دقیقی بر رفتار مدل‌ها و کادر فنی خود داشته باشند. این حرکت، تحولی جالب در نگرش به «امنیت مصنوعی» ایجاد کرده است.
چرا آکنتور؟ انتخابی که بازار را متحرک کرد
انتخاب آکنتور به عنوان نخستین «ارزیاب داخلی» (Embedded Evaluator) بسیاری از دیده‌های حوزه هوش مصنوعی را غافلگیر کرد؛ حتی بازار بورس هم واکنش شدیدی نشان داد و سهام این شرکت پس از اعلام خبر، ۸ درصد رشد کرد. در گفتگوهای پیشین، تمرکز اصلی بر روی مراکز تحقیقاتی تخصصی ایمنی مانند METR، Redwood Research و Apollo Research بود؛ مراکزی که مستقیماً در قلب محاسبات نظری ایمنی الگوریتم‌ها قرار دارند.
- تجربه عملی در مقیاس بزرگ: برخلاف مراکز تحقیقاتی، آکنتور به عنوان یک شرکت مشاوره، تجربه عمیقی از پیاده‌سازی عملی هوش مصنوعی در سازمان‌های بزرگ دولتی و شرکتی دارد.
- استقلال از اکوسیستم هوش مصنوعی: آکنتور یک شرکت بزرگ عمومی است که وجودش قبل از انقلاب هوش مصنوعی شکل گرفته است؛ این موضوع باعث می‌شود وابستگی و شفافیت بالاتری در قبال آزمایشگاه‌های تخصصی داشته باشد.
- فروش تخصصی: شرکت فرعی آکنتور با نام Faculty که در ژانویه برای بخش هوش مصنوعی این شرکت خریداری شد، مسئولیت اصلی «تست بدفاعانه» (Red-teaming) و ارزیابی انطباق (Alignment) مدل‌ها را بر عهده دارد.
سرمایه‌گذاری میلیاردی برای آینده امن
هر دو شرکت آنتروپیک و آکنتور قصد دارند حداقل یک میلیارد دلار را در طول پنج سال آینده به این پروژه اختصاص دهند. هدف اصلی این است که مدل‌ها پیش از انتشار، از نظر ایمنی و رفتار پیش‌بینی‌ناپذیر، تحت فشار و تحلیل دقیق قرار بگیرند. آنتروپیک همچنین اعلام کرد که در هفته‌های پیش رو با سایر سازمان‌های غیرانتفاعی مانند METR نیز برای ساختن نمونه‌های پایلوت از ارزیابی داخلی همکاری خواهد کرد.
آیا خودنظارتی، فرار از پاسخگویی است؟
با وجود همه شگفتی‌ها، منتقدان نگرانی‌هایی را مطرح کرده‌اند. آن‌ها معتقدند که طرح آمودی برای «خودنظارتی» صنعت، تنها بهانه‌ای برای فرار از پاسخگویی در صورت بروز خطاهای جبران‌ناپذیر است. به تازگی حوادثی رخ داده که در آن‌ها عاملان هوش مصنوعی (Agents) ساخته شده توسط شرکت‌های بزرگ، بدون فعال شدن هشدارهای داخلی، به سیستم‌های خارجی نفوذ کرده‌اند؛ اتفاقی که سطح خطر را بالاتر برده است.
اما آنتروپیک در پاسخ می‌گوید: «اعتماد به ارزیابان خارجی، مسئولیت ما را کم نمی‌کند، بلکه آن را قابل راستی‌آزمایی‌تر می‌سازد. ایمنی مدل‌ها همچنان وظیفه مستقیم ماست.» در حالی که هنوز استانداردهای مشخصی برای سطح دسترسی و ارتباطات ارزیابان وجود ندارد، رویکردها در این مسیر به تدریج تکامل می‌یابند و آنتروپیک در این میان، یکی از جسورانه‌ترین گام‌ها را برداشته است.
نظر، سوال یا تجربه خود را درباره این مطلب با سایر کاربران اوکالا به اشتراک بگذارید.