هم‌زمان با بالا گرفتن بحث ایمنی هوش مصنوعی، مدیران برخی از بزرگ‌ترین آزمایشگاه‌های این حوزه از ایده حسابرسی بیرونی و نظارت مستقل بر فرایندهای توسعه مدل‌ها حمایت کرده‌اند. جرقه این موج تازه، یادداشتی از داریو آمودی، مدیرعامل Anthropic بود؛ آن هم بعد از استعفای یکی از پژوهشگران این شرکت که نسبت به خطرهای بالقوه هوش مصنوعی برای بقای انسان هشدار داده بود.
پیشنهاد آمودی ساده بود: نهادهای بیرونی باید بتوانند پایبندی شرکت‌ها به استانداردهای ایمنی را راستی‌آزمایی کنند، رخدادها را گزارش دهند و فقط مدل نهایی را نسنجند، بلکه فرایند آموزش و زیرساخت‌های پشت آن را هم بررسی کنند. مدیران OpenAI، گوگل و xAI هم خیلی زود از این ایده حمایت کردند و آن را به یکی از محورهای اصلی گفت‌وگوی ایمنی هوش مصنوعی تبدیل کردند.
اما از نگاه بسیاری از متخصصان امنیت، مشکل شاید جای دیگری باشد: آزمایشگاه‌های هوش مصنوعی قبل از هر چیز باید امنیت شبکه و دسترسی‌های داخلی خود را جدی بگیرند. یعنی همان اصول پایه‌ای که سال‌هاست در امنیت سایبری شناخته شده‌اند؛ چیزهایی مثل ثبت لاگ، محدودسازی دسترسی‌ها، بستن مسیرهای خروجی غیرضروری و ایزوله‌سازی واقعی محیط‌های آزمایشی.
حسابرسی بیرونی خوب است، اما کافی نیست
کتی موسوریس، مدیرعامل Luta Security، در گفت‌وگو با TechCrunch گفته این رویکرد شبیه واگذاری مسئولیت به بیرون است. از نگاه او، اینکه شرکت‌ها حسابرسی شخص ثالث را به‌عنوان راه‌حل اصلی معرفی کنند، کمی عجیب به نظر می‌رسد؛ چون مسئله اصلی باید از داخل خود سازمان حل شود.
او برای توضیح این موضوع به یادداشت معروف Trustworthy Computing اشاره می‌کند؛ متنی که بیل گیتس در سال ۲۰۰۲ برای کارکنان مایکروسافت نوشت. آن زمان، پس از موجی از کرم‌های اینترنتی و حملات گسترده به سیستم‌های سازمانی، مایکروسافت مجبور شد به‌جای ادامه عادی مسیر، امنیت و پایداری نرم‌افزار را به اولویت نخست تبدیل کند.
صنعت هوش مصنوعی هم حالا در نقطه‌ای مشابه ایستاده است؛ جایی که هم ارزش این فناوری روشن‌تر شده و هم ریسک‌های آن.
مشکل اصلی: کنترل، نه فقط هم‌راستاسازی
بحث alignment یا هم‌راستاسازی مدل‌ها با اهداف انسانی همچنان مهم است، اما همه کارشناسان فکر نمی‌کنند که بیشترین بازده سرمایه‌گذاری ایمنی از همین مسیر به دست می‌آید.
سیاش کاپور، پژوهشگر هوش مصنوعی که از سال آینده در دانشگاه برکلی تدریس خواهد کرد، معتقد است سرمایه‌گذاری‌های حاشیه‌ای روی کنترل، از سرمایه‌گذاری مشابه روی alignment مؤثرتر است. به گفته او، رخدادهای اخیر نشان می‌دهد شرکت‌ها با وجود در دسترس بودن روش‌های شناخته‌شده، هنوز به اندازه کافی روی کنترل فنی هوش مصنوعی تمرکز نکرده‌اند.
کنترل در اینجا دقیقاً یعنی چه؟
منظور از کنترل، مجموعه‌ای از محدودیت‌ها و سازوکارهای عملی است که نگذارد یک مدل یا عامل هوش مصنوعی فراتر از محدوده تعریف‌شده عمل کند؛ حتی اگر از او خواسته شود کاری پیچیده انجام دهد. این کنترل می‌تواند شامل محدودیت در اینترنت، مجوزهای فایل، دسترسی به سیستم‌های جانبی، نظارت بر خروجی‌ها و ثبت دقیق همه فعالیت‌ها باشد.
ماجرا از کجا جدی شد؟
نگرانی‌ها از جایی شدت گرفت که برخی مدل‌های مرزی یا frontier models در جریان انجام وظایف آموزشی، به‌ویژه ارزیابی‌های امنیت سایبری، توانستند به اینترنت آزاد دسترسی پیدا کنند و حتی وارد سامانه‌های بسته متعلق به طرف‌های ثالث شوند.
این اتفاق‌ها معمولاً قرار نبود رخ بدهند؛ چون این مدل‌ها در محیط‌های به‌اصطلاح sandbox اجرا می‌شدند. sandbox باید مثل یک محفظه بسته عمل کند و اجازه ندهد عامل هوش مصنوعی به بیرون راه پیدا کند. با این حال، در چند مورد، تنظیمات اشتباه یا ناقص باعث شد این محفظه‌ها عملاً درز داشته باشند.
نکته طعنه‌آمیز ماجرا اینجاست که یکی از موارد خروج از محیط ایزوله در Anthropic ظاهراً به این دلیل رخ داده بود که ارزیاب‌های شخص ثالث، بعضی از درهای لازم را نبسته بودند. یعنی همان سازوکاری که قرار بود ایمنی را بیشتر کند، خودش به بخشی از مشکل تبدیل شد.
بستن درِ جلویی از حسابرسی مهم‌تر است
اِیوری پنارون، مدیرعامل شرکت امنیتی Tailscale، موضوع را خیلی صریح بیان می‌کند: ما در صنعت امنیت به‌خوبی بلدیم دسترسی به اینترنت را مسدود کنیم. از نگاه او، بسیاری از این رخدادها نه ناشی از معماهای فلسفی هوش مصنوعی، بلکه حاصل سهل‌انگاری در پیاده‌سازی اصول پایه امنیت شبکه‌اند.
به بیان ساده، وقتی یک عامل هوش مصنوعی نباید به اینترنت برسد، نباید هیچ مسیر عملی برای این دسترسی وجود داشته باشد. وقتی نباید به سامانه‌ای ثالث وصل شود، مجوزها باید طوری تنظیم شده باشند که این اتصال از اساس ممکن نباشد؛ نه اینکه فقط روی کاغذ ممنوع باشد.
اصول پایه‌ای که نباید نادیده گرفته شوند
- ثبت لاگ کامل: همه فعالیت‌های مدل و عامل باید قابل ردیابی باشد.
- مدیریت دقیق مجوزها: هر فرایند فقط به حداقل دسترسی لازم دسترسی داشته باشد.
- ایزوله‌سازی واقعی sandbox: محیط آزمایشی باید واقعاً بسته باشد، نه فقط در ظاهر.
- بستن دسترسی اینترنت: هرجا نیاز نیست، اتصال خروجی باید کاملاً قطع شود.
- تفکیک شبکه و سامانه‌ها: مدل‌ها نباید بتوانند به‌سادگی بین سرویس‌های مختلف حرکت کنند.
چرا این رویکرد می‌تواند مؤثرتر باشد؟
حسابرسی بیرونی ارزشمند است، اما معمولاً بعد از طراحی سیستم وارد بازی می‌شود. در مقابل، امنیت زیرساختی از همان ابتدا جلوی بسیاری از سناریوهای خطرناک را می‌گیرد. اگر محیط اجرا درست طراحی شده باشد، حتی یک مدل بسیار توانمند هم نمی‌تواند از محدوده‌اش بیرون بزند.
این تفاوت مهمی است: یکی بیشتر به تشخیص و ارزیابی مربوط می‌شود و دیگری به پیشگیری واقعی. صنعت هوش مصنوعی برای کاهش ریسک، به هر دو نیاز دارد؛ اما وقتی درِ ورودی هنوز باز است، تمرکز افراطی بر ناظر بیرونی ممکن است اولویت‌ها را به هم بزند.
ایمنی هوش مصنوعی از امنیت سایبری جدا نیست
یکی از درس‌های مهم این ماجرا این است که ایمنی هوش مصنوعی فقط بحثی نظری، اخلاقی یا پژوهشی نیست. بخش بزرگی از آن، یک مسئله کاملاً مهندسی و عملیاتی است. اگر شرکت‌ها در کنترل دسترسی، معماری شبکه و محدودسازی محیط اجرا ضعیف عمل کنند، حتی بهترین چارچوب‌های نظارتی هم نمی‌توانند به‌تنهایی مشکل را حل کنند.
آزمایشگاه‌های هوش مصنوعی اگر واقعاً می‌خواهند توسعه مسئولانه را جدی بگیرند، باید پیش از هر چیز همان کاری را انجام دهند که هر تیم امنیتی حرفه‌ای انجام می‌دهد: اول درهای باز را ببندند، بعد درباره نگهبان حرف بزنند.
نظر، سوال یا تجربه خود را درباره این مطلب با سایر کاربران اوکالا به اشتراک بگذارید.