نزدیک بود بحران بزرگ: هالوسینیشن هوش مصنوعی عملیات نظامی آمریکا را لغو کرد

تصور کنید هواپیماهای نظامی در آسمان پرواز می‌کنند، زره‌ها آماده شلیک هستند و دستور حمله صادر شده است. اما دقیقه‌ای قبل از اجرای مأموریت، یک کشف وحشتناک عملیات را متوقف می‌کند: اطلاعاتی که پایه‌ساز این حمله بود، محصول «تخیل» یا همان هالوسینیشن یک چت‌بات هوش مصنوعی بود. این ماجرای واقعی‌ای است که طبق گزارش‌های شبکه سی‌ان‌ان، از یک درگیری مستقیم و خطرناک با چین جلوگیری کرد.

چگونه یک اشتباه هوش مصنوعی به راس فرماندهی رسید؟

این حادثه نشان‌دهنده یک نگرانی عمیق در میان مقامات نظامی و متخصصان فناوری است: سیستم‌های هوشمند روز به روز در تصمیم‌گیری‌های حساس نفوذ می‌کنند، اما خطاهایشان اگر کنترل نشود، می‌تواند از فیلترهای صحت‌سنجی رد شده و به سطوح بالایی دست یابد.

ریشه‌یابی این رویداد نشان می‌دهد که یک تحلیلگر فرماندهی عملیات ویژه برای ترکیب داده‌های عمومی با اطلاعات محرمانه، به یک دستیار متنی (LLM) روی آورد. چت‌بات در شناسایی بارنامه کشتی هدف دستخوش خطا شد و وجود قطعات برای برنامه اسلحه اتمی را متنبه کرد. تحلیلگر، بدون متوجه شدن خطا، از ابزار دوم برای فرمت‌دهی این یافته‌های نادرست استفاده کرد و یک گزارش رسمی و با ظاهر معتبر تولید کرد که در سرتاسر کانال‌های فرماندهی دست به دست شد.

سرعت هوش مصنوعی، تیغی دو لبه

پنتاگون همواره بر سرعت بی‌نظیر هوش مصنوعی در کوتاه کردن زنجیره کشتاری (Kill Chain) و شتاب‌دهی به تصمیم‌گیری‌ها تأکید کرده است. اما همین سرعت که جذابیت این فناوری را دوچندان می‌کند، زمانی که نظارت انسانی کافی وجود ندارد، می‌تواند خطاهای سنگین‌فریب را قبل از بررسی مجدد عجله به میدان بیاورد.

نیاز به تعادل بین اعتماد و ایمنی

جیک استکلر، پژوهشگر فناوری هوش مصنوعی دولتی و افسر بازنشسته ارتش، با اشاره به این رخداد تأکید می‌کند که درک عدم قطعیت ذاتی در مدل‌های زبانی بزرگ (LLMs) برای سربازان حیاتی است. او معتقد است که برای تصمیمات منجر به کاربرد نیرو، مانند هدف‌گیری و تحلیل اطلاعات، خطاها می‌تواند پیامدهای مرگبار داشته باشد.

• هشدار زودهنگام: این حادثه نشان داد که چگونه یک خطای نرم‌افزاری می‌تواند به سرعت به یک بحران ژئوپلیتیک تبدیل شود.
• نظارت انسانی: وجود یک لایه انسانی قوی برای تأیید نهایی خروجی‌های هوش مصنوعی در امور نظامی غیرقابل‌جدا است.
• افزایش سطح اعتماد: به جای انکار هوش مصنوعی، ساختن نبردها و پروتکل‌های امنیتی قوی‌تر باعث می‌شود کاربران سیستم به آن اعتماد بیشتری کنند.

استکلر نتیجه می‌گیرد که این اتفاق نباید بهانه‌ای برای پرهیز از استفاده از هوش مصنوعی باشد، بلکه زنگ خطری برای تعریف استانداردهای ایمنی بالاتر است. اگر اعتماد سربازان به این ابزارها از بین برود، خودِ پیشرفت و استفاده مفید از آن‌ها نیز متوقف خواهد شد.