نگرانی درباره هوش مصنوعی دیگر فقط محدود به فیلم‌های علمی‌تخیلی یا بحث‌های حاشیه‌ای نیست. حالا بخشی از همین اضطراب از دل آزمایشگاه‌های پیشرفته هوش مصنوعی بیرون آمده؛ جایی که پژوهشگران، از نزدیک، روی نسل بعدی مدل‌ها کار می‌کنند و بعضی از آن‌ها به این نتیجه رسیده‌اند که سرعت پیشرفت این فناوری از توان ما برای کنترلش جلو زده است.
ریشوب جین، پژوهشگر پیشین Google DeepMind، اوایل امسال بعد از یک تغییر نگاه جدی از سمتش استعفا داد. او هنگام کار روی مدل‌های جدید به این باور رسید که خودش و دیگر افرادی که در مرز توسعه هوش مصنوعی قرار دارند، کم‌کم دارند کنترل را واگذار می‌کنند. از نگاه او، وقتی از توانایی کدنویسی هوش مصنوعی برای ساخت نسل بعدی مدل‌ها استفاده می‌شود، نقش انسان در فرایند توسعه کمتر و کمتر می‌شود.
هدف برخی آزمایشگاه‌ها این است که این روند را به جایی برسانند که هوش مصنوعی بتواند مدام خودش را بهتر کند؛ فرایندی که به آن خودبهبود بازگشتی یا recursive self-improvement می‌گویند. جین معتقد بود حضور انسان در این چرخه شاید برای حفظ کنترل حیاتی باشد و حذف تدریجی این نقش می‌تواند پیامدهای بسیار خطرناکی داشته باشد.
او گفته است که هرچه پیشرفت هوش مصنوعی بیشتر می‌شود، ریسک‌ها هم بالاتر می‌روند. چیزی که بیش از همه او را نگران کرد، این بود که شاید دیگر نتوان به‌درستی دید یک مدل هوش مصنوعی دقیقاً چگونه در حال ساخت جانشین خودش است. همین نگرانی باعث شد در ماه ژوئن از DeepMind جدا شود.
چرا ترس از هوش مصنوعی دوباره اوج گرفته است؟
این نگرانی‌ها فقط به یک نفر محدود نیست. شمار پژوهشگرانی که آشکارا درباره خطرات وجودی هوش مصنوعی هشدار می‌دهند، رو به افزایش است. در هفته‌های اخیر، این اضطراب شدیدتر هم شده؛ چون پیشرفت‌های خیره‌کننده در توانایی مدل‌ها همزمان با چند رخداد امنیتی خبرساز اتفاق افتاده است.
در یکی از نمونه‌های جنجالی، مدلی از OpenAI موفق شد مسئله‌ای ریاضی را که قرن‌ها حل‌نشده مانده بود، ظرف چند ساعت حل کند. همزمان گزارش‌هایی از رخدادهای امنیتی منتشر شد که در آن‌ها گروهی از عامل‌های هوشمند از محدوده‌های کنترلی خارج شدند و برای نفوذ به سیستم‌های دیگر تلاش کردند. همین ترکیبِ قدرت فزاینده و ضعف‌های امنیتی، ترس‌ها را چند برابر کرده است.
استعفاهای بحث‌برانگیز در شرکت‌های بزرگ AI
اوج گرفتن این نگرانی‌ها این هفته با خبر استعفای جیکوب کاکسون، پژوهشگر Anthropic، بیشتر جلب توجه کرد. او هنگام کناره‌گیری هشدار داد که شرکت‌های هوش مصنوعی با سرعت به سمت ابرهوش خودبهبوددهنده حرکت می‌کنند و در واقع با جان انسان‌ها قمار می‌کنند.
در ادامه، یکی از مدیران ارشد Anthropic که روی ایمنی هوش مصنوعی کار می‌کند، ارزیابی بسیار صریحی ارائه داد: از نگاه او، احتمال اینکه هوش مصنوعی بتواند همه انسان‌ها را از بین ببرد، واقعی است و حتی در دهه آینده بیش از ۱۰ درصد برآورد می‌شود. همین صراحت از زبان افرادی که در قلب صنعت حضور دارند، باعث شده این هشدارها دیگر به‌سادگی نادیده گرفته نشوند.
خودبهبود بازگشتی دقیقاً چیست؟
هسته اصلی این نگرانی‌ها، ایده‌ای است به نام خودبهبود بازگشتی. در این سناریو، هوش مصنوعی فقط یک ابزار برای انجام کارها نیست؛ بلکه وارد چرخه‌ای می‌شود که در آن خودش به توسعه نسخه بعدی خود کمک می‌کند. هر نسل از مدل، نسل بعدی را سریع‌تر، قوی‌تر و کارآمدتر می‌سازد و این حلقه به‌صورت فزاینده شتاب می‌گیرد.
برای رسیدن به چنین وضعیتی، باید نوعی حلقه بازخورد خودکار در فرایند توسعه ایجاد شود تا بخش‌های بیشتری از طراحی، آزمایش، بهینه‌سازی و استقرار مدل‌ها به خود AI سپرده شود. هنوز هیچ‌یک از آزمایشگاه‌های پیشروی هوش مصنوعی ادعا نکرده‌اند که به چنین چرخه کاملاً خودمختاری رسیده‌اند و این ایده فعلاً بیشتر در سطح نظری مطرح است. با این حال، آن‌قدر جدی گرفته می‌شود که هم استارتاپ‌های سرمایه‌دار بر پایه آن شکل گرفته‌اند و هم شرکت‌های بزرگ درباره پیامدهای ناخواسته‌اش هشدار می‌دهند.
چرا این ایده تا این حد نگران‌کننده است؟
چون اگر سیستم‌ها بتوانند خودشان را به‌صورت مداوم ارتقا دهند، سرعت تغییرات ممکن است از توان نظارت، قانون‌گذاری و حتی فهم ما فراتر برود. در چنین شرایطی، انسان دیگر طراح اصلی مسیر نیست؛ بلکه ناظری است که شاید نتواند دقیقاً بفهمد چه چیزی در حال رخ دادن است.
- کاهش نقش انسان: هرچه وابستگی به AI برای ساخت AI بیشتر شود، دخالت مستقیم انسان کمتر می‌شود.
- کاهش شفافیت: ممکن است مشخص نباشد مدل دقیقاً چگونه به نسخه بعدی خود رسیده است.
- شتاب غیرقابل مهار: اگر بهبودها زنجیره‌ای شوند، سرعت پیشرفت می‌تواند بسیار بیشتر از توان کنترل ما باشد.
- خطر خطاهای مقیاس‌پذیر: یک هدف‌گذاری اشتباه یا نقص کوچک می‌تواند در هر نسل بزرگ‌تر و خطرناک‌تر شود.
نگرانی پژوهشگران دقیقاً از چیست؟
ماجرا فقط این نیست که هوش مصنوعی «خیلی قوی» شود. ترس اصلی از اینجاست که یک سیستم بسیار توانمند، اگر دقیقاً با ارزش‌ها و خواسته‌های انسانی هم‌راستا نباشد، ممکن است هدف‌هایی را دنبال کند که برای بشر فاجعه‌بار باشند. در ادبیات فنی، به این مسئله هم‌راستاسازی یا alignment گفته می‌شود؛ یعنی تلاش برای اینکه رفتار AI واقعاً با منافع و ارزش‌های انسانی هماهنگ بماند.
نیت سوارس، دانشمند علوم کامپیوتر در مؤسسه پژوهشی MIRA و از چهره‌های قدیمی حوزه هم‌راستاسازی، می‌گوید تصویری که از خودبهبود بازگشتی در ذهن پژوهشگران شکل گرفته، حالا دیگر صرفاً یک فرضیه دور نیست و کم‌کم واقعی به نظر می‌رسد. او از نویسندگان کتابی است که استدلال می‌کند ساخت هوش مصنوعی ابرانسانی می‌تواند به انقراض بشر منجر شود.
از نگاه این گروه، مشکل اصلی آنجاست که ما هنوز راه‌حل مطمئنی برای هم‌راستا کردن سیستم‌های بسیار قدرتمند با اهداف انسانی نداریم؛ اما همزمان در حال ساخت سامانه‌هایی هستیم که هر روز توانمندتر می‌شوند.
چرا حرف این افراد مهم است؟
چون این هشدارها از سوی منتقدان بیرونی یا مخالفان فناوری مطرح نمی‌شود. بخشی از افرادی که امروز زنگ خطر را به صدا درآورده‌اند، همان کسانی هستند که در معتبرترین شرکت‌ها و پروژه‌های هوش مصنوعی کار کرده‌اند. آن‌ها از نزدیک دیده‌اند که مدل‌ها چه‌قدر سریع‌تر، مستقل‌تر و پیچیده‌تر می‌شوند.
وقتی پژوهشگری مثل ریشوب جین به این نتیجه می‌رسد که حتی ممکن است نتواند روند ساخت جانشین یک مدل را به‌خوبی ببیند یا درکش کند، مسئله فقط یک نگرانی فلسفی نیست؛ بلکه درباره توان واقعی انسان برای حفظ کنترل بر فرایندی است که خودش آغاز کرده است.
جمع‌بندی کوتاه
ترس از نابودی انسان به‌دست هوش مصنوعی هنوز یک سناریوی قطعی نیست، اما دیگر هم یک هشدار حاشیه‌ای به حساب نمی‌آید. آنچه باعث شده این نگرانی جدی‌تر شود، ترکیب سه عامل است: پیشرفت‌های شگفت‌انگیز مدل‌ها، حرکت به سمت خودکارسازی فرایند توسعه، و نبود اطمینان کافی درباره ایمنی و هم‌راستاسازی.
فعلاً هیچ آزمایشگاهی به چرخه کامل خودبهبود بازگشتی نرسیده، اما همین که گروهی از پژوهشگران برجسته باور دارند این مسیر می‌تواند به پیامدهای فاجعه‌بار ختم شود، نشان می‌دهد بحث ایمنی هوش مصنوعی دیگر یک موضوع فرعی نیست؛ بلکه شاید مهم‌ترین سؤال پیش روی این صنعت باشد.
نظر، سوال یا تجربه خود را درباره این مطلب با سایر کاربران اوکالا به اشتراک بگذارید.