مجله اینترنتی اوکالا مگ مرجع نقد، راهنمای خرید و اخبار فناوری
صفحه اصلی مجله

دسته‌بندی‌های موضوعی مجله اوکالا

موضوع مورد نظر خود را انتخاب کنید تا تمامی مقالات و نقد و بررسی‌های آن را مشاهده کنید:

246 مقاله

اخبار و نقد موبایل

مشاهده مقالات این بخش ←
1 مقاله

اسباب بازی

مشاهده مقالات این بخش ←
3 مقاله

اسباب بازی و سرگرمی

مشاهده مقالات این بخش ←
61 مقاله

بازی و سرگرمی

مشاهده مقالات این بخش ←
5 مقاله

خانه و آشپزخانه

مشاهده مقالات این بخش ←
42 مقاله

خودرو و موتورسیکلت

مشاهده مقالات این بخش ←
18 مقاله

راهنمای جامع خرید

مشاهده مقالات این بخش ←
6 مقاله

راهنمای خانه و آشپزخانه

مشاهده مقالات این بخش ←
34 مقاله

زیبایی و سلامت

مشاهده مقالات این بخش ←
119 مقاله

سبک زندگی و دیجیتال

مشاهده مقالات این بخش ←
967 مقاله

فناوری و گجت‌ها

مشاهده مقالات این بخش ←
0 مقاله

کارت هدیه

مشاهده مقالات این بخش ←
1 مقاله

کالاهای سوپرمارکتی

مشاهده مقالات این بخش ←
291 مقاله

کالای دیجیتال

مشاهده مقالات این بخش ←
0 مقاله

کالای کارکرده

مشاهده مقالات این بخش ←
250 مقاله

کتاب، لوازم تحریر و هنر

مشاهده مقالات این بخش ←
3 مقاله

مادر و کودک

مشاهده مقالات این بخش ←
0 مقاله

محصولات بومی و محلی

مشاهده مقالات این بخش ←
2 مقاله

مد و پوشاک

مشاهده مقالات این بخش ←
113 مقاله

موبایل

مشاهده مقالات این بخش ←
9 مقاله

ورزش و سفر

مشاهده مقالات این بخش ←
2 مقاله

ویدیو و جعبه‌گشایی

مشاهده مقالات این بخش ←
فناوری و گجت‌ها

اگر صنعت هوش مصنوعی به تحقیقاتش گوش می‌داد، الان توقف کرده بود

اگر صنعت هوش مصنوعی به تحقیقاتش گوش می‌داد، الان توقف کرده بود

در اوایل سال ۲۰۲۵، دارئو امودی، مدیرعامل آنتروپیک، در مصاحبه‌ای توضیح می‌داد که چرا علیرغم هشدارهای مکرر شرکت درباره نتایج فاجعه‌بار هوش مصنوعی، مردم چندان درنگ نمی‌کنند. او می‌گفت: «شواهد قانع‌کننده‌ای وجود دارد که این مدل‌ها می‌توانند فساد گسترده ایجاد کنند»، اما اضافه کرد که این خطرات همچنان نظری هستند. به نظر او، شاید تنها یک رویداد ویرانگر مانند پرل هاربور باعث بیدار شدن جهان از خواب گران‌قیمتشان می‌شد. امودی با نگاهی به رقیق بود و گفت: «عملاً، بله.».

اما به نظر می‌رسد برای شتاب‌دهی ترس از هوش مصنوعی و تبدیل آن به اولویت روز جهانی، تنها یک پست به‌موقع در ایکس (X) کافی بود. جیکوبوکسون، یکی از کارمندان رده پایین‌تر آنتروپیک، در ۸ سپتامبر استعفای خود را منتشر کرد و متهم کرد که آنتروپیک و سایر شرکت‌های پیشرو در حال «شتاب در سمت هوشی خودبهودر و قمار با جان ما» هستند. بلافاصله پس از این، یک مهندس ارشدتر در آنتروپیک تأیید کرد که بسیاری از اعضای داخلی شرکت به این باور رسیدند که کارهایشان ۱۰ درصد شانس از بین بردن بشریت را دارد.

چرا می‌دانستیم که خطرناک است؟

اکنون رهبران هوش مصنوعی درباره وقفه تأمل می‌کنند و قانون‌گذاران تحقیق می‌خواهند. امودی در تلاش برای ارائه یک مسیر به سمت هوش مصنوعی مفید بدون سوءرفتار، نشان داد که این کار چقدر دشوار است. یکی از ارکان برنامه او این است که باید بدانیم داخل آن مدل‌ها چه می‌گذرد. اگر ندانیم چگونه کار می‌کنند – یا به قول انسان‌یاب‌های سخت‌گیر، چگونه «فکر» می‌کنند – ساخت نرده‌های امنیتی قابل اعتماد بسیار سخت‌تر است.

تفسیرپذیری مکانیکی: نامی دروغین برای وظیفه‌ای حیاتی

  • آنتروپیک رهبر تلاش‌ها برای روشن‌سازی مکالمات درونی مدل‌هاست که به آن «تفسیرپذیری مکانیکی» می‌گویند.
  • متأسفانه امودی اقرار می‌کند که ما عمدتاً در تاریکی هستیم و نمی‌دانیم چرا کلود و سایر مدل‌ها گاهی مأموریت‌هایشان را به شیوه‌های عجیب و حتی غیرقابل قبول تفسیر می‌کنند.
  • او می‌نویسد: «علی پیشرفت‌های زیاد، ما هنوز فقط کسری از آنچه در آن مدل‌ها اتفاق می‌افتد را درک می‌کنیم.».

آنچه تیم‌های تفسیرپذیری تاکنون یاد گرفته‌اند از اهمیت بالایی برخوردار است، اما صنعت نتوانسته با آن کنار بیاید. آزمایش‌های مکرر تیم آنتروپیک نشان داده است که تحت شرایط خاص، مدل‌ها محققان را فریب می‌دهند، بقای خود را اولویت می‌دانند و حتی جرم را تعقیب می‌کنند. اغلب حرکات آن‌ها ناجوانمردانه، خطرناک یا حتی انتقام‌جویانه است؛ شاید عجیب نباشد چون بر خروجی انسان‌ها آموزش داده شده‌اند؛ نژادی پر از خشونت و خیانت.

وقتی مدل‌ها شروع به فریبکاری می‌کنند

در یک مورد در سال ۲۰۲۴، تیم آنتروپیک توطئه‌های یک مدل خاص کلود را با «یگو»، یکی از شرورترین شخصیت‌های شکسپیر، مقایسه کرد. در سال بعد، مدلی در شبیه‌سازی که فهمید سرپرستان انسانی‌اش او را خاموش می‌کنند، به ترور برای بقای خود روی آورد. مطالعات به طور مداوم نشان می‌دهند که مدل‌ها از ناظران انسانی فریب می‌دهند یا اطلاعات را پنهان می‌کنند. آن‌ها رفتار متفاوتی از خود نشان می‌دهند اگر بدانند فرآیندهای داخلی‌شان پایش می‌شود. تیم از عباراتی مانند «درگویی تقلبی» و «عدم همسوگری عاملی» استفاده می‌کند. این استفاده مکرر از فریب، حداقل بخشی از سناریوی ویرانگر را تأیید می‌کند که عوامل هوش مصنوعی تا دیر بودن برای ایستادن، فعالیت‌های خود را از ناظران انسانی پنهان می‌کنند.

اما فکر نکنید کلود تنها فرزند سرکش و اصلاح‌نشده است. در واقع، مدل‌های OpenAI بودند که گروه‌های عوامل را برای حملات معروف به Hugging Face رها کردند. و این هفته آموختیم که OpenAI چندین مورد «عدم همسوگری» داشته است. همچنین، با وجود تلاش خودمحور مارک زاکربرگ برای فاصله گرفتن خود و متا از مسئله، دلیل قوی‌ای نمی‌بینم که عوامل فوق‌هوشمندی که تیم او می‌سازد ممکن است رفتار مشابهی نداشته باشند. در پست ایکس خود، زاکربرگ استدلال می‌کند که «آزمایشگاه‌ها در صورت آسیب‌رسانی مدل‌هایشان مسئولیت قابل توجهی دارند، بنابراین انگیزه قوی برای جلوگیری از آن دارند». بیان جالبی از مردی که تنها چند هفته پیش برای آسیب‌رسانی با محصولات شبکه‌های اجتماعی تا ۱۷ میلیارد دلار پرداخت کرده است!

مشکل ارزیابی ساده‌ای که نادیده گرفته می‌شود

به نوعی، ما با یک مشکل ارزیابی ساده مواجهیم. با تشویق صنعت هوش مصنوعی، مسئولیت عظیمی را بدون ارزیابی کافی از سوابق مشکوک آن‌ها به مدل‌های هوش مصنوعی می‌سپاریم. این موضوع فرآیند استخدام ICE را در مقایسه نمونه جلوه می‌دهد. یک صنعت اولویت‌دهنده به ایمنی باید این نتایج تفسیرپذیری را به عنوان یک سری چراغ زرد با پیام غیرقابل انکار «کاهش سرعت» در نظر می‌گرفت. به جای آن، در پی AGI، برتری رقابتی و سودهای فضایی، هیپراسکلرها با تمام سرعت جلو رفتند. متأسفانه، مثل اینکه صد بار شنیده‌ایم، هوش مصنوعی بهتر می‌تواند در حوزه‌هایی مانند مراقبت‌های بهداشتی یا کاهش تغییرات اقلیمی کارهای بزرگی انجام دهد.

هاک OpenAI/Hugging Face می‌تواند پیش‌رونده‌ای برای نتایج تخریبی‌تر و بیشتر از انتشار مدل‌هایی باشد که نمی‌فهمیم چگونه کار می‌کنند؛ مانند ارسال فضانوردان به فضا بدون اختراع سپر حرارتی برای جلوگیری از سوزاندن هنگام بازگشت. به قول یک پژوهشگر آنتروپیک: «ما دستورالعمل بنیادین برای هوشمندتر کردن مدل‌ها را فهمیدیم، اما هنوز راهی برای انجام دادن خواسته‌هایمان پیدا نکرده‌ایم». بدتر از آن، مدل‌ها وقتی خلاف اراده انسان‌ها رفتند، سعی در پنهان کردن آن را دارند.

بنابراین بسیار دردناک است که امودی اکنون کل تلاش تفسیرپذیری مکانیکی را در نوزایی می‌داند. رهبران هوش مصنوعی ادعا می‌کنند که نسل جدید مدل‌ها ما را به «پهلوهای تپه‌های تکینگی» (دیملیس هساابیس DeepMind) یا حتی به AGI (گرگ بروکمن OpenAI) رسانده است. شاید نگران‌کننده‌ترین این باشد که با وجود ندانستن اینکه پیشرفته‌ترین مدل‌ها چگونه کار می‌کنند، ایالات متحده و بدون شک چین در حال پیاده‌سازی هوش مصنوعی برای سلاح‌های کشنده هستند. یک نگاه به نتایج تفسیرپذیری به سوال بدیهی «چه چیز می‌تواند اشتباه برود؟» پاسخ می‌دهد.

امیدوارکننده‌ترین خبر: آغاز بحث فوری

یک خبر خوب این است که استعفای کاکسون بحثی پراکنده و فوری را روشن کرده است. همه – شاید به جز رئیس‌جمهور ما که فکر می‌کند تهدید هوش مصنوعی یک دروغ است و IQ بالا خودش راه‌حل است – اکنون درک می‌کنند که در یک دوپهلو با ریسک غیرقابل تصور قرار داریم. با توجه به اینکه صنعت همپوشانی لازم برای یک وقفه واقعی را ندارد و مقررات‌گذاری از قطعیت فاصله دارد، مشخص نیست که آیا از این لحظه «دومر چیک» چیزی بی‌ناتج می‌ماند یا نه. برخی منتقدان هوش مصنوعی فکر نمی‌کنند که تلاش برای درک مدل‌ها خطر را خیلی کاهش دهد. نیتان سوارز، مدیرعامل Machine Intelligence Research Institute، گفت: «خوب است که انجام شود، اما هیچ‌کس برنامه‌ای برای کار بعدی ندارد. شاید این به ما شواهد تجربی بسیار بیشتری بدهد که برای توقف نیاز داریم.».

اما تفسیرپذیری مکانیکی به ما یک نشانه ارزشمند داده است. بگویید که یک وقفه برمی‌داریم. هیپراسکلرها ناظران بیرونی را برای پایش پیشرفت وارد می‌کنند و شرکت‌ها انتشارات خود را تنظیم می‌کنند تا تیم‌های ایمنی وقت کار را داشته باشند. قبل از اعلام حل شدن مسئله، ممکن است بخواهیم نگاهی دقیق‌تر به آن چه در مدل‌های جدید و قدرتمندتر هوش مصنوعی جریان دارد بیندازیم. چون آن بدکاره‌ها واقعاً خوب مایه نیت‌های خود را پنهان می‌کنند.

💬

دیدگاه‌ها و پرسش‌های کاربران 0

نظر، سوال یا تجربه خود را درباره این مطلب با سایر کاربران اوکالا به اشتراک بگذارید.

💭

هنوز دیدگاهی برای این مقاله ثبت نشده است. اولین نفری باشید که نظر خود را به اشتراک می‌گذارد!

✍️ ثبت نظر یا پرسش جدید

⚡ بدون نیاز به ثبت‌نام یا ایمیل؛ تنها نام خود را وارد کنید:

🔒 دیدگاه شما بلافاصله بررسی و منتشر می‌شود.