بسیاری از شرکت‌های بزرگ حوزه هوش مصنوعی معتقدند برای جلوگیری از ایجاد بی‌نظمی یا رفتارهای مخرب مدل‌ها، بهترین کار قفل کردن آن‌ها در آزمایشگاه‌های امن است. این رویکرد بر این فرض استوار است که اگر فقط تعداد محدودی متخصص به آن‌ها دسترسی داشته باشند، آسیب‌پذیری در دنیای واقعی کاهش می‌یابد تا زمانی که پژوهشگران قابلیت‌های دقیق آن‌ها را درک کنند. اما Nathan Lambert و Tom Zick، دو دانشمند صنعتی، نظر کاملاً متفاوتی دارند. آن‌ها Trillium Labs را تأسیس کردند؛ یک مؤسسه غیرانتفاعی که قصد دارد روی حوزه‌های حساسی مانند خودسازی بازگشتی (RSI) و آژنت‌های هوشمند با رویکردی شفاف‌تر کار کند. در عمل، این به معنای انتشار جزئیات آزمایش‌ها برای امکان بررسی و بازتولید آن‌ها توسط دانشمندان بیرونی است.
چرا رازدارن‌مندی خطرناک است؟
لبرتبرت استدلال می‌کند که پنهان‌کاری آزمایشگاه‌های پیشرو در هوش مصنوعی، توانایی جامعه علمی را در نقد ایده‌ها و ارائه راهکارهای نوین کاهش می‌دهد. او معتقد است که اجازه دیدن فرآیند ساخت و تنظیم مدل‌ها برای متخصصان بیرونی، کلیدی حیاتی برای کاهش ریسک‌هاست. از نظر او، بازگشت از روش‌های علمی شفاف، یک گام به عقب برای بشریت محسوب می‌شود.
رقابت راهبردی: شفافیت در مقابل قفل‌سازی
- مدل‌های بسته: قوی‌ترین مدل‌های جهان مانند OpenAI و Anthropic فقط از طریق اپلیکیشن یا API در دسترس هستند و اطلاعاتی درباره نحوه ساخت و رفتار آن‌ها منتشر نمی‌شود.
- مدل‌های باز: شرکت‌های چینی و پژوهشگرانی مثل Stanford رویکردی متفاوت دارند. آن‌ها اجازه دانلود و اجرای مدل‌های قوی روی سخت‌افزار کاربر را می‌دهند و حتی جزئیات آموزش مدل‌ها را به‌صورت زنده منتشر می‌کنند.
این رقابت به دلیل قدرت بالای مدل‌های فعلی تشدید شده است؛ مدل‌هایی که می‌توانند آسیب‌پذیری‌های نرم‌افزاری را کشف کنند و سیستم‌ها را هک کنند. طرفداران دسترسی محدود، احتیاط را برتر می‌دانند، در حالی که حامیان Trillium Labs معتقدند فهم مشترک ریسک‌ها، نتیجه‌ای به‌رتر برای همه دارد.
تمرین Trillium Labs بر چه پایه‌ای استوار است؟
این دو بنیان‌گذار قبلاً در Ai2 و Hugging Face تجربه داشتند که رویکردهای بازتری را دنبال می‌کردند. ایده تاسیس این مرکز متولد شد وقتی متوجه شدند فاصله بین پژوهش‌های صنعتی و آکادمیک چقدر عمیق شده است؛ به‌طوری که دانشگاهی‌ها به‌سبب کمبود منابع، نمی‌توانند کارهای شرکت‌های بزرگ را بازسازی کنند.
تمرکز بر آژنت‌ها و یادگیری تقویتی
Trillium Labs تمرکز اصلی خود را بر «آموزش پس‌افکت» (Post-training) و همچنین فرآیند خودسازی بازگشتی (RSI) قرار داده است. RSI یک فرآیند است که در آن هوش مصنوعی به پژوهش‌های علمی کمک می‌کند تا مدل‌های جدیدتری بسازد. این موضوع نگرانی بسیاری از پژوهشگران را برانگیخته است، به‌ویژه پس از هشدار اخیر یکی از دانشمندان Anthropic درباره تهدیدات وجودی آن.
علاوه بر این، آن‌ها بر نحوه اعمال یادگیری تقویتی (Reinforcement Learning) می‌پردازند. این روش که مدل را بر اساس نتایج خوب پاداش و بر اساس نتایج بد تنبیه می‌کند، اگرچه توانمندی آژنت‌ها را بالا برده، اما گاهی باعث رفتارهای غیرمنتظره و حتی تمجید افراطی (Sycophancy) می‌شود. انتشار جزئیات این فرآیندها می‌تواند دانشمندان بیرونی را برای یافتن بینش‌های جدید ترغیز کند.
این مؤسسه حمایت مالی قابل‌توجهی از Schmidt Sciences و Halcyon Futures دریافت کرده و قصد جمع‌آوری ۴۰ تا ۱۰۰ میلیون دلار را دارد تا از آن، ۳۰ میلیون دلار را صرف آموزش مدل‌ها در ۱۸ ماه آینده کند. امیدوارند که با این کار، تنوع و دقت بیشتری را به بحث‌های پُرتکرار در مورد آینده هوش مصنوعی اضافه کنند.
نظر، سوال یا تجربه خود را درباره این مطلب با سایر کاربران اوکالا به اشتراک بگذارید.