دو برادرخوانده که سابقه کار در اکوسیستم ایمنی هوش مصنوعی دارند، مدعیاند راهی برای جلوگیری از «سرکش شدن» ایجنتهای هوش مصنوعی در شرکتها یافتهاند. آنها سیستمی شبیه به استانداردهای امنیت سایبری طراحی کردهاند تا قبل از استقرار، رفتار ایجنتها را بسنجند و گزارش دقیقی ارائه دهند.
ایده اصلی: آوردن مدلهای امنیت سایبری به دنیای هوش مصنوعی
مشکل جدید این است که هرچه مدلهای هوش مصنوعی هوشمندتر میشوند، نه تنها پذیرش آنها آسانتر نمیشود، بلکه کنترل آنها نیز پیچیدهتر میگردد. این زوج — رون کووِست (از کارکنان اولیه Anthropic) و راجیو دتانی (مدیر سابق عملیات METR) — استارتاپی به نام Artificial Intelligence Underwriting Company (AIUC) تاسیس کردهاند تا یک لایهٔ مستقل آزمون و گواهی برای ایجنتها فراهم کنند.
چطور کار میکند؟ استاندارد و باتِ آزمایشی
AIUC از رویکردی الهام گرفته از استاندارد امنیتی شناختهشده SOC 2 استفاده کرده و استاندارد جدیدی به نام AIUC-1 طراحی کرده است. برای سنجش، مجموعهای از حدود ۵۰۰۰ تست کار کردن روی سناریوهایی مانند jailbreak، توهم (hallucination) و نشت داده را اجرا میکنند. خروجی یک گزارش تقریباً ۱۰۰ صفحهای است که نقاط قوت و ضعف ایجنت را مشخص میکند.
مراحل اصلی فرآیند
- جمعآوری نیازها: مشورت با حدود ۲۵۰ رهبر امنیت و ریسک برای فهم دقیق انتظارات خریداران.
- اجرای آزمونها: اجرای خودکار و انسانی ترکیبی از هزاران تست روی ایجنتها.
- تحلیل و گزارش: تولید گزارش مفصل که نشان میدهد ایجنت در کدام سناریوها قابل اعتماد است و کجا خطرناک.
- گواهی و تایید نهایی: خروجی با بررسی انسانها تأیید میشود تا دقت و اعتبار بالا رود.
چرا شرکتها به این سرویس نیاز دارند؟
بانکها، بیمارستانها و سازمانهای دولتی دیگر نپذیرفتن هوش مصنوعی را به دلیل هوش کم مدلها انجام نمیدهند؛ بلکه مشکل این است که آنها به مشتریانشان تعهداتی دادهاند و هیچ تضمینی برای رفتار مدلها ندارند. داشتن یک ارزیابی مستقل پیش از خرید یا استقرار، به تصمیمگیران امکان میدهد ریسکها را بشناسند و انتخاب آگاهانهتری داشته باشند.
چه کسانی از این ایده حمایت کردند؟
AIUC سرمایهگذاری قابلتوجهی جذب کرده است: دور سری A به مبلغ ۴۰ میلیون دلار به رهبری Ribbit Capital، و پیشتر دور Seed با سرمایهگذارانی مثل نات فریدمن و Emergence. مشتریان معرفیشده شامل Cursor، Lovable، Harvey و ElevenLabs هستند—شرکتهایی که روی ساخت یا بهکارگیری ایجنتها تمرکز دارند.
نقش سازمانهای تحقیقاتی و نظرات صنعت
فعالیت AIUC شباهتهایی با کارهایی که سازمانهایی مانند METR انجام دادهاند دارد؛ هرچند تمرکز METR تا پیش از این بیشتر بر عملکرد محض بوده است. همچنین چهرههای شاخصی مثل داریو آمودئی مدیرعامل Anthropic خواستار کندسازی توسعه مرزی هوش مصنوعی و استفاده از ارزیابان مستقل شدهاند — ایدهای که AIUC هم تا حدودی دنبال میکند، اما بدون استقرار فیزیکی در محل مشتری.
نتیجهگیری—چشمانداز قابل اتکا برای سازمانها
AIUC تلاش میکند تا با ارائه یک «گزارش اعتماد» مستقل، به خریداران ایجنتها نشان دهد که کجا میتوان به مدلها اعتماد کرد و کجا باید احتیاط کرد. برای سازمانهایی که نگران تعهدات قانونی، افشای داده یا رفتار غیرقابلپیشبینی ایجنتها هستند، چنین لایهٔ ممیزی میتواند تفاوت بین پذیرش ایمن و بروز بحران باشد.
نکات کلیدی
- ایجنتها با هوشتر شدن، کنترلپذیری سختتری پیدا میکنند.
- AIUC استاندارد AIUC-1 را بر پایه الگوی SOC 2 طراحی کرده است.
- آزمونها شامل حدود ۵۰۰۰ سناریو برای ارزیابی jailbreak، hallucination و نشت دادهاند.
- گزارش نهایی توسط انسان بازبینی میشود، ولی اجرا و تحلیل تا حدی خودکار است.
- هدف: دادن یک ارزیابی مستقل و قابل اتکا به خریداران ایجنتها در سازمانها.
نظر، سوال یا تجربه خود را درباره این مطلب با سایر کاربران اوکالا به اشتراک بگذارید.