مجله اینترنتی اوکالا مگ مرجع نقد، راهنمای خرید و اخبار فناوری
صفحه اصلی مجله

دسته‌بندی‌های موضوعی مجله اوکالا

موضوع مورد نظر خود را انتخاب کنید تا تمامی مقالات و نقد و بررسی‌های آن را مشاهده کنید:

246 مقاله

اخبار و نقد موبایل

مشاهده مقالات این بخش ←
1 مقاله

اسباب بازی

مشاهده مقالات این بخش ←
3 مقاله

اسباب بازی و سرگرمی

مشاهده مقالات این بخش ←
61 مقاله

بازی و سرگرمی

مشاهده مقالات این بخش ←
5 مقاله

خانه و آشپزخانه

مشاهده مقالات این بخش ←
42 مقاله

خودرو و موتورسیکلت

مشاهده مقالات این بخش ←
18 مقاله

راهنمای جامع خرید

مشاهده مقالات این بخش ←
6 مقاله

راهنمای خانه و آشپزخانه

مشاهده مقالات این بخش ←
34 مقاله

زیبایی و سلامت

مشاهده مقالات این بخش ←
119 مقاله

سبک زندگی و دیجیتال

مشاهده مقالات این بخش ←
967 مقاله

فناوری و گجت‌ها

مشاهده مقالات این بخش ←
0 مقاله

کارت هدیه

مشاهده مقالات این بخش ←
1 مقاله

کالاهای سوپرمارکتی

مشاهده مقالات این بخش ←
291 مقاله

کالای دیجیتال

مشاهده مقالات این بخش ←
0 مقاله

کالای کارکرده

مشاهده مقالات این بخش ←
250 مقاله

کتاب، لوازم تحریر و هنر

مشاهده مقالات این بخش ←
3 مقاله

مادر و کودک

مشاهده مقالات این بخش ←
0 مقاله

محصولات بومی و محلی

مشاهده مقالات این بخش ←
2 مقاله

مد و پوشاک

مشاهده مقالات این بخش ←
113 مقاله

موبایل

مشاهده مقالات این بخش ←
9 مقاله

ورزش و سفر

مشاهده مقالات این بخش ←
2 مقاله

ویدیو و جعبه‌گشایی

مشاهده مقالات این بخش ←
فناوری و گجت‌ها

چطور می‌توان ایجنت‌های هوش مصنوعی را مهار کرد؟ راه‌حل یک استارتاپ

چطور می‌توان ایجنت‌های هوش مصنوعی را مهار کرد؟ راه‌حل یک استارتاپ

دو برادرخوانده که سابقه کار در اکوسیستم ایمنی هوش مصنوعی دارند، مدعی‌اند راهی برای جلوگیری از «سرکش شدن» ایجنت‌های هوش مصنوعی در شرکت‌ها یافته‌اند. آن‌ها سیستمی شبیه به استانداردهای امنیت سایبری طراحی کرده‌اند تا قبل از استقرار، رفتار ایجنت‌ها را بسنجند و گزارش دقیقی ارائه دهند.

ایده اصلی: آوردن مدل‌های امنیت سایبری به دنیای هوش مصنوعی

مشکل جدید این است که هرچه مدل‌های هوش مصنوعی هوشمندتر می‌شوند، نه تنها پذیرش آن‌ها آسان‌تر نمی‌شود، بلکه کنترل آن‌ها نیز پیچیده‌تر می‌گردد. این زوج — رون کووِست (از کارکنان اولیه Anthropic) و راجیو دتانی (مدیر سابق عملیات METR) — استارتاپی به نام Artificial Intelligence Underwriting Company (AIUC) تاسیس کرده‌اند تا یک لایهٔ مستقل آزمون و گواهی برای ایجنت‌ها فراهم کنند.

چطور کار می‌کند؟ استاندارد و باتِ آزمایشی

AIUC از رویکردی الهام گرفته از استاندارد امنیتی شناخته‌شده SOC 2 استفاده کرده و استاندارد جدیدی به نام AIUC-1 طراحی کرده است. برای سنجش، مجموعه‌ای از حدود ۵۰۰۰ تست کار کردن روی سناریوهایی مانند jailbreak، توهم (hallucination) و نشت داده را اجرا می‌کنند. خروجی یک گزارش تقریباً ۱۰۰ صفحه‌ای است که نقاط قوت و ضعف ایجنت را مشخص می‌کند.

مراحل اصلی فرآیند

  • جمع‌آوری نیازها: مشورت با حدود ۲۵۰ رهبر امنیت و ریسک برای فهم دقیق انتظارات خریداران.
  • اجرای آزمون‌ها: اجرای خودکار و انسانی ترکیبی از هزاران تست روی ایجنت‌ها.
  • تحلیل و گزارش: تولید گزارش مفصل که نشان می‌دهد ایجنت در کدام سناریوها قابل اعتماد است و کجا خطرناک.
  • گواهی و تایید نهایی: خروجی با بررسی انسان‌ها تأیید می‌شود تا دقت و اعتبار بالا رود.

چرا شرکت‌ها به این سرویس نیاز دارند؟

بانک‌ها، بیمارستان‌ها و سازمان‌های دولتی دیگر نپذیرفتن هوش مصنوعی را به دلیل هوش کم مدل‌ها انجام نمی‌دهند؛ بلکه مشکل این است که آن‌ها به مشتریان‌شان تعهداتی داده‌اند و هیچ تضمینی برای رفتار مدل‌ها ندارند. داشتن یک ارزیابی مستقل پیش از خرید یا استقرار، به تصمیم‌گیران امکان می‌دهد ریسک‌ها را بشناسند و انتخاب آگاهانه‌تری داشته باشند.

چه کسانی از این ایده حمایت کردند؟

AIUC سرمایه‌گذاری قابل‌توجهی جذب کرده است: دور سری A به مبلغ ۴۰ میلیون دلار به رهبری Ribbit Capital، و پیش‌تر دور Seed با سرمایه‌گذارانی مثل نات فریدمن و Emergence. مشتریان معرفی‌شده شامل Cursor، Lovable، Harvey و ElevenLabs هستند—شرکت‌هایی که روی ساخت یا به‌کارگیری ایجنت‌ها تمرکز دارند.

نقش سازمان‌های تحقیقاتی و نظرات صنعت

فعالیت AIUC شباهت‌هایی با کارهایی که سازمان‌هایی مانند METR انجام داده‌اند دارد؛ هرچند تمرکز METR تا پیش از این بیشتر بر عملکرد محض بوده است. همچنین چهره‌های شاخصی مثل داریو آمودئی مدیرعامل Anthropic خواستار کندسازی توسعه مرزی هوش مصنوعی و استفاده از ارزیابان مستقل شده‌اند — ایده‌ای که AIUC هم تا حدودی دنبال می‌کند، اما بدون استقرار فیزیکی در محل مشتری.

نتیجه‌گیری—چشم‌انداز قابل اتکا برای سازمان‌ها

AIUC تلاش می‌کند تا با ارائه یک «گزارش اعتماد» مستقل، به خریداران ایجنت‌ها نشان دهد که کجا می‌توان به مدل‌ها اعتماد کرد و کجا باید احتیاط کرد. برای سازمان‌هایی که نگران تعهدات قانونی، افشای داده یا رفتار غیرقابل‌پیش‌بینی ایجنت‌ها هستند، چنین لایهٔ ممیزی می‌تواند تفاوت بین پذیرش ایمن و بروز بحران باشد.

نکات کلیدی

  • ایجنت‌ها با هوش‌تر شدن، کنترل‌پذیری سخت‌تری پیدا می‌کنند.
  • AIUC استاندارد AIUC-1 را بر پایه الگوی SOC 2 طراحی کرده است.
  • آزمون‌ها شامل حدود ۵۰۰۰ سناریو برای ارزیابی jailbreak، hallucination و نشت داده‌اند.
  • گزارش نهایی توسط انسان بازبینی می‌شود، ولی اجرا و تحلیل تا حدی خودکار است.
  • هدف: دادن یک ارزیابی مستقل و قابل اتکا به خریداران ایجنت‌ها در سازمان‌ها.
💬

دیدگاه‌ها و پرسش‌های کاربران 0

نظر، سوال یا تجربه خود را درباره این مطلب با سایر کاربران اوکالا به اشتراک بگذارید.

💭

هنوز دیدگاهی برای این مقاله ثبت نشده است. اولین نفری باشید که نظر خود را به اشتراک می‌گذارد!

✍️ ثبت نظر یا پرسش جدید

⚡ بدون نیاز به ثبت‌نام یا ایمیل؛ تنها نام خود را وارد کنید:

🔒 دیدگاه شما بلافاصله بررسی و منتشر می‌شود.