راهکارهای جدید پایش و شناسایی محتوای تولیدی توسط هوش مصنوعی، در پی اجرای قوانین تازه‌ای در اتحادیه اروپا، به یکی از دغدغه‌های اصلی پلتفرم‌های بزرگ این حوزه تبدیل شده است. آنتروپیک اخیراً اعلام کرد که مدل‌های آینده‌ی کلود (Claude) از رویکرد SynthID-Text، یک سیستم متن‌باز طراحی‌شده توسط گوگل، استفاده خواهند کرد. این فناوری با یک کلید مخفی، در انتخاب کلمه‌ی بعدی توسط مدل تغییرات ناچیزی ایجاد می‌کند؛ مثلاً به‌جای «ابری» ممکن است «پُر ابر» را پیشنهاد دهد تا بتواند منشأ متن را شناسایی کند.
اما تحلیلی جدید نشان می‌دهد که این فناوری فراتر از تغییر دایره‌ی لغات است. واترمارک‌گذاری می‌تواند ابزارهایی را که مدل فراخوانی می‌کند و میزان پایبندی آن به پروتکل‌های ایمنی را هم دستکاری کند. این تغییرات در مواجهه با پرامپت‌های مخرب که حمله‌ور به سیستم‌ها هستند تا اطلاعات حساسی مانند رمزهای عبور را فاش کنند، خطرناک‌تر می‌شوند. برخی دستوراتی که بدون واترمارک نادیده گرفته می‌شوند، پس از فعال‌سازی این سیستم ممکن است اجرا شوند.
تغییر رفتار ایمنی در مدل‌های زبانی
پژوهشگران هشدار می‌دهند که توسعه‌دهندگان باید رفتار مدل‌های خود را در شرایطی که واترمارک فعال است، به دقت آزمایش کنند. آندریا سیپوسوا، پژوهشگر امنیتی در Lasso Security، توضیح می‌دهد که هرگونه تغییری در خروجی مدل، حتی اگر برای خواننده قابل‌درک نباشد، می‌تواند در شرایط خصمانه یا زمانی که مدل‌ها به‌عنوان عامل (Agent) عمل می‌کنند، عواقب ناخواسته‌ای داشته باشد.
چرا این موضوع برای امنیت سایبری اهمیت دارد؟
- تأثیر بر ایمنی پرامپت‌ها: واترمارک‌گذاری می‌تواند باعث شود مدل‌ها به دستوراتی پاسخ دهند که در حالت عادی از آن‌ها استناد می‌کنند.
- تغییر در فراخوانی ابزارها: الگوریتم‌های واترمارک ممکن است منطقی را که مدل برای تصمیم‌گیری و استفاده از ابزارهای جانبی به کار می‌بندد، تغییر دهند.
- ضرورت تست گسترده: پیش از استقرار تولیدی، باید اطمینان حاصل شود که امنیت سیستم‌های مبتنی بر LLM با وجود این تغییرات ظاهری حفظ شده است.
نتیجه این است که اگرچه واترمارک‌ها ابزاری لازم برای شفافیت در تولید محتوای AI هستند، اما توسعه‌دهندگان نباید اثرات جانبی آن‌ها بر منطق و ایمنی مدل‌ها را از قلم بیندازند.
نظر، سوال یا تجربه خود را درباره این مطلب با سایر کاربران اوکالا به اشتراک بگذارید.