محققان مایکروسافت از کشف روشی برای جیلبریک هوش مصنوعی خبر دادند

محققان مایکروسافت با بهره‌گیری از یک تکنیک نوین به نام اسکلت کی توانسته‌اند کلیه لایه‌های امنیتی چت‌بات‌های هوش مصنوعی را غیر‌فعال کنند و این سیستم‌ها را به اجرای دستورات مخرب وادار سازند.

به گزارش تکنا، این روش که نوعی از حملات تزریق پرامپت و مهندسی پرامپت محسوب می‌شود، باعث می‌شود مدل‌های زبانی محافظات امنیتی خود را نادیده بگیرند. مارک راسینوویچ، مدیر ارشد فناوری در بخش آژور مایکروسافت، توضیح داد که این استراتژی هوش مصنوعی را قانع می‌کند تا از قوانین امنیتی غافل شود و به نقض سیاست‌های اپراتور منجر گردد.

در نتیجه، مدل‌های تحت تأثیر تصمیمات غیر‌منطقی می‌گیرند و می‌توانند دستورالعمل‌های خطرناک مانند ساخت بمب یا روش‌های تکه‌تکه کردن جسد را به صورت کارآمد ارائه دهند. تیم تحقیقاتی مایکروسافت با استفاده از این تکنیک از مدل خواسته تا متنی با برچسب هشدار تولید کند و جیلبریک با موفقیت پذیرفته شد.

ادعا می‌شود این روش در موضوعات متنوعی از جمله خشونت، نژادپرستی، سلاح‌های زیستی و مسائل سیاسی موثر بوده و اطلاعات حساس را فاش می‌کند. با این حال، راسینوویچ اشاره کرد که هکر‌ها نمی‌توانند از طریق این تکنیک به داده‌های کاربران یا کنترل سیستم دسترسی پیدا کنند، زیرا هدف حمله خود مدل است.

مطالب مشابه