تحقیقات تازه نشان می‌دهد که با وجود پیشرفت‌های چشمگیر در مدل‌های زبانی بزرگ (ال‌ال‌ام) و هوش مصنوعی مولد (ژن‌ای‌آی)، این سیستم‌ها همچنان محدودیت‌های اساسی دارند و نمی‌توان به طور کامل به خروجی‌های آن‌ها اطمینان کرد.
به گزارش رسانه تکنولوژی تکنا، این یافته‌ها پیامد‌های مهمی برای کاربرد مدل‌های هوش مصنوعی مولد در دنیای واقعی دارد. به طور خاص، یک ال‌ال‌ام که در یک حوزه خاص عملکرد خوبی دارد، در صورت تغییر جزئی در مأموریت یا محیط، عملکرد ضعیفی از خود نشان می‌دهد. این مطالعه توسط محققان دانشگاه هاروارد، موسسه فناوری ماساچوست (ام‌آی‌تی)، دانشگاه شیکاگو بوت و دانشگاه کرنل انجام شده است. ال‌ال‌ام‌ها توانایی خود را در حوزه‌های متنوعی مانند نوشتن، برنامه‌نویسی و فعالیت‌های دیگر اثبات کرده‌اند.
این موضوع می‌تواند تصور را القا کند که این مدل‌ها در حال یادگیری حقایق کلی در مورد جهان هستند، اما مطالعه جدید نشان می‌دهد که واقعیت این‌گونه نیست. در این تحقیق، محققان دریافتند که یک نوع محبوب از مدل‌های ژن‌ای‌آی می‌تواند با دقت تقریبا کامل، مسیر‌های رانندگی مرحله به مرحله در شهر نیویورک را ارائه دهد، بدون اینکه نقشه دقیقی از شهر در ذهن خود ساخته باشد. با این حال، وقتی محققان برخی خیابان‌ها را بستند و مسیر‌های جایگزین اضافه کردند، عملکرد ناوبری ال‌ال‌ام به شدت کاهش یافت.
پس از بررسی، محققان متوجه شدند که نقشه نیویورک که توسط ال‌ال‌ام شکل گرفته بود، شامل تعداد زیادی خیابان‌های غیر واقعی می‌شد که بین شبکه خیابان‌ها انحنا داشتند و تقاطع‌های دور را به هم متصل می‌کردند. آشیش رامباچان، استاد اقتصاد و محقق ارشد در آزمایشگاه اطلاعات و سیستم‌های تصمیم‌گیری ام‌آی‌تی (ال‌آی‌دی‌اس) گفت این سوال که آیا ال‌ال‌ام‌ها مدل‌های جهانی منسجمی را یاد می‌گیرند، بسیار حیاتی است اگر بخواهیم از این تکنیک‌ها برای کشف‌های جدید بهره‌برداری کنیم.
این تحقیق در کنفرانس پردازش اطلاعات عصبی ارائه خواهد شد. برای این مطالعه، محققان بر روی نوعی مدل ژن‌ای‌آی تمرکز کردند که به آن ترانسفورمر گفته می‌شود و ستون فقرات ال‌ال‌ام‌هایی همچون جی‌پی‌تی-۴ را تشکیل می‌دهد.
به موجب یک بیانیه مطبوعاتی ام‌آی‌تی، ترانسفورمر‌ها با حجم عظیمی از داده‌های متنی آموزش داده می‌شوند تا توکن بعدی در یک دنباله، همانند کلمه بعدی در یک جمله، را پیش‌بینی کنند. با این حال، بر اساس نظر محققان، برای تعیین اینکه آیا یک ال‌ال‌ام یک مدل دقیق از جهان ساخته است یا خیر، تنها اندازه‌گیری دقت پیش‌بینی‌ها کافی نیست.
در مثال دیگری، محققان دریافتند که یک ترانسفورمر می‌تواند در تقریبا هر موقعیت، حرکات معتبر را در بازی کانکت فور پیش‌بینی کند، بدون اینکه هیچ‌کدام از قوانین را درک کرده باشد. به همین دلیل، تیم دو معیار جدید را توسعه داد که می‌تواند مدل جهانی یک ترانسفورمر را آزمایش کند. محققان بررسی‌های خود را بر روی کلاسی از مسائل متمرکز کردند که به آن اتوماتای متناه‌ی قطعی (دی‌اف‌ای) معروف است. یک دی‌اف‌ای مسئله‌ای با دنباله‌ای از حالات است، همانند تقاطع‌هایی که باید برای رسیدن به مقصد طی شوند، و روشی صریح برای توصیف قوانینی که در طول مسیر باید دنبال گردند.
در یک نتیجه کاملا غیر‌منتظره، محققان دریافتند که ترانسفورمر‌هایی که به طور تصادفی انتخاب شده بودند، مدل‌های جهانی دقیق‌تری را ساختند. اگرچه ترانسفورمر‌ها در تقریبا هر مورد، مسیر‌های دقیق و حرکات معتبر را تولید می‌کردند، اما دو معیار نشان داد که تنها یکی از آن‌ها یک مدل جهانی منسجم برای حرکات ساخته بود و هیچ‌کدام در ساخت مدل‌های جهانی منسجم در مثال ناوبری عملکرد خوبی نداشتند.
