تحقیقات تازه نشان داده است که با وجود پیشرفت‌های دیدنی در مدل‌های زبانی بزرگ (LLM) و هوش مصنوعی مولد (GenAI)، این سیستم‌ها تا این مدت هم محدودیت‌های جدی دارند و نمی‌توان به طور کامل به آن‌ها مطمعن کرد.

به نقل از سرویس اخبار فناوری رسانه تکنولوژی تکنا، این یافته‌ها می‌تواند پیامدهای مهمی برای مدل‌های هوش مصنوعی مولد در دنیای واقعی داشته باشد. به اختصاصی این که یک LLM که در یک عرصه خاص کارکرد مساعد دارد، امکان پذیر در صورت تحول جزئی در ماموریت یا محیط، کارکرد ضعیفی از خود نشان دهد. این مطالعه توسط محققان دانشگاه هاروارد، موسسه فناوری ماساچوست (MIT)، دانشگاه شیکاگو بوت و دانشگاه کرنل انجام شده است. LLM‌ها توانایی خود را در عرصه‌های مختلفی همانند نوشتن، تشکیل برنامه‌های کامپیوتری و فعالیت‌های دیگر نشان داده‌اند.

این نوشته می‌تواند این فکر را تشکیل کند که این مدل‌ها در حال یادگیری حقایق کلی در رابطه جهان می باشند، اما مطالعه تازه مشخص می کند که اینطور نیست. در این مطالعه تازه، محققان دریافتند که یک نوع محبوب از مدل‌های GenAI می‌تواند با دقت تقریباً کامل، مسیرهای رانندگی مرحله به مرحله را در شهر نیویورک اراعه دهد، بدون این که نقشه دقیقی از شهر را در ذهن خود راه اندازی داده باشد. با این حال، هنگامی که محققان برخی از خیابان‌ها را بستند و مسیرهای جانشین را اضافه کردند، کارکرد ناوبری LLM به طور قابل توجهی افت یافت.

بعد از بازدید، محققان دریافتند که نقشه نیویورک که توسط LLM تشکیل شده می بود، “شامل تعداد بسیاری از خیابان‌های غیر واقعی می بود که بین شبکه خیابان‌ها منحنی شده و تقاطع‌های دور را به هم متصل می‌کردند. آشیش رامباچان، استاد اقتصاد و محقق مهم در آزمایشگاه اطلاعات و سیستم‌های تصمیم‌گیری MIT (LIDS)، او گفت: «این سوال که آیا LLM‌ها مدل‌های جهانی منسجمی را یاد می‌گیرند، زیاد مهم است اگر می‌خواهیم از این تکنیک‌ها برای کشف‌های تازه منفعت گیری کنیم.»

این تحقیق در کنفرانس پردازش اطلاعات عصبی اراعه خواهد شد. برای این مطالعه، محققان بر روی نوعی مدل GenAI متمرکز شدند که به گفتن ترانسفورمر شناخته می‌بشود و ستون فقرات LLM‌هایی همانند GPT-4 را راه اندازی می‌دهد.

مطابق یک بیانیه مطبوعاتی MIT، ترانسفورمرها با مقدار بسیاری داده مبتنی بر زبان آموزش داده خواهد شد تا توکن بعدی در یک دنباله، همانند کلمه بعدی در یک جمله، را پیش‌بینی کنند. با این حال، به حرف های محققان، زمان تعیین این که آیا LLM یک مدل دقیق از جهان را راه اندازی داده است یا خیر، اندازه‌گیری دقت پیش‌بینی‌های آن کافی نیست.

در مثال فرد دیگر، آن‌ها دریافتند که یک ترانسفورمر می‌تواند تقریباً در هر زمان، حرکات معتبر را در بازی Connect 4 پیش‌بینی کند، بدون این که هیچ یک از قوانین را فهمیدن کند. به این علت، تیم دو معیار تازه را گسترش داد که می‌تواند مدل جهانی یک ترانسفورمر را آزمایش کند. محققان برسی‌های خود را بر روی کلاسی از مسائل متمرکز کردند که به گفتن اتوماتای متناهی قطعی (DFA) شناخته خواهد شد. یک DFA قضیه‌ای با دنباله‌ای از حالات، همانند تقاطع‌هایی است که باید برای رسیدن به یک مقصد طی بشود، و یک روش اشکار برای توصیف قوانینی که باید در طول مسیر جستوجو شوند.

در یک چرخش کاملاً غیرمنتظره، محققان دریافتند که ترانسفورمرهایی که به طور اتفاقی انتخاب می‌کردند، مدل‌های جهانی دقیق‌تری را راه اندازی می‌دادند. اگرچه ترانسفورمرها در تقریباً هر مورد، جهت‌های دقیق و حرکات معتبر را تشکیل می‌کردند، اما دو معیار نشان داد که فقط یکی از آن‌ها یک مدل جهانی منسجم برای حرکات تشکیل کرده می بود و هیچ‌کدام در راه اندازی مدل‌های جهانی منسجم در مثال ناوبری کارکرد مساعد نداشتند.
برای مشاهده تازه ترین خبرها به صفحه اخبار فناوری رسانه تکنا مراجعه کنید.