LLM گاهی اوقات حقیقت را به شما می گوید.

منبع: هنر: DALL-E/OpenAI

مدل‌های زبان بزرگ (LLM) نحوه تعامل ما با ماشین‌ها را متحول کرده است و کاربران را با توانایی آن‌ها در ایجاد پاسخ‌های منسجم، محاوره‌ای و اغلب بینش‌آموز مجذوب می‌کند. با این حال، همانطور که تحقیقات اخیر اپل نشان می دهد، واقعیت عمیق تری وجود دارد که مفهوم LLM را به عنوان عوامل هوشمند به چالش می کشد. نویسندگان استدلال می کنند که اگرچه LLM ها چشمگیر هستند، اما از استدلال منطقی واقعی کوتاهی می کنند و در عوض بر تکرار الگو از داده های آموزشی خود تکیه می کنند.

حقیقت: LLM ها نیروگاه های منطبق با الگو هستند

در هسته خود، LLM ها از طریق تشخیص الگوی پیچیده عمل می کنند. آنها که بر روی مجموعه داده های گسترده ای از متن آموزش دیده اند، در پیش بینی کلمه بعدی در یک دنباله عالی هستند و جملاتی را می سازند که اغلب به نظر منسجم و از نظر زمینه مناسب است. این توانایی به آن‌ها اجازه می‌دهد تا پاسخ‌هایی تولید کنند که با زبان انسان همخوانی داشته باشد و در بسیاری از موارد پاسخ‌هایی تولید کنند که هوشمندانه به نظر می‌رسند. به عنوان مثال، O1 LLM جدیدتر OpenAI با استدلال زنجیره ای از فکر (CoT) ادعا می کند که می تواند وظایف را در سطحی قابل مقایسه با یک دانشجوی فارغ التحصیل انجام دهد که نشان دهنده جهش قابل توجهی در قابلیت های استدلالی آشکار LLM ها است.

با این حال، “حقیقت” پیشنهاد شده توسط این تحقیق اخیر این است که LLM ها، از جمله آنهایی مانند مدل o1 OpenAI، در واقع به همان روشی که انسان ها فکر می کنند “فکر نمی کنند” یا استدلال نمی کنند. پاسخ‌های آن‌ها، هر چقدر هم که ممکن است قابل قبول به نظر برسند، بر اساس ارتباط‌های آماری آموخته‌شده از داده‌های آموزشی به جای استدلال شناختی واقعی ایجاد می‌شوند. هنگامی که یک سوال به دقت الگوهای مشاهده شده در داده ها را منعکس می کند، LLM ها می توانند نتایج چشمگیری ارائه دهند. با این حال، این رویکرد محدودیت‌هایی دارد، به‌ویژه زمانی که نیاز به درک عمیق‌تر و استدلال انعطاف‌پذیر باشد.

کل حقیقت: استدلال منطقی همچنان یک چالش است

نویسندگان این مقاله این محدودیت را با ارزیابی LLM در کارهایی که نیاز به استدلال منطقی دارند، به آزمون گذاشته اند. آنها بر روی این موضوع تمرکز کردند که آیا LLM ها می توانند بین اطلاعات مرتبط و نامربوط تمایز قائل شوند – یک جنبه کلیدی از استدلال انسانی. به عنوان مثال، این سوال را در نظر بگیرید: “چند سیب در یک کیسه وجود دارد که برخی از آنها برای خوردن خیلی کوچک هستند؟” یک انسان به راحتی می تواند جزئیات مربوط به اندازه را فیلتر کند تا روی تعداد سیب ها تمرکز کند. با این حال، LLM ها اغلب با چنین اطلاعات اضافی گیج می شوند و نمی توانند پاسخ های دقیقی ارائه دهند.

این تحقیق نشان می دهد که LLM ها سعی می کنند مراحل منطقی مشاهده شده در داده های آموزشی خود را تقلید کنند اما بدون درک واقعی. هنگامی که تغییرات جزئی یا جزئیات نامربوط در یک سوال مطرح می‌شود، مدل‌ها اغلب دچار اشتباه می‌شوند و نشان می‌دهند که آنها درگیر استدلال واقعی نیستند، بلکه در عوض الگوهای آشنا را بازتولید می‌کنند. محققان این را به عنوان یک محدودیت قابل توجه، به ویژه در کارهایی که شامل استدلال چند مرحله ای یا استنتاج منطقی پیچیده است، برجسته می کنند.

فراتر از حقیقت: توهم هوش

یکی از مهم‌ترین دیدگاه‌های این مقاله، تشخیص آنچه نویسندگان به عنوان «توهم درک» توصیف می‌کنند است. به نظر بسیاری از کاربران، LLM ها دارای نوعی هوش هستند، به خصوص زمانی که پاسخ های آنها با آنچه ممکن است یک انسان بگوید هماهنگ باشد. اما این تصور گمراه کننده است. همانطور که تحقیق اشاره می کند، واقعیت این است که LLM ها محتوای پاسخ های خود را “درک” نمی کنند. آنها متن را بر اساس الگوهای آماری تولید می کنند، و در حالی که این الگوها اغلب می توانند نتایج قانع کننده ای ایجاد کنند، آنها فاقد عمق و انعطاف پذیری استدلال منطقی واقعی هستند.

به عنوان مثال، در کارهای ریاضی که داده های نامربوط گنجانده شده است، LLM ها اغلب این اطلاعات نامربوط را در فرآیند استدلال خود وارد می کنند که منجر به پاسخ های نادرست می شود. این به این دلیل اتفاق می‌افتد که مدل‌ها مشروط به تکرار الگوهایی هستند که قبلاً دیده‌اند، نه اینکه درگیر حل واقعی مشکل باشند. این مقاله تاکید می کند که در حالی که LLM ها می توانند استدلال را شبیه سازی کنند، از دستیابی به درک شناختی واقعی فاصله دارند.

نوآوری، یک قدم در یک زمان

یافته‌های این مقاله ارزیابی روشن و منصفانه‌ای از جایگاه LLM در حال حاضر ارائه می‌دهد. در حالی که آنها ابزارهای قابل توجهی برای تولید زبان، خلاصه کردن اطلاعات، و حتی جرقه زدن بینش های خلاقانه هستند، آنها همچنان به اتکای خود به تشخیص الگو محدود می شوند. استدلال منطقی واقعی، همانطور که نویسندگان اشاره می‌کنند، هنوز در درک این مدل‌ها نیست و تشخیص این محدودیت مهم است.

با این حال، ممکن است درست در زیر سطح این قابلیت تطبیق الگو، چیزی واقعاً دگرگون کننده نهفته باشد. جهش‌های خلاقانه، استنباط‌ها و راه‌حل‌های بدیع LLM نشان می‌دهد که این سیستم‌ها در آستانه چیزی بسیار بزرگ‌تر هستند. آن‌ها می‌توانند ایده‌های متفاوت را به هم متصل کنند و بینش‌های شگفت‌انگیزی ارائه دهند – کیفیت‌هایی که پتانسیل بسیار فراتر از تکرار صرف داده‌های آموزشی را نشان می‌دهند.

محدودیت‌های استدلال منطقی که در این مقاله بیان شده‌اند واقعی هستند، اما از ارزش عظیمی که LLM در حال حاضر ارائه می‌کنند، نمی‌کاهد. با ادامه اصلاح این مدل ها، متعادل کردن نقاط ضعف آنها با نقاط قوت خلاقانه و استنتاجی در حال رشد آنها، ممکن است قابلیت هایی را باز کنیم که ما را به سمت شکل عمیق تری از هوش سوق می دهد – مصنوعی یا چیز دیگری.