آموزش دو مدل بزرگ زبان (LLMS) – داده های متفاوت ، معماری های مختلف ، اهداف مختلف. حال تصور کنید که کشف کنید که ، در اعماق درون ، آنها به طور مستقل نقشه های داخلی مشابه معنا ساخته اند. این یافته اصلی یک نسخه جدید است. این احساس عمیق ، تقریباً متافیزیکی است. اما آیا؟ یا آیا ما به سادگی شاهد محدودیت های ریاضی نحوه عملکرد زبان هستیم؟

محققان از تکنیکی به نام “VEC2VEC” برای ترجمه تعبیه های داخلی – بازنمایی های ماتماتیک معنا – از یک LLM به دیگری استفاده کردند. این سیستم های چند حالته عدم پردازش بینایی ، صدا یا تعامل نبودند. آنها مونومودال بودند و فقط بر روی متن آموزش دیده بودند. و در این زمینه باریک تر ، روابط معنایی رمزگذاری شده در یک مدل می تواند بدون استفاده از داده های آموزش موازی ، با دیگری تراز شود. این تراز نشان دهنده ساختار داخلی مشترک یا شاید نوعی “هندسه معنایی” است.

آیا این فلسفه کشف یا عملکرد است؟

قبل از اینکه به نتیجه گیری در مورد معنای جهانی بپردازیم ، اجازه دهید مکث کنیم. زبان دارای نظم آماری عمیقی است. کلمات با معانی مشابه تمایل دارند در زمینه های مشابه ظاهر شوند. هر سیستمی که برای فشرده سازی ، پیش بینی یا نمایانگر زبان طراحی شده باشد ، به احتمال زیاد در بازنمایی های داخلی مشابه همگرا خواهد شد.

LLM ها اساساً سیستم های فشرده سازی هستند. درست همانطور که الگوریتم های مختلف ممکن است الگوهای داده های مکرر را به طور مشابه نشان دهند – نه به این دلیل که آنها حقیقت کیهانی را کشف می کنند ، بلکه به این دلیل که این همان چیزی است که فشرده سازی می خواهد – مدل های زبان ممکن است به طور طبیعی در شکل های مشابه مستقر شوند. این عرفان نیست ؛ این ریاضی است.

هنوز هم ویژگی قابل توجه است

و با این حال – اینجا چیزی وجود دارد. این مدلها فقط متن مشابهی را تولید نمی کردند. ساختارهای داخلی آنها را می توان با دقت غافلگیرکننده هماهنگ کرد. علیرغم تفاوت در داده های آموزش ، استراتژی های نشانه گذاری و اهداف بهینه سازی ، VEC2VEC می تواند تعبیه یک مدل را به فضای نهفته دیگر ترجمه کند و روابط معنی دار را حفظ کند.

نویسندگان از این امر به عنوان فرضیه بازنمایی افلاطونی یاد می کنند – این ایده که تمام مدلهای زبان به اندازه کافی قدرتمند در حال کشف همان هندسه پنهان معنا هستند. شاید اینگونه نباشد که معنی از نظر عینی به معنای متافیزیکی واقعی است. شاید هر سیستمی که زبان را عمیقاً مدل کند ، از ساختار آن محدود شود.

آیا روش اهمیت دارد؟

اما اینجا جالب است: همه این مدل ها مونومودال بودند. یعنی آنها فقط متن را پردازش می کنند. زبان یک قطعه باریک و بسیار ساختار یافته از شناخت انسان است. این قانون براساس قوانین ، الگوهای و افزونگی اداره می شود. بنابراین از بعضی جهات ، همگرایی که می بینیم ممکن است قابل پیش بینی ترین نتیجه باشد.

آنچه ممکن است قانع کننده تر باشد این است که ببینیم چه اتفاقی می افتد در هنگام آزمایش تراز در روش ها. اگر مدلی که روی تصاویر آموزش داده شده و دیگری که روی متن آموزش دیده است ، در همان هندسه معنایی همگرا شود ، این چیزی را نشان می دهد که بسیار عمیق تر باشد – به این معنی که از نمایش فراتر می رود. که نه تنها از طریق نمادها ، بلکه از طریق ادراک قابل کشف است.

مدل های چندمادی مانند GPT-4O ، Gemini و Claude Vision ، Audio و حتی تعامل فیزیکی را ادغام می کنند. اگر مطالعات آینده نشان دهنده تراز بین این سیستم های پیچیده تر باشد ، آنگاه استدلال تغییر می کند ، از “هندسه شکل زبان” به “شناخت یک ساختار جهانی دارد”. این یک جهش است – از اجتناب ناپذیری آماری تا بیشتر بینش ساختاری.

ذهن نیست ، اما شاید یک دستورالعمل باشد

این مدل ها به هیچ وجه آگاه نیستند. آنها همانطور که ما انجام می دهند درک نمی کنند. اما آنها به نقشه های مشابه می رسند – نه به این دلیل که عاقلانه هستند ، بلکه به این دلیل که زبان به آنها انتخاب کمی می دهد. با این حال ، این همگرایی چیز جالب و شاید حتی مهم را به ما می گوید. این معنی است ، حتی اگر احساس نشود ، هنوز هم می تواند ساختار یافته باشد. و این ساختار ، چه به زبان زبان و چه نهفته در جهان تحمیل شده است ، شروع به نشان دادن شکل خود می کند.

ذهن نیست اما شاید یک دستورالعمل باشد. و احتمالاً روزی ، حتی یک نقشه.