در آخرین پست من ، هوش مصنوعی و شکل واقعیت، من از انتهای عمیق پرش کردم و ایده ای را که حتی من آن را شگفت زده کرد ، مورد بررسی قرار دادم-این فضای با ابعاد بالا که در آن مدل های بزرگ زبان (LLMS) کار می کنند ممکن است شباهت بی نظیری با ابعاد پنهان تئوری رشته داشته باشد. این یکی از آن لحظاتی بود که دو زمینه به ظاهر نامربوط – یادگیری ساچین و فیزیک نظری – در ذهن من پیچیدند و جرقه ها برای نادیده گرفتن خیلی روشن بودند.

این پست گام منطقی بعدی در آن سفر فکر است – در صورت تمایل ، کاپتر 2. در اینجا ، من می خواهم ساختار آن ابعاد و عملکردی را که از آنها پدید می آید ، کشف کنم. به طور خاص ، چه اتفاقی می افتد وقتی این فضاهای وسیع به چیزی عملی می رسند – مانند یک کلمه واحد یا یک بار ابتدایی.

بیایید با چیزی به عنوان نقطه شروع کنیم. یا در مورد ، یک محصول DOT.

از ابعاد بالا تا یک کلمه واحد

در مدل های بزرگ زبان ، هر کلمه ای که می بینید نه به عنوان یک نماد ، بلکه به عنوان نقطه ای در یک فضای چند بعدی نشان داده می شود. در بعضی موارد هزاران بعد 12،288 – هر یک جنبه متفاوت از معنا ، زمینه یا رابطه نحوی را رمزگذاری می کند. اینها ابعاد مکانی مانند ارتفاع یا عمق نیستند. آنها محورهای انتزاعی از اهمیت معنایی هستند. تصور کنید که خود به عنوان یک ساختار هندسی پیچیده شکل می گیرد.

هنگامی که یک LLM کلمه بعدی را در یک جمله پیش بینی می کند ، کاری را به طرز شگفت انگیزی انجام می دهد. زمینه فعلی (همچنین یک بردار در آن فضا) را می گیرد و آن را برای هر کلمه بعدی ممکن با بردار مقایسه می کند. چگونه؟ با محاسبه محصول DOT – یک عملیات ریاضی که اساساً اندازه گیری دو بردار تراز شده است.

در اینجا بخشی است که از دست دادن آن آسان است. این مقایسه فقط به چند کلمه احتمالی انجام نشده است. این در برابر هر نشانه در کل واژگان مدل – که اغلب 50،000 یا بیشتر است. LLM با استفاده از یک عملیات ماتریس ، محصول DOT را بین بردار زمینه و هر یک از این بردارهای کلمه ای به طور همزمان محاسبه می کند. این خطی یا پی در پی نیست – هندسی و موازی است.

و در اینجا یک نکته شفاف وجود دارد. این افزودن بردار به روشی نیست که ما اغلب تصور می کنیم فلش نوک به دم اضافه می کند. این یک مقایسه است. محصول DOT هر بعد مربوط به دو بردار را می گیرد – یکی برای متن ، یکی برای کلمه نامزد – و آنها را با هم ضرب می کند ، سپس تمام آن محصولات را اضافه می کند. این مجموع بسیاری از ترازهای کوچک است ، اندازه گیری میزان دو بردار “لاغر” در همان جهت است.

بله ، پیچیدگی و در عین حال سادگی اساسی نیز وجود دارد.

نتیجه یک عدد واحد است – یک مقیاس (نه یک بردار). بزرگی دارد ، اما جهت نیست. این مهم است این مقیاس به ما نمی گوید که به کجا برویم ، به ما می گوید که این کلمه خاص در این لحظه خاص چقدر متناسب است. این یک هندسه گسترده و پیچیده را به یک امتیاز واحد از اهمیت کاهش می دهد.

و این مقیاس – این تعداد غیرقابل تحمل – این است که چگونه مدل تعیین می کند که آینده چیست. تسلط نفس گیر LLMS بر روی میلیاردها کاهش این مقیاس ساخته شده است. به معنای بسیار واقعی ، زبان از طرح ریزی بیرون می آید. و بازده پیش بینی کاهش می یابد.

اکنون چرخ دنده ها را تغییر دهید: الکترون و شارژ

اگر این به نظر می رسد انتزاعی است ، بیایید به طرف دیگر این قیاس تغییر کنیم و به فیزیک نگاهی بیندازیم و الکترون را در نظر بگیریم. ما هزینه آن را به عنوان یک ثابت -ثابت اساسی طبیعت می گیریم و حتی آن را به صورت ساده اختصاص می دهیم. اما در چارچوب نظریه میدان کوانتومی و به طرز چشمگیری در تئوری رشته ، شارژ اختصاص داده نمی شود – ظهور می شود.

در تئوری رشته ، ذرات به عنوان حالت های ارتعاش مختلف رشته های ریز موجود در یک جهان با حداکثر 11 بعد درک می شوند. بیشتر این ابعاد ، همانطور که در پست قبلی بحث کردم ، جمع و جور هستند-در شکل های پیچیده ای که به منیفولدهای Calabi-yau معروف هستند ، جمع شده اند. هندسه خاص این منیفولدها خواص رشته های ارتعاش را از جمله جرم ، چرخش و بله ، بار الکتریکی تعیین می کند.

درست مانند LLM ، جایی که کلمه بعدی نتیجه یک طرح ریزی از آنچه که فضای نهان نامیده می شود-یک زمینه ریاضی با ابعاد بالا که روابط بین معنا ، نحو و متن را رمزگذاری می کند-بار یک الکترون نیز ممکن است نتیجه یک پیش بینی باشد. در این حالت ، این یک خاصیت نوظهور است که توسط هندسه ابعاد پنهان در تئوری رشته رمزگذاری شده است – یک خاصیت نوظهور رمزگذاری شده توسط هندسه ابعاد پنهان.

بنابراین ، این ایده بزرگ است.

محصول DOT در AI از نظر مفهومی شبیه به طرح ارتعاش در تئوری رشته است. هر دو ساختار با ابعاد بالا را به پدیده های معنی دار و قابل مشاهده کاهش می دهند.

هندسه ظهور

ما اغلب به هوش و واقعیت فکر می کنیم که از عناصر پایین به بالا ساخته شده است-نورون ها ، بیت ها ، ذرات. اما اگر این اشتباه باشد چه می شود؟ چه می شود اگر اینها پایه و اساس نباشند ، بلکه سایه ها – دارای حقایق هندسی عمیق تر هستند؟

در LLMS ، هوش در قوانین رمزگذاری نشده است – از ساختار بیرون می آید. همین مسئله ممکن است در مورد خود ماده نیز گفته شود. درست همانطور که یک کلمه از تراز بردارها در فضای نهفته بوجود می آید ، یک ذره ممکن است از تراز ارتعاشات رشته در فضای هندسی ناشی شود. معنی و جرم – دو اشکال کاهش. دو نتیجه از طرح ریزی.

این به معنای این نیست که هوش مصنوعی فیزیک است. اما این نشان می دهد که مدل های هوش و مدل های ما ممکن است یک زبان مشترک از هندسه با ابعاد بالا و ظهور آن را به اشتراک بگذارند.

پس چی؟

چرا این موضوع مهم است؟ از آنجا که سیستم های هوش مصنوعی برای نحوه فکر کردن ، نوشتن و دلیل ما بسیار مهم تر می شوند ، باید آنها را نه فقط به عنوان ابزاری – بلکه به عنوان ویندوز ببینیم. آنها روشی جدید برای درک چگونگی ظهور معنی ، نه تنها در متن ، بلکه در پارچه واقعیت خود ارائه می دهند.

ما ممکن است شاهد آغاز یک معرفت شناسی جدید باشیم. یکی که مرز بین فکر و ماده ، زبان و قانون ، نه تنها متخلخل می شود بلکه به شدت هندسی است.

و شاید ، فقط شاید ، یک طرح ریزی مقیاس فقط اینگونه نیست که یک دستگاه کلمه بعدی را انتخاب کند. اینگونه است که جهان صحبت می کند.