در طول یک سال گذشته ، شیرجه عمیق من به کارهای درونی مدل های بزرگ زبان (LLMS) فراتر از کنجکاوی فنی تکامل یافته است. آنچه به عنوان جذابیت با چگونگی پیش بینی و تولید این سیستم ها به چیزی اساسی تر آغاز شده است – سفر به معماری های پنهان معنا خود.

هرچه بیشتر بررسی می کردم که چگونه مدل های زبان عملکرد دارند ، بیشتر فهمیدم که جذاب ترین چیز در مورد آنها چیزی نیست که آنها تولید می کردند. این چیزی بود که آنها قبل از اینکه یک کلمه واحد ظاهر شود ، ساختند.

در زیر هر جمله منسجم ایجاد شده توسط یک LLM ، یک ساختار ساکت و نامرئی نهفته است – یک سازمان فضایی از روابط و رزونانس ، که از ورودی دریافت شده بافته شده است. این ساختار پنهان متن یا دانش به معنای سنتی نیست. این چیز جدیدی است – یک معماری یخ زده با معنای رابطه.

من این ساختار پنهان را بلوک بردار می نامم.

کشف بلوک بردار

بلوک بردار زمینه ای با ابعاد بالا است که یک مدل زبان هنگام پردازش سریع ایجاد می کند. قبل از تولید هر کلمه ، مدل ورودی را به یک شبکه هندسی متراکم یا شکل تبدیل می کند که در آن هر نشانه – هر کلمه ، عبارت یا قطعه – مربوط به هر کس دیگری در هزاران بعد است.

اگر عکاسی ظاهر دنیای خارجی را به خود جلب کند ، بلوک بردار رزونانس معنای داخلی را ضبط می کند – قبل از اینکه به زبان تبدیل شود.

این یک ساختار شناختی یا زمین معنایی است که در آن ایده ها در هم می آمیزند و دفع می شوند. و در این زمینه ، به یک نقشه رابطه ای تبدیل می شود که در آن معنی در این فضای چند بعدی شکل می گیرد.

و در اینجا نکته اصلی وجود دارد: قبل از خروجی وجود دارد. این ساختاری است که باعث ایجاد زبان می شود ، نه خود زبان.

بلوک بردار چگونه شکل می گیرد

از نظر فنی ، ایجاد یک بلوک بردار در کار LLM آشکار می شود. من از بنگل فنی عذرخواهی می کنم ، اما مهم است که احساس روند را بدست آورید.

• یک فوریت نشان داده می شود – به قطعات گسسته مانند کلمات یا زیر کلمات.
• هر نشانه در یک فضای وکتور گسترده با ابعاد بالا تعبیه شده است.
• رمزگذاری موقعیتی (دنباله کلمه در سریع) اضافه می شود ، یک توالی را از طریق امواج ریاضی لایه بندی می کند.
• از طریق مکانیسم های خودآزمایی-زیربنای محاسباتی یک LLM-هر توکن رابطه خود را با سایر موارد ارزیابی می کند و یک شبکه جهانی تعامل را تشکیل می دهد.
• این یک تانسور یا ماتریس متراکم ایجاد می کند – منظره یخ زده به معنای رابطه.

این ساختار میانی – بلوک بردار – همان چیزی است که مدل با شروع تولید کلمات ، یک بار ، در سراسر منظره ای که قبلاً ساخته است ، مشاوره می کند.

چرا بلوک بردار فراتر از هوش مصنوعی است

بلوک بردار صرفاً یک مصنوع فنی نیست. این ممکن است یک دسته جدید از بیان شناختی باشد. و برای اولین بار ، ما یک سیستم تکنولوژیکی داریم که قبل از مجبور شدن به جریان خطی زبان ، چگونه خود را سازماندهی می کند.

اگر بتوانیم بلوک های بردار را استخراج ، تجسم و مطالعه کنیم ، آنها می توانند به ابزارهای قدرتمند جدیدی برای بورس تحصیلی تبدیل شوند.

• نقشه برداری چگونه ایده ها خوشه ، کشش و در داخل زبان آشکار می شوند.
• مطالعه تعصب ، ابهام ، خلاقیت و رزونانس در بیان انسان.
• بررسی شناخت نه به عنوان دنباله ای از کلمات ، بلکه به عنوان هندسه روابط.

پیامدها بسیار فراتر از هوش مصنوعی است. آنها ما را دعوت می كنند تا در مورد چگونگی ساختن انسان معنا – چگونگی استدلال ، ترغیب ، سردرگمی و الهام بخشیدن – در سطح عمیق تر از خود زبان ، تجدید نظر كنیم.

تکامل بیان

در طول تاریخ ، هر جهش بزرگی در ارتباطات انسانی لایه جدیدی از واقعیت را به خود جلب می کرد.

در هر حالت ، ما راه هایی برای خارجی سازی آنچه که زمانی فقط در درون ما زندگی می کرد پیدا کردیم. با استفاده از بلوک بردار ، برای اولین بار ، ممکن است شروع به خارجی سازی کنیم که چگونه معنی خود شکل می گیرد ، نه فقط نحوه بیان آن.

آینه جدیدی برای اندیشه انسان

بیشتر تمرکز امروز روی هوش مصنوعی حول محور خروجی ها است. آیا جملات مسلط هستند؟ آیا مقاله ها قانع کننده هستند؟ آیا داستان ها قانع کننده هستند؟

اما یک انقلاب دیگر در بالادست ، در معماری های خاموش که این خروجی ها را ممکن می سازد ، نهفته است.

بلوک بردار نشان می دهد که هر عمل ارتباطی – هر مکالمه ، هر شعر ، هر مذاکره – با هندسه پنهان. و در این ساختار ریاضی ، زمینه رزونانس و رابطه ای را که پیش از زبان است ، می یابیم. و در این تحقق ، ما ممکن است یک روش جدید خارق العاده برای درک نه تنها هوش مصنوعی ، بلکه شکل فکر انسان پیدا کنیم.