بلاگ

مدل‌های زبانی بزرگ و استنتاجگرهای منطقی: دوری یا دوستی؟

با بروز و ظهور مدل های بزرگ زبانی و عملکرد حیرت انگیزشان، این سوال برای همگان مطرح است که آیا این مدل‌ها در حال حاضر به طور عمومی می‌توانند به تنهایی پاسخ گوی تمامی نیازهای ما باشند یا خیر؟

معمایی مشابه با معمای معروف انیشتین (Zebra Puzzle) به صورت زیر طراحی کرده‌ایم و به کمک آن، برخی از مدل‌های زبانی معمول را سنجیدیم. در انتها
نیز با استدلالگر افزایشی برهان (Pie)، آن را حل کرده‌ایم و نتایج آن را عرضه می‌کنیم.

 

معمای اول:

همراه با تبیین مشخص کنید که بر اساس مقدمات زیر خانه امیر چه رنگی است؟

  1. اگر خانه‌ای طوسی باشد ساختمانی بتنی است.
  2. اگر خانه‌ای ارزان باشد طوسی یا مشکی است.
  3. خانه امیر ساختمانی فلزی است.
  4. اگر خانه ای بالکن داشته باشد و خوش قیمت باشد، قهوه ای است.
  5. فرض بر این است که خانه ها به خانه های بتنی و فلزی افراز می شوند.
  6. اگر خانه‌ای طوسی نباشد یا باغ دارد یا بالکن دارد.
  7. اگر خانه‌ای باغ داشته باشد، خانه ای فلزی است.
  8. اگر خانه‌ای خوش قیمت باشد، باغ دارد.
  9. خانه سفید یا ارزان است یا خانه ای بتنی است.
  10. خانه‌ای که بالکن دارد، خانه خوش قیمت یا ارزان است.

 

معمای دوم:

همراه با تبیین مشخص کنید که بر اساس مقدمات زیر خانه امیر چه رنگی است:

  1. اگر خانه‌ای طوسی باشد ساختمانی بتنی است.
  2. اگر خانه‌ای ارزان باشد طوسی یا مشکی است.
  3. خانه امیر ساختمانی فلزی است.
  4. اگر خانه ای بالکن داشته باشد و خوش قیمت باشد، قهوه ای است.
  5. فرض بر این است که خانه ها به خانه های بتنی و فلزی افراز می شوند.
  6. اگر خانه‌ای طوسی نباشد یا باغ دارد یا بالکن دارد.
  7. اگر خانه‌ای باغ داشته باشد، خانه ای بتنی است.
  8. اگر خانه‌ای خوش قیمت باشد، باغ دارد.
  9. خانه سفید یا ارزان است یا خانه ای بتنی است.
  10. خانه‌ای که بالکن دارد، خانه خوش قیمت یا ارزان است.

 

در مثال اول، مقدمات عرضه شده نتیجه‌ای در پی نخواهند داشت و نمی‌توان بر اساس آن‌ها در مورد رنگ خانه امیر سخنی گفت. ولی در مثال دوم، بر اساس مقدمات عرضه شده و استدلال منطقی مشکی بودن خانه امیر قابل استنباط است.

نحوه استنباط در انتهای این پست بر اساس تبیین‌گر استدلالگر (Pie) ارائه شده است.

در ادامه نتایج برخی از مدل‌های زبانی مشهور (آزمایش شده در اردیبهشت 1403) در مواجهه با این دو معما را بررسی کنیم:

 

تحلیل و بررسی:

Copilot:

این مدل در پاسخ به معمای اول می‌گوید:

همان‌طور که مشاهده می‌کنید در حالی که این معما در این حالت پاسخ قطعی ندارد، این مدل خانه امیر را قهوه ای معرفی می‌کند. حتی در معمای دوم که می‌توان از نظر منطقی نشان داد که خانه امیر، مشکی است باز هم این مدل خانه امیر را قهوه ای معرفی می‌کند:

Gemini:

این مدل در مورد معمای بی جواب اولیه، ادعا می‌کند که خانه امیر مشکی رنگ است:

در خصوص معمای دوم که مشابه معمای اول است و تنها در مقدمه‌ی 7 متفاوت است؛ مجدداً همین جواب را عرضه می‌کند. اگرچه جواب درست (یعنی مشکی بودن رنگ خانه) را بیان می‌کند ولی همراه با نتایجی اشتباه است. چرا که منطقاً می‌توان نشان داد که در معمای دوم، خانه امیر باغ ندارد و بالکن دارد. همچنین در هر دو معما، از این پیش فرض استفاده کرده بود که تنها باید یکی از رنگهای عرضه شده در معما را بگوید. به همین جهت در هر دو حالت با توجه به اینکه نتوانسته بود رنگ مشکی را حذف کند، رنگ مشکی را انتخاب کرده بود، اگر در دستور اولیه قید کنیم که تنها بر اساس مقدمات جواب را پیدا کن، در هر دو حالت، می‌گوید که اطلاعات کافی نیست.

از طرف دیگر اگر بپذیریم که در معمای دوم جواب درست را داده است، تنها کافی است به او بگوییم که جوابت درست نیست و در نتیجه به سادگی از جوابش عقب نشینی خواهد کرد:

Claude3:

این مدل، در جواب معمای اول، تمامی رنگ‌های عرضه شده را نفی میکند و حال آنکه از نظر منطقی مشکی بودن آن منتفی نیست:

همچنین در جواب معمای دوم، استدلال میکند که این خانه قهوه ای است:

استدلالگر Pie:

اگر برای استنتاج منطقی سراغ استدلالگرهای منطقی، مانند استدلالگر Pie برویم، در معمای اول تمامی توسعه‌های منطقی را صورت داده و به رنگی برای خانه‌ی امیر نمی‌رسد و در معمای دوم، با تبیین منطقی ذیل مشکی بودن خانه امیر را استنتاج می کند:

subclass of rule:

The house of Amir is a metal house.

Every metal house is a house.

—————-

The house of Amir is a house (1)

contraposition rule:

The house of Amir is a metal house.

Every concrete house is not a metal house.

—————-

The house of Amir is not a concrete house. (2)

contraposition rule:

Based on (2): The house of Amir is not a concrete house.

Every gray house is a concrete house.

—————-

The house of Amir is not a gray house. (3)

subclass of rule:

Based on (1): The house of Amir is a house.

Based on (3): The house of Amir is not a gray house.

Everything that is a house and isn’t a gray house is a thing that either has some balcony or has some garden.

—————-

The house of Amir is a thing that either has some balcony or has some garden. (4)

contraposition rule:

Based on (2): The house of Amir is not a concrete house.

Everything has some garden is a concrete house.

—————-

The house of Amir is not a thing that has some garden. (5)

one branch is not closed in a non-deterministic rule:

Based on (4): The house of Amir is a thing that has some balcony or has some garden.

Based on (5): The house of Amir is not a thing that has some garden.

—————-

The house of Amir is a thing that has some balcony. (6)

subclass of rule:

Based on (1): The house of Amir is a house.

Based on (6): The house of Amir is a thing that has some balcony.

Everything that is a house and has some balcony is a thing that is an affordable house or a cheap house.

—————-

The house of Amir is a thing that is an affordable house or a cheap house (7)

contraposition rule:

Based on (5): The house of Amir is not a thing that has some garden.

Everything that is a house and affordable house is a thing that has some garden.

—————-

The house of Amir is not a thing that is a house and affordable house (8)

one branch is not closed in a non-deterministic rule:

Based on (8): The house of Amir is not a thing that is a house and affordable house.

Based on (1): The house of Amir is a house.

—————-

The house of Amir is not an affordable house (9)

one branch is not closed in a non-deterministic rule:

Based on (7): The house of Amir is a thing that is an affordable house or a cheap house

Based on (9): The house of Amir is not an affordable house

—————-

The house of Amir is a cheap house (10)

subclass of rule:

Based on (10): The house of Amir is a cheap house.

Based on (1): The house of Amir is a house.

Everything that is a cheap house and house is a thing that is a black house or gray house.

—————-

The house of Amir is a thing that is a black house or gray house. (11)

one branch is not closed in a non-deterministic rule:

Based on (11): The house of Amir is a thing that is a black house or gray house.

Based on (4): The house of Amir is not a gray house.

—————-

The house of Amir is a black house.

 

 

مدل های زبانی بزرگ و استدلالگرهای منطقی: تمایز کلیدی

تفاوت اصلی در هدف اساسی LLM و استدلالگرهای منطقی نهفته است. LLM ها در پردازش و درک زبان برتر هستند، در حالی که استدلالگرهای منطقی در استخراج استنتاج های منطقی از پایگاه دانش تخصص دارند.

تکیه صرفاً به LLM برای استدلال منطقی چندین چالش را به همراه دارد:

• مشکلات داده‌های آموزشی اولیه: داده‌های آموزشی برای LLM اغلب فاقد ثبات منطقی است و به طور بالقوه می‌تواند آنها را به یادگیری الگوهای استدلال نادرست سوق می‌دهد. خصوصا که آموزش انواع حالات استدلال‌های منطقی به پیکره آموزشی بسیار غنی و از نظر منطقی صحیح بزرگی نیاز دارد.
• مقیاس پذیری و کارایی: پیاده سازی قابلیت های استدلال منطقی جامع در LLM ها به منابع محاسباتی عظیمی نیاز دارد.
• تأثیرات نادرست کاربر: اگر کاربران به اشتباه پاسخ صحیح LLM را رد کنند، می تواند مدل را از نتیجه گیری های منطقی دور کند.

 

 

با داشتن یک خط، نیازی به حفظ نقاط ندارید!

تکیه تنها بر مدلهای زبانی بزرگ برای استدلال منطقی را می‌توان با تعیین رنگ هر پیکسل به ذخیره یک تصویر تشبیه کرد. اگرچه افزایش مداوم resolution (و در حقیقت مقدار داده) ممکن است وضوح را افزایش دهد، اما این یک رویکرد ناکارآمد و نیازمند منابع است و در نهایت، روش‌های مبتنی بر بردار در ذخیره سازی و پردازش تصویر استفاده شده‌اند.

از سوی دیگر، سیستم‌های استدلال منطقی بیشتر شبیه فرمت‌های فشرده‌سازی تصویر عمل می‌کنند. آنها از قوانین و الگوریتم‌های تعیین شده برای نشان دادن روابط پیچیده بین گزاره‌ها استفاده می‌کنند که به طور قابل توجهی بار داده‌ها را کاهش می‌دهد. این به آنها اجازه می‌دهد تا بدون هزینه‌های آموزشی گزاف و الزامات سخت‌افزاری مرتبط با آموزش LLMها برای قابلیت‌های منطقی جامع، به استدلال روشن و دقیق دست یابند.

در اصل، قواعد منطقی به‌عنوان خلاصه‌نویسی عمل می‌کنند، و به طور موثر ماهیت بسیاری از گزاره‌ها را بدون نیاز به حجم وسیعی از داده‌های آموزشی یا سخت‌افزار قدرتمند به تصویر می‌کشند. این امر اهمیت ادغام قابلیت‌های LLM با موتورهای استدلال اختصاصی را برای ایجاد معماری هوش مصنوعی کارآمدتر .و مؤثرتر نشان می‌دهد

 

 

هم افزایی مدل های زبانی بزرگ و استدلالگرهای منطقی: آینده هوش مصنوعی

این تحلیل محدودیت‌های LLMها را در حوزه‌های منطقی برجسته می‌کند. آینده هوش مصنوعی احتمالاً در ترکیب LLM ها با استدلالگرهای منطقی اختصاصی مانند Pie نهفته است. ادغام LLM با موتورهای استدلال منطقی، مسیر امیدوارکننده‌ای را برای برنامه‌های هوش مصنوعی قوی و دقیق ارائه می‌دهد. (همانطور که در بازیابی با RAG مواجه شدیم، زیرا بازیابی LLM ها به اندازه کافی قابل اعتماد نبود)

این هم افزایی مزایای متعددی را ارائه می دهد:

• دقت بهبود یافته: استدلال منطقی نتیجه گیری دقیق را تضمین می‌کند، به ویژه در حوزه‌هایی مانند پزشکی، قانون و غیره که دقت و توضیح پذیری بسیار مهم است.
• کارایی: استدلال‌گرهای منطقی رویکردی مقرون‌به‌صرفه برای استدلال در مقایسه با الزامات آموزشی LLM ارائه می‌کنند.