شورای LLM گروهی از مدلهای بزرگ زبانی است که هر یک به طور مستقل به یک سوال پاسخ میدهند، سپس پاسخهای یکدیگر را ارزیابی میکنند تا به توافق برسند. این الگو توسط مخزن منبع باز 'llm-council' آندری کَرپاتی محبوب شد، که در آن چندین مدل پاسخ میدهند و سپس یکدیگر را قبل از یک ترکیب نهایی رتبهبندی میکنند. Argumentree.AI الگوی شورا را با درختهای استدلال ساختاری و ارزیابی متقابل ناشناس گسترش میدهد—ناشناس به این دلیل که تحقیقات در مورد استفاده از LLM به عنوان قاضی، تعصب خودافزایی را مستند میکند که در آن مدلها به خروجیهای خود امتیاز میدهند. یک شورای LLM میزبانی شده به شما اجازه میدهد تا چندین مدل را بدون ارائه کلیدهای API خود پرس و جو کنید. معامله صادقانه هزینه و تأخیر است: یک شورا چندین تماس مدل ایجاد میکند، بنابراین کندتر و گرانتر از یک پرس و جوی واحد است، در عوض برای اعتبارسنجی متقابل مدلها و عدم توافق قابل مشاهده.
یک شورای LLM دارای چندین مدل زبانی است که به طور مستقل پاسخ میدهند، یکدیگر را ارزیابی میکنند و به توافق میرسند. این موضوع "یک پاسخ مطمئن" را به یک تفکر تبدیل میکند که میتوانید آن را بررسی کنید.
یک شورای LLM شامل چندین مدل است که به طور مستقل پاسخ میدهند، سپس یکدیگر را برای تشکیل توافق ارزیابی میکنند. این الگو از مخزن منبع باز Karpathy به نام llm-council میآید. Argumentree.AI آن را میزبانی میکند—بدون نیاز به کلیدهای API—و به صورت ناشناس امتیاز میدهد تا خودستایی را کاهش دهد.
الگوی شورا به سادگی بیان میشود: چندین LLM به یک سوال به طور مستقل پاسخ میدهند، سپس پاسخهای یکدیگر را ارزیابی میکنند و توافقی از ارزیابیهای همتا به دست میآید. هیچ مدل واحدی آخرین کلمه را نمیگوید. زیرا مدلها قبل از پاسخ دادن پاسخهای یکدیگر را نمیبینند، استدلال مستقل آنها حفظ میشود—و مکانهایی که در آنها اختلاف نظر دارند به جای اینکه پشت یک پاسخ مطمئن پنهان شوند، قابل مشاهده میشوند.
هر مدل به سوال به تنهایی پاسخ میدهد، بدون اینکه دیگران را ببیند
هر مدل پاسخهای دیگر مدلها را ارزیابی میکند
امتیازها جمعآوری میشوند تا نشان دهند شورا در کجا توافق و اختلاف نظر دارد
آندری کَرپاتی یک مخزن منبع باز "llm-council" منتشر کرد که دقیقاً این جریان را نشان میدهد—چندین مدل پاسخ میدهند، یکدیگر را رتبهبندی میکنند و یک پاسخ نهایی ترکیب میشود. این یک اثبات عمومی است که مدلها میتوانند به طور معناداری یکدیگر را ارزیابی کنند. Argumentree.AI بر اساس همان ایده ساخته شده است.
Argumentree.AI الگوی شورا را به دو روش پیش میبرد. اول، به جای مقایسه پاسخهای کامل، استدلال هر مدل را به یک درخت استدلال ساختار میدهد—بنابراین ادعاهای فردی میتوانند ارزیابی و بررسی شوند، نه فقط پاراگراف نهایی. دوم، از ارزیابی متقابل ناشناس استفاده میکند: وقتی یک مدل استدلالها را ارزیابی میکند، نمیداند کدام مدل آنها را نوشته است.
تحقیقات در مورد استفاده از LLM به عنوان قاضی، یک تعصب خودافزایی را مستند کرده است—مدلها تمایل دارند خروجیهای خود را به طور مثبت ارزیابی کنند. پنهان کردن نویسندگی قبل از ارزیابی، میانبر را حذف میکند، بنابراین یک مدل نمیتواند به سادگی خود را پاداش دهد. این دلیل طراحی برای ارزیابی متقابل ناشناس است.
اجرای یک شورا به طور معمول به معنای ثبتنام با هر ارائهدهنده مدل و اتصال کلیدهای API جداگانه است. Argumentree.AI یک شورای LLM میزبانی شده ارائه میدهد: شما یک بار سؤال میکنید و تمام مدلهای موجود شرکت میکنند—بدون نیاز به مدیریت کلیدها، بدون تنظیمات جداگانه برای هر ارائهدهنده. شما توافق شورا و اختلافات آن را در یک مکان دریافت میکنید.
یک شورا رایگان نیست. به طور تعریف، چندین تماس مدل ایجاد میکند، بنابراین بیشتر محاسبات را استفاده میکند و زمان بیشتری برای بازگشت نسبت به یک پرس و جوی واحد میگیرد. این معامله عمدی است: شما بیشتر هزینه میکنید تا اعتبارسنجی متقابل مدلها و نقشهای قابل مشاهده از جایی که مدلها اختلاف نظر دارند به دست آورید. برای تحقیقات با ریسک بالا، این یک معامله خوب است؛ برای جستجوهای بیاهمیت، یک مدل کافی است.
شورای چندین مدل را با یک سوال تشکیل دهید
استدلال هر مدل را نقطه به نقطه بررسی کنید، نه به عنوان یک توده
ارزیابی متقابل نویسندگی را پنهان میکند تا تعصب خودافزایی را کاهش دهد
بدون کلیدهای API برای هر ارائهدهنده—توافق و اختلافات به صورت آماده
شورای LLM گروهی از مدلهای بزرگ زبانی است که هر یک به طور مستقل به یک سوال پاسخ میدهند، سپس پاسخهای یکدیگر را ارزیابی میکنند تا یک دیدگاه توافقی تولید کنند. به جای تکیه بر یک مدل واحد، شورا توافق و اختلاف نظر بین مدلها را به وضوح نشان میدهد—بنابراین میتوانید ببینید که مدلها در کجا همراستا و در کجا اختلاف نظر دارند.
آندری کَرپاتی یک مخزن منبع باز 'llm-council' منتشر کرد که الگو را نشان میدهد: چندین مدل به یک پرسش پاسخ میدهند، سپس پاسخهای یکدیگر را قبل از یک ترکیب نهایی رتبهبندی میکنند. این یک مفهوم-اثبات از استدلال جمعی در بین مدلها است. Argumentree.AI این ایده را با درختهای استدلال ساختاری و ارزیابی متقابل ناشناس گسترش میدهد.
تحقیقات در مورد استفاده از LLM به عنوان قاضی، یک تعصب خودافزایی را مستند کرده است—مدلها تمایل دارند خروجیهای خود را ترجیح دهند. ناشناس کردن اینکه کدام مدل کدام استدلال را تولید کرده است قبل از ارزیابی، آن تعصب را کاهش میدهد، بنابراین یک مدل نمیتواند به سادگی خود را پاداش دهد. این دلیل طراحی پشت ارزیابی متقابل ناشناس Argumentree.AI است.
نه با یک شورای LLM میزبانی شده. پیادهسازیهای منبع باز معمولاً نیاز دارند که شما کلیدهای API را برای هر ارائهدهنده تأمین کنید. Argumentree.AI یک شورای چند LLM میزبانی شده ارائه میدهد تا شما بتوانید چندین مدل را پرس و جو کنید و توافق آنها را بدون نیاز به اتصال کلیدهای API فردی خود ببینید.
صادقانه بگویم، اجرای یک شورا بیشتر از یک پرس و جوی واحد هزینه دارد—این چندین تماس مدل ایجاد میکند، بنابراین بیشتر محاسبات را استفاده میکند و زمان بیشتری برای بازگشت میگیرد. این معامله به شما اعتبارسنجی متقابل مدلها و نقشهای قابل مشاهده از اختلاف نظر را میخرد. برای سوالات با ریسک بالا، هزینه و تأخیر اضافی معمولاً ارزشش را دارد؛ برای جستجوهای بیاهمیت، یک مدل کافی است.
چندین مدل، یک سوال، توافقی که میتوانید بررسی کنید—بدون نیاز به کلیدهای API.
شروع رایگان