مخلوط عوامل (MoA) یک معماری چند لایه LLM است که در مقاله "مخلوط عوامل قابلیتهای مدل زبان بزرگ را افزایش میدهد" (arXiv:2406.04692) معرفی شده است. در MoA، چندین مدل به عنوان پیشنهاددهنده در یک لایه عمل میکنند؛ پاسخهای آنها به هم متصل شده و به مدلهای تجمیعکننده در لایه بعدی منتقل میشوند که یک پاسخ تصفیه شده را سنتز میکنند. لایههای اضافی تصفیه را تکرار میکنند. این مقاله افزایشهایی را در معیارهای سبک ترجیح مانند AlpacaEval 2.0، MT-Bench و FLASK نشان میدهد — معیارهای کیفیت پاسخ که توسط یک ارزیاب قضاوت میشود، نه تضمینی برای دقت واقعی. MoA همچنین هزینه توکن را چند برابر کرده و تاخیر را اضافه میکند زیرا بسیاری از تماسهای مدل را در لایهها اجرا میکند و تجمیع میتواند اختلاف واقعی را هموار کند. Argumentree.AI مرتبط اما متمایز است: به جای تجمیع به یک پاسخ سنتز شده، استدلالهای فردی هر مدل را حفظ میکند و از هر مدل موجود میخواهد که استدلالهای هر مدل دیگر را ارزیابی کند و توافق و اختلاف را به جای پنهان کردن آنها، نمایان کند.
مخلوط عوامل (MoA) چندین LLM را به عنوان عوامل همکار در نظر میگیرد — پیشنهاددهندهها پاسخهای کاندیدا را تولید میکنند، تجمیعکنندهها آنها را به یک پاسخ تصفیه شده تبدیل میکنند. این یک تکنیک واقعی با تعادلهای واقعی است، نه یک سوئیچ جادویی دقت.
مخلوط عوامل چندین LLM را لایهبندی میکند: مدلهای پیشنهاددهنده پاسخها را پیشنویس میکنند، مدلهای تجمیعکننده آنها را ادغام میکنند. مقاله arXiv:2406.04692 افزایشهایی را در معیارهای ترجیح (AlpacaEval، MT-Bench) نشان میدهد — کیفیت پاسخ، نه دقت واقعی اثبات شده — و هزینه بیشتری از توکنها و تاخیر نسبت به یک مدل دارد.
مخلوط عوامل در مقاله 2024 "مخلوط عوامل قابلیتهای مدل زبان بزرگ را افزایش میدهد" (arXiv:2406.04692) معرفی شد. مشاهده اصلی همکاری است: LLMها تمایل دارند پاسخهای بهتری تولید کنند زمانی که میتوانند خروجیهای مدلهای دیگر را ببینند و بر اساس آنها بسازند — حتی مدلهایی که به طور فردی ضعیفتر هستند. MoA این مشاهده را به یک معماری تبدیل میکند.
MoA به صورت لایهای سازماندهی شده است. هر لایه شامل چندین "عامل" LLM است. مدلهای یک لایه هر کدام یک پاسخ تولید میکنند، آن پاسخها به هم متصل شده و به لایه بعدی داده میشوند، که مدلهای آن به عنوان تجمیعکنندهها عمل میکنند که تصفیه و سنتز میکنند. انباشتن لایهها تصفیه را تکرار میکند.
چندین مدل هر کدام به طور مستقل به درخواست پاسخ میدهند در لایه ۱.
تمام خروجیهای لایه ۱ به عنوان مواد مرجع برای لایه بعدی جمعآوری میشوند.
مدلهای لایه ۲ کاندیداها را میخوانند و یک پاسخ تصفیهشده و ترکیبشده تولید میکنند.
لایههای اضافی به تصفیه ادامه میدهند؛ یک جمعآورنده نهایی پاسخ را ارائه میدهد.
بپرسید "آیا API ما باید 200 یا 202 برای یک کار غیرهمزمان پذیرفته شده برگرداند؟" سه مدل پیشنهاددهنده هر کدام یک پاسخ پیشنویس میکنند که به کنوانسیونهای REST اشاره میکند. یک تجمیعکننده همه سه را میخواند، متوجه میشود که دو تا 202 Accepted با یک URL وضعیت را ترجیح میدهند و یکی 200 را ترجیح میدهد و یک توصیه واحد را سنتز میکند که قویترین استدلال را از هر کدام در بر میگیرد. پاسخ ترکیبی خوب به نظر میرسد — اما اگر هر سه همان تصور غلط را به اشتراک بگذارند، تجمیعکننده با اطمینان آن را تکرار میکند.
این مقاله نتایج قوی را در معیارهای سبک ترجیح — AlpacaEval 2.0، MT-Bench و FLASK — گزارش میدهد که در آن یک قاضی (اغلب یک LLM یا انسان) امتیاز میدهد که کدام پاسخ مفیدتر یا با کیفیتتر است. این یک تمایز مهم برای توسعهدهندگان است:
سه الگوی چند مدل. به عنوان یک توسعهدهنده، بر اساس آنچه نیاز دارید انتخاب کنید: یک پاسخ صیقلی، یا استدلالهای قابل مشاهده بین مدلها.
| الگو | آنچه بهینهسازی میکند | آنچه دریافت میکنید |
|---|---|---|
| ترکیب عوامل | یک پاسخ ترکیبی تصفیهشده | جمعآورندگان خروجیهای پیشنهاددهنده را ادغام میکنند؛ دیدگاههای فردی در ترکیب ناپدید میشوند |
| شورای LLM | مشارکت شفاف به ازای هر مدل | پاسخ هر مدل قابل مشاهده باقی میماند؛ مدلها اغلب یکدیگر را ارزیابی میکنند |
| اجماع چند LLM | سیگنال توافق + اختلاف | میزان توافق مدلها (اعتماد) و انحراف (سؤال مورد مناقشه) را کمیسازی میکند |
قاعده کلی: به MoA مراجعه کنید زمانی که میخواهید بهترین پاسخ واحد را داشته باشید و میتوانید هزینه توکن/تاخیر را پرداخت کنید؛ به شورای LLM یا امتیازدهی توافق مراجعه کنید زمانی که خود اختلاف محصول است.
Argumentree.AI پیشفرض MoA را به اشتراک میگذارد — چندین مدل بهتر از یک مدل هستند — اما خروجیهای فردی را قابل مشاهده نگه میدارد به جای اینکه آنها را ادغام کند.
هر مدل به طور مستقل پاسخ میدهد — هیچ ادغامکننده/پیشنهاددهندهای به یک صدا تبدیل نمیشود
استدلالهای فردی موافق/مخالف به مدل که آنها را ایجاد کرده است نسبت داده میشود
هر مدل موجود، استدلالهای هر مدل دیگر را ارزیابی میکند
شما توافق را به عنوان اعتماد و اختلاف را به عنوان سؤال واقعی میبینید
ترکیب عوامل (MoA) یک معماری لایهای است که در آن چندین مدل زبان بزرگ به عنوان پیشنهاددهندگان در یک لایه عمل میکنند و خروجیهای آنها به مدلهای جمعآورنده در لایه بعدی منتقل میشود که یک پاسخ تصفیهشده تولید میکنند. این مفهوم در مقاله 'ترکیب عوامل قابلیتهای مدل زبان بزرگ را افزایش میدهد' (arXiv:2406.04692) معرفی شده است و چندین LLM را به عنوان عوامل همکار در نظر میگیرد نه اینکه به یک مدل واحد تکیه کند.
مقاله اصلی MoA افزایشهایی را در معیارهای سبک ترجیح مانند AlpacaEval 2.0، MT-Bench و FLASK گزارش میدهد، جایی که یک قاضی کیفیت پاسخ را ارزیابی میکند. اینها معیارهای ترجیح و مفید بودن هستند، نه تضمینی برای دقت واقعی. MoA میتواند یک پاسخ تصفیهشده و بهتر ساختار یافته تولید کند در حالی که هنوز یک خطای واقعی مشترک را تکرار میکند، بنابراین نباید به عنوان یک تضمین حقیقت در نظر گرفته شود.
MoA مدلهای زیادی را در چندین لایه اجرا میکند، بنابراین هزینه توکن را چند برابر میکند و تأخیر را نسبت به یک تماس مدل واحد اضافه میکند. لایههای جمعآورنده همچنین میتوانند اختلاف واقعی بین پیشنهاددهندگان را هموار کنند و دیدگاههای اقلیت که واقعاً ارزش دیدن داشتند را پنهان کنند. این یک تکنیک واقعی با یک هزینه/تأخیر واقعی است، نه یک ارتقاء رایگان.
MoA یک معماری ترکیبی است: مدلهای پیشنهاددهنده به جمعآورندگان تغذیه میکنند که همه چیز را به یک پاسخ تصفیهشده ادغام میکنند. یک شورای LLM مشارکت هر مدل را قابل مشاهده نگه میدارد و اغلب مدلها یکدیگر را ارزیابی یا رتبهبندی میکنند، بنابراین میتوانید ببینید که کجا اختلاف دارند. MoA برای یک خروجی ترکیبی قوی بهینهسازی میکند؛ یک شورا برای شفافیت دیدگاههای فردی بهینهسازی میکند.
دقیقاً نه. Argumentree.AI پیشفرض MoA را به اشتراک میگذارد که چندین مدل بهتر از یک مدل هستند، اما به جای ادغام به یک پاسخ ترکیبی واحد، استدلالهای فردی هر مدل را حفظ میکند و از هر مدل موجود میخواهد که استدلالهای هر مدل دیگر را ارزیابی کند. هدف این است که اجماع و اختلاف را به طور شفاف سطحی کند، نه اینکه خروجیهای فردی را پشت یک پاسخ ادغامشده پنهان کند.
MoA مدلها را به یک پاسخ ترکیبی تبدیل میکند. Argumentree.AI استدلالهای هر مدل را قابل مشاهده و همتا-امتیازدهی نگه میدارد.
شروع رایگان