Mixture-of-Agents (MoA) adalah seni bina multi-LLM berlapis yang diperkenalkan dalam kertas "Mixture-of-Agents Enhances Large Language Model Capabilities" (arXiv:2406.04692). Dalam MoA, beberapa model bertindak sebagai pencadang dalam satu lapisan; respons mereka digabungkan dan dihantar kepada model pengumpul dalam lapisan seterusnya, yang menyintesis jawapan yang diperhalusi. Lapisan tambahan mengulangi proses penghalusan. Kertas tersebut menunjukkan peningkatan pada penanda aras gaya pilihan seperti AlpacaEval 2.0, MT-Bench, dan FLASK — ukuran kualiti respons yang dinilai oleh penilai, bukan jaminan ketepatan fakta. MoA juga menggandakan kos token dan menambah latensi kerana ia menjalankan banyak panggilan model merentasi lapisan, dan pengumpulan boleh meratakan perselisihan yang sebenar. Argumentree.AI berkaitan tetapi berbeza: daripada mengumpul menjadi satu jawapan yang disintesis, ia mengekalkan hujah individu setiap model dan membenarkan setiap model yang tersedia menilai hujah model lain, menonjolkan konsensus dan perbezaan daripada menyembunyikannya.
Mixture-of-Agents (MoA) menganggap pelbagai LLM sebagai agen yang bekerjasama — pencadang menjana respons calon, pengumpul menyintesisnya menjadi satu jawapan yang diperhalusi. Ia adalah teknik sebenar dengan pertukaran sebenar, bukan suis ketepatan ajaib.
Mixture-of-Agents menggabungkan pelbagai LLM: model pencadang merangka jawapan, model pengumpul menggabungkannya. Kertas arXiv:2406.04692 menunjukkan peningkatan pada penanda aras pilihan (AlpacaEval, MT-Bench) — kualiti respons, bukan ketepatan fakta yang terbukti — dan ia memerlukan lebih banyak token dan latensi berbanding satu model.
Mixture-of-Agents diperkenalkan dalam kertas 2024 "Mixture-of-Agents Enhances Large Language Model Capabilities" (arXiv:2406.04692). Pemerhatian utama adalah kerjasama: LLM cenderung menghasilkan respons yang lebih baik apabila mereka dapat melihat dan membina berdasarkan output model lain — walaupun model yang secara individu lebih lemah. MoA mengubah pemerhatian itu menjadi seni bina.
MoA diatur dalam lapisan. Setiap lapisan mengandungi beberapa "agen" LLM. Model dalam satu lapisan masing-masing menghasilkan respons, respons tersebut digabungkan dan diserahkan kepada lapisan seterusnya, di mana model-modelnya bertindak sebagai pengumpul yang memperhalusi dan menyintesis. Menumpuk lapisan mengulangi proses penghalusan.
Beberapa model masing-masing menjawab arahan secara bebas dalam lapisan 1.
Semua output lapisan-1 dikumpulkan sebagai bahan rujukan untuk lapisan seterusnya.
Model lapisan-2 membaca calon dan menghasilkan respons yang diperhalusi dan digabungkan.
Lapisan tambahan terus memperhalusi; pengumpul akhir mengeluarkan jawapan.
Tanya "Adakah API kami perlu mengembalikan 200 atau 202 untuk pekerjaan asinkron yang diterima?" Tiga model pencadang masing-masing merangka jawapan yang memetik konvensyen REST. Seorang pengumpul membaca ketiga-tiganya, menyedari dua menyokong 202 Diterima dengan URL status dan satu menyokong 200, dan menyintesis satu cadangan tunggal yang menggabungkan alasan terkuat dari setiap model. Jawapan yang digabungkan dibaca dengan baik — tetapi jika ketiga-tiganya berkongsi salah faham yang sama, pengumpul akan dengan yakin mengulanginya.
Kertas tersebut melaporkan hasil yang kuat pada penanda aras gaya pilihan — AlpacaEval 2.0, MT-Bench, dan FLASK — di mana seorang hakim (selalunya LLM atau manusia) menilai respons yang lebih membantu atau berkualiti tinggi. Itu adalah perbezaan penting bagi pembangun:
Tiga corak multi-model. Sebagai seorang pembangun, pilih berdasarkan apa yang anda perlu hantar: satu jawapan yang dipoles, atau alasan merentasi model yang jelas.
| Corak | Apa yang dioptimumkan | Apa yang anda dapat |
|---|---|---|
| Campuran-Agen | Satu jawapan campuran yang diperhalusi | Pengumpul menggabungkan output pencadang; pandangan individu hilang dalam sintesis |
| Majlis LLM | Sumbangan setiap model yang telus | Jawapan setiap model tetap terlihat; model sering menilai satu sama lain |
| Konsensus Multi-LLM | Isyarat persetujuan + perselisihan | Mengkuantifikasi di mana model bersetuju (keyakinan) dan berbeza (soalan yang dipertikaikan) |
Peraturan umum: pilih MoA apabila anda mahukan jawapan terbaik tunggal dan boleh membayar kos token/latensi; pilih majlis atau penilaian konsensus apabila perselisihan itu sendiri adalah produk.
Argumentree.AI berkongsi premis MoA — pelbagai model mengatasi satu — tetapi mengekalkan output individu yang jelas daripada menggabungkannya.
Setiap model menjawab secara bebas — tiada pencadang/pengumpul yang bercampur menjadi satu suara
Hujah pro/con individu tetap boleh dikaitkan dengan model yang membuatnya
Setiap model yang tersedia menilai hujah setiap model lain
Anda melihat persetujuan sebagai keyakinan dan perselisihan sebagai soalan sebenar
Campuran-Agen (MoA) adalah seni bina berlapis di mana beberapa model bahasa besar bertindak sebagai pencadang dalam satu lapisan, dan output mereka dihantar kepada model pengumpul dalam lapisan seterusnya yang menyintesis respons yang diperhalusi. Diperkenalkan dalam kertas 'Campuran-Agen Meningkatkan Keupayaan Model Bahasa Besar' (arXiv:2406.04692), ia menganggap pelbagai LLM sebagai agen yang bekerjasama dan bukannya bergantung pada satu model tunggal.
Kertas MoA asal melaporkan peningkatan pada penanda aras gaya keutamaan seperti AlpacaEval 2.0, MT-Bench dan FLASK, di mana seorang hakim menilai kualiti respons. Itu adalah ukuran keutamaan dan kegunaan, bukan jaminan ketepatan fakta. MoA boleh menghasilkan jawapan yang lebih halus dan lebih teratur sambil masih mengulangi kesilapan fakta yang dikongsi, jadi ia tidak boleh dianggap sebagai jaminan kebenaran.
MoA menjalankan banyak model merentasi pelbagai lapisan, jadi ia menggandakan kos token dan menambah latensi berbanding dengan panggilan model tunggal. Lapisan pengumpul juga boleh meratakan perselisihan yang tulen antara pencadang, menyembunyikan pandangan minoriti yang sebenarnya berbaloi untuk dilihat. Ia adalah teknik yang sebenar dengan pertukaran kos/latensi yang sebenar, bukan peningkatan percuma.
MoA adalah seni bina sintesis: model pencadang memberi maklumat kepada pengumpul yang menggabungkan semuanya menjadi satu jawapan yang diperhalusi. Majlis LLM mengekalkan sumbangan setiap model yang terlihat dan sering mempunyai model yang menilai atau memberi penilaian antara satu sama lain, jadi anda boleh melihat di mana mereka tidak bersetuju. MoA mengoptimumkan untuk satu output campuran yang kuat; majlis mengoptimumkan untuk ketelusan perspektif individu.
Tidak tepat. Argumentree.AI berkongsi premis MoA bahawa pelbagai model mengatasi satu, tetapi sebaliknya daripada menggabungkan menjadi satu jawapan yang disintesis, ia memelihara setiap hujah individu model dan mempunyai setiap model yang tersedia menilai hujah setiap model lain. Matlamatnya adalah untuk menonjolkan konsensus dan perselisihan secara telus, bukannya menyembunyikan output individu di sebalik satu respons yang digabungkan.
MoA menggabungkan model menjadi satu jawapan. Argumentree.AI mengekalkan hujah setiap model yang jelas dan dinilai oleh rakan.
Mula Percuma