Apa Itu Mixture-of-Agents?

Mixture-of-Agents (MoA) adalah seni bina multi-LLM berlapis yang diperkenalkan dalam kertas "Mixture-of-Agents Enhances Large Language Model Capabilities" (arXiv:2406.04692). Dalam MoA, beberapa model bertindak sebagai pencadang dalam satu lapisan; respons mereka digabungkan dan dihantar kepada model pengumpul dalam lapisan seterusnya, yang menyintesis jawapan yang diperhalusi. Lapisan tambahan mengulangi proses penghalusan. Kertas tersebut menunjukkan peningkatan pada penanda aras gaya pilihan seperti AlpacaEval 2.0, MT-Bench, dan FLASK — ukuran kualiti respons yang dinilai oleh penilai, bukan jaminan ketepatan fakta. MoA juga menggandakan kos token dan menambah latensi kerana ia menjalankan banyak panggilan model merentasi lapisan, dan pengumpulan boleh meratakan perselisihan yang sebenar. Argumentree.AI berkaitan tetapi berbeza: daripada mengumpul menjadi satu jawapan yang disintesis, ia mengekalkan hujah individu setiap model dan membenarkan setiap model yang tersedia menilai hujah model lain, menonjolkan konsensus dan perbezaan daripada menyembunyikannya.

Kembali ke Kecerdasan AI KolektifSeni Bina Multi-LLM

Apa Itu
Mixture-of-Agents?

Mixture-of-Agents (MoA) menganggap pelbagai LLM sebagai agen yang bekerjasama — pencadang menjana respons calon, pengumpul menyintesisnya menjadi satu jawapan yang diperhalusi. Ia adalah teknik sebenar dengan pertukaran sebenar, bukan suis ketepatan ajaib.

TL;DR

Mixture-of-Agents menggabungkan pelbagai LLM: model pencadang merangka jawapan, model pengumpul menggabungkannya. Kertas arXiv:2406.04692 menunjukkan peningkatan pada penanda aras pilihan (AlpacaEval, MT-Bench) — kualiti respons, bukan ketepatan fakta yang terbukti — dan ia memerlukan lebih banyak token dan latensi berbanding satu model.

Dari Mana MoA Datang

Mixture-of-Agents diperkenalkan dalam kertas 2024 "Mixture-of-Agents Enhances Large Language Model Capabilities" (arXiv:2406.04692). Pemerhatian utama adalah kerjasama: LLM cenderung menghasilkan respons yang lebih baik apabila mereka dapat melihat dan membina berdasarkan output model lain — walaupun model yang secara individu lebih lemah. MoA mengubah pemerhatian itu menjadi seni bina.

Seni Bina Berlapis

MoA diatur dalam lapisan. Setiap lapisan mengandungi beberapa "agen" LLM. Model dalam satu lapisan masing-masing menghasilkan respons, respons tersebut digabungkan dan diserahkan kepada lapisan seterusnya, di mana model-modelnya bertindak sebagai pengumpul yang memperhalusi dan menyintesis. Menumpuk lapisan mengulangi proses penghalusan.

1

Pencadang menjana calon

Beberapa model masing-masing menjawab arahan secara bebas dalam lapisan 1.

2

Respons digabungkan

Semua output lapisan-1 dikumpulkan sebagai bahan rujukan untuk lapisan seterusnya.

3

Pengumpul menyintesis

Model lapisan-2 membaca calon dan menghasilkan respons yang diperhalusi dan digabungkan.

4

Secara pilihan, ulang mengikut lapisan

Lapisan tambahan terus memperhalusi; pengumpul akhir mengeluarkan jawapan.

Contoh ilustratif — bukan output model sebenar

Tanya "Adakah API kami perlu mengembalikan 200 atau 202 untuk pekerjaan asinkron yang diterima?" Tiga model pencadang masing-masing merangka jawapan yang memetik konvensyen REST. Seorang pengumpul membaca ketiga-tiganya, menyedari dua menyokong 202 Diterima dengan URL status dan satu menyokong 200, dan menyintesis satu cadangan tunggal yang menggabungkan alasan terkuat dari setiap model. Jawapan yang digabungkan dibaca dengan baik — tetapi jika ketiga-tiganya berkongsi salah faham yang sama, pengumpul akan dengan yakin mengulanginya.

Apa yang Ditunjukkan oleh Penanda Aras Sebenarnya

Kertas tersebut melaporkan hasil yang kuat pada penanda aras gaya pilihan — AlpacaEval 2.0, MT-Bench, dan FLASK — di mana seorang hakim (selalunya LLM atau manusia) menilai respons yang lebih membantu atau berkualiti tinggi. Itu adalah perbezaan penting bagi pembangun:

Baca tuntutan dengan jujur

  • • Keutamaan/kadar kemenangan mengukur kualiti yang dirasakan, bukan kebenaran yang disahkan
  • • Jawapan yang lebih lancar dan lebih teratur masih boleh salah dari segi fakta
  • • Jika pencadang berkongsi titik buta, pengumpulan menguatkan dan bukannya membetulkannya
  • • Setiap lapisan menambah panggilan model: lebih banyak token, kos lebih tinggi, lebih banyak latensi
  • • Pengumpulan boleh meratakan perselisihan yang tulen menjadi keyakinan palsu

MoA vs Majlis LLM vs Konsensus Multi-LLM

Tiga corak multi-model. Sebagai seorang pembangun, pilih berdasarkan apa yang anda perlu hantar: satu jawapan yang dipoles, atau alasan merentasi model yang jelas.

CorakApa yang dioptimumkanApa yang anda dapat
Campuran-AgenSatu jawapan campuran yang diperhalusiPengumpul menggabungkan output pencadang; pandangan individu hilang dalam sintesis
Majlis LLMSumbangan setiap model yang telusJawapan setiap model tetap terlihat; model sering menilai satu sama lain
Konsensus Multi-LLMIsyarat persetujuan + perselisihanMengkuantifikasi di mana model bersetuju (keyakinan) dan berbeza (soalan yang dipertikaikan)

Peraturan umum: pilih MoA apabila anda mahukan jawapan terbaik tunggal dan boleh membayar kos token/latensi; pilih majlis atau penilaian konsensus apabila perselisihan itu sendiri adalah produk.

Di Mana Argumentree.AI Sesuai

Argumentree.AI berkongsi premis MoA — pelbagai model mengatasi satu — tetapi mengekalkan output individu yang jelas daripada menggabungkannya.

Tanya Semua Model Tersedia

Setiap model menjawab secara bebas — tiada pencadang/pengumpul yang bercampur menjadi satu suara

Pelihara Setiap Hujah

Hujah pro/con individu tetap boleh dikaitkan dengan model yang membuatnya

Penilaian Rakan Silang-Model

Setiap model yang tersedia menilai hujah setiap model lain

Permukaan Konsensus dan Penentangan

Anda melihat persetujuan sebagai keyakinan dan perselisihan sebagai soalan sebenar

Soalan Lazim

Apakah Campuran-Agen (MoA)?

Campuran-Agen (MoA) adalah seni bina berlapis di mana beberapa model bahasa besar bertindak sebagai pencadang dalam satu lapisan, dan output mereka dihantar kepada model pengumpul dalam lapisan seterusnya yang menyintesis respons yang diperhalusi. Diperkenalkan dalam kertas 'Campuran-Agen Meningkatkan Keupayaan Model Bahasa Besar' (arXiv:2406.04692), ia menganggap pelbagai LLM sebagai agen yang bekerjasama dan bukannya bergantung pada satu model tunggal.

Adakah Campuran-Agen menjadikan jawapan lebih tepat?

Kertas MoA asal melaporkan peningkatan pada penanda aras gaya keutamaan seperti AlpacaEval 2.0, MT-Bench dan FLASK, di mana seorang hakim menilai kualiti respons. Itu adalah ukuran keutamaan dan kegunaan, bukan jaminan ketepatan fakta. MoA boleh menghasilkan jawapan yang lebih halus dan lebih teratur sambil masih mengulangi kesilapan fakta yang dikongsi, jadi ia tidak boleh dianggap sebagai jaminan kebenaran.

Apakah kelemahan Campuran-Agen?

MoA menjalankan banyak model merentasi pelbagai lapisan, jadi ia menggandakan kos token dan menambah latensi berbanding dengan panggilan model tunggal. Lapisan pengumpul juga boleh meratakan perselisihan yang tulen antara pencadang, menyembunyikan pandangan minoriti yang sebenarnya berbaloi untuk dilihat. Ia adalah teknik yang sebenar dengan pertukaran kos/latensi yang sebenar, bukan peningkatan percuma.

Bagaimana MoA berbeza daripada majlis LLM?

MoA adalah seni bina sintesis: model pencadang memberi maklumat kepada pengumpul yang menggabungkan semuanya menjadi satu jawapan yang diperhalusi. Majlis LLM mengekalkan sumbangan setiap model yang terlihat dan sering mempunyai model yang menilai atau memberi penilaian antara satu sama lain, jadi anda boleh melihat di mana mereka tidak bersetuju. MoA mengoptimumkan untuk satu output campuran yang kuat; majlis mengoptimumkan untuk ketelusan perspektif individu.

Adakah Argumentree.AI sistem Campuran-Agen?

Tidak tepat. Argumentree.AI berkongsi premis MoA bahawa pelbagai model mengatasi satu, tetapi sebaliknya daripada menggabungkan menjadi satu jawapan yang disintesis, ia memelihara setiap hujah individu model dan mempunyai setiap model yang tersedia menilai hujah setiap model lain. Matlamatnya adalah untuk menonjolkan konsensus dan perselisihan secara telus, bukannya menyembunyikan output individu di sebalik satu respons yang digabungkan.

Lihat pelbagai model beralasan — tanpa menggabungkannya

MoA menggabungkan model menjadi satu jawapan. Argumentree.AI mengekalkan hujah setiap model yang jelas dan dinilai oleh rakan.

Mula Percuma