Mixture-of-Agents (MoA) is een gelaagde multi-LLM-architectuur geïntroduceerd in het paper "Mixture-of-Agents Versterkt de Capaciteiten van Grote Taalmodellen" (arXiv:2406.04692). In MoA fungeren verschillende modellen als aanbieders in één laag; hun reacties worden samengevoegd en doorgegeven aan aggregator-modellen in de volgende laag, die een verfijnd antwoord synthetiseren. Extra lagen herhalen de verfijning. Het paper toont verbeteringen aan op voorkeurstijl benchmarks zoals AlpacaEval 2.0, MT-Bench en FLASK — maatstaven voor de kwaliteit van de reactie zoals beoordeeld door een evaluator, geen garantie voor feitelijke nauwkeurigheid. MoA vermenigvuldigt ook de tokenkosten en voegt latentie toe omdat het veel modeloproepen over lagen uitvoert, en aggregatie kan echte onenigheid verdoezelen. Argumentree.AI is gerelateerd maar distinct: in plaats van te aggregateren tot één gesynthetiseerd antwoord, behoudt het de individuele argumenten van elk model en laat elk beschikbaar model de argumenten van elk ander model beoordelen, waardoor consensus en dissent naar voren komen in plaats van ze te verbergen.
Mixture-of-Agents (MoA) beschouwt meerdere LLM's als samenwerkende agenten — aanbieders genereren kandidaat-antwoorden, aggregators synthetiseren ze tot één verfijnd antwoord. Het is een echte techniek met echte afwegingen, geen magische nauwkeurigheidsschakelaar.
Mixture-of-Agents laag meerdere LLM's: aanbieder-modellen stellen antwoorden op, aggregator-modellen combineren ze. Het arXiv:2406.04692 paper toont verbeteringen aan op voorkeur benchmarks (AlpacaEval, MT-Bench) — kwaliteit van de reactie, geen bewezen feitelijke nauwkeurigheid — en het kost meer tokens en latentie dan één model.
Mixture-of-Agents werd geïntroduceerd in het paper van 2024 "Mixture-of-Agents Versterkt de Capaciteiten van Grote Taalmodellen" (arXiv:2406.04692). De kernobservatie is samenwerkingsvermogen: LLM's hebben de neiging om betere reacties te produceren wanneer ze de outputs van andere modellen kunnen zien en daarop kunnen voortbouwen — zelfs modellen die individueel zwakker zijn. MoA zet die observatie om in een architectuur.
MoA is georganiseerd in lagen. Elke laag bevat verschillende LLM "agenten". De modellen van een laag genereren elk een reactie, die reacties worden samengevoegd en doorgegeven aan de volgende laag, waarvan de modellen fungeren als aggregators die verfijnen en synthetiseren. Het stapelen van lagen herhaalt de verfijning.
Verschillende modellen beantwoorden de prompt onafhankelijk in laag 1.
Alle laag-1-uitvoer wordt verzameld als referentiemateriaal voor de volgende laag.
Laag-2-modellen lezen de kandidaten en produceren een verfijnd, samengevoegd antwoord.
Aanvullende lagen blijven verfijnen; een laatste aggregator geeft het antwoord.
Vraag "Moet onze API 200 of 202 retourneren voor een geaccepteerde asynchrone taak?" Drie aanbieder-modellen stellen elk een antwoord op dat de REST-conventies citeert. Een aggregator leest alle drie, merkt op dat twee 202 Accepted met een status-URL bevoordelen en één 200 bevoordeelt, en synthetiseert een enkele aanbeveling die de sterkste redenering van elk omvat. Het samengevoegde antwoord leest goed — maar als alle drie dezelfde misvatting deelden, zou de aggregator het met vertrouwen herhalen.
Het paper rapporteert sterke resultaten op voorkeurstijl benchmarks — AlpacaEval 2.0, MT-Bench en FLASK — waar een beoordelaar (vaak een LLM of mens) beoordeelt welke reactie nuttiger of van hogere kwaliteit is. Dat is een belangrijke onderscheid voor ontwikkelaars:
Drie multi-model patronen. Als ontwikkelaar, kies op basis van wat je moet leveren: één gepolijst antwoord, of zichtbare cross-model redenering.
| Patroon | Wat het optimaliseert | Wat je krijgt |
|---|---|---|
| Mengsel van Agents | Eén verfijnd gemengd antwoord | Aggregators voegen de uitvoer van de voorstelgevers samen; individuele standpunten verdwijnen in de synthese |
| LLM raad | Transparante bijdrage per model | Het antwoord van elk model blijft zichtbaar; modellen evalueren elkaar vaak |
| Multi-LLM consensus | Overeenstemming + onenigheid signaal | Kwantificeert waar modellen het eens zijn (zekerheid) en waar ze verschillen (de betwiste vraag) |
Vuistregel: kies voor MoA wanneer je het beste enkele antwoord wilt en de token/latentie kosten kunt betalen; kies voor een raad of consensusbeoordeling wanneer de onenigheid zelf het product is.
Argumentree.AI deelt de premisse van MoA — meerdere modellen zijn beter dan één — maar houdt de individuele outputs zichtbaar in plaats van ze samen te voegen.
Elk model antwoordt onafhankelijk — geen voorstelgever/aggregator die in één stem samensmelt
Individuele pro/con-argumenten blijven toerekenbaar aan het model dat ze heeft gemaakt
Elk beschikbaar model beoordeelt de argumenten van elk ander model
Je ziet overeenstemming als zekerheid en onenigheid als de echte vraag
Mengsel van Agents (MoA) is een gelaagde architectuur waarin verschillende grote taalmodellen als voorstelgevers in één laag optreden, en hun uitvoer wordt doorgegeven aan aggregator-modellen in de volgende laag die een verfijnd antwoord synthetiseren. Geïntroduceerd in het paper 'Mengsel van Agents Versterkt de Capaciteiten van Grote Taalmodellen' (arXiv:2406.04692), behandelt het meerdere LLM's als samenwerkende agenten in plaats van te vertrouwen op één enkel model.
Het originele MoA-paper rapporteert winsten op voorkeurstijl benchmarks zoals AlpacaEval 2.0, MT-Bench en FLASK, waar een beoordelaar de kwaliteit van het antwoord beoordeelt. Dit zijn voorkeur- en nuttigheidsmetingen, geen garantie voor feitelijke nauwkeurigheid. MoA kan een meer gepolijst, beter gestructureerd antwoord produceren terwijl het nog steeds een gedeelde feitelijke fout herhaalt, dus het moet niet worden behandeld als een waarheidsgarantie.
MoA draait veel modellen over meerdere lagen, waardoor het tokenkosten vermenigvuldigt en latentie toevoegt in vergelijking met een enkele modeloproep. Aggregatorlagen kunnen ook oprechte onenigheid tussen voorstelgevers verdoezelen, waardoor minderheidsstandpunten verborgen blijven die het waard waren om te zien. Het is een echte techniek met een echte kosten/latentie afweging, geen gratis upgrade.
MoA is een synthese-architectuur: voorstelmodellen voeden aggregators die alles samenvoegen tot één verfijnd antwoord. Een LLM-raad houdt de bijdrage van elk model zichtbaar en heeft vaak modellen die elkaar evalueren of beoordelen, zodat je kunt zien waar ze het niet eens zijn. MoA optimaliseert voor één sterke gemengde output; een raad optimaliseert voor transparantie van de individuele perspectieven.
Niet precies. Argumentree.AI deelt de premisse van MoA dat meerdere modellen beter zijn dan één, maar in plaats van samen te voegen tot één gesynthetiseerd antwoord, behoudt het de individuele argumenten van elk model en laat het elk beschikbaar model de argumenten van elk ander model beoordelen. Het doel is om consensus en onenigheid transparant naar voren te brengen, in plaats van de individuele uitvoer achter één samengevoegd antwoord te verbergen.
MoA mengt modellen tot één antwoord. Argumentree.AI houdt de argumenten van elk model zichtbaar en peer-beoordeeld.
Begin Gratis