మిక్చర్-ఆఫ్-ఏజెంట్స్ (MoA) అనేది "మిక్చర్-ఆఫ్-ఏజెంట్స్ ఎన్హాన్స్ లార్జ్ లాంగ్వేజ్ మోడల్ కేపబిలిటీస్" (arXiv:2406.04692) పత్రంలో పరిచయమైన లేయర్డ్ మల్టీ-LLM ఆర్కిటెక్చర్. MoAలో, అనేక మోడల్స్ ఒక లేయర్లో ప్రతిపాదకులుగా పనిచేస్తాయి; వారి ప్రతిస్పందనలు కాంపోజ్ చేయబడతాయి మరియు తదుపరి లేయర్లో సమీకర్త మోడల్స్కు పంపబడతాయి, అవి ఒక శుద్ధమైన సమాధానాన్ని సింథసైజ్ చేస్తాయి. అదనపు లేయర్లు శుద్ధీకరణను పునరావృతం చేస్తాయి. ఈ పత్రం AlpacaEval 2.0, MT-Bench మరియు FLASK వంటి ప్రాధాన్యత-శైలీ బెంచ్మార్క్లపై లాభాలను ప్రదర్శిస్తుంది — ఒక మూల్యాంకనకర్త ద్వారా అంచనా వేయబడిన ప్రతిస్పందన నాణ్యత, వాస్తవ సత్యం యొక్క హామీ కాదు. MoA కూడా టోకెన్ ఖర్చును పెంచుతుంది మరియు విలంబాన్ని జోడిస్తుంది ఎందుకంటే ఇది అనేక మోడల్ కాల్స్ను లేయర్లలో నడుపుతుంది, మరియు సమీకరణ నిజమైన అసహమతను మృదువుగా చేయవచ్చు. Argumentree.AI సంబంధిత కానీ ప్రత్యేకమైనది: ఒక సింథసైజ్డ్ సమాధానంలో సమీకరించడానికి బదులుగా, ఇది ప్రతి మోడల్ యొక్క వ్యక్తిగత వాదనలను కాపాడుతుంది మరియు అందుబాటులో ఉన్న ప్రతి మోడల్ ఇతర మోడల్ యొక్క వాదనలను రేటింగ్ చేస్తుంది, సమ్మతి మరియు విభేదాలను దాచకుండా ప్రదర్శిస్తుంది.
మిక్చర్-ఆఫ్-ఏజెంట్స్ (MoA) అనేక LLMలను సహకార ఏజెంట్లుగా పరిగణిస్తుంది — ప్రతిపాదకులు అభ్యర్థనలను రూపొందిస్తారు, సమీకర్తలు వాటిని ఒక శుద్ధమైన సమాధానంగా సింథసైజ్ చేస్తారు. ఇది నిజమైన వ్యూహం, నిజమైన వ్యాపారాలతో, మాయాజాల ఖచ్చితత్వ స్విచ్ కాదు.
మిక్చర్-ఆఫ్-ఏజెంట్స్ అనేక LLMలను లేయర్ చేస్తుంది: ప్రతిపాదక మోడల్స్ సమాధానాలను రూపొందిస్తాయి, సమీకర్త మోడల్స్ వాటిని విలీనం చేస్తాయి. arXiv:2406.04692 పత్రం ప్రాధాన్యత బెంచ్మార్క్లపై (AlpacaEval, MT-Bench) లాభాలను చూపిస్తుంది — ప్రతిస్పందన నాణ్యత, నిరూపిత వాస్తవ ఖచ్చితత్వం కాదు — మరియు ఇది ఒక మోడల్ కంటే ఎక్కువ టోకెన్లు మరియు విలంబం ఖర్చు చేస్తుంది.
మిక్చర్-ఆఫ్-ఏజెంట్స్ 2024 పత్రంలో "మిక్చర్-ఆఫ్-ఏజెంట్స్ ఎన్హాన్స్ లార్జ్ లాంగ్వేజ్ మోడల్ కేపబిలిటీస్" (arXiv:2406.04692) పరిచయమైంది. ప్రధాన గమనిక సహకారత: LLMలు ఇతర మోడల్స్ యొక్క అవుట్పుట్లను చూడగలిగినప్పుడు మరియు వాటిపై నిర్మించగలిగినప్పుడు మెరుగైన ప్రతిస్పందనలను ఉత్పత్తి చేయడానికి ప్రయత్నిస్తాయి — వ్యక్తిగతంగా బలహీనమైన మోడల్స్ అయినా. MoA ఆ గమనికను ఒక ఆర్కిటెక్చర్గా మార్చుతుంది.
MoA లేయర్లలో ఏర్పాటు చేయబడింది. ప్రతి లేయర్లో అనేక LLM "ఏజెంట్స్" ఉంటాయి. ఒక లేయర్ యొక్క మోడల్స్ ప్రతి ఒక్కటి ఒక ప్రతిస్పందనను ఉత్పత్తి చేస్తాయి, ఆ ప్రతిస్పందనలు కాంపోజ్ చేయబడతాయి మరియు తదుపరి లేయర్కు అందించబడతాయి, ఆ లేయర్ యొక్క మోడల్స్ సమీకర్తలుగా పనిచేస్తాయి, అవి శుద్ధి మరియు సింథసైజ్ చేస్తాయి. లేయర్లను స్టాక్ చేయడం శుద్ధీకరణను పునరావృతం చేస్తుంది.
ఒకటి నుండి అనేక మోడల్స్ ప్రతి ప్రాంప్ట్కు స్వతంత్రంగా సమాధానం ఇస్తాయి.
అన్ని లేయర్-1 అవుట్పుట్లు తదుపరి లేయర్కు సూచన పదార్థంగా సేకరించబడతాయి.
లేయర్-2 మోడల్స్ అభ్యర్థులను చదువుతాయి మరియు ఒక శుద్ధమైన, విలీనం చేసిన సమాధానాన్ని ఉత్పత్తి చేస్తాయి.
అదనపు లేయర్లు శుద్ధీకరించడాన్ని కొనసాగిస్తాయి; ఒక తుది సంకలకుడు సమాధానాన్ని విడుదల చేస్తాడు.
"మా API 200 లేదా 202ని అసింక్ జాబ్ అంగీకరించడానికి తిరిగి ఇవ్వాలా?" అని అడగండి. మూడు ప్రతిపాదక మోడల్స్ REST సంప్రదాయాలను ఉటంకిస్తూ సమాధానాన్ని రూపొందిస్తాయి. ఒక సమీకర్త మూడు మోడల్స్ను చదువుతుంది, రెండు 202 అంగీకరించబడిన స్థితి URLతో అనుకూలంగా ఉన్నాయని గమనిస్తుంది మరియు ఒకటి 200ని అనుకూలంగా ఉంచుతుంది, మరియు ప్రతి ఒక్కరి బలమైన వాదనను కలుపుతూ ఒక సింగిల్ సిఫారసును సింథసైజ్ చేస్తుంది. మిశ్రమ సమాధానం బాగా చదవబడుతుంది — కానీ మూడు మోడల్స్ ఒకే తప్పు భావనను పంచుకుంటే, సమీకర్త దాన్ని నమ్మకంగా పునరావృతం చేస్తుంది.
ఈ పత్రం ప్రాధాన్యత-శైలీ బెంచ్మార్క్లపై — AlpacaEval 2.0, MT-Bench మరియు FLASK — బలమైన ఫలితాలను నివేదిస్తుంది — ఒక న్యాయమూర్తి (అదనంగా LLM లేదా మానవుడు) ఏ ప్రతిస్పందన ఎక్కువగా సహాయకరమైనది లేదా అధిక నాణ్యత ఉన్నదని అంచనా వేస్తుంది. ఇది డెవలపర్లకు ముఖ్యమైన తేడా:
మూడు మల్టీ-మోడల్ నమూనాలు. ఒక డెవలపర్గా, మీరు పంపించాల్సిన అవసరాన్ని బట్టి ఎంచుకోండి: ఒక మెరుగైన సమాధానం లేదా స్పష్టమైన క్రాస్-మోడల్ వాదన.
| నమూనా | ఇది ఏమి ఆప్టిమైజ్ చేస్తుంది | మీకు ఏమి లభిస్తుంది |
|---|---|---|
| ఏజెంట్ల మిశ్రమం | ఒక శుద్ధమైన కలయిక సమాధానం | సంకలకులు ప్రతిపాదకుల అవుట్పుట్లను విలీనం చేస్తాయి; వ్యక్తిగత దృక్పథాలు సంశ్లేషణలో కరిగిపోతాయి |
| ఎల్ఎల్ఎం కౌన్సిల్ | ప్రతి మోడల్ యొక్క పారదర్శక కృషి | ప్రతి మోడల్ యొక్క సమాధానం కనిపిస్తుంది; మోడల్స్ తరచుగా ఒకదానిని మరొకటి అంచనా వేస్తాయి |
| మల్టీ-ఎల్ఎల్ఎం సంతతి | అంగీకారం + విభేద సంకేతం | మోడల్స్ అంగీకరించిన (నమ్మకం) మరియు విభజించిన (సమస్య) స్థలాలను కొలుస్తుంది |
ఒక నియమం: మీరు ఒకే ఉత్తమ సమాధానాన్ని కోరుకుంటే మరియు టోకెన్/విలంబం ఖర్చును చెల్లించగలిగితే MoAని ఎంచుకోండి; విభేదం స్వయంగా ఉత్పత్తి అయినప్పుడు కౌన్సిల్ లేదా సమ్మతి స్కోరింగ్ను ఎంచుకోండి.
Argumentree.AI MoA యొక్క ప్రాథమిక భావనను పంచుకుంటుంది — అనేక మోడల్స్ ఒకదానిని మించిస్తాయి — కానీ వాటిని విలీనం చేయకుండా వ్యక్తిగత అవుట్పుట్లను కనిపించదీయడం కొనసాగిస్తుంది.
ప్రతి మోడల్ స్వతంత్రంగా సమాధానం ఇస్తుంది — ప్రతిపాదకుడు/సంకలకుడు ఒక గొంతులో కూలదు
వ్యక్తిగత ప్రో/కాన్ వాదనలు వాటిని చేసిన మోడల్కు సంబంధించినవి
ప్రతి అందుబాటులో ఉన్న మోడల్ ప్రతి ఇతర మోడల్ యొక్క వాదనలను రేటింగ్ చేస్తుంది
మీరు అంగీకారాన్ని నమ్మకంగా మరియు విభేదాన్ని నిజమైన ప్రశ్నగా చూస్తారు
ఏజెంట్ల మిశ్రమం (MoA) అనేది అనేక పెద్ద భాషా మోడల్స్ ఒక లేయర్లో ప్రతిపాదకులుగా పనిచేసే మరియు వారి అవుట్పుట్లు తదుపరి లేయర్లో సంకలకరుల మోడల్స్కు పంపబడే ఒక లేయర్డ్ ఆర్కిటెక్చర్. 'ఏజెంట్ల మిశ్రమం పెద్ద భాషా మోడల్ సామర్థ్యాలను పెంచుతుంది' (arXiv:2406.04692) అనే పత్రంలో పరిచయం చేయబడింది, ఇది ఒకే మోడల్పై ఆధారపడకుండా అనేక LLMలను సహకరించే ఏజెంట్లుగా పరిగణిస్తుంది.
మూల MoA పత్రం AlpacaEval 2.0, MT-Bench మరియు FLASK వంటి ప్రాధాన్యత-శ్రేణి బెంచ్మార్క్లపై లాభాలను నివేదిస్తుంది, అక్కడ ఒక న్యాయమూర్తి సమాధాన నాణ్యతను స్కోర్ చేస్తాడు. ఇవి ప్రాధాన్యత మరియు సహాయాన్ని కొలిచే ప్రమాణాలు, వాస్తవ ఖచ్చితత్వానికి హామీ కాదు. MoA మరింత మెరుగైన, బాగా నిర్మితమైన సమాధానాన్ని ఉత్పత్తి చేయవచ్చు, కానీ ఇంకా పంచుకున్న వాస్తవ తప్పును పునరావృతం చేస్తుంది, కాబట్టి దీనిని సత్య హామీగా పరిగణించకూడదు.
MoA అనేక మోడల్స్ను అనేక లేయర్లలో నడుపుతుంది, కాబట్టి ఇది టోకెన్ ఖర్చును పెంచుతుంది మరియు ఒకే మోడల్ కాల్తో పోలిస్తే ఆలస్యం జోడిస్తుంది. సంకలకర లేయర్లు కూడా ప్రతిపాదకుల మధ్య నిజమైన విభేదాన్ని మృదువుగా చేస్తాయి, నిజంగా చూడవలసిన మైనారిటీ దృక్పథాలను దాచడం. ఇది నిజమైన ఖర్చు/ఆలస్యం వ్యాపారంతో కూడిన నిజమైన సాంకేతికత, ఉచిత అప్గ్రేడ్ కాదు.
MoA అనేది ఒక సంకలనం ఆర్కిటెక్చర్: ప్రతిపాదక మోడల్స్ అన్ని విషయాలను ఒక శుద్ధమైన సమాధానంగా విలీనం చేసే సంకలకరులకు ఆహారం ఇస్తాయి. ఎల్ఎల్ఎం కౌన్సిల్ ప్రతి మోడల్ యొక్క కృషిని కనిపించేలా ఉంచుతుంది మరియు తరచుగా మోడల్స్ ఒకదానిని మరొకటి అంచనా వేయించుకుంటాయి, కాబట్టి మీరు వారు ఎక్కడ విభజిస్తారో చూడవచ్చు. MoA ఒక బలమైన కలయిక అవుట్పుట్ కోసం ఆప్టిమైజ్ చేస్తుంది; కౌన్సిల్ వ్యక్తిగత దృక్పథాల పారదర్శకత కోసం ఆప్టిమైజ్ చేస్తుంది.
సరిగ్గా కాదు. Argumentree.AI అనేక మోడల్స్ ఒకదానిని మించిస్తాయని MoA యొక్క భావనను పంచుకుంటుంది, కానీ ఒకే సంకలిత సమాధానంలో విలీనం చేయడం కంటే ప్రతి మోడల్ యొక్క వ్యక్తిగత వాదనలను కాపాడుతుంది మరియు అందుబాటులో ఉన్న ప్రతి మోడల్ ప్రతి ఇతర మోడల్ యొక్క వాదనలను రేటింగ్ చేస్తుంది. లక్ష్యం సంతతి మరియు విభేదాన్ని పారదర్శకంగా ఉపరితలానికి తీసుకురావడం, ఒక విలీనం చేసిన సమాధానం వెనుక వ్యక్తిగత అవుట్పుట్లను దాచడం కాదు.
MoA మోడల్స్ను ఒక సమాధానంలో కలుపుతుంది. Argumentree.AI ప్రతి మోడల్ యొక్క వాదనలను కనిపించదీయడం మరియు పియర్-రేటింగ్ చేయడం కొనసాగిస్తుంది.
ఉచితంగా ప్రారంభించండి