மிஷ்டர்-ஆஃப்-ஏஜென்ட்ஸ் (MoA) என்பது "மிஷ்டர்-ஆஃப்-ஏஜென்ட்ஸ் பெரிய மொழி மாதிரியின் திறன்களை மேம்படுத்துகிறது" (arXiv:2406.04692) என்ற ஆவணத்தில் அறிமுகப்படுத்தப்பட்ட அடுக்கான பல-LLM கட்டமைப்பாகும். MoA இல், பல மாதிரிகள் ஒரு அடுக்கில் முன்மொழியுநர்களாக செயல்படுகின்றன; அவர்களின் பதில்கள் இணைக்கப்பட்டு அடுத்த அடுக்கில் தொகுப்பாளர் மாதிரிகளுக்கு அனுப்பப்படுகின்றன, அவை ஒரு மேம்பட்ட பதிலை உருவாக்குகின்றன. கூடுதல் அடுக்குகள் மேம்பாட்டை மீண்டும் செய்கின்றன. ஆவணம் AlpacaEval 2.0, MT-Bench மற்றும் FLASK போன்ற விருப்ப-செயல்முறை மானியங்களில் முன்னேற்றங்களை காட்டுகிறது - மதிப்பீட்டாளரால் மதிப்பீடு செய்யப்பட்ட பதிலின் தரம், உண்மையான துல்லியத்தின் உறுதியாக அல்ல. MoA பல மாதிரி அழைப்புகளை அடுக்குகளில் இயக்குவதால் டோக்கன் செலவையும் தாமதத்தையும் பெருக்குகிறது, மற்றும் தொகுப்பு உண்மையான மோதல்களை மிதமாக்கலாம். Argumentree.AI தொடர்புடைய ஆனால் தனித்துவமானது: ஒரு ஒருங்கிணைந்த பதிலில் தொகுப்பதற்குப் பதிலாக, இது ஒவ்வொரு மாதிரியின் தனிப்பட்ட வாதங்களை பாதுகாக்கிறது மற்றும் ஒவ்வொரு கிடைக்கும் மாதிரியும் மற்ற மாதிரியின் வாதங்களை மதிப்பீடு செய்கிறது, ஒத்துழைப்பு மற்றும் மோதல்களை மறைக்காமல் வெளிப்படுத்துகிறது.
மிஷ்டர்-ஆஃப்-ஏஜென்ட்ஸ் (MoA) பல LLM களை ஒத்துழைக்கும் ஏஜென்ட்களாகக் கருதுகிறது - முன்மொழியுநர்கள் வேட்பாளர் பதில்களை உருவாக்குகின்றனர், தொகுப்பாளர்கள் அவற்றை ஒரு மேம்பட்ட பதிலாக இணைக்கின்றனர். இது உண்மையான வர்த்தகங்களுடன் கூடிய உண்மையான தொழில்நுட்பம், மாயை துல்லியத்திற்கான switches அல்ல.
மிஷ்டர்-ஆஃப்-ஏஜென்ட்ஸ் பல LLM களை அடுக்குகிறது: முன்மொழியுநர் மாதிரிகள் பதில்களை வரைந்து, தொகுப்பாளர் மாதிரிகள் அவற்றை இணைக்கின்றன. arXiv:2406.04692 ஆவணம் விருப்ப மானியங்களில் (AlpacaEval, MT-Bench) முன்னேற்றங்களை காட்டுகிறது - பதிலின் தரம், உறுதியாக உண்மையான துல்லியமில்லை - மேலும் இது ஒரு மாதிரிக்கு விட அதிக டோக்கன்கள் மற்றும் தாமதம் செலவாகிறது.
மிஷ்டர்-ஆஃப்-ஏஜென்ட்ஸ் 2024 ஆவணத்தில் "மிஷ்டர்-ஆஃப்-ஏஜென்ட்ஸ் பெரிய மொழி மாதிரியின் திறன்களை மேம்படுத்துகிறது" (arXiv:2406.04692) என்ற ஆவணத்தில் அறிமுகப்படுத்தப்பட்டது. மையக் கவனிப்பு ஒத்துழைப்பு: LLM கள் மற்ற மாதிரிகளின் வெளியீடுகளை காணும் போது மற்றும் அவற்றின் வெளியீடுகளை அடிப்படையாகக் கொண்டு சிறந்த பதில்களை உருவாக்க tend செய்கின்றன - தனிப்பட்ட முறையில் பலவீனமான மாதிரிகள் கூட. MoA அந்த கவனிப்பை ஒரு கட்டமைப்பாக மாற்றுகிறது.
MoA அடுக்குகளில் ஒழுங்குபடுத்தப்பட்டுள்ளது. ஒவ்வொரு அடுக்கிலும் பல LLM "ஏஜென்ட்கள்" உள்ளன. ஒரு அடுக்கின் மாதிரிகள் ஒவ்வொன்றும் ஒரு பதிலை உருவாக்குகின்றன, அந்த பதில்கள் இணைக்கப்பட்டு அடுத்த அடுக்குக்கு வழங்கப்படுகின்றன, அங்கு மாதிரிகள் தொகுப்பாளர்கள் ஆக செயல்பட்டு மேம்படுத்துகின்றன மற்றும் இணைக்கின்றன. அடுக்குகளை அடுக்குவது மேம்பாட்டை மீண்டும் செய்கிறது.
பல மாதிரிகள் ஒவ்வொன்றும் 1வது அடியில் கேள்விக்கு தனித்தனியாக பதிலளிக்கின்றன.
அனைத்து 1வது அடியின் வெளியீடுகள் அடுத்த அடிக்கான குறிப்புகள் ஆக சேகரிக்கப்படுகின்றன.
2வது அடியின் மாதிரிகள் வேட்பாளர்களை படிக்கின்றன மற்றும் ஒரு சுத்தமான, இணைக்கப்பட்ட பதிலை உருவாக்குகின்றன.
கூடுதல் அடிகள் தொடர்ந்து சுத்தமாக்குகின்றன; ஒரு இறுதி சேர்க்கையாளர் பதிலை வெளியிடுகிறது.
"எங்கள் API 200 அல்லது 202 ஐ ஏற்கப்பட்ட அசிங்க வேலைக்கு திருப்ப வேண்டும் என்று கேளுங்கள்". மூன்று முன்மொழியுநர் மாதிரிகள் ஒவ்வொன்றும் REST விதிகளை மேற்கோள் காட்டி பதிலை வரைந்து விடுகின்றன. ஒரு தொகுப்பாளர் மூவரையும் படித்து, இரண்டு 202 ஏற்கப்பட்டது என்ற நிலை URL உடன் ஆதரிக்கின்றன மற்றும் ஒருவர் 200 ஐ ஆதரிக்கின்றனர், மற்றும் ஒவ்வொன்றின் வலுவான காரணங்களை உள்ளடக்கிய ஒரு பரிந்துரையை உருவாக்குகின்றது. கலந்த பதில் நன்றாக படிக்கப்படுகிறது - ஆனால் மூவரும் ஒரே தவறான கருத்தை பகிர்ந்தால், தொகுப்பாளர் அதை நம்பிக்கையுடன் மீண்டும் கூறும்.
ஆவணம் விருப்ப-செயல்முறை மானியங்களில் - AlpacaEval 2.0, MT-Bench மற்றும் FLASK - வலுவான முடிவுகளைப் புகாரளிக்கிறது - அங்கு ஒரு நீதிபதி (பொதுவாக ஒரு LLM அல்லது மனிதன்) எந்த பதில் அதிக உதவியாக அல்லது உயர்தரமாக உள்ளது என்பதை மதிப்பீடு செய்கிறது. இது டெவலப்பர்களுக்கான முக்கியமான வேறுபாடு:
மூன்று பல-மாதிரி மாதிரிகள். ஒரு டெவலப்பராக, நீங்கள் வெளியிட வேண்டியதை அடிப்படையாகக் கொண்டு தேர்ந்தெடுக்கவும்: ஒரு மேம்பட்ட பதில், அல்லது தெளிவான குறுக்கீட்டு-மாதிரி காரணம்.
| மாதிரி | இது என்னை மேம்படுத்துகிறது | நீங்கள் என்ன பெறுகிறீர்கள் |
|---|---|---|
| Mixture-of-Agents | ஒரு சுத்தமான கலந்த பதில் | அகிரிகேட்டர்கள் முன்மொழியுநர் வெளியீடுகளை இணைக்கின்றன; தனிப்பட்ட பார்வைகள் ஒருங்கிணைப்பில் மறைந்து விடுகின்றன |
| LLM council | மாதிரி அடிப்படையில் வெளிப்படையான பங்களிப்பு | ஒவ்வொரு மாதிரியின் பதில் தெளிவாக இருக்கும்; மாதிரிகள் அடிக்கடி ஒருவருக்கொருவர் மதிப்பீடு செய்கின்றன |
| Multi-LLM consensus | ஒப்புதல் + ஒப்புக்கொள்வதற்கான சிக்னல் | மாதிரிகள் எங்கு ஒப்புக்கொள்கின்றன (நம்பிக்கை) மற்றும் மாறுபடுகின்றன (விவாதமான கேள்வி) என்பதை அளவிடுகிறது |
கைமுறை: நீங்கள் ஒரே சிறந்த பதிலை விரும்பினால் மற்றும் டோக்கன்/தாமத செலவைக் கட்டிக்கொள்வதற்கான திறனைப் பெற்றால் MoA க்கு அணுகவும்; மோதல் தானே தயாரிப்பு என்றால் கவுன்சல் அல்லது ஒத்துழைப்பு மதிப்பீடு செய்யவும்.
Argumentree.AI MoA இன் அடிப்படையைப் பகிர்கிறது - பல மாதிரிகள் ஒன்றை வெல்லும் - ஆனால் ஒவ்வொரு மாதிரியின் வெளியீடுகளை மறைக்காமல் பாதுகாக்கிறது.
ஒவ்வொரு மாதிரியும் தனித்தனியாக பதிலளிக்கிறது — எந்த proposer/அக்ரிகேட்டரும் ஒரே குரலாகக் கலக்கப்படவில்லை
தனிப்பட்ட ஆதிக்க/எதிர்ப்பு வாதங்கள் அவற்றை உருவாக்கிய மாதிரிக்கு தொடர்புடையதாக இருக்கும்
எல்லா கிடைக்கும் மாதிரியும் மற்ற மாதிரியின் வாதங்களை மதிப்பீடு செய்கின்றன
நீங்கள் ஒப்புதலை நம்பிக்கையாகவும், எதிர்ப்பை உண்மையான கேள்வியாகவும் காண்கிறீர்கள்
Mixture-of-Agents (MoA) என்பது பல பெரிய மொழி மாதிரிகள் ஒரு அடியில் முன்மொழியுநர்களாக செயல்படுவதற்கான அடுக்கான கட்டமைப்பாகும், மற்றும் அவற்றின் வெளியீடுகள் அடுத்த அடியில் உள்ள தொகுப்பாளர் மாதிரிகளுக்கு அனுப்பப்படுகின்றன, அவை ஒரு சுத்தமான பதிலை உருவாக்குகின்றன. 'Mixture-of-Agents Enhances Large Language Model Capabilities' (arXiv:2406.04692) என்ற ஆவணத்தில் அறிமுகப்படுத்தப்பட்டது, இது பல LLMகளை ஒற்றை மாதிரியில் நம்புவதற்குப் பதிலாக ஒத்துழைக்கும் முகவர்களாகக் கருதுகிறது.
மூல MoA ஆவணம் AlpacaEval 2.0, MT-Bench மற்றும் FLASK போன்ற விருப்ப-செயல்முறை அளவீடுகளில் முன்னேற்றங்களைப் புகாரளிக்கிறது, அங்கு ஒரு நீதிபதி பதிலின் தரத்தை மதிப்பீடு செய்கிறார். அவை விருப்பம் மற்றும் உதவித்தன்மை அளவீடுகள், உண்மையான துல்லியத்தின் உத்தியாக அல்ல. MoA ஒரு பகிர்ந்த உண்மையான பிழையை மீண்டும் கூறும் போது கூட, மேலும் சீரான, சிறந்த கட்டமைக்கப்பட்ட பதிலை உருவாக்கலாம், எனவே இதை உண்மையின் உத்தியாகக் கருதக்கூடாது.
MoA பல அடுக்குகளில் பல மாதிரிகளை இயக்குகிறது, எனவே இது டோக்கன் செலவைக் கூட்டுகிறது மற்றும் ஒற்றை மாதிரி அழைப்புடன் ஒப்பிடும்போது தாமதத்தைச் சேர்க்கிறது. தொகுப்பாளர் அடுக்குகள் முன்மொழியுநர்களுக்கிடையிலான உண்மையான மோதல்களை மிதமாக்கவும், உண்மையில் காணவேண்டிய சிறுபான்மை கருத்துகளை மறைக்கவும் முடியும். இது உண்மையான செலவுகள்/தாமதம் பரிமாற்றத்துடன் கூடிய ஒரு உண்மையான தொழில்நுட்பம், இலவச மேம்பாடு அல்ல.
MoA என்பது ஒரு சின்தசா கட்டமைப்பு: முன்மொழியுநர் மாதிரிகள் அனைத்தையும் ஒரே சுத்தமான பதிலாக இணைக்கும் தொகுப்பாளர்களுக்கு உணவளிக்கின்றன. ஒரு LLM கவுன்சில் ஒவ்வொரு மாதிரியின் பங்களிப்பை தெளிவாகக் காட்சியளிக்கிறது மற்றும் பெரும்பாலும் மாதிரிகள் ஒருவருக்கொருவர் மதிப்பீடு அல்லது மதிப்பீடு செய்கின்றன, எனவே அவை எங்கு மோதுகின்றன என்பதை நீங்கள் காணலாம். MoA ஒரு வலிமையான கலந்த வெளியீட்டிற்காக உத்தியாக்குகிறது; ஒரு கவுன்சில் தனிப்பட்ட பார்வைகளின் தெளிவிற்காக உத்தியாக்குகிறது.
சரியாக இல்லை. Argumentree.AI பல மாதிரிகள் ஒன்றை வெல்லும் MoA இன் அடிப்படையைப் பகிர்கிறது, ஆனால் ஒரே சின்தசா பதிலாக தொகுப்பதற்குப் பதிலாக ஒவ்வொரு மாதிரியின் தனிப்பட்ட வாதங்களைப் பாதுகாக்கிறது மற்றும் உள்ள அனைத்து மாதிரிகளும் மற்ற மாதிரிகளின் வாதங்களை மதிப்பீடு செய்கின்றன. ஒற்றுமை மற்றும் மோதல்களை தெளிவாக வெளிப்படுத்துவது குறிக்கோள், ஒரே இணைக்கப்பட்ட பதிலின் பின்னால் தனிப்பட்ட வெளியீடுகளை மறைக்காமல்.
MoA மாதிரிகளை ஒரு பதிலில் கலக்குகிறது. Argumentree.AI ஒவ்வொரு மாதிரியின் வாதங்களை தெளிவாகவும் தோழர் மதிப்பீட்டுடன் காக்கிறது.
இப்போது தொடங்கவும்