एक LLM काउंसिल बड़े भाषा मॉडलों का एक समूह है जो प्रत्येक स्वतंत्र रूप से एक प्रश्न का उत्तर देते हैं, फिर सहमति पर पहुँचने के लिए एक-दूसरे की प्रतिक्रियाओं को रेट करते हैं। यह पैटर्न आंद्रे कर्पाथी के ओपन-सोर्स 'llm-council' रिपॉजिटरी द्वारा लोकप्रिय किया गया था, जिसमें कई मॉडल उत्तर देते हैं और फिर अंतिम संश्लेषण से पहले एक-दूसरे को रैंक करते हैं। Argumentree.AI काउंसिल पैटर्न को संरचित तर्क वृक्षों और अनाम आपसी रेटिंग के साथ बढ़ाता है—अनाम इसलिए क्योंकि LLM को न्यायाधीश के रूप में उपयोग करने पर शोध में आत्म-संवर्धन पूर्वाग्रह का दस्तावेजीकरण किया गया है जिसमें मॉडल अपने स्वयं के आउटपुट को प्राथमिकता देते हैं। एक होस्टेड LLM काउंसिल आपको अपने स्वयं के API कुंजी प्रदान किए बिना कई मॉडलों से प्रश्न पूछने की अनुमति देती है। ईमानदार व्यापार-बंद लागत और विलंबता है: एक काउंसिल कई मॉडल कॉल करती है, इसलिए यह एकल प्रश्न की तुलना में धीमी और महंगी होती है, क्रॉस-मॉडल मान्यता और स्पष्ट असहमति के बदले।
एक LLM काउंसिल में कई भाषा मॉडल स्वतंत्र रूप से उत्तर देते हैं, एक-दूसरे को रेट करते हैं, और सहमति पर पहुँचते हैं। यह "एक आत्मविश्वासी उत्तर" को एक विचार-विमर्श में बदल देता है जिसे आप देख सकते हैं।
एक LLM काउंसिल कई मॉडल हैं जो स्वतंत्र रूप से उत्तर देते हैं, फिर सहमति बनाने के लिए एक-दूसरे को रेट करते हैं। यह पैटर्न कर्पाथी के ओपन-सोर्स llm-council से आता है। Argumentree.AI इसे होस्ट करता है—कोई API कुंजी की आवश्यकता नहीं है—और आत्म-प्रशंसा को कम करने के लिए अनाम रेटिंग करता है।
काउंसिल पैटर्न को बताना सरल है: कई LLMs एक ही प्रश्न का स्वतंत्र रूप से उत्तर देते हैं, फिर एक-दूसरे के उत्तरों का मूल्यांकन करते हैं, और सहमति को सहकर्मी रेटिंग से निकाला जाता है। कोई एकल मॉडल अंतिम शब्द नहीं कहता। क्योंकि मॉडल उत्तर देने से पहले एक-दूसरे की प्रतिक्रियाओं को नहीं देखते, उनका स्वतंत्र तर्क संरक्षित रहता है—और जहां वे भिन्न होते हैं, वह स्पष्ट हो जाता है बजाय इसके कि एक आत्मविश्वासी उत्तर के पीछे छिपा हो।
हर मॉडल अपने आप प्रश्न का उत्तर देता है, बिना दूसरों को देखे
प्रत्येक मॉडल अन्य मॉडलों के उत्तरों का मूल्यांकन करता है
रेटिंग को एकत्रित किया जाता है ताकि यह प्रकट हो सके कि काउंसिल कहाँ सहमत और असहमत है
आंद्रे कर्पाथी ने एक ओपन-सोर्स "llm-council" रिपॉजिटरी प्रकाशित की जो इस प्रवाह को प्रदर्शित करती है—कई मॉडल उत्तर देते हैं, एक-दूसरे को रैंक करते हैं, और एक अंतिम प्रतिक्रिया का संश्लेषण किया जाता है। यह एक सार्वजनिक प्रमाण है कि मॉडल एक-दूसरे का अर्थपूर्ण मूल्यांकन कर सकते हैं। Argumentree.AI उसी विचार पर निर्माण करता है।
Argumentree.AI काउंसिल पैटर्न को दो तरीकों से आगे बढ़ाता है। पहले, पूरे उत्तरों की तुलना करने के बजाय, यह प्रत्येक मॉडल के तर्क को एक तर्क वृक्ष में संरचित करता है—ताकि व्यक्तिगत दावों को रेट और निरीक्षण किया जा सके, न कि केवल अंतिम पैराग्राफ। दूसरे, यह अनाम आपसी रेटिंग का उपयोग करता है: जब एक मॉडल तर्कों को रेट करता है, तो उसे नहीं पता होता कि कौन सा मॉडल उन्हें लिखा है।
एक LLM को न्यायाधीश के रूप में उपयोग करने पर शोध में एक आत्म-संवर्धन पूर्वाग्रह का दस्तावेजीकरण किया गया है—मॉडल अपने स्वयं के आउटपुट को अधिक अनुकूलता से रेट करते हैं। रेटिंग से पहले लेखन को छिपाना शॉर्टकट को हटा देता है, इसलिए एक मॉडल बस अपने आप को पुरस्कृत नहीं कर सकता। यही अनाम क्रॉस-रेटिंग के लिए डिज़ाइन तर्क है।
खुद काउंसिल चलाना आमतौर पर प्रत्येक मॉडल प्रदाता के साथ साइन अप करने और अलग-अलग API कुंजी को कनेक्ट करने का मतलब है। Argumentree.AI एक होस्टेड LLM काउंसिल प्रदान करता है: आप एक बार पूछते हैं, और सभी उपलब्ध मॉडल भाग लेते हैं—कोई कुंजी प्रबंधित करने की आवश्यकता नहीं, कोई प्रदाता सेटअप नहीं। आपको काउंसिल की सहमति और इसके असहमति एक ही स्थान पर मिलती है।
एक काउंसिल मुफ्त नहीं है। परिभाषा के अनुसार यह कई मॉडल कॉल करती है, इसलिए यह अधिक कंप्यूट का उपयोग करती है और एकल प्रश्न की तुलना में लौटने में अधिक समय लेती है। यही जानबूझकर व्यापार है: आप क्रॉस-मॉडल मान्यता और असहमति के स्पष्ट मानचित्र को प्राप्त करने के लिए अधिक खर्च करते हैं। उच्च-दांव अनुसंधान के लिए यह एक अच्छा सौदा है; तुच्छ लुकअप के लिए, एक मॉडल पर्याप्त है।
एक ही प्रश्न के साथ कई मॉडलों की काउंसिल बुलाईए
प्रत्येक मॉडल के तर्क को बिंदु दर बिंदु निरीक्षण करें, न कि एक ब्लॉब के रूप में
क्रॉस-रेटिंग आत्म-संवर्धन पूर्वाग्रह को कम करने के लिए लेखन को छिपाती है
कोई प्रदाता API कुंजी नहीं—बॉक्स से बाहर सहमति और असहमति
एक LLM काउंसिल बड़े भाषा मॉडलों का एक समूह है जो प्रत्येक स्वतंत्र रूप से एक प्रश्न का उत्तर देते हैं, फिर सहमति के दृष्टिकोण को उत्पन्न करने के लिए एक-दूसरे की प्रतिक्रियाओं को रेट करते हैं। एकल मॉडल पर निर्भर रहने के बजाय, काउंसिल मॉडल के बीच सहमति और असहमति को स्पष्ट बनाती है—ताकि आप देख सकें कि मॉडल कहाँ एकत्रित होते हैं और कहाँ नहीं।
आंद्रे कर्पाथी ने पैटर्न को प्रदर्शित करने के लिए एक ओपन-सोर्स 'llm-council' रिपॉजिटरी जारी की: कई मॉडल एक प्रश्न का उत्तर देते हैं, फिर अंतिम संश्लेषण से पहले एक-दूसरे के उत्तरों को रैंक करते हैं। यह मॉडल के बीच सामूहिक तर्क का एक कॉन्सेप्ट-प्रूफ है। Argumentree.AI संरचित तर्क वृक्षों और अनाम आपसी रेटिंग के साथ विचार को बढ़ाता है।
एक LLM को न्यायाधीश के रूप में उपयोग करने पर शोध ने आत्म-संवर्धन पूर्वाग्रह का दस्तावेजीकरण किया है—मॉडल अपने स्वयं के आउटपुट को प्राथमिकता देते हैं। रेटिंग से पहले यह छिपाना कि कौन सा मॉडल कौन सा तर्क प्रस्तुत करता है, उस पूर्वाग्रह को कम करता है, ताकि एक मॉडल बस अपने आप को पुरस्कृत न कर सके। यह Argumentree.AI की अनाम क्रॉस-रेटिंग के पीछे का डिज़ाइन तर्क है।
एक होस्टेड LLM काउंसिल के साथ नहीं। ओपन-सोर्स कार्यान्वयन आमतौर पर आपको प्रत्येक प्रदाता के लिए API कुंजी प्रदान करने की आवश्यकता होती है। Argumentree.AI एक होस्टेड मल्टी-LLM काउंसिल प्रदान करता है ताकि आप कई मॉडलों से प्रश्न पूछ सकें और बिना व्यक्तिगत API कुंजी को कनेक्ट किए उनकी सहमति देख सकें।
ईमानदारी से, एक काउंसिल चलाना एकल प्रश्न की तुलना में अधिक महंगा है—यह कई मॉडल कॉल करती है, इसलिए यह अधिक कंप्यूट का उपयोग करती है और लौटने में अधिक समय लेती है। यह व्यापार-बंद आपको क्रॉस-मॉडल मान्यता और असहमति का स्पष्ट मानचित्र प्रदान करता है। उच्च-दांव प्रश्नों के लिए, अतिरिक्त लागत और विलंबता आमतौर पर इसके लायक होती है; तुच्छ लुकअप के लिए, एक मॉडल ठीक है।
कई मॉडल, एक प्रश्न, सहमति जिसे आप देख सकते हैं—कोई API कुंजी की आवश्यकता नहीं।
मुफ्त शुरू करें