Ang LLM council ay isang grupo ng malalaking language models na bawat isa ay sumasagot sa isang tanong nang nakapag-iisa, pagkatapos ay nag-evaluate sa mga sagot ng isa't isa upang makamit ang consensus. Ang pattern ay pinasikat ng bukas na pinagmulan na 'llm-council' repository ni Andrej Karpathy, isang concept-proof kung saan maraming modelo ang sumasagot at pagkatapos ay niraranggo ang isa't isa bago ang huling synthesis. Pinalawig ng Argumentree.AI ang council pattern gamit ang mga structured argument trees at anonymized mutual rating—anonymized dahil ang pananaliksik sa paggamit ng LLM bilang hukom ay nagdodokumento ng bias sa self-enhancement kung saan ang mga modelo ay pabor sa kanilang sariling outputs. Ang isang hosted LLM council ay nagpapahintulot sa iyo na mag-query ng maraming modelo nang hindi nagbibigay ng iyong sariling API keys. Ang tapat na trade-off ay gastos at latency: ang isang council ay gumagawa ng maraming model calls, kaya ito ay mas mabagal at mas mahal kaysa sa isang solong query, kapalit ng cross-model validation at nakikitang hindi pagkakaunawaan.
Ang LLM council ay may ilang language models na sumasagot nang nakapag-iisa, nag-evaluate sa isa't isa, at umabot sa isang consensus. Ginagawa nitong "isang tiyak na sagot" ang isang deliberation na maaari mong suriin.
Ang LLM council ay maraming modelo na sumasagot nang nakapag-iisa, pagkatapos ay niraranggo ang isa't isa upang bumuo ng consensus. Ang pattern ay nagmula sa bukas na pinagmulan na llm-council ni Karpathy. Ang Argumentree.AI ay nagho-host nito—walang kinakailangang API keys—at nag-evaluate nang anonymously upang pigilan ang self-flattery.
Ang council pattern ay simple lamang: maraming LLMs ang sumasagot sa parehong tanong nang nakapag-iisa, pagkatapos ay nag-evaluate sa mga sagot ng isa't isa, at ang isang consensus ay nabuo mula sa peer ratings. Walang isang modelo ang may huling salita. Dahil ang mga modelo ay hindi nakikita ang mga sagot ng isa't isa bago sumagot, ang kanilang independent reasoning ay napananatili—at ang mga lugar kung saan sila nagkakaiba ay nagiging nakikita sa halip na nakatago sa likod ng isang tiyak na sagot.
Bawat modelo ay sumasagot sa tanong nang mag-isa, nang hindi nakikita ang iba
Bawat modelo ay nag-evaluate sa mga sagot ng ibang modelo
Ang mga rating ay pinagsama-sama upang ipakita kung saan nagkakasundo at hindi nagkakasundo ang council
Nag-publish si Andrej Karpathy ng isang open-source "llm-council" repository na nagpapakita ng eksaktong daloy na ito—maraming modelo ang sumasagot, niraranggo ang isa't isa, at ang isang huling tugon ay isinasama. Ito ay isang pampublikong patunay na ang mga modelo ay maaaring makabuluhang mag-evaluate sa isa't isa. Ang Argumentree.AI ay bumubuo sa parehong ideya.
Pinalalawak ng Argumentree.AI ang council pattern sa dalawang paraan. Una, sa halip na ihambing ang buong sagot, ito ay nag-istruktura ng reasoning ng bawat modelo sa isang argument tree—kaya ang mga indibidwal na claim ay maaaring ma-rate at masuri, hindi lamang ang huling talata. Pangalawa, gumagamit ito ng anonymized mutual rating: kapag ang isang modelo ay nag-rate ng mga argumento, hindi nito alam kung aling modelo ang gumawa nito.
Ang pananaliksik sa paggamit ng LLM bilang hukom ay nagdodokumento ng isang self-enhancement bias—ang mga modelo ay may tendensiyang i-rate ang kanilang sariling outputs nang mas paborable. Ang pagtatago ng may-akda bago ang rating ay nag-aalis ng shortcut, kaya ang isang modelo ay hindi maaaring basta-basta gantimpalaan ang sarili nito. Iyan ang disenyo ng rasyonal para sa anonymized cross-rating.
Ang pagpapatakbo ng isang council sa iyong sarili ay karaniwang nangangahulugang mag-sign up sa bawat provider ng modelo at ikonekta ang mga hiwalay na API keys. Nag-aalok ang Argumentree.AI ng isang hosted LLM council: nagtanong ka nang isang beses, at lahat ng available na modelo ay lumahok—walang keys na pamamahalaan, walang setup per-provider. Nakukuha mo ang consensus ng council at ang mga hindi pagkakaunawaan nito sa isang lugar.
Ang isang council ay hindi libre. Sa pamamagitan ng kahulugan, ito ay gumagawa ng maraming model calls, kaya gumagamit ito ng mas maraming compute at mas matagal ang pagbabalik kaysa sa isang solong query. Iyan ang sinadyang trade: gumagastos ka ng higit upang makakuha ng cross-model validation at isang nakikitang mapa ng kung saan nagkakaiba ang mga modelo. Para sa mga high-stakes na pananaliksik, ito ay isang magandang deal; para sa isang trivial na lookup, sapat na ang isang modelo.
Magtipon ng isang konseho ng ilang modelo na may isang tanong
Suriin ang bawat punto ng pangangatwiran ng modelo, hindi bilang isang blob
Ang cross-rating ay nagtatago ng may-akda upang pigilan ang bias sa sariling pagpapahusay
Walang per-provider API keys—consensus at dissent mula sa kahon
Ang LLM council ay isang grupo ng malalaking language models na bawat isa ay sumasagot sa isang tanong nang nakapag-iisa, pagkatapos ay nag-evaluate sa mga sagot ng isa't isa upang makabuo ng isang consensus view. Sa halip na umasa sa isang solong modelo, ang council ay ginagawang tahas ang pagkakasundo at hindi pagkakasundo sa pagitan ng mga modelo—kaya makikita mo kung saan nagkakasundo ang mga modelo at kung saan hindi.
Nag-release si Andrej Karpathy ng isang open-source na 'llm-council' repository na nagpapakita ng pattern: maraming modelo ang sumasagot sa isang query, pagkatapos ay niraranggo ang mga sagot ng isa't isa bago ang huling synthesis. Ito ay isang concept-proof ng kolektibong reasoning sa mga modelo. Pinalalawak ng Argumentree.AI ang ideya gamit ang mga structured argument trees at anonymized mutual rating.
Ang pananaliksik sa paggamit ng LLM bilang hukom ay nagdodokumento ng isang self-enhancement bias—ang mga modelo ay may tendensiyang paboran ang kanilang sariling outputs. Ang anonymizing kung aling modelo ang gumawa ng aling argumento bago ang rating ay nagpapababa ng bias na iyon, kaya ang isang modelo ay hindi maaaring basta-basta gantimpalaan ang sarili nito. Ito ang disenyo ng rasyonal sa likod ng anonymized cross-rating ng Argumentree.AI.
Hindi sa isang hosted LLM council. Ang mga open-source na implementasyon ay karaniwang nangangailangan sa iyo na magbigay ng API keys para sa bawat provider. Nag-aalok ang Argumentree.AI ng isang hosted multi-LLM council upang maaari mong mag-query ng maraming modelo at makita ang kanilang consensus nang hindi kinakailangang ikonekta ang mga indibidwal na API keys.
Sa totoo lang, ang pagpapatakbo ng isang council ay mas mahal kaysa sa isang solong query—gumagawa ito ng maraming model calls, kaya gumagamit ito ng mas maraming compute at mas matagal ang pagbabalik. Ang trade-off na iyon ay bumibili sa iyo ng cross-model validation at isang nakikitang mapa ng hindi pagkakaunawaan. Para sa mga high-stakes na tanong, ang karagdagang gastos at latency ay karaniwang sulit; para sa trivial na lookups, sapat na ang isang modelo.
Maraming modelo, isang tanong, consensus na maaari mong suriin—walang kinakailangang API keys.
Magsimula ng Libre