LLM สภาคือกลุ่มของโมเดลภาษาขนาดใหญ่ที่แต่ละตัวตอบคำถามอย่างอิสระ, จากนั้นประเมินคำตอบของกันและกันเพื่อให้ได้ฉันทามติ รูปแบบนี้ได้รับความนิยมจากที่เก็บซอฟต์แวร์โอเพนซอร์ส 'llm-council' ของ Andrej Karpathy ซึ่งเป็นการพิสูจน์แนวคิดที่หลายโมเดลตอบและจัดอันดับกันก่อนที่จะสังเคราะห์ผลสุดท้าย Argumentree.AI ขยายรูปแบบสภาด้วยต้นไม้ข้อโต้แย้งที่มีโครงสร้างและการให้คะแนนแบบไม่ระบุชื่อ—ไม่ระบุชื่อเพราะการวิจัยเกี่ยวกับการใช้ LLM เป็นผู้ตัดสินบันทึกอคติการเสริมสร้างตนเองที่โมเดลมักจะชอบผลลัพธ์ของตนเอง สภา LLM ที่โฮสต์ช่วยให้คุณสามารถสอบถามโมเดลหลายตัวโดยไม่ต้องจัดเตรียมคีย์ API ของคุณเอง การแลกเปลี่ยนที่ซื่อสัตย์คือค่าใช้จ่ายและความล่าช้า: สภาทำการเรียกโมเดลหลายตัว ดังนั้นจึงช้ากว่าและมีค่าใช้จ่ายมากกว่าการสอบถามเพียงครั้งเดียว เพื่อแลกกับการตรวจสอบข้ามโมเดลและความไม่เห็นด้วยที่มองเห็นได้
LLM สภา มีโมเดลภาษาหลายตัวที่ตอบคำถามอย่างอิสระ, ประเมินซึ่งกันและกัน, และบรรลุฉันทามติ มันเปลี่ยน "คำตอบที่มั่นใจเพียงคำตอบเดียว" ให้กลายเป็นการอภิปรายที่คุณสามารถตรวจสอบได้
LLM สภา คือโมเดลหลายตัวที่ตอบอย่างอิสระ, จากนั้นให้คะแนนกันเพื่อสร้างฉันทามติ รูปแบบนี้มาจาก llm-council ของ Karpathy Argumentree.AI โฮสต์มัน—ไม่ต้องการคีย์ API—และให้คะแนนแบบไม่ระบุชื่อเพื่อลดการเสริมสร้างตนเอง
รูปแบบ สภา กล่าวได้ง่าย: LLM หลายตัวตอบคำถามเดียวกันอย่างอิสระ, จากนั้นประเมินคำตอบของกันและกัน, และฉันทามติจะถูกดึงออกจากการให้คะแนนของเพื่อน ไม่มีโมเดลเดียวที่ได้คำสุดท้าย เนื่องจากโมเดลไม่เห็นคำตอบของกันและกันก่อนที่จะตอบ การใช้เหตุผลอย่างอิสระของพวกเขาจะถูกเก็บรักษาไว้—และสถานที่ที่พวกเขาแตกต่างกันจะมองเห็นได้แทนที่จะถูกซ่อนอยู่หลังคำตอบที่มั่นใจเพียงคำตอบเดียว
โมเดลแต่ละตัวตอบคำถามด้วยตนเองโดยไม่เห็นคำตอบของโมเดลอื่น
โมเดลแต่ละตัวประเมินคำตอบของโมเดลอื่น
การให้คะแนนถูกรวมเข้าด้วยกันเพื่อเปิดเผยว่าที่ไหนที่สภาเห็นด้วยและไม่เห็นด้วย
Andrej Karpathy ได้เผยแพร่ที่เก็บซอฟต์แวร์โอเพนซอร์ส "llm-council" ที่แสดงให้เห็นถึงกระบวนการนี้—โมเดลหลายตัวตอบ, จัดอันดับกัน, และสังเคราะห์คำตอบสุดท้าย มันเป็นการพิสูจน์สาธารณะที่โมเดลสามารถประเมินกันได้อย่างมีความหมาย Argumentree.AI สร้างต่อจากแนวคิดเดียวกัน
Argumentree.AI ขยายรูปแบบสภาไปอีกในสองวิธี ประการแรก แทนที่จะเปรียบเทียบคำตอบทั้งหมด มันจะจัดโครงสร้างการใช้เหตุผลของแต่ละโมเดลให้เป็น ต้นไม้ข้อโต้แย้ง—ดังนั้นข้อเรียกร้องแต่ละข้อสามารถได้รับการประเมินและตรวจสอบ ไม่ใช่แค่ย่อหน้าสุดท้าย ประการที่สอง มันใช้ การให้คะแนนแบบไม่ระบุชื่อ: เมื่อโมเดลให้คะแนนข้อโต้แย้ง โมเดลจะไม่รู้ว่าโมเดลใดเป็นผู้เขียน
การวิจัยเกี่ยวกับการใช้ LLM เป็นผู้ตัดสินบันทึกอคติ การเสริมสร้างตนเอง—โมเดลมักจะให้คะแนนผลลัพธ์ของตนเองในทางที่ดีขึ้น การซ่อนการเป็นเจ้าของก่อนการให้คะแนนจะลบทางลัดออกไป ดังนั้นโมเดลจึงไม่สามารถให้รางวัลตนเองได้ นี่คือเหตุผลในการออกแบบสำหรับการให้คะแนนข้ามแบบไม่ระบุชื่อ
การดำเนินการสภาด้วยตนเองมักหมายถึงการลงทะเบียนกับผู้ให้บริการโมเดลแต่ละรายและเชื่อมต่อคีย์ API แยกต่างหาก Argumentree.AI เสนอ LLM สภาที่โฮสต์: คุณถามเพียงครั้งเดียว และโมเดลทั้งหมดที่มีอยู่จะเข้าร่วม—ไม่ต้องจัดการคีย์ ไม่มีการตั้งค่าต่อผู้ให้บริการ คุณจะได้รับฉันทามติของสภาและความไม่เห็นด้วยในที่เดียว
สภาไม่ฟรี ตามคำนิยามมันทำ การเรียกโมเดลหลายครั้ง ดังนั้นจึงใช้การคำนวณมากขึ้นและใช้เวลานานกว่าการสอบถามเพียงครั้งเดียว นี่คือการแลกเปลี่ยนที่ตั้งใจ: คุณใช้จ่ายมากขึ้นเพื่อให้ได้การตรวจสอบข้ามโมเดลและแผนที่ที่มองเห็นได้ว่าที่ไหนที่โมเดลไม่เห็นด้วย สำหรับการวิจัยที่มีความเสี่ยงสูง นี่คือข้อเสนอที่ดี; สำหรับการค้นหาที่ไม่สำคัญ โมเดลเดียวก็เพียงพอ
จัดประชุมสภาของโมเดลหลายตัวด้วยคำถามเดียว
ตรวจสอบการใช้เหตุผลของแต่ละโมเดลทีละจุด ไม่ใช่เป็นก้อน
การให้คะแนนข้ามซ่อนการเป็นเจ้าของเพื่อลดอคติการเสริมสร้างตนเอง
ไม่มีคีย์ API ต่อผู้ให้บริการ—ฉันทามติและความไม่เห็นด้วยพร้อมใช้งาน
LLM สภาคือกลุ่มของโมเดลภาษาขนาดใหญ่ที่แต่ละตัวตอบคำถามอย่างอิสระ จากนั้นประเมินคำตอบของกันและกันเพื่อผลิตมุมมองฉันทามติ แทนที่จะพึ่งพาโมเดลเดียว สภาทำให้ความเห็นพ้องและไม่เห็นพ้องระหว่างโมเดลชัดเจน—ดังนั้นคุณสามารถเห็นได้ว่าโมเดลมาบรรจบกันที่ไหนและที่ไหนที่พวกเขาไม่ทำ
Andrej Karpathy ได้ปล่อยที่เก็บซอฟต์แวร์โอเพนซอร์ส 'llm-council' ที่แสดงให้เห็นถึงรูปแบบ: โมเดลหลายตัวตอบคำถาม จากนั้นจัดอันดับคำตอบของกันและกันก่อนการสังเคราะห์สุดท้าย มันเป็นการพิสูจน์แนวคิดของการใช้เหตุผลร่วมกันระหว่างโมเดล Argumentree.AI ขยายแนวคิดด้วยต้นไม้ข้อโต้แย้งที่มีโครงสร้างและการให้คะแนนแบบไม่ระบุชื่อ
การวิจัยเกี่ยวกับการใช้ LLM เป็นผู้ตัดสินได้บันทึกอคติการเสริมสร้างตนเอง—โมเดลมักจะชอบผลลัพธ์ของตนเอง การไม่ระบุว่าโมเดลใดผลิตข้อโต้แย้งใดก่อนการให้คะแนนจะลดอคตินั้น ดังนั้นโมเดลจึงไม่สามารถให้รางวัลตนเองได้ นี่คือเหตุผลในการออกแบบเบื้องหลังการให้คะแนนข้ามแบบไม่ระบุชื่อของ Argumentree.AI
ไม่ต้องใช้กับ LLM สภาที่โฮสต์ การใช้งานซอฟต์แวร์โอเพนซอร์สมักต้องการให้คุณจัดเตรียมคีย์ API สำหรับผู้ให้บริการแต่ละราย Argumentree.AI เสนอ LLM สภาที่โฮสต์หลายตัวเพื่อให้คุณสามารถสอบถามโมเดลหลายตัวและดูฉันทามติของพวกเขาโดยไม่ต้องเชื่อมต่อคีย์ API แยกต่างหาก
อย่างตรงไปตรงมา การดำเนินการสภามีค่าใช้จ่ายมากกว่าการสอบถามเพียงครั้งเดียว—มันทำการเรียกโมเดลหลายครั้ง ดังนั้นจึงใช้การคำนวณมากขึ้นและใช้เวลานานกว่าในการตอบกลับ การแลกเปลี่ยนนี้ทำให้คุณได้การตรวจสอบข้ามโมเดลและแผนที่ความไม่เห็นด้วยที่มองเห็นได้ สำหรับคำถามที่มีความเสี่ยงสูง ค่าใช้จ่ายและความล่าช้าที่เพิ่มขึ้นมักจะคุ้มค่า; สำหรับการค้นหาที่ไม่สำคัญ โมเดลเดียวก็เพียงพอ
โมเดลหลายตัว, คำถามหนึ่งข้อ, ฉันทามติที่คุณสามารถตรวจสอบได้—ไม่ต้องการคีย์ API
เริ่มต้นฟรี