Mixture-of-Agents (MoA) เป็นสถาปัตยกรรมหลายชั้นที่มี LLM หลายตัวซึ่งถูกนำเสนอในเอกสาร "Mixture-of-Agents Enhances Large Language Model Capabilities" (arXiv:2406.04692) ใน MoA โมเดลหลายตัวทำหน้าที่เป็นผู้เสนอในชั้นหนึ่ง; การตอบสนองของพวกเขาจะถูกเชื่อมต่อและส่งต่อไปยังโมเดลผู้รวมข้อมูลในชั้นถัดไป ซึ่งจะสังเคราะห์คำตอบที่ปรับปรุงแล้ว ชั้นเพิ่มเติมจะทำการปรับปรุงซ้ำ เอกสารนี้แสดงให้เห็นถึงการเพิ่มขึ้นในเกณฑ์การประเมินแบบ preference เช่น AlpacaEval 2.0, MT-Bench และ FLASK — มาตรการคุณภาพการตอบสนองตามการตัดสินของผู้ประเมิน ไม่ใช่การรับประกันความถูกต้องตามข้อเท็จจริง MoA ยังเพิ่มค่าใช้จ่ายของโทเค็นและเพิ่มความล่าช้าเพราะมันเรียกใช้โมเดลหลายตัวข้ามชั้น และการรวมข้อมูลสามารถทำให้ความไม่เห็นด้วยที่แท้จริงถูกกลบเกลื่อน Argumentree.AI เกี่ยวข้องแต่แตกต่าง: แทนที่จะรวมเป็นคำตอบที่สังเคราะห์เดียว มันจะรักษาเหตุผลของแต่ละโมเดลไว้และให้โมเดลที่มีอยู่ทั้งหมดประเมินเหตุผลของโมเดลอื่น ๆ แสดงให้เห็นถึงความเห็นพ้องและความไม่เห็นด้วยแทนที่จะซ่อนมัน
Mixture-of-Agents (MoA) ถือว่า LLM หลายตัวเป็นตัวแทนที่ทำงานร่วมกัน — ผู้เสนอสร้างคำตอบที่เป็นไปได้ ผู้รวมข้อมูลสังเคราะห์พวกมันเป็นคำตอบที่ปรับปรุงแล้ว นี่เป็นเทคนิคที่แท้จริงที่มีข้อแลกเปลี่ยนที่แท้จริง ไม่ใช่สวิตช์ความถูกต้องที่วิเศษ
Mixture-of-Agents เป็นการชั้นหลาย LLM: โมเดลผู้เสนอร่างคำตอบ โมเดลผู้รวมข้อมูลรวมพวกมันเข้าด้วยกัน เอกสาร arXiv:2406.04692 แสดงให้เห็นถึงการเพิ่มขึ้นในเกณฑ์การประเมินแบบ preference (AlpacaEval, MT-Bench) — คุณภาพการตอบสนอง ไม่ใช่ความถูกต้องตามข้อเท็จจริงที่พิสูจน์แล้ว — และมันมีค่าใช้จ่ายมากกว่าโทเค็นและความล่าช้ามากกว่าการเรียกใช้โมเดลเดียว
Mixture-of-Agents ถูกนำเสนอในเอกสารปี 2024 "Mixture-of-Agents Enhances Large Language Model Capabilities" (arXiv:2406.04692) สังเกตหลักคือ การทำงานร่วมกัน: LLM มักจะผลิตคำตอบที่ดีกว่าเมื่อพวกเขาสามารถเห็นและสร้างจากผลลัพธ์ของโมเดลอื่น ๆ — แม้ว่าโมเดลเหล่านั้นจะอ่อนแอกว่าในแต่ละตัว MoA เปลี่ยนการสังเกตนั้นให้เป็นสถาปัตยกรรม
MoA ถูกจัดระเบียบเป็นชั้น แต่ละชั้นประกอบด้วย "ตัวแทน" LLM หลายตัว โมเดลในแต่ละชั้นจะสร้างคำตอบ โมเดลเหล่านั้นจะถูกเชื่อมต่อและส่งต่อไปยังชั้นถัดไป ซึ่งโมเดลจะทำหน้าที่เป็น ผู้รวมข้อมูล ที่ปรับปรุงและสังเคราะห์ การซ้อนชั้นจะทำการปรับปรุงซ้ำ
หลายโมเดลแต่ละตัวตอบคำถามในชั้นที่ 1 อย่างอิสระ
ผลลัพธ์ทั้งหมดในชั้นที่ 1 จะถูกรวบรวมเป็นวัสดุอ้างอิงสำหรับชั้นถัดไป
โมเดลชั้นที่ 2 อ่านผู้สมัครและผลิตการตอบสนองที่ปรับปรุงและรวมกัน
ชั้นเพิ่มเติมจะทำการปรับปรุงต่อไป; ผู้รวมข้อมูลสุดท้ายจะให้คำตอบ
ถามว่า "API ของเราควรส่งคืน 200 หรือ 202 สำหรับงานที่รับแล้ว?" โมเดลผู้เสนอสามตัวแต่ละตัวร่างคำตอบโดยอ้างถึงแนวทาง REST ผู้รวมข้อมูลอ่านทั้งสามตัว สังเกตว่ามีสองตัวที่สนับสนุน 202 Accepted พร้อม URL สถานะและอีกหนึ่งตัวสนับสนุน 200 และสังเคราะห์คำแนะนำเดียวที่รวมเหตุผลที่แข็งแกร่งที่สุดจากแต่ละตัว คำตอบที่ผสมผสานอ่านได้ดี — แต่ถ้าทั้งสามตัวมีความเข้าใจผิดเดียวกัน ผู้รวมข้อมูลจะทำซ้ำมันอย่างมั่นใจ
เอกสารรายงานผลลัพธ์ที่แข็งแกร่งใน เกณฑ์การประเมินแบบ preference — AlpacaEval 2.0, MT-Bench และ FLASK — ซึ่งผู้ตัดสิน (มักจะเป็น LLM หรือมนุษย์) ให้คะแนนว่าการตอบสนองใดมีประโยชน์หรือมีคุณภาพสูงกว่า นี่เป็นความแตกต่างที่สำคัญสำหรับนักพัฒนา:
รูปแบบหลายโมเดลสามรูปแบบ ในฐานะนักพัฒนา เลือกตามสิ่งที่คุณต้องการส่ง: คำตอบที่ปรับปรุงแล้วหนึ่งคำตอบ หรือเหตุผลข้ามโมเดลที่มองเห็นได้
| รูปแบบ | สิ่งที่มันเพิ่มประสิทธิภาพ | สิ่งที่คุณได้รับ |
|---|---|---|
| การผสมผสานของตัวแทน | คำตอบที่ปรับปรุงแล้วแบบผสม | ผู้รวมข้อมูลรวมผลลัพธ์ของผู้เสนอ; มุมมองแต่ละตัวหายไปในกระบวนการสังเคราะห์ |
| สภา LLM | การมีส่วนร่วมที่โปร่งใสต่อโมเดลแต่ละตัว | คำตอบของแต่ละโมเดลยังคงมองเห็นได้; โมเดลมักจะประเมินกันและกัน |
| ความเห็นพ้องต้องกันของ Multi-LLM | สัญญาณความเห็นพ้อง + ความไม่เห็นพ้อง | วัดว่าที่ไหนโมเดลเห็นพ้อง (ความมั่นใจ) และแตกต่าง (คำถามที่มีข้อโต้แย้ง) |
กฎทั่วไป: ใช้ MoA เมื่อคุณต้องการคำตอบที่ดีที่สุดเพียงหนึ่งคำตอบและสามารถจ่ายค่าใช้จ่ายโทเค็น/ความล่าช้า; ใช้สภาหรือการให้คะแนนความเห็นพ้องเมื่อความไม่เห็นด้วยเองเป็นผลิตภัณฑ์
Argumentree.AI แบ่งปันแนวคิดของ MoA — โมเดลหลายตัวดีกว่าหนึ่งตัว — แต่รักษาผลลัพธ์แต่ละตัวให้มองเห็นได้แทนที่จะรวมเข้าด้วยกัน
แต่ละโมเดลตอบอย่างอิสระ — ไม่มีการรวมเสียงของผู้เสนอ/ผู้รวมข้อมูลเป็นเสียงเดียว
ข้อโต้แย้งแต่ละข้อจะยังคงสามารถระบุได้กับโมเดลที่สร้างมันขึ้นมา
โมเดลที่มีอยู่ทุกตัวให้คะแนนข้อโต้แย้งของโมเดลอื่น
คุณเห็นความเห็นพ้องเป็นความมั่นใจและความไม่เห็นพ้องเป็นคำถามที่แท้จริง
Mixture-of-Agents (MoA) เป็นสถาปัตยกรรมแบบชั้นที่หลายโมเดลภาษาขนาดใหญ่ทำหน้าที่เป็นผู้เสนอในชั้นหนึ่ง และผลลัพธ์ของพวกเขาจะถูกส่งไปยังโมเดลผู้รวมข้อมูลในชั้นถัดไปที่สังเคราะห์การตอบสนองที่ปรับปรุงแล้ว นำเสนอในเอกสาร 'Mixture-of-Agents Enhances Large Language Model Capabilities' (arXiv:2406.04692) มันถือว่า LLM หลายตัวเป็นตัวแทนที่ทำงานร่วมกันแทนที่จะพึ่งพาโมเดลเดียว
เอกสาร MoA ดั้งเดิมรายงานการเพิ่มขึ้นในเกณฑ์การวัดแบบความชอบ เช่น AlpacaEval 2.0, MT-Bench และ FLASK ซึ่งผู้ตัดสินให้คะแนนคุณภาพการตอบสนอง นั่นคือการวัดความชอบและความช่วยเหลือ ไม่ใช่การรับประกันความถูกต้องตามข้อเท็จจริง MoA สามารถผลิตคำตอบที่มีการปรับปรุงและมีโครงสร้างที่ดีกว่าในขณะที่ยังคงทำซ้ำข้อผิดพลาดที่แท้จริงร่วมกัน ดังนั้นจึงไม่ควรถือว่าเป็นการรับประกันความจริง
MoA รันหลายโมเดลในหลายชั้น ดังนั้นจึงเพิ่มค่าใช้จ่ายโทเคนและเพิ่มความล่าชาเมื่อเปรียบเทียบกับการเรียกโมเดลเดียว ชั้นผู้รวมข้อมูลยังสามารถทำให้ความไม่เห็นพ้องที่แท้จริงระหว่างผู้เสนอเรียบง่ายขึ้น โดยซ่อนมุมมองของกลุ่มน้อยที่มีค่าในการมองเห็น มันเป็นเทคนิคที่แท้จริงที่มีการแลกเปลี่ยนค่าใช้จ่าย/ความล่าชาที่แท้จริง ไม่ใช่การอัปเกรดฟรี
MoA เป็นสถาปัตยกรรมการสังเคราะห์: โมเดลผู้เสนอจะป้อนข้อมูลไปยังผู้รวมข้อมูลที่รวมทุกอย่างเป็นคำตอบที่ปรับปรุงแล้ว สภา LLM รักษาการมีส่วนร่วมของแต่ละโมเดลให้มองเห็นได้และมักจะมีโมเดลที่ประเมินหรือให้คะแนนกันและกัน ดังนั้นคุณสามารถเห็นได้ว่าพวกเขาไม่เห็นด้วยที่ไหน MoA มุ่งเน้นไปที่การผลิตผลลัพธ์ที่ผสมผสานกันอย่างแข็งแกร่งหนึ่งอย่าง; สภามุ่งเน้นไปที่ความโปร่งใสของมุมมองแต่ละตัว
ไม่เชิง Argumentree.AI แบ่งปันแนวคิดของ MoA ว่าหลายโมเดลดีกว่าหนึ่ง แต่แทนที่จะรวมเป็นคำตอบที่สังเคราะห์เดียว มันรักษาข้อโต้แย้งของแต่ละโมเดลไว้และให้โมเดลที่มีอยู่ทุกตัวให้คะแนนข้อโต้แย้งของโมเดลอื่น เป้าหมายคือการแสดงความเห็นพ้องต้องกันและความไม่เห็นพ้องอย่างโปร่งใส แทนที่จะซ่อนผลลัพธ์แต่ละตัวไว้เบื้องหลังคำตอบที่รวมกัน
MoA รวมโมเดลเข้าด้วยกันเป็นคำตอบเดียว Argumentree.AI รักษาเหตุผลของแต่ละโมเดลให้มองเห็นได้และให้คะแนนกันเอง
เริ่มต้นฟรี