การตรวจสอบเพื่อน AI คือการมีโมเดล AI หลายตัวตรวจสอบและให้คะแนนข้อโต้แย้งของกันและกัน คล้ายกับการตรวจสอบเพื่อนในทางวิชาการที่ใช้กับผลลัพธ์ของ AI แทนที่จะเชื่อคำตอบของโมเดลเดียว ข้อเรียกร้องของแต่ละโมเดลจะถูกประเมินโดยโมเดลอื่น ๆ และข้อโต้แย้งที่ผ่านการตรวจสอบข้ามโมเดลจะได้รับความมั่นใจ เหตุผลนี้มีพื้นฐานอยู่ในข้อจำกัดที่ทราบกันดีของการใช้ LLM เดียวเป็นผู้ตัดสิน: เอกสารวิจัยแสดงให้เห็นถึงอคติในตำแหน่ง (ชอบคำตอบที่ปรากฏก่อน), อคติในความยาว (ให้รางวัลคำตอบที่ยาวกว่าทั้งที่คุณภาพไม่ดี), และอคติการเสริมสร้างตนเอง (โมเดลชอบผลลัพธ์ของตนเอง) การกระจายการประเมินไปยังโมเดลหลายตัวและการไม่ระบุชื่อว่าใครเป็นผู้ให้คะแนนข้อโต้แย้งจะช่วยลดอคติที่เฉพาะเจาะจงของผู้ตัดสินคนใดคนหนึ่ง เนื่องจากโมเดลต่าง ๆ มักจะมีการสร้างภาพที่แตกต่างกัน ข้อเรียกร้องที่สร้างขึ้นหรือไม่มีการสนับสนุนมักจะได้รับคะแนนต่ำจากโมเดลอื่น ๆ ดังนั้นการให้คะแนนข้ามโมเดลที่ต่ำอย่างต่อเนื่องจึงเป็นสัญญาณว่าข้อเรียกร้องนั้นต้องการการตรวจสอบจากมนุษย์ Argumentree.AI ใช้การนี้โดยให้โมเดลที่มีอยู่ทุกตัวให้คะแนนข้อโต้แย้งของโมเดลอื่น ๆ แบบไม่ระบุชื่อ ทำให้เห็นว่าข้อเรียกร้องใดได้รับการสนับสนุนอย่างกว้างขวางและข้อใดอ่อนแอหรือถูกโต้แย้ง มันเสริมการตัดสินของมนุษย์แทนที่จะมาแทนที่
การตรวจสอบเพื่อน AI มีโมเดลหลายตัวที่ให้คะแนนข้อโต้แย้งของกันและกัน — การตรวจสอบเพื่อนในทางวิชาการที่ใช้กับผลลัพธ์ของ AI การให้คะแนนข้ามโมเดลแบบไม่ระบุชื่อดีกว่าผู้ตัดสิน AI เดียว ซึ่งคะแนนของเขามักมีอคติ
การตรวจสอบเพื่อน AI ทำให้โมเดลให้คะแนนข้อโต้แย้งของกันและกันแทนที่จะเชื่อผู้ตัดสินคนเดียว ผู้ตัดสิน LLM เดียวแสดงอคติในตำแหน่ง ความยาว และการเสริมสร้างตนเอง — การกระจายคะแนนไปยังโมเดลหลายตัวแบบไม่ระบุชื่อช่วยลดอคติเหล่านั้นและทำให้ข้อเรียกร้องที่อ่อนแอหรือสร้างภาพปรากฏ
ในวงการวิชาการ ข้อเรียกร้องจะไม่ได้รับการยอมรับเพียงเพราะผู้เขียนมั่นใจ — มันจะถูกตรวจสอบโดยเพื่อนที่เป็นอิสระซึ่งตัดสินเหตุผลและหลักฐาน การตรวจสอบเพื่อน AI ยืมหลักการนั้น: แทนที่จะเชื่อคำตอบของโมเดลเดียว คุณมีโมเดลหลายตัวที่ตรวจสอบและให้คะแนนข้อโต้แย้งของกันและกัน ข้อเรียกร้องที่ยืนหยัดภายใต้การตรวจสอบข้ามโมเดลจะได้รับความมั่นใจ; ข้อเรียกร้องที่โมเดลอื่น ๆ ให้คะแนนต่ำจะถูกทำเครื่องหมาย
ทางลัดที่น่าสนใจคือการให้โมเดลที่แข็งแกร่งเพียงตัวเดียวให้คะแนนผลลัพธ์ — รูปแบบ "LLM-as-a-judge" ปัญหาคือ: การวิจัยเกี่ยวกับผู้ตัดสิน LLM ได้บันทึกอคติที่เป็นระบบซึ่งทำให้ผู้ตัดสินคนเดียวไม่น่าเชื่อถือ
ทางเลือกการออกแบบสองอย่างช่วยต่อต้านอคติเหล่านั้น: กระจายการให้คะแนนไปยังโมเดลหลายตัว และ ไม่ระบุชื่อว่าใครเป็นผู้ให้คะแนนข้อโต้แย้ง ด้วยกันพวกเขาตัดสินเนื้อหา ไม่ใช่การเป็นเจ้าของ และเฉลี่ยออกความแปลกประหลาดของโมเดลใดโมเดลหนึ่ง
โมเดลที่มีอยู่แต่ละตัวจะมีข้อโต้แย้งที่สนับสนุน/ต่อต้านอย่างอิสระ
ข้อโต้แย้งจะถูกไม่ระบุชื่อเพื่อไม่ให้โมเดลใดรู้ว่าข้อใดเป็นของตน
การให้คะแนนจะกระจายไปยังโมเดล ไม่ได้รวมอยู่ในผู้ตัดสินคนเดียว
การสนับสนุนอย่างกว้างขวาง = ความมั่นใจ; คะแนนที่ต่ำอย่างต่อเนื่อง = ข้อเรียกร้องที่อ่อนแอหรือสร้างภาพที่ต้องตรวจสอบ
โมเดลหนึ่งกล่าวว่า "ห้องสมุดนี้ปลอดภัยจากหน่วยความจำตามการออกแบบ" พร้อมการอ้างอิงที่มั่นใจ ภายใต้การตรวจสอบเพื่อนแบบไม่ระบุชื่อ โมเดลอื่น ๆ ให้คะแนนข้อโต้แย้งนั้นต่ำ — หลายคนชี้ให้เห็นว่าการรับประกันที่อ้างถึงไม่ได้ครอบคลุมเส้นทางการทำงานที่ไม่ปลอดภัย คะแนนข้ามโมเดลที่ต่ำทำให้ข้อเรียกร้องนั้นต้องตรวจสอบโดยมนุษย์ แทนที่จะให้โมเดลที่มั่นใจเพียงตัวเดียวดำเนินการโดยไม่มีการท้าทาย
โมเดลที่มีอยู่ทุกตัวให้คะแนนข้อโต้แย้งของโมเดลอื่น ๆ — แบบไม่ระบุชื่อ — ดังนั้นข้อเรียกร้องที่อ่อนแอจึงไม่สามารถซ่อนอยู่หลังความมั่นใจของโมเดลเดียว
ข้อโต้แย้งมาจากหลายโมเดล ไม่ใช่แหล่งเดียว
ทุกโมเดลให้คะแนนข้อโต้แย้งของโมเดลอื่น ๆ โดยไม่รู้ว่าใครเป็นผู้เขียน
ข้อโต้แย้งที่ได้รับการสนับสนุนอย่างกว้างขวางจะเพิ่มขึ้น; ข้อที่ได้รับคะแนนต่ำอย่างต่อเนื่องจะถูกทำเครื่องหมาย
ภาพลวงตาที่อาจเกิดขึ้นจะแสดงออกมาเป็นความไม่เห็นด้วยข้ามโมเดลเพื่อการตรวจสอบ
การตรวจสอบเพื่อน AI คือเมื่อโมเดล AI หลายตัวตรวจสอบและให้คะแนนข้อโต้แย้งของกันและกัน คล้ายกับการตรวจสอบเพื่อนในทางวิชาการที่ใช้กับผลลัพธ์ของ AI แทนที่จะเชื่อคำตอบของโมเดลเดียว ข้อเรียกร้องของแต่ละโมเดลจะถูกประเมินโดยโมเดลอื่น ๆ ข้อโต้แย้งที่ผ่านการตรวจสอบข้ามโมเดลจะได้รับความมั่นใจ; ข้อเรียกร้องที่โมเดลอื่น ๆ ให้คะแนนต่ำจะถูกทำเครื่องหมายว่าอ่อนแอหรืออาจสร้างภาพ
การใช้ LLM ตัวเดียวเป็นผู้ตัดสินเป็นที่ทราบกันดีว่ามีอคติ การวิจัยเกี่ยวกับ LLM-as-a-judge บันทึกอคติในตำแหน่ง (ชอบคำตอบที่ปรากฏก่อน), อคติในความยาว (ให้รางวัลคำตอบที่ยาวกว่าทั้งที่คุณภาพไม่ดี), และอคติการเสริมสร้างตนเอง (โมเดลชอบผลลัพธ์ของตนเอง) การกระจายการประเมินไปยังโมเดลหลายตัวและการไม่ระบุชื่อว่าใครเป็นผู้ให้คะแนนข้อโต้แย้งจะช่วยลดอคติที่เฉพาะเจาะจงของผู้ตัดสินคนใดคนหนึ่ง
หากโมเดลรู้ว่าข้อโต้แย้งใดเป็นของตน อคติการเสริมสร้างตนเองอาจทำให้มันให้คะแนนตนเองสูงขึ้น การไม่ระบุชื่อข้อโต้แย้งก่อนการให้คะแนนจะลบสัญญาณนั้นออกไป ดังนั้นแต่ละโมเดลจึงตัดสินเนื้อหาแทนที่จะเป็นผู้เขียน การรวมคะแนนจากหลายโมเดลยังช่วยเฉลี่ยความแปลกประหลาดในตำแหน่งหรือความยาวของโมเดลใดโมเดลหนึ่ง ทำให้เกิดสัญญาณที่สมดุลมากกว่าผู้ตัดสินคนเดียว
มันช่วยให้ปรากฏขึ้น เนื่องจากโมเดลต่าง ๆ มักจะมีการสร้างภาพที่แตกต่างกัน ข้อเรียกร้องที่สร้างขึ้นหรือไม่มีการสนับสนุนจากโมเดลหนึ่งมักจะได้รับคะแนนต่ำจากโมเดลอื่น ๆ การให้คะแนนข้ามโมเดลที่ต่ำอย่างต่อเนื่องเป็นสัญญาณเตือนว่าข้อเรียกร้องนั้นต้องการการตรวจสอบจากมนุษย์ มันเป็นสัญญาณการตรวจจับความไม่เห็นด้วย ไม่ใช่การรับประกัน — หากทุกโมเดลมีข้อผิดพลาดเดียวกัน การตรวจสอบเพื่อนจะไม่สามารถจับได้
ไม่ การตรวจสอบเพื่อน AI ถูกออกแบบมาเพื่อให้ความสำคัญและเสริมการตัดสินของมนุษย์ ไม่ใช่แทนที่ มันบอกคุณว่าข้อเรียกร้องใดได้รับการสนับสนุนอย่างกว้างขวางจากโมเดลและข้อใดถูกโต้แย้งหรืออ่อนแอ ดังนั้นมนุษย์จึงสามารถมุ่งเน้นการตรวจสอบของตนในที่ที่สำคัญที่สุด การตัดสินใจขั้นสุดท้ายและการตรวจสอบที่มีความเสี่ยงสูงยังคงเป็นความรับผิดชอบของมนุษย์
อย่าเชื่อผู้ตัดสิน AI คนเดียว ดูว่าโมเดลแต่ละตัวให้คะแนนข้อโต้แย้งของโมเดลอื่น ๆ อย่างไร
เริ่มต้นฟรี