Đánh giá đồng đẳng AI là thực tiễn có nhiều mô hình AI đánh giá và xếp hạng các lập luận của nhau, giống như đánh giá đồng đẳng học thuật áp dụng cho các đầu ra của AI. Thay vì tin tưởng vào câu trả lời của một mô hình duy nhất, các tuyên bố của mỗi mô hình được đánh giá bởi các mô hình khác, và những lập luận vượt qua sự kiểm tra giữa các mô hình sẽ được tăng cường độ tin cậy. Lý do này dựa trên những giới hạn đã biết của việc sử dụng một LLM duy nhất làm thẩm phán: tài liệu nghiên cứu ghi nhận thiên kiến vị trí (ưu tiên câu trả lời nào xuất hiện trước), thiên kiến độ dài (thưởng cho các câu trả lời dài hơn bất kể chất lượng), và thiên kiến tự nâng cao (một mô hình ưu tiên các đầu ra của chính nó). Phân tán việc đánh giá giữa nhiều mô hình và ẩn danh ai là người đưa ra lập luận sẽ làm giảm bớt thiên kiến riêng biệt của bất kỳ thẩm phán nào. Bởi vì các mô hình khác nhau có xu hướng tạo ra những điều khác nhau, một tuyên bố giả mạo hoặc không được hỗ trợ thường bị đánh giá thấp bởi các mô hình khác, vì vậy những đánh giá thấp giữa các mô hình sẽ đánh dấu những tuyên bố cần được xác minh bởi con người. Argumentree.AI thực hiện điều này bằng cách để mỗi mô hình có sẵn đánh giá các lập luận của mọi mô hình khác một cách ẩn danh, làm nổi bật những tuyên bố được hỗ trợ rộng rãi và những tuyên bố yếu hoặc bị tranh cãi. Nó tăng cường phán đoán của con người thay vì thay thế nó.
Đánh giá đồng đẳng AI có nhiều mô hình đánh giá lẫn nhau — đánh giá đồng đẳng học thuật, áp dụng cho các đầu ra của AI. Đánh giá ẩn danh giữa các mô hình vượt trội hơn một thẩm phán AI đơn lẻ, mà các đánh giá của nó được biết là có thiên kiến.
Đánh giá đồng đẳng AI khiến các mô hình đánh giá lẫn nhau thay vì tin tưởng vào một thẩm phán. Các thẩm phán LLM đơn lẻ thể hiện thiên kiến vị trí, độ dài và tự nâng cao — việc phân tán các đánh giá giữa nhiều mô hình, một cách ẩn danh, làm giảm bớt những thiên kiến đó và làm nổi bật những tuyên bố yếu hoặc giả mạo.
Trong học thuật, một tuyên bố không được chấp nhận chỉ vì tác giả của nó tự tin — nó được xem xét bởi các đồng nghiệp độc lập, những người đánh giá lý luận và bằng chứng. Đánh giá đồng đẳng AI mượn nguyên tắc đó: thay vì tin tưởng vào câu trả lời của một mô hình, bạn có nhiều mô hình đánh giá và xếp hạng các lập luận của nhau. Những tuyên bố đứng vững dưới sự kiểm tra giữa các mô hình sẽ được tăng cường độ tin cậy; những tuyên bố mà các mô hình khác đánh giá thấp sẽ bị đánh dấu.
Một lối tắt hấp dẫn là để một mô hình mạnh duy nhất đánh giá các đầu ra — mô hình "LLM-là-một-thẩm-phán". Vấn đề: nghiên cứu về các thẩm phán LLM đã ghi nhận những thiên kiến hệ thống khiến một thẩm phán trở nên không đáng tin cậy.
Hai lựa chọn thiết kế chống lại những thiên kiến đó: phân tán việc đánh giá giữa nhiều mô hình, và ẩn danh ai là người đưa ra lập luận. Cùng nhau, chúng đánh giá nội dung, không phải tác giả, và trung bình hóa bất kỳ sự kỳ quặc nào của một mô hình đơn lẻ.
Mỗi mô hình có sẵn đóng góp các lập luận ủng hộ/phản đối một cách độc lập.
Các lập luận được ẩn danh để không mô hình nào biết lập luận nào là của mình.
Các đánh giá được phân tán giữa các mô hình, không tập trung vào một thẩm phán.
Hỗ trợ rộng rãi = độ tin cậy; các đánh giá thấp liên tục = một tuyên bố yếu hoặc giả mạo cần xác minh.
Một mô hình khẳng định "thư viện này an toàn về bộ nhớ theo thiết kế" với một trích dẫn tự tin. Dưới sự đánh giá đồng đẳng ẩn danh, các mô hình khác đánh giá lập luận đó thấp — một số lưu ý rằng bảo đảm được trích dẫn không bao gồm con đường tương tác không an toàn. Đánh giá thấp giữa các mô hình đánh dấu tuyên bố để con người kiểm tra, thay vì để một mô hình tự tin mang nó đi mà không bị thách thức.
Mỗi mô hình có sẵn đánh giá các lập luận của mọi mô hình khác — ẩn danh — để các tuyên bố yếu không thể ẩn nấp sau sự tự tin của một mô hình.
Các lập luận đến từ nhiều mô hình, không phải từ một nguồn duy nhất
Mỗi mô hình đánh giá các lập luận của mọi mô hình khác mà không biết tác giả
Các lập luận được hỗ trợ rộng rãi tăng lên; những lập luận bị đánh giá thấp liên tục sẽ bị đánh dấu
Các ảo giác tiềm năng xuất hiện dưới dạng sự bất đồng giữa các mô hình để xác minh
Đánh giá đồng đẳng AI là khi nhiều mô hình AI đánh giá và xếp hạng các lập luận của nhau, giống như đánh giá đồng đẳng học thuật áp dụng cho các đầu ra của AI. Thay vì tin tưởng vào câu trả lời của một mô hình, các tuyên bố của mỗi mô hình được đánh giá bởi các mô hình khác. Những lập luận đứng vững dưới sự kiểm tra giữa các mô hình sẽ được tăng cường độ tin cậy; những tuyên bố mà các mô hình khác đánh giá thấp sẽ bị đánh dấu là yếu hoặc có khả năng là ảo giác.
Việc sử dụng một LLM làm thẩm phán được biết là có thiên kiến. Nghiên cứu về LLM-là-một-thẩm-phán ghi nhận thiên kiến vị trí (ưu tiên câu trả lời nào xuất hiện trước), thiên kiến độ dài (thưởng cho các câu trả lời dài hơn bất kể chất lượng), và thiên kiến tự nâng cao (một mô hình ưu tiên các đầu ra của chính nó). Phân tán việc đánh giá giữa nhiều mô hình và ẩn danh ai là người đưa ra lập luận sẽ làm giảm bớt thiên kiến riêng biệt của bất kỳ thẩm phán nào.
Nếu một mô hình biết lập luận nào là của mình, thiên kiến tự nâng cao có thể khiến nó đánh giá cao hơn. Việc ẩn danh các lập luận trước khi đánh giá loại bỏ tín hiệu đó, vì vậy mỗi mô hình đánh giá nội dung thay vì tác giả. Việc kết hợp các đánh giá từ nhiều mô hình cũng làm trung bình hóa bất kỳ sự kỳ quặc nào của một mô hình đơn lẻ, tạo ra một tín hiệu cân bằng hơn so với một thẩm phán đơn lẻ.
Nó giúp làm nổi bật chúng. Bởi vì các mô hình khác nhau có xu hướng tạo ra những điều khác nhau, một tuyên bố giả mạo hoặc không được hỗ trợ từ một mô hình thường bị đánh giá thấp bởi các mô hình khác. Các đánh giá thấp liên tục giữa các mô hình là một tín hiệu đỏ rằng một tuyên bố cần được xác minh bởi con người. Đây là một tín hiệu phát hiện sự bất đồng, không phải là một đảm bảo — nếu mọi mô hình đều chia sẻ cùng một lỗi, đánh giá đồng đẳng sẽ không phát hiện được.
Không. Đánh giá đồng đẳng AI được thiết kế để ưu tiên và tăng cường phán đoán của con người, không thay thế nó. Nó cho bạn biết những tuyên bố nào được hỗ trợ rộng rãi giữa các mô hình và những tuyên bố nào bị tranh cãi hoặc yếu, để con người có thể tập trung xác minh nơi quan trọng nhất. Các quyết định cuối cùng và xác minh trong các tình huống quan trọng vẫn là trách nhiệm của con người.
Đừng tin tưởng một thẩm phán AI. Xem cách mỗi mô hình đánh giá các lập luận của mọi mô hình khác.
Bắt Đầu Miễn Phí