Một hội đồng LLM là một nhóm các mô hình ngôn ngữ lớn mà mỗi mô hình trả lời một câu hỏi độc lập, sau đó đánh giá lẫn nhau để đạt được sự đồng thuận. Mô hình này đã được phổ biến bởi kho mã nguồn mở 'llm-council' của Andrej Karpathy, một bằng chứng khái niệm trong đó một số mô hình trả lời và sau đó xếp hạng lẫn nhau trước khi tổng hợp cuối cùng. Argumentree.AI mở rộng mô hình hội đồng với các cây lập luận có cấu trúc và đánh giá ẩn danh—ẩn danh vì nghiên cứu về việc sử dụng LLM như một thẩm phán ghi nhận một thiên lệch tự nâng cao mà trong đó các mô hình thiên vị đầu ra của chính mình. Một hội đồng LLM được lưu trữ cho phép bạn truy vấn nhiều mô hình mà không cần cung cấp khóa API của riêng bạn. Sự đánh đổi trung thực là chi phí và độ trễ: một hội đồng thực hiện nhiều cuộc gọi mô hình, vì vậy nó chậm hơn và tốn kém hơn so với một truy vấn đơn, để đổi lấy sự xác thực giữa các mô hình và sự bất đồng rõ ràng.
Một hội đồng LLM có một số mô hình ngôn ngữ trả lời độc lập, đánh giá lẫn nhau và đạt được sự đồng thuận. Nó biến "một câu trả lời tự tin" thành một cuộc thảo luận mà bạn có thể kiểm tra.
Một hội đồng LLM là nhiều mô hình trả lời độc lập, sau đó đánh giá lẫn nhau để hình thành sự đồng thuận. Mô hình này đến từ kho mã nguồn mở llm-council của Karpathy. Argumentree.AI lưu trữ nó—không cần khóa API—và đánh giá ẩn danh để hạn chế sự tự khen.
Mô hình hội đồng rất đơn giản để phát biểu: nhiều LLM trả lời cùng một câu hỏi độc lập, sau đó đánh giá lẫn nhau, và một sự đồng thuận được rút ra từ các đánh giá đồng nghiệp. Không có mô hình nào có tiếng nói cuối cùng. Bởi vì các mô hình không thấy phản hồi của nhau trước khi trả lời, lý luận độc lập của chúng được bảo tồn—và những nơi mà chúng khác biệt trở nên rõ ràng thay vì bị ẩn sau một câu trả lời tự tin.
Mỗi mô hình trả lời câu hỏi một cách độc lập, mà không thấy các mô hình khác
Mỗi mô hình đánh giá câu trả lời của các mô hình khác
Các đánh giá được tổng hợp để tiết lộ nơi mà hội đồng đồng ý và không đồng ý
Andrej Karpathy đã công bố một kho mã nguồn mở "llm-council" chứng minh chính xác quy trình này—một số mô hình trả lời, xếp hạng lẫn nhau, và một phản hồi cuối cùng được tổng hợp. Đây là một bằng chứng công khai cho thấy các mô hình có thể đánh giá lẫn nhau một cách có ý nghĩa. Argumentree.AI xây dựng dựa trên cùng một ý tưởng.
Argumentree.AI phát triển mô hình hội đồng xa hơn theo hai cách. Đầu tiên, thay vì so sánh toàn bộ câu trả lời, nó cấu trúc lý luận của mỗi mô hình thành một cây lập luận—do đó các tuyên bố cá nhân có thể được đánh giá và kiểm tra, không chỉ là đoạn cuối cùng. Thứ hai, nó sử dụng đánh giá ẩn danh lẫn nhau: khi một mô hình đánh giá các lập luận, nó không biết mô hình nào đã tạo ra chúng.
Nghiên cứu về việc sử dụng LLM như một thẩm phán ghi nhận một thiên lệch tự nâng cao—các mô hình có xu hướng đánh giá đầu ra của chính mình một cách thuận lợi hơn. Việc ẩn danh tác giả trước khi đánh giá loại bỏ lối tắt, vì vậy một mô hình không thể đơn giản tự thưởng cho mình. Đó là lý do thiết kế cho việc đánh giá chéo ẩn danh.
Chạy một hội đồng tự mình thường có nghĩa là đăng ký với từng nhà cung cấp mô hình và kết nối các khóa API riêng biệt. Argumentree.AI cung cấp một hội đồng LLM được lưu trữ: bạn chỉ cần hỏi một lần, và tất cả các mô hình có sẵn tham gia—không cần quản lý khóa, không cần thiết lập theo nhà cung cấp. Bạn nhận được sự đồng thuận của hội đồng và những bất đồng của nó ở một nơi.
Một hội đồng không miễn phí. Theo định nghĩa, nó thực hiện nhiều cuộc gọi mô hình, vì vậy nó sử dụng nhiều tài nguyên tính toán hơn và mất nhiều thời gian hơn để trả về so với một truy vấn đơn. Đó là sự đánh đổi có chủ ý: bạn chi nhiều hơn để có được sự xác thực giữa các mô hình và một bản đồ rõ ràng về nơi mà các mô hình không đồng ý. Đối với nghiên cứu có tính chất quan trọng, đó là một thỏa thuận tốt; đối với một tìm kiếm tầm thường, một mô hình là đủ.
Tập hợp một hội đồng của một số mô hình với một câu hỏi duy nhất
Kiểm tra từng điểm lý luận của mỗi mô hình, không phải như một khối
Đánh giá chéo ẩn danh để hạn chế thiên lệch tự nâng cao
Không cần khóa API theo nhà cung cấp—sự đồng thuận và bất đồng có sẵn ngay lập tức
Một hội đồng LLM là một nhóm các mô hình ngôn ngữ lớn mà mỗi mô hình trả lời một câu hỏi độc lập, sau đó đánh giá lẫn nhau để tạo ra một cái nhìn đồng thuận. Thay vì dựa vào một mô hình duy nhất, hội đồng làm cho sự đồng ý và bất đồng giữa các mô hình trở nên rõ ràng—vì vậy bạn có thể thấy nơi mà các mô hình hội tụ và nơi mà chúng không.
Andrej Karpathy đã phát hành một kho mã nguồn mở 'llm-council' chứng minh mô hình: một số mô hình trả lời một truy vấn, sau đó xếp hạng câu trả lời của nhau trước khi tổng hợp cuối cùng. Đây là một bằng chứng khái niệm về lý luận tập thể giữa các mô hình. Argumentree.AI mở rộng ý tưởng với các cây lập luận có cấu trúc và đánh giá ẩn danh lẫn nhau.
Nghiên cứu về việc sử dụng LLM như một thẩm phán đã ghi nhận một thiên lệch tự nâng cao—các mô hình có xu hướng thiên vị đầu ra của chính mình. Việc ẩn danh mô hình nào đã sản xuất lập luận nào trước khi đánh giá giảm thiểu thiên lệch đó, vì vậy một mô hình không thể đơn giản tự thưởng cho mình. Đây là lý do thiết kế đằng sau việc đánh giá chéo ẩn danh của Argumentree.AI.
Không với một hội đồng LLM được lưu trữ. Các triển khai mã nguồn mở thường yêu cầu bạn cung cấp khóa API cho từng nhà cung cấp. Argumentree.AI cung cấp một hội đồng LLM đa mô hình được lưu trữ để bạn có thể truy vấn nhiều mô hình và xem sự đồng thuận của chúng mà không cần kết nối các khóa API riêng lẻ.
Thực sự mà nói, chạy một hội đồng tốn kém hơn một truy vấn đơn—nó thực hiện nhiều cuộc gọi mô hình, vì vậy nó sử dụng nhiều tài nguyên tính toán hơn và mất nhiều thời gian hơn để trả về. Sự đánh đổi đó mang lại cho bạn sự xác thực giữa các mô hình và một bản đồ rõ ràng về sự bất đồng. Đối với các câu hỏi có tính chất quan trọng, chi phí và độ trễ bổ sung thường là xứng đáng; đối với các tìm kiếm tầm thường, một mô hình là đủ.
Nhiều mô hình, một câu hỏi, sự đồng thuận mà bạn có thể kiểm tra—không cần khóa API.
Bắt đầu miễn phí