Penilaian rakan AI adalah amalan di mana pelbagai model AI menilai dan memberi penilaian terhadap hujah satu sama lain, sama seperti penilaian rakan akademik yang diterapkan kepada output AI. Daripada mempercayai jawapan model tunggal, tuntutan setiap model dinilai oleh model-model lain, dan hujah yang bertahan di bawah pemeriksaan silang model mendapat keyakinan. Rasionalnya berakar pada had yang diketahui menggunakan satu LLM sebagai hakim: dokumen penyelidikan menunjukkan bias kedudukan (memihak kepada jawapan yang muncul pertama), bias kebisingan (memberi ganjaran kepada jawapan yang lebih panjang tanpa mengira kualiti), dan bias peningkatan diri (model yang lebih suka outputnya sendiri). Menyebarkan penilaian di kalangan pelbagai model dan menganonimkan hujah yang dinilai mengurangkan bias idiosinkratik mana-mana hakim. Oleh kerana model yang berbeza cenderung untuk berhalusinasi dengan cara yang berbeza, tuntutan yang direka atau tidak disokong sering dinilai rendah oleh model-model lain, jadi penilaian silang model yang konsisten rendah menandakan tuntutan yang memerlukan pengesahan manusia. Argumentree.AI melaksanakan ini dengan membenarkan setiap model yang tersedia menilai hujah setiap model lain secara anonim, menonjolkan tuntutan yang disokong secara meluas dan yang lemah atau dipertikaikan. Ia meningkatkan penilaian manusia dan bukannya menggantikannya.
Penilaian rakan AI mempunyai pelbagai model yang menilai hujah satu sama lain — penilaian rakan akademik, diterapkan kepada output AI. Penilaian silang model yang dianonimkan mengatasi seorang hakim AI tunggal, yang penilaiannya diketahui mempunyai bias.
Penilaian rakan AI membolehkan model menilai hujah satu sama lain daripada mempercayai seorang hakim. Hakim LLM tunggal menunjukkan bias kedudukan, kebisingan, dan peningkatan diri — menyebarkan penilaian di kalangan pelbagai model, secara anonim, mengurangkan bias tersebut dan menonjolkan tuntutan yang lemah atau berhalusinasi.
Dalam akademik, tuntutan tidak diterima hanya kerana penulisnya yakin — ia diperiksa oleh rakan-rakan bebas yang menilai alasan dan bukti. Penilaian rakan AI meminjam prinsip itu: daripada mempercayai jawapan satu model, anda mempunyai pelbagai model yang menilai dan memberi penilaian terhadap hujah satu sama lain. Tuntutan yang bertahan di bawah pemeriksaan silang model mendapat keyakinan; tuntutan yang dinilai rendah oleh model lain akan ditandakan.
Satu jalan pintas yang menggoda adalah membiarkan satu model yang kuat menilai output — pola "LLM-sebagai-hakim". Masalahnya: penyelidikan mengenai hakim LLM telah mendokumentasikan bias sistematik yang menjadikan seorang hakim tidak boleh dipercayai.
Dua pilihan reka bentuk menentang bias tersebut: menyebarkan penilaian di kalangan banyak model, dan menganonimkan hujah yang dinilai. Bersama-sama mereka menilai kandungan, bukan pengarang, dan merata-rata sebarang keanehan model tunggal.
Setiap model yang tersedia menyumbang hujah pro/con secara bebas.
Hujah dianonimkan supaya tiada model tahu yang mana satu adalah miliknya.
Penilaian disebarkan di kalangan model, tidak tertumpu kepada satu hakim.
Sokongan yang luas = keyakinan; penilaian yang konsisten rendah = tuntutan yang lemah atau berhalusinasi untuk disahkan.
Satu model menyatakan "perpustakaan ini selamat dari segi memori secara reka bentuk" dengan petikan yang yakin. Di bawah penilaian rakan yang dianonimkan, model-model lain menilai hujah itu rendah — beberapa mencatat bahawa jaminan yang dipetik tidak meliputi laluan interop yang tidak selamat. Penilaian silang model yang rendah menandakan tuntutan untuk diperiksa oleh manusia, bukannya membiarkan satu model yang yakin membawanya tanpa cabaran.
Setiap model yang tersedia menilai hujah setiap model lain — secara anonim — supaya tuntutan lemah tidak dapat bersembunyi di sebalik keyakinan satu model.
Hujah datang dari beberapa model, bukan satu sumber
Setiap model menilai hujah setiap model lain tanpa mengetahui pengarang
Hujah yang disokong secara meluas meningkat; yang dinilai rendah secara konsisten ditandakan
Halusinasi yang berpotensi muncul sebagai perselisihan silang model untuk disahkan
Penilaian rakan AI adalah apabila pelbagai model AI menilai dan memberi penilaian terhadap hujah satu sama lain, sama seperti penilaian rakan akademik yang diterapkan kepada output AI. Daripada mempercayai jawapan satu model, tuntutan setiap model dinilai oleh model-model lain. Hujah yang bertahan di bawah pemeriksaan silang model mendapat keyakinan; tuntutan yang dinilai rendah oleh model lain ditandakan sebagai lemah atau berpotensi berhalusinasi.
Menggunakan satu LLM sebagai hakim diketahui mempunyai bias. Penyelidikan mengenai LLM-sebagai-hakim mendokumentasikan bias kedudukan (memihak kepada jawapan yang muncul pertama), bias kebisingan (memberi ganjaran kepada jawapan yang lebih panjang tanpa mengira kualiti), dan bias peningkatan diri (model yang lebih suka outputnya sendiri). Menyebarkan penilaian di kalangan pelbagai model dan menganonimkan hujah yang dinilai mengurangkan bias idiosinkratik mana-mana hakim tunggal.
Jika satu model tahu hujah yang mana adalah miliknya, bias peningkatan diri boleh membuatnya menilai dirinya lebih tinggi. Menganonimkan hujah sebelum penilaian menghilangkan petunjuk itu, jadi setiap model menilai kandungan dan bukannya pengarang. Menggabungkan penilaian dari beberapa model lebih merata-rata sebarang keanehan kedudukan atau kebisingan model tunggal, menghasilkan isyarat yang lebih seimbang daripada seorang hakim tunggal.
Ia membantu menonjolkan mereka. Oleh kerana model yang berbeza cenderung untuk berhalusinasi dengan cara yang berbeza, tuntutan yang direka atau tidak disokong dari satu model sering dinilai rendah oleh yang lain. Penilaian silang model yang konsisten rendah adalah tanda merah bahawa satu tuntutan memerlukan pengesahan manusia. Ia adalah isyarat pengesanan perselisihan, bukan jaminan — jika setiap model berkongsi kesilapan yang sama, penilaian rakan tidak akan menangkapnya.
Tidak. Penilaian rakan AI direka untuk mengutamakan dan meningkatkan penilaian manusia, bukan menggantikannya. Ia memberitahu anda hujah mana yang disokong secara meluas di kalangan model dan yang dipertikaikan atau lemah, supaya manusia dapat memfokuskan pengesahan mereka di tempat yang paling penting. Keputusan akhir dan pengesahan yang berisiko tinggi tetap menjadi tanggungjawab manusia.
Jangan percayakan seorang hakim AI. Lihat bagaimana setiap model menilai hujah setiap model lain.
Mula Percuma