Majlis LLM adalah sekumpulan model bahasa besar yang masing-masing menjawab soalan secara bebas, kemudian menilai respons satu sama lain untuk mencapai konsensus. Corak ini dipopularkan oleh repositori sumber terbuka 'llm-council' oleh Andrej Karpathy, satu bukti konsep di mana beberapa model menjawab dan kemudian menilai satu sama lain sebelum sintesis akhir. Argumentree.AI memperluas corak majlis dengan pokok hujah terstruktur dan penilaian bersama tanpa nama—tanpa nama kerana penyelidikan mengenai penggunaan LLM sebagai hakim mendokumenkan bias peningkatan diri di mana model lebih menyukai output mereka sendiri. Majlis LLM yang dihoskan membolehkan anda menyoal pelbagai model tanpa memberikan kunci API anda sendiri. Pertukaran yang jujur adalah kos dan latensi: majlis membuat panggilan model berganda, jadi ia lebih perlahan dan lebih mahal daripada satu pertanyaan, sebagai pertukaran untuk pengesahan silang model dan ketidaksetujuan yang jelas.
Sebuah majlis LLM mempunyai beberapa model bahasa yang menjawab secara bebas, menilai satu sama lain, dan mencapai konsensus. Ia mengubah "satu jawapan yang yakin" menjadi perbincangan yang boleh anda periksa.
Sebuah majlis LLM adalah pelbagai model yang menjawab secara bebas, kemudian menilai satu sama lain untuk membentuk konsensus. Corak ini berasal dari llm-council sumber terbuka Karpathy. Argumentree.AI menghoskannya—tiada kunci API diperlukan—dan menilai secara tanpa nama untuk mengurangkan pujian diri.
Corak majlis adalah mudah untuk dinyatakan: pelbagai LLM menjawab soalan yang sama secara bebas, kemudian menilai jawapan satu sama lain, dan konsensus diambil dari penilaian rakan sebaya. Tiada model tunggal yang mendapat kata akhir. Kerana model tidak melihat respons satu sama lain sebelum menjawab, pemikiran bebas mereka dipelihara—dan tempat di mana mereka berbeza menjadi jelas dan bukannya tersembunyi di sebalik satu jawapan yang yakin.
Setiap model menjawab soalan secara sendiri, tanpa melihat yang lain
Setiap model menilai jawapan model lain
Penilaian digabungkan untuk mendedahkan di mana majlis bersetuju dan tidak bersetuju
Andrej Karpathy menerbitkan repositori sumber terbuka "llm-council" yang menunjukkan aliran ini—beberapa model menjawab, menilai satu sama lain, dan respons akhir disintesis. Ia adalah bukti awam bahawa model boleh menilai satu sama lain dengan bermakna. Argumentree.AI membina idea yang sama.
Argumentree.AI membawa corak majlis lebih jauh dalam dua cara. Pertama, daripada membandingkan jawapan keseluruhan, ia menyusun pemikiran setiap model ke dalam pokok hujah—jadi tuntutan individu boleh dinilai dan diperiksa, bukan hanya perenggan akhir. Kedua, ia menggunakan penilaian bersama tanpa nama: apabila satu model menilai hujah, ia tidak tahu model mana yang menghasilkan hujah tersebut.
Penyelidikan mengenai penggunaan LLM sebagai hakim mendokumenkan bias peningkatan diri—model cenderung menilai output mereka sendiri dengan lebih baik. Menyembunyikan pengarang sebelum penilaian menghapuskan jalan pintas, jadi model tidak boleh hanya memberi ganjaran kepada dirinya sendiri. Itulah rasional reka bentuk untuk penilaian silang tanpa nama.
Menjalankan majlis sendiri biasanya bermakna mendaftar dengan setiap penyedia model dan menyambungkan kunci API yang berasingan. Argumentree.AI menawarkan majlis LLM yang dihoskan: anda bertanya sekali, dan semua model yang tersedia mengambil bahagian—tiada kunci untuk diurus, tiada penyedia yang perlu disediakan. Anda mendapat konsensus majlis dan ketidaksetujuannya di satu tempat.
Majlis tidak percuma. Secara definisi ia membuat panggilan model berganda, jadi ia menggunakan lebih banyak pengiraan dan mengambil masa lebih lama untuk kembali daripada satu pertanyaan. Itulah pertukaran yang disengajakan: anda membelanjakan lebih untuk mendapatkan pengesahan silang model dan peta yang jelas di mana model tidak bersetuju. Untuk penyelidikan berisiko tinggi, itu adalah tawaran yang baik; untuk pencarian remeh, satu model sudah memadai.
Mengadakan majlis beberapa model dengan satu soalan
Periksa pemikiran setiap model secara terperinci, bukan sebagai satu blok
Penilaian silang menyembunyikan pengarang untuk mengurangkan bias peningkatan diri
Tiada kunci API per penyedia—konsensus dan ketidaksetujuan secara langsung
Majlis LLM adalah sekumpulan model bahasa besar yang masing-masing menjawab soalan secara bebas, kemudian menilai respons satu sama lain untuk menghasilkan pandangan konsensus. Daripada bergantung pada satu model, majlis menjadikan persetujuan dan ketidaksetujuan antara model jelas—jadi anda boleh melihat di mana model bersatu dan di mana mereka tidak.
Andrej Karpathy mengeluarkan repositori sumber terbuka 'llm-council' yang menunjukkan corak: beberapa model menjawab satu pertanyaan, kemudian menilai jawapan satu sama lain sebelum sintesis akhir. Ia adalah bukti konsep pemikiran kolektif di antara model. Argumentree.AI memperluas idea ini dengan pokok hujah terstruktur dan penilaian bersama tanpa nama.
Penyelidikan mengenai penggunaan LLM sebagai hakim telah mendokumenkan bias peningkatan diri—model cenderung menyukai output mereka sendiri. Menyembunyikan model mana yang menghasilkan hujah mana sebelum penilaian mengurangkan bias itu, jadi model tidak boleh hanya memberi ganjaran kepada dirinya sendiri. Ini adalah rasional reka bentuk di sebalik penilaian silang tanpa nama Argumentree.AI.
Tidak dengan majlis LLM yang dihoskan. Pelaksanaan sumber terbuka biasanya memerlukan anda untuk menyediakan kunci API untuk setiap penyedia. Argumentree.AI menawarkan majlis multi-LLM yang dihoskan supaya anda boleh menyoal beberapa model dan melihat konsensus mereka tanpa menyambungkan kunci API individu sendiri.
Secara jujur, menjalankan majlis lebih mahal daripada satu pertanyaan—ia membuat panggilan model berganda, jadi ia menggunakan lebih banyak pengiraan dan mengambil masa lebih lama untuk kembali. Pertukaran itu memberi anda pengesahan silang model dan peta ketidaksetujuan yang jelas. Untuk soalan berisiko tinggi, kos dan latensi tambahan biasanya berbaloi; untuk pencarian remeh, satu model sudah memadai.
Beberapa model, satu soalan, konsensus yang boleh anda periksa—tiada kunci API diperlukan.
Mula Percuma