مجلس LLM هو مجموعة من نماذج اللغة الكبيرة التي تجيب كل منها على سؤال بشكل مستقل، ثم تقيم ردود بعضها البعض للوصول إلى توافق. تم ترويج النمط من خلال مستودع 'llm-council' مفتوح المصدر الخاص بـ Andrej Karpathy، وهو إثبات مفهوم حيث تجيب عدة نماذج ثم تصنف بعضها البعض قبل التركيب النهائي. تقوم Argumentree.AI بتوسيع نمط المجلس مع أشجار الحجج المنظمة والتقييم المجهول الهوية - مجهول الهوية لأن الأبحاث حول استخدام LLM كقاضي توثق تحيز تعزيز الذات حيث تفضل النماذج مخرجاتها الخاصة. يتيح لك مجلس LLM المستضاف استعلام عدة نماذج دون الحاجة لتزويد مفاتيح API الخاصة بك. المقايضة الصادقة هي التكلفة والكمون: يقوم المجلس بإجراء مكالمات متعددة للنماذج، لذا فهو أبطأ وأكثر تكلفة من استعلام واحد، مقابل التحقق عبر النماذج والاختلاف المرئي.
مجلس LLM لديه عدة نماذج لغوية تجيب بشكل مستقل، وتقييم بعضها البعض، وتصل إلى توافق. إنه يحول "إجابة واحدة واثقة" إلى مناقشة يمكنك فحصها.
مجلس LLM هو نماذج متعددة تجيب بشكل مستقل، ثم تقيم بعضها البعض لتشكيل توافق. يأتي النمط من llm-council مفتوح المصدر الخاص بـ Karpathy. تستضيف Argumentree.AI ذلك - لا حاجة لمفاتيح API - وتقوم بالتقييم بشكل مجهول للحد من التملق الذاتي.
نمط المجلس سهل التعبير عنه: تجيب عدة LLMs على نفس السؤال بشكل مستقل، ثم تقيم إجابات بعضها البعض، ويتم رسم توافق من التقييمات المتبادلة. لا يحصل نموذج واحد على الكلمة الأخيرة. لأن النماذج لا ترى ردود بعضها البعض قبل الإجابة، يتم الحفاظ على تفكيرها المستقل - وتصبح الأماكن التي تختلف فيها مرئية بدلاً من أن تكون مخفية خلف رد واحد واثق.
كل نموذج يجيب على السؤال بمفرده، دون رؤية الآخرين
كل نموذج يقيم إجابات النماذج الأخرى
يتم تجميع التقييمات لكشف أين يتفق المجلس وأين يختلف
نشر Andrej Karpathy مستودع مفتوح المصدر "llm-council" يوضح بالضبط هذا التدفق - تجيب عدة نماذج، تصنف بعضها البعض، ويتم تركيب استجابة نهائية. إنه إثبات عام أن النماذج يمكنها تقييم بعضها البعض بشكل ذي معنى. تقوم Argumentree.AI ببناء نفس الفكرة.
تأخذ Argumentree.AI نمط المجلس إلى أبعد من ذلك بطريقتين. أولاً، بدلاً من مقارنة الإجابات الكاملة، تنظم تفكير كل نموذج في شجرة حجة - بحيث يمكن تقييم المطالب الفردية وفحصها، وليس فقط الفقرة النهائية. ثانياً، تستخدم تقييماً مجهول الهوية متبادلاً: عندما يقيم نموذج الحجج، لا يعرف أي نموذج كتبها.
توثق الأبحاث حول استخدام LLM كقاضي تحيز تعزيز الذات - تميل النماذج إلى تقييم مخرجاتها الخاصة بشكل أكثر إيجابية. إخفاء المؤلف قبل التقييم يزيل الاختصار، لذا لا يمكن لنموذج أن يكافئ نفسه ببساطة. هذه هي المبررات التصميمية للتقييم المتبادل المجهول الهوية.
تشغيل مجلس بنفسك يعني عادةً التسجيل مع كل مزود نموذج وتوصيل مفاتيح API منفصلة. تقدم Argumentree.AI مجلس LLM مستضاف: تسأل مرة واحدة، وتشارك جميع النماذج المتاحة - لا مفاتيح لإدارتها، لا إعداد لكل مزود. تحصل على توافق المجلس واختلافاته في مكان واحد.
المجلس ليس مجانياً. بحكم التعريف، يقوم بإجراء مكالمات متعددة للنماذج، لذا يستخدم المزيد من الحوسبة ويستغرق وقتًا أطول للعودة من استعلام واحد. هذه هي المقايضة المتعمدة: تنفق المزيد للحصول على تحقق عبر النماذج وخريطة مرئية حيث تختلف النماذج. بالنسبة للأبحاث ذات المخاطر العالية، هذه صفقة جيدة؛ بالنسبة للاستعلامات التافهة، نموذج واحد يكفي.
اجمع مجلسًا من عدة نماذج بسؤال واحد
افحص تفكير كل نموذج نقطة بنقطة، وليس ككتلة
التقييم المتبادل يخفي المؤلف للحد من تحيز تعزيز الذات
لا مفاتيح API لكل مزود - توافق واختلاف خارج الصندوق
مجلس LLM هو مجموعة من نماذج اللغة الكبيرة التي تجيب كل منها على سؤال بشكل مستقل، ثم تقيم ردود بعضها البعض لإنتاج وجهة نظر توافقية. بدلاً من الاعتماد على نموذج واحد، يجعل المجلس الاتفاق والاختلاف بين النماذج واضحًا - لذا يمكنك رؤية أين تتقارب النماذج وأين لا تتقارب.
أصدر Andrej Karpathy مستودع 'llm-council' مفتوح المصدر يوضح النمط: تجيب عدة نماذج على استعلام، ثم تصنف إجابات بعضها البعض قبل التركيب النهائي. إنه إثبات مفهوم للتفكير الجماعي عبر النماذج. تقوم Argumentree.AI بتوسيع الفكرة مع أشجار الحجج المنظمة والتقييم المتبادل المجهول الهوية.
توثقت الأبحاث حول استخدام LLM كقاضي تحيز تعزيز الذات - تميل النماذج إلى تفضيل مخرجاتها الخاصة. يقلل إخفاء أي نموذج أنتج أي حجة قبل التقييم من هذا التحيز، لذا لا يمكن لنموذج أن يكافئ نفسه ببساطة. هذه هي المبررات التصميمية وراء التقييم المتبادل المجهول الهوية لـ Argumentree.AI.
ليس مع مجلس LLM المستضاف. تتطلب التطبيقات مفتوحة المصدر عادةً منك تزويد مفاتيح API لكل مزود. تقدم Argumentree.AI مجلس LLM متعدد مستضاف حتى تتمكن من استعلام عدة نماذج ورؤية توافقها دون الحاجة لتوصيل مفاتيح API فردية بنفسك.
بصراحة، تشغيل مجلس يكلف أكثر من استعلام واحد - فهو يقوم بإجراء مكالمات متعددة للنماذج، لذا يستخدم المزيد من الحوسبة ويستغرق وقتًا أطول للعودة. تشتري هذه المقايضة لك تحققًا عبر النماذج وخريطة مرئية للاختلاف. بالنسبة للأسئلة ذات المخاطر العالية، فإن التكلفة والكمون الإضافيين عادة ما يكونان يستحقان ذلك؛ بالنسبة للاستعلامات التافهة، يكفي نموذج واحد.