مراجعة الأقران للذكاء الاصطناعي هي ممارسة تتمثل في قيام نماذج متعددة من الذكاء الاصطناعي بمراجعة وتقييم حجج بعضها البعض، تمامًا مثل مراجعة الأقران الأكاديمية المطبقة على مخرجات الذكاء الاصطناعي. بدلاً من الاعتماد على إجابة نموذج واحد، يتم تقييم ادعاءات كل نموذج من قبل النماذج الأخرى، وتكتسب الحجج التي تنجو من التدقيق عبر النماذج الثقة. تستند الفكرة إلى الحدود المعروفة لاستخدام نموذج واحد كحكم: توثق الأبحاث تحيز الموقف (تفضيل أي إجابة تظهر أولاً)، وتحزب الإطناب (مكافأة الإجابات الأطول بغض النظر عن الجودة)، وتحزب التعزيز الذاتي (نموذج يفضل مخرجاته الخاصة). يؤدي توزيع التقييم عبر نماذج متعددة وإخفاء من يتم تقييم حججه إلى تخفيف أي تحيز غريب لحكم واحد. نظرًا لأن النماذج المختلفة تميل إلى الهلوسة بشكل مختلف، فإن الادعاء المصنوع أو غير المدعوم غالبًا ما يتم تقييمه بشكل سيء من قبل النماذج الأخرى، لذا فإن التقييمات المنخفضة المتسقة عبر النماذج تشير إلى ادعاءات تستدعي التحقق البشري. تقوم Argumentree.AI بتنفيذ ذلك من خلال جعل كل نموذج متاح يقيم حجج كل نموذج آخر بشكل مجهول، مما يكشف عن أي الادعاءات مدعومة بشكل واسع وأيها ضعيفة أو متنازع عليها. إنها تعزز الحكم البشري بدلاً من استبداله.
تقوم مراجعة الأقران للذكاء الاصطناعي بتقييم نماذج متعددة لحجج بعضها البعض — مراجعة الأقران الأكاديمية، المطبقة على مخرجات الذكاء الاصطناعي. التقييم المجهول عبر النماذج يتفوق على حكم ذكاء اصطناعي واحد، حيث يُعرف أن تقييماته متحيزة.
مراجعة الأقران للذكاء الاصطناعي تجعل النماذج تقيم حجج بعضها البعض بدلاً من الاعتماد على حكم واحد. تظهر أحكام LLM الفردية تحيز الموقف، والإطناب، والتحيز الذاتي — توزيع التقييمات عبر نماذج متعددة، بشكل مجهول، يخفف من تلك التحيزات ويظهر الادعاءات الضعيفة أو الهلوسة.
في الأوساط الأكاديمية، لا يتم قبول ادعاء لأن مؤلفه واثق — بل يتم تدقيقه من قبل أقران مستقلين يحكمون على المنطق والأدلة. مراجعة الأقران للذكاء الاصطناعي تستعير هذه الفكرة: بدلاً من الاعتماد على إجابة نموذج واحد، لديك نماذج متعددة تراجع وتقييم حجج بعضها البعض. الادعاءات التي تصمد تحت التدقيق عبر النماذج تكتسب الثقة؛ والادعاءات التي تقيمها النماذج الأخرى بشكل سيء يتم الإشارة إليها.
اختصار مغري هو السماح لنموذج قوي واحد بتقييم المخرجات — نمط "LLM كحكم". المشكلة: توثق الأبحاث حول حكام LLM التحيزات النظامية التي تجعل حكم واحد غير موثوق.
اختياران تصميميان يتصديان لتلك التحيزات: توزيع التقييم عبر العديد من النماذج، وإخفاء من يتم تقييم حججه. معًا، يحكمون على المحتوى، وليس التأليف، ويعوضون عن أي غريب في نموذج واحد.
يساهم كل نموذج متاح بحجج مؤيدة ومعارضة بشكل مستقل.
تُخفى الحجج بحيث لا يعرف أي نموذج أيها خاص به.
توزع التقييمات عبر النماذج، وليس مركزة في حكم واحد.
الدعم الواسع = الثقة؛ التقييمات المنخفضة المتسقة = ادعاء ضعيف أو هلوسة للتحقق منه.
يؤكد نموذج واحد "هذه المكتبة آمنة من حيث الذاكرة حسب التصميم" مع اقتباس واثق. تحت مراجعة الأقران المجهولة، تقيم النماذج الأخرى تلك الحجة بشكل منخفض — يلاحظ العديد أن الضمان المذكور لا يغطي مسار التفاعل غير الآمن. تشير التقييمات المنخفضة عبر النماذج إلى الادعاء للتحقق البشري، بدلاً من السماح لنموذج واثق واحد بتمريره دون تحدي.
يقيم كل نموذج متاح حجج كل نموذج آخر — بشكل مجهول — بحيث لا يمكن أن تختبئ الادعاءات الضعيفة وراء ثقة نموذج واحد.
تأتي الحجج من عدة نماذج، وليس من مصدر واحد
يقيم كل نموذج حجج كل نموذج آخر دون معرفة المؤلف
تظهر الحجج المدعومة بشكل واسع؛ يتم الإشارة إلى الحجج ذات التقييمات المنخفضة بشكل متسق
تظهر الهلوسات المحتملة كاختلاف عبر النماذج للتحقق منها
مراجعة الأقران للذكاء الاصطناعي هي عندما تقوم نماذج متعددة من الذكاء الاصطناعي بمراجعة وتقييم حجج بعضها البعض، تمامًا مثل مراجعة الأقران الأكاديمية المطبقة على مخرجات الذكاء الاصطناعي. بدلاً من الاعتماد على إجابة نموذج واحد، يتم تقييم ادعاءات كل نموذج من قبل النماذج الأخرى. الحجج التي تصمد تحت التدقيق عبر النماذج تكتسب الثقة؛ والادعاءات التي تقيمها النماذج الأخرى بشكل سيء يتم الإشارة إليها على أنها ضعيفة أو محتملة الهلوسة.
من المعروف أن استخدام LLM واحد كحكم متحيز. توثق الأبحاث حول LLM كحكم تحيز الموقف (تفضيل أي إجابة تظهر أولاً)، وتحزب الإطناب (مكافأة الإجابات الأطول بغض النظر عن الجودة)، وتحزب التعزيز الذاتي (نموذج يفضل مخرجاته الخاصة). يؤدي توزيع التقييم عبر نماذج متعددة وإخفاء من يتم تقييم حججه إلى تخفيف أي تحيز غريب لحكم واحد.
إذا كان نموذج يعرف أي حجة هي خاصته، يمكن أن يجعل تحيز التعزيز الذاتي يجعله يقيم نفسه بشكل أعلى. يؤدي إخفاء الحجج قبل التقييم إلى إزالة تلك الإشارة، بحيث يحكم كل نموذج على المحتوى بدلاً من المؤلف. يجمع التقييمات من عدة نماذج بشكل أكبر أي غريب في نموذج واحد من حيث الموقف أو الإطناب، مما ينتج عنه إشارة أكثر توازنًا من حكم واحد.
إنها تساعد في إظهارها. نظرًا لأن النماذج المختلفة تميل إلى الهلوسة بشكل مختلف، فإن الادعاء المصنوع أو غير المدعوم من نموذج واحد غالبًا ما يتم تقييمه بشكل سيء من قبل الآخرين. تعتبر التقييمات المنخفضة المتسقة عبر النماذج علامة حمراء على أن الادعاء يحتاج إلى تحقق بشري. إنها إشارة لاكتشاف الاختلاف، وليست ضمانًا — إذا شارك كل نموذج نفس الخطأ، فلن تكتشف مراجعة الأقران ذلك.
لا. تم تصميم مراجعة الأقران للذكاء الاصطناعي لإعطاء الأولوية وتعزيز الحكم البشري، وليس استبداله. إنها تخبرك أي الادعاءات مدعومة بشكل واسع عبر النماذج وأيها متنازع عليها أو ضعيفة، بحيث يمكن للبشر تركيز تحققهم حيثما كان ذلك مهمًا. تبقى القرارات النهائية والتحقق من المخاطر العالية مسؤولية بشرية.
لا تثق في حكم ذكاء اصطناعي واحد. انظر كيف يقيم كل نموذج حجج كل نموذج آخر.
ابدأ مجانًا