بازبینی همتا هوش مصنوعی عملی است که در آن چندین مدل هوش مصنوعی استدلالهای یکدیگر را بررسی و ارزیابی میکنند، مشابه بازبینی همتا در خروجیهای هوش مصنوعی. به جای اعتماد به پاسخ یک مدل، ادعاهای هر مدل توسط مدلهای دیگر ارزیابی میشود و استدلالهایی که در برابر بررسی بین مدلها باقی میمانند، اعتماد بیشتری کسب میکنند. این منطق بر اساس محدودیتهای شناخته شده استفاده از یک LLM به عنوان قاضی است: تحقیقات مستندات تعصب موضعی (ترجیح دادن هر پاسخی که اول ارائه میشود)، تعصب verbosity (پاداش دادن به پاسخهای طولانی بدون توجه به کیفیت) و تعصب خودافزایی (مدلی که خروجیهای خود را ترجیح میدهد). گسترش ارزیابی در بین چندین مدل و ناشناس کردن اینکه کدام استدلال در حال ارزیابی است، تعصب خاص هر قاضی را کاهش میدهد. از آنجا که مدلهای مختلف تمایل دارند به طور متفاوتی توهم ایجاد کنند، یک ادعای ساختگی یا بدون پشتیبانی معمولاً توسط مدلهای دیگر به طور ضعیف ارزیابی میشود، بنابراین ارزیابیهای پایین مداوم بین مدلها، ادعاهایی را که نیاز به تأیید انسانی دارند، علامتگذاری میکند. Argumentree.AI این کار را با این روش انجام میدهد که هر مدل موجود، استدلالهای هر مدل دیگر را به صورت ناشناس ارزیابی میکند و نشان میدهد که کدام ادعاها به طور گستردهای پشتیبانی میشوند و کدام ضعیف یا مورد مناقشه هستند. این کار قضاوت انسانی را تقویت میکند نه اینکه آن را جایگزین کند.
بازبینی همتا هوش مصنوعی دارای چندین مدل است که استدلالهای یکدیگر را ارزیابی میکنند — بازبینی همتا، که به خروجیهای هوش مصنوعی اعمال میشود. ارزیابی ناشناس بین مدلها بر قاضی هوش مصنوعی واحد برتری دارد، که ارزیابیهای آن به عنوان تعصب شناخته میشود.
بازبینی همتا هوش مصنوعی مدلها را وادار میکند تا استدلالهای یکدیگر را ارزیابی کنند به جای اینکه به یک قاضی اعتماد کنند. قاضیهای LLM واحد تعصب موضعی، verbosity و خودافزایی را نشان میدهند — گسترش ارزیابیها در بین چندین مدل، به صورت ناشناس، این تعصبات را کاهش میدهد و ادعاهای ضعیف یا توهمی را نمایان میکند.
در دانشگاه، یک ادعا به دلیل اعتماد نویسندهاش پذیرفته نمیشود — بلکه توسط همتایان مستقل که استدلال و شواهد را قضاوت میکنند، مورد بررسی قرار میگیرد. بازبینی همتا هوش مصنوعی این اصل را قرض میگیرد: به جای اعتماد به پاسخ یک مدل، شما چندین مدل دارید که استدلالهای یکدیگر را بررسی و ارزیابی میکنند. ادعاهایی که در برابر بررسی بین مدلها باقی میمانند، اعتماد بیشتری کسب میکنند؛ ادعاهایی که مدلهای دیگر به طور ضعیف ارزیابی میکنند، علامتگذاری میشوند.
یک میانبر وسوسهانگیز این است که اجازه دهیم یک مدل قوی واحد خروجیها را ارزیابی کند — الگوی "LLM به عنوان قاضی". مشکل: تحقیقات در مورد قاضیهای LLM تعصبات سیستماتیکی را مستند کرده است که یک قاضی را غیرقابل اعتماد میسازد.
دو انتخاب طراحی این تعصبات را مقابله میکند: گسترش ارزیابی در بین چندین مدل و ناشناس کردن اینکه کدام استدلال در حال ارزیابی است. این دو به طور مشترک محتوا را قضاوت میکنند، نه نویسندگی، و هر نوع خاصی از یک مدل را میانگین میزنند.
هر مدل موجود به طور مستقل استدلالهای موافق و مخالف را ارائه میدهد.
استدلالها ناشناس میشوند تا هیچ مدلی نداند کدام یک از آنها متعلق به خود است.
ارزیابیها در بین مدلها گسترش مییابند، نه اینکه در یک قاضی متمرکز شوند.
پشتیبانی گسترده = اعتماد؛ ارزیابیهای پایین مداوم = یک ادعای ضعیف یا توهمی برای تأیید.
یک مدل ادعا میکند "این کتابخانه به طور طراحی ایمن از نظر حافظه است" با یک ارجاع مطمئن. تحت بازبینی همتا ناشناس، مدلهای دیگر آن استدلال را به طور ضعیف ارزیابی میکنند — چندین مورد اشاره میکنند که تضمین ذکر شده، مسیر ناامن بینمدلی را پوشش نمیدهد. ارزیابی پایین بین مدلها، ادعا را برای بررسی انسانی علامتگذاری میکند، به جای اینکه اجازه دهد یک مدل مطمئن آن را بدون چالش پیش ببرد.
هر مدل موجود، استدلالهای هر مدل دیگر را به صورت ناشناس ارزیابی میکند — بنابراین ادعاهای ضعیف نمیتوانند پشت اعتماد یک مدل پنهان شوند.
استدلالها از چندین مدل میآیند، نه یک منبع واحد
هر مدل استدلالهای هر مدل دیگر را بدون دانستن نویسنده ارزیابی میکند
استدلالهای به طور گستردهای پشتیبانی شده بالا میروند؛ استدلالهای با ارزیابی پایین مداوم علامتگذاری میشوند
توهمات بالقوه به عنوان عدم توافق بین مدلها برای تأیید نمایان میشوند
بازبینی همتا هوش مصنوعی زمانی است که چندین مدل هوش مصنوعی استدلالهای یکدیگر را بررسی و ارزیابی میکنند، مشابه بازبینی همتا در خروجیهای هوش مصنوعی. به جای اعتماد به پاسخ یک مدل، ادعاهای هر مدل توسط مدلهای دیگر ارزیابی میشود. استدلالهایی که در برابر بررسی بین مدلها باقی میمانند، اعتماد بیشتری کسب میکنند؛ ادعاهایی که مدلهای دیگر به طور ضعیف ارزیابی میکنند، به عنوان ضعیف یا بالقوه توهمی علامتگذاری میشوند.
استفاده از یک LLM به عنوان قاضی به عنوان تعصب شناخته میشود. تحقیقات در مورد LLM به عنوان قاضی، تعصب موضعی (ترجیح دادن هر پاسخی که اول ارائه میشود)، تعصب verbosity (پاداش دادن به پاسخهای طولانی بدون توجه به کیفیت) و تعصب خودافزایی (مدلی که خروجیهای خود را ترجیح میدهد) را مستند کرده است. گسترش ارزیابی در بین چندین مدل و ناشناس کردن اینکه کدام استدلال در حال ارزیابی است، تعصب خاص هر قاضی را کاهش میدهد.
اگر یک مدل بداند کدام استدلال متعلق به خود است، تعصب خودافزایی میتواند باعث شود که خود را بالاتر ارزیابی کند. ناشناس کردن استدلالها قبل از ارزیابی آن نشانه را حذف میکند، بنابراین هر مدل محتوا را قضاوت میکند نه نویسنده را. ترکیب ارزیابیها از چندین مدل همچنین هر نوع خاصی از موضع یا ویژگیهای verbosity یک مدل را میانگین میزند و سیگنالی متعادلتر از یک قاضی واحد تولید میکند.
این کار به نمایان شدن آنها کمک میکند. از آنجا که مدلهای مختلف تمایل دارند به طور متفاوتی توهم ایجاد کنند، یک ادعای ساختگی یا بدون پشتیبانی از یک مدل معمولاً توسط دیگران به طور ضعیف ارزیابی میشود. ارزیابیهای پایین مداوم بین مدلها یک علامت قرمز است که یک ادعا نیاز به تأیید انسانی دارد. این یک سیگنال شناسایی عدم توافق است، نه یک تضمین — اگر هر مدل همان خطا را داشته باشد، بازبینی همتا آن را شناسایی نخواهد کرد.
خیر. بازبینی همتا هوش مصنوعی به گونهای طراحی شده است که قضاوت انسانی را اولویتبندی و تقویت کند، نه اینکه آن را جایگزین کند. این به شما میگوید که کدام ادعاها به طور گستردهای در بین مدلها پشتیبانی میشوند و کدامها مورد مناقشه یا ضعیف هستند، بنابراین انسانها میتوانند تأیید خود را در جایی که بیشتر اهمیت دارد، متمرکز کنند. تصمیمات نهایی و تأیید در شرایط حساس همچنان مسئولیت انسانی باقی میماند.
به یک قاضی هوش مصنوعی واحد اعتماد نکنید. ببینید هر مدل چگونه استدلالهای هر مدل دیگر را ارزیابی میکند.
شروع رایگان