تعریف هوش جمعی مصنوعی

هوش جمعی مصنوعی (CAI) عملی است که در آن استدلال مستقل چندین مدل هوش مصنوعی ترکیب می‌شود تا به درک قابل اعتمادتر و بهتر کالیبره شده‌ای نسبت به هر مدل تکی که به تنهایی ارائه می‌دهد، برسد. به جای اینکه از یک مدل پاسخ بخواهید، CAI از چندین مدل همان سوال را می‌پرسد، از هر کدام یک مورد ساختار یافته می‌سازد و سپس از هر مدل می‌خواهد که استدلال‌های هر مدل دیگر را ارزیابی کند. خروجی یک حکم واحد نیست—بلکه نقشه‌ای است از جایی که سیستم‌های مستقل توافق دارند و جایی که اختلاف دارند.

مشکل با یک مدل: اشتباه مطمئن

یک مدل هوش مصنوعی هیچ "نمی‌دانم" داخلی ندارد. این مدل همیشه خروجی روان و مطمئن تولید می‌کند—حتی زمانی که در حال جعل است. مشهورترین مثال احتیاطی ماتا در برابر آویانکا (2023) است، جایی که یک وکیل یک یادداشت دادگاه فدرال ارائه داد که به چندین تصمیم قضایی استناد می‌کرد که ChatGPT به طور کامل اختراع کرده بود. استنادها واقعی به نظر می‌رسیدند. مدل مطمئن بود. هیچ نظر دومی در حلقه وجود نداشت تا آن را شناسایی کند.

چگونه چندین LLM توافق ایجاد می‌کنند

بینش اصلی این است که مدل‌های مختلف به طور متفاوتی اشتباه می‌کنند. زمانی که چندین مدل مستقل درباره یک ادعا استدلال می‌کنند، اشتباهات آن‌ها به ندرت هم‌راستا می‌شوند—بنابراین یک اشتباه از یک مدل معمولاً یک مورد استثنایی است که دیگران آن را رد می‌کنند. این ایده پشت الگوی منبع باز "شورای LLM" آندری کرباتی است، جایی که چندین مدل به طور مستقل پاسخ می‌دهند و سپس پاسخ‌های یکدیگر را رتبه‌بندی می‌کنند. Argumentree.AI این الگو را با درخت‌های استدلال ساختاری و ارزیابی متقابل ناشناس در بین تمام مدل‌های موجود گسترش می‌دهد.

امتیازدهی توافق: از اکثریت تا اجماع

امتیازدهی توافق میزان توافق مدل‌ها بر روی یک استدلال خاص را کمی‌سازی می‌کند—از اکثریت ساده تا اجماع کامل. اصل طراحی که بیشترین اهمیت را دارد ضد صاف کردن است: اختلاف هرگز به طور میانگین حذف نمی‌شود. یک موضع اقلیت که اکثر مدل‌ها آن را رد می‌کنند هنوز قابل مشاهده می‌ماند، زیرا یک مورد استثنایی خوب استدلال شده معمولاً دقیقاً همان استدلالی است که نیاز به بررسی انسانی نزدیک‌تری دارد.

تشخیص توهم از طریق عدم توافق

زیرا مدل‌های مستقل به ندرت همان چیز را جعل می‌کنند، یک توهم معمولاً به عنوان یک استدلال کم‌امتیاز و مورد مناقشه ظاهر می‌شود نه به عنوان یک توافق روان. بنابراین، عدم توافق یک سیگنال شناسایی است: به شما نشان می‌دهد که کدام ادعاها احتمالاً نادرست هستند. به اپیستمیک‌ها توجه کنید—CAI در شناسایی مشکلات از طریق عدم توافق قوی است و ادعا نمی‌کند که توافق اثبات می‌کند که یک بیانیه درست است.

موارد استفاده

هوش جمعی مصنوعی مناسب هر جریان کاری است که در آن یک پاسخ مطمئن واحد ریسک‌زا است: تحقیق و مرور ادبیات، بررسی حقایق، دقت لازم، تحلیل رقابتی و تصمیمات با ریسک بالا که در آن نیاز دارید بدانید یک ادعا چقدر مورد مناقشه است—نه فقط اینکه یک مدل چه می‌گوید. در هر مورد، خروجی با ارزش‌ترین مجموعه نقاطی است که مدل‌ها در آن اختلاف دارند و بررسی انسانی باید بر آن تمرکز کند.