Bir LLM konseyi, her birinin bağımsız olarak bir soruya yanıt verdiği, ardından birbirlerinin yanıtlarını değerlendirerek bir uzlaşmaya vardığı büyük dil modelleri grubudur. Bu desen, Andrej Karpathy'nin açık kaynak 'llm-council' deposu tarafından popüler hale getirildi; burada birkaç model yanıt verir ve ardından nihai sentezden önce birbirlerini sıralar. Argumentree.AI, konsept desenini yapılandırılmış argüman ağaçları ve anonim karşılıklı değerlendirme ile genişletir—anonimdir çünkü bir LLM'yi yargıç olarak kullanma araştırmaları, modellerin kendi çıktılarından yana bir öz-yüceltme önyargısı sergilediğini belgeler. Barındırılan bir LLM konseyi, kendi API anahtarlarınızı sağlamadan birden fazla modeli sorgulamanıza olanak tanır. Dürüst bir takas, maliyet ve gecikmedir: bir konseyi, birden fazla model çağrısı yapar, bu nedenle tek bir sorgudan daha yavaş ve daha pahalıdır; bunun karşılığında çapraz model doğrulaması ve görünür anlaşmazlık sağlar.
Bir LLM konseyi, birkaç dil modelinin bağımsız olarak yanıt vermesi, birbirlerini değerlendirmesi ve bir uzlaşmaya ulaşmasıdır. "Bir güvenilir yanıtı" inceleyebileceğiniz bir tartışmaya dönüştürür.
Bir LLM konseyi, bağımsız olarak yanıt veren birden fazla modeldir; ardından uzlaşma oluşturmak için birbirlerini değerlendirir. Desen, Karpathy'nin açık kaynak llm-council'ından gelmektedir. Argumentree.AI bunu barındırır—API anahtarlarına gerek yoktur—ve öz-yüceltmeyi azaltmak için anonim olarak değerlendirir.
konsey deseni basit bir şekilde ifade edilebilir: birden fazla LLM, aynı soruya bağımsız olarak yanıt verir, ardından birbirlerinin yanıtlarını değerlendirir ve bir uzlaşma, akran değerlendirmelerinden çıkarılır. Tek bir model son sözü almaz. Modeller, yanıt vermeden önce birbirlerinin yanıtlarını görmediği için bağımsız akıl yürütmeleri korunur—ve ayrıldıkları yerler, bir güvenilir yanıtın arkasında gizlenmek yerine görünür hale gelir.
Her model, diğerlerini görmeden soruyu kendi başına yanıtlar
Her model, diğer modellerin yanıtlarını değerlendirir
Değerlendirmeler, konseyin nerede hemfikir olduğunu ve nerede anlaşmazlık yaşadığını ortaya çıkarmak için bir araya getirilir
Andrej Karpathy, tam olarak bu akışı gösteren açık kaynaklı bir "llm-council" deposu yayınladı—birkaç model yanıt verir, birbirlerini sıralar ve nihai bir yanıt sentezlenir. Modellerin birbirlerini anlamlı bir şekilde değerlendirebileceğine dair kamuya açık bir kanıttır. Argumentree.AI aynı fikri geliştirir.
Argumentree.AI, konsey desenini iki şekilde daha ileri taşır. İlk olarak, tüm yanıtları karşılaştırmak yerine, her modelin akıl yürütmesini bir argüman ağacı haline getirir—böylece bireysel iddialar değerlendirilebilir ve incelenebilir, sadece nihai paragraf değil. İkincisi, anonim karşılıklı değerlendirme kullanır: bir model argümanları değerlendirirken, hangi modelin hangi argümanı ürettiğini bilmez.
Bir LLM'yi yargıç olarak kullanma üzerine yapılan araştırmalar, bir öz-yüceltme önyargısı belgeler—modeller genellikle kendi çıktılarının daha olumlu değerlendirilme eğilimindedir. Değerlendirme öncesinde yazarın kimliğini gizlemek, kısayolu ortadan kaldırır, böylece bir model kendini ödüllendiremez. Bu, anonim çapraz değerlendirmenin tasarım mantığıdır.
Bir konseyi kendiniz yürütmek genellikle her model sağlayıcısına kaydolmayı ve ayrı API anahtarlarını bağlamayı gerektirir. Argumentree.AI, barındırılan bir LLM konseyi sunar: bir kez sorarsınız ve tüm mevcut modeller katılır—yönetilecek anahtar yok, her sağlayıcı için kurulum yok. Konseyin uzlaşmasını ve anlaşmazlıklarını tek bir yerde alırsınız.
Bir konseyi yürütmek ücretsiz değildir. Tanım gereği, birden fazla model çağrısı yapar, bu nedenle daha fazla hesaplama kullanır ve tek bir sorgudan daha uzun sürer. Bu, bilinçli bir takastır: daha fazla harcama yaparak çapraz model doğrulaması ve modellerin nerede anlaşmazlık yaşadığını görünür bir haritasını elde edersiniz. Yüksek riskli araştırmalar için bu iyi bir anlaşmadır; önemsiz bir sorgulama için tek bir model yeterlidir.
Tek bir soruyla birkaç modelden oluşan bir konsey toplayın
Her modelin akıl yürütmesini nokta nokta inceleyin, bir bütün olarak değil
Çapraz değerlendirme, öz-yüceltme önyargısını azaltmak için yazar kimliğini gizler
Her sağlayıcı için API anahtarı yok—kutudan çıkan uzlaşma ve muhalefet
Bir LLM konseyi, her birinin bağımsız olarak bir soruya yanıt verdiği, ardından birbirlerinin yanıtlarını değerlendirerek bir uzlaşma görüşü ürettiği büyük dil modelleri grubudur. Tek bir modele güvenmek yerine, konsey, modeller arasındaki anlaşma ve anlaşmazlığı açık hale getirir—böylece modellerin nerede birleştiğini ve nerede ayrıldığını görebilirsiniz.
Andrej Karpathy, desenin gösterildiği açık kaynaklı bir 'llm-council' deposu yayınladı: birkaç model bir sorguya yanıt verir, ardından nihai bir sentezden önce birbirlerinin yanıtlarını sıralar. Bu, modeller arasında kolektif akıl yürütmenin bir kavram kanıtıdır. Argumentree.AI, yapılandırılmış argüman ağaçları ve anonim karşılıklı değerlendirme ile bu fikri genişletir.
Bir LLM'yi yargıç olarak kullanma üzerine yapılan araştırmalar, bir öz-yüceltme önyargısını belgeler—modeller genellikle kendi çıktılarından yana olma eğilimindedir. Değerlendirme öncesinde hangi modelin hangi argümanı ürettiğini anonimleştirmek, bu önyargıyı azaltır, böylece bir model kendini ödüllendiremez. Bu, Argumentree.AI'nin anonim çapraz değerlendirmenin arkasındaki tasarım mantığıdır.
Barındırılan bir LLM konseyi ile hayır. Açık kaynak uygulamaları genellikle her sağlayıcı için API anahtarları sağlamanızı gerektirir. Argumentree.AI, birkaç modeli sorgulamanız ve bireysel API anahtarlarını kendiniz bağlamadan uzlaşmalarını görmeniz için barındırılan bir çoklu LLM konseyi sunar.
Açıkçası, bir konseyi yürütmek, tek bir sorgudan daha pahalıdır—birden fazla model çağrısı yapar, bu nedenle daha fazla hesaplama kullanır ve daha uzun sürer. Bu takas, size çapraz model doğrulaması ve anlaşmazlıkların görünür bir haritasını sağlar. Yüksek riskli sorular için ek maliyet ve gecikme genellikle buna değerdir; önemsiz sorgulamalar için tek bir model yeterlidir.
Birden fazla model, bir soru, inceleyebileceğiniz uzlaşma—API anahtarlarına gerek yok.
Ücretsiz Başlayın