Recenzja rówieśnicza AI to praktyka, w której wiele modeli AI ocenia i ocenia argumenty innych modeli, podobnie jak akademicka recenzja rówieśnicza stosowana do wyników AI. Zamiast ufać odpowiedzi jednego modelu, twierdzenia każdego modelu są oceniane przez inne modele, a argumenty, które przetrwają weryfikację między modelami, zyskują pewność. Uzasadnienie opiera się na znanych ograniczeniach korzystania z jednego LLM jako sędziego: badania dokumentują stronniczość pozycji (faworyzującą odpowiedź, która pojawia się jako pierwsza), stronniczość rozbudowanej formy (nagradzającą dłuższe odpowiedzi niezależnie od jakości) oraz stronniczość samopromocji (model faworyzujący własne wyniki). Rozprzestrzenienie oceny na wiele modeli i zanonimizowanie, którego argumentu dotyczy ocena, rozcieńcza stronniczość jednego sędziego. Ponieważ różne modele mają tendencję do halucynacji w różny sposób, fałszywe lub niepoparte twierdzenie jest często oceniane nisko przez inne modele, więc konsekwentnie niskie oceny między modelami sygnalizują twierdzenia, które wymagają weryfikacji przez człowieka. Argumentree.AI wdraża to, pozwalając każdemu dostępnemu modelowi oceniać argumenty każdego innego modelu anonimowo, ujawniając, które twierdzenia są szeroko popierane, a które są słabe lub kontrowersyjne. Wzmacnia to ludzką ocenę, a nie ją zastępuje.
Recenzja rówieśnicza AI polega na tym, że wiele modeli ocenia argumenty innych modeli — akademicka recenzja rówieśnicza, stosowana do wyników AI. Zanonimizowana ocena między modelami przewyższa jednego sędziego AI, którego oceny są znane jako stronnicze.
Recenzja rówieśnicza AI sprawia, że modele oceniają argumenty innych modeli, zamiast ufać jednemu sędziemu. Jednoosobowi sędziowie LLM wykazują stronniczość pozycji, rozbudowanej formy i samopromocji — rozprzestrzenienie ocen na wiele modeli, anonimowo, rozcieńcza te stronniczości i ujawnia słabe lub halucynowane twierdzenia.
W akademii twierdzenie nie jest akceptowane tylko dlatego, że jego autor jest pewny — jest poddawane weryfikacji przez niezależnych rówieśników, którzy oceniają rozumowanie i dowody. Recenzja rówieśnicza AI czerpie z tej zasady: zamiast ufać odpowiedzi jednego modelu, masz wiele modeli, które oceniają i oceniają argumenty innych modeli. Twierdzenia, które przetrwają weryfikację między modelami, zyskują pewność; twierdzenia, które inne modele oceniają nisko, są sygnalizowane.
Kuszącym skrótem jest pozwolenie jednemu silnemu modelowi na ocenę wyników — wzorzec "LLM-jako-sędzia". Problem: badania nad sędziami LLM udokumentowały systematyczne stronniczości, które czynią jednego sędziego niewiarygodnym.
Dwa wybory projektowe przeciwdziałają tym stronniczościom: rozprzestrzenić ocenę na wiele modeli oraz zanonimizować, którego argumentu dotyczy ocena. Razem oceniają treść, a nie autorstwo, i uśredniają wszelkie osobliwości jednego modelu.
Każdy dostępny model niezależnie wnosi argumenty za/przeciw.
Argumenty są zanonimizowane, więc żaden model nie wie, który z nich jest jego własny.
Oceny są rozprzestrzenione na modele, a nie skoncentrowane w jednym sędzi.
Szerokie wsparcie = pewność; konsekwentnie niskie oceny = słabe lub halucynowane twierdzenie do weryfikacji.
Jeden model twierdzi, że "ta biblioteka jest bezpieczna pamięciowo z założenia" z pewnym cytatem. W ramach zanonimizowanej recenzji rówieśniczej inne modele oceniają ten argument nisko — kilka zauważa, że cytowana gwarancja nie obejmuje niebezpiecznej ścieżki interoperacyjnej. Niska ocena między modelami sygnalizuje to twierdzenie do sprawdzenia przez człowieka, zamiast pozwalać jednemu pewnemu modelowi przejść przez to bez wyzwań.
Każdy dostępny model ocenia argumenty każdego innego modelu — anonimowo — więc słabe twierdzenia nie mogą ukrywać się za pewnością jednego modelu.
Argumenty pochodzą z kilku modeli, a nie z jednego źródła
Każdy model ocenia argumenty każdego innego modelu, nie wiedząc, kto jest autorem
Szeroko popierane argumenty rosną; konsekwentnie nisko oceniane są sygnalizowane
Potencjalne halucynacje pojawiają się jako niezgodność między modelami do weryfikacji
Recenzja rówieśnicza AI to sytuacja, w której wiele modeli AI ocenia i ocenia argumenty innych modeli, podobnie jak akademicka recenzja rówieśnicza stosowana do wyników AI. Zamiast ufać odpowiedzi jednego modelu, twierdzenia każdego modelu są oceniane przez inne modele. Argumenty, które przetrwają weryfikację między modelami, zyskują pewność; twierdzenia, które inne modele oceniają nisko, są sygnalizowane jako słabe lub potencjalnie halucynowane.
Używanie jednego LLM jako sędziego jest znane jako stronnicze. Badania nad LLM-jako-sędzią dokumentują stronniczość pozycji (faworyzującą odpowiedź, która pojawia się jako pierwsza), stronniczość rozbudowanej formy (nagradzającą dłuższe odpowiedzi niezależnie od jakości) oraz stronniczość samopromocji (model faworyzujący własne wyniki). Rozprzestrzenienie oceny na wiele modeli i zanonimizowanie, którego argumentu dotyczy ocena, rozcieńcza stronniczość jednego sędziego.
Jeśli model wie, który argument jest jego własny, stronniczość samopromocji może sprawić, że oceni siebie wyżej. Zanonimizowanie argumentów przed oceną usuwa ten sygnał, więc każdy model ocenia treść, a nie autora. Łączenie ocen z kilku modeli dodatkowo uśrednia wszelkie osobliwości pozycji lub rozbudowanej formy jednego modelu, produkując bardziej zrównoważony sygnał niż jeden sędzia.
Pomaga je ujawniać. Ponieważ różne modele mają tendencję do halucynacji w różny sposób, fałszywe lub niepoparte twierdzenie z jednego modelu jest często oceniane nisko przez inne. Konsekwentnie niskie oceny między modelami są czerwonym flagą, że twierdzenie wymaga weryfikacji przez człowieka. To sygnał wykrywania niezgodności, a nie gwarancja — jeśli każdy model dzieli ten sam błąd, recenzja rówieśnicza go nie wychwyci.
Nie. Recenzja rówieśnicza AI jest zaprojektowana, aby priorytetowo traktować i wzmacniać ludzką ocenę, a nie ją zastępować. Informuje, które twierdzenia są szeroko popierane wśród modeli, a które są kontrowersyjne lub słabe, aby ludzie mogli skupić swoją weryfikację tam, gdzie to najważniejsze. Ostateczne decyzje i weryfikacja w sytuacjach wysokiego ryzyka pozostają odpowiedzialnością ludzi.
Nie ufaj jednemu sędziemu AI. Zobacz, jak każdy model ocenia argumenty każdego innego modelu.
Rozpocznij za darmo