다중 LLM 합의는 여러 다른 대형 언어 모델이 독립적으로 동일한 주장에 대해 추론하고 서로의 주장을 평가할 때 도달하는 합의의 수준입니다. 이는 단일 모델 샘플링이나 자기 일관성과는 다릅니다. 단일 모델을 반복적으로 샘플링하고 그 모델의 편향을 공유합니다. 또한 통계적 앙상블과도 다릅니다. 통계적 앙상블은 출력을 하나의 평균 예측으로 혼합합니다. 다중 LLM 합의는 개별 주장을 보존하여 평균화된 블랙박스가 아닌 검토할 수 있도록 합니다. Mixture-of-Agents에 대한 연구(arXiv:2406.04692)는 여러 LLM을 층으로 쌓는 것에서 품질 향상을 보여줍니다. 이는 AlpacaEval과 같은 선호 기준에서 측정된 것으로, 특정 주장에 대한 사실적 정확성을 보장하지는 않습니다. Argumentree.AI는 합의를 신뢰 신호로 간주하며, 모델 간의 불일치는 종종 가장 실행 가능한 출력입니다.
다중 LLM 합의는 여러 진정으로 다른 모델 간의 합의입니다. 동일한 모델을 두 번 샘플링한 것이 아니며, 혼합된 평균도 아닙니다. 검토할 수 있는 신뢰 신호이며, 진리 오라클이 아닙니다.
다중 LLM 합의는 여러 다른 모델 간의 합의를 측정합니다. 이는 자기 일관성(하나의 모델, 여러 샘플) 및 통계적 앙상블(혼합 평균)과는 다릅니다. 개별 주장을 보존하며, 신뢰 신호이며 진리의 증거가 아닙니다.
다중 LLM 합의는 여러 다른 대형 언어 모델이 독립적으로 동일한 질문에 대해 추론하고 서로의 주장을 평가할 때 도달하는 합의의 정도입니다. 중요한 단어는 다른입니다. 모델은 서로 다른 아키텍처와 훈련 데이터를 기반으로 하므로, 수렴할 때 그 합의는 하나의 시스템의 관점을 넘어서는 것을 반영합니다. 그리고 분기할 때, 그 분기는 진정으로 논쟁이 있는 주장을 나타냅니다.
일반적인 단일 모델 기법은 자기 일관성입니다. 동일한 모델을 여러 번 샘플링하고 다수의 답변을 취합니다. 이는 무작위 변동을 줄이지만, 모든 샘플은 동일한 모델의 편향과 맹점을 상속합니다. 모델이 확신을 가지고 잘못된 경우, 다시 샘플링하면 오류가 반복됩니다. 다중 LLM 합의는 본질적으로 다릅니다. 독립 모델을 활용하므로, 하나의 모델에서 공유된 맹점이 모두에 의해 공유될 가능성은 낮습니다.
고전적인 앙상블은 모델 출력을 하나의 평균 예측으로 혼합합니다. 점수에는 유용하지만 이해하는 데는 쓸모가 없습니다. 다중 LLM 합의는 의도적으로 반대의 작업을 수행합니다. 개별 주장을 보존하여 각 모델의 추론을 읽을 수 있도록 합니다. 아무것도 블랙박스 숫자로 평탄화되지 않습니다. 이것이 불일치를 읽을 수 있게 하고 평균으로 사라지지 않게 만드는 이유입니다.
| 접근 방식 | 결합하는 것 | 추론이 보이는가? |
|---|---|---|
| 자기 일관성 | 하나의 모델, 여러 샘플 | 다수의 답변만 |
| 통계적 앙상블 | 출력이 평균으로 혼합됨 | 아니요—평균화됨 |
| 다중 LLM 합의 | 여러 다른 모델의 주장 | 예—보존되고 검토 가능 |
여기서 가장 자주 인용되는 연구는 Mixture-of-Agents (arXiv:2406.04692)로, 여러 LLM을 층으로 쌓아 나중의 층이 이전의 응답을 다듬도록 합니다. 품질 향상을 보고하지만, 측정된 내용을 정확히 아는 것이 중요합니다.
Mixture-of-Agents의 이득은 주로 선호 기준인 AlpacaEval에서 보여졌습니다. 이는 응답이 얼마나 좋은지 판단하는 기준입니다. 이는 특정 주장에 대한 사실적 정확성을 보장하지 않습니다. 모델을 결합하면 품질이 향상될 수 있지만, 진리를 인증하지는 않습니다.
조각들을 모아보면 솔직한 프레임은 다음과 같습니다. 다중 LLM 합의는 신뢰 신호입니다. 높은 합의는 여러 독립 시스템이 동의함을 의미하며, 이는 인간 검증의 우선 순위를 낮추지만 제거하지는 않습니다. 모델은 훈련 편향을 공유하고 함께 잘못될 수 있습니다. 합의를 "아마도 낮은 위험"으로 간주하고, 불일치를 가장 실행 가능한 출력으로 간주하세요. 이는 검증이 가장 중요한 곳을 가리킵니다.
구별되는 시스템 간의 합의—하나의 모델을 재샘플링하지 않음
각 모델의 추론을 읽을 수 있습니다. 아무것도 블랙박스로 평균화되지 않음
점수는 신뢰를 조정합니다—결코 진리의 증거로 제시되지 않음
논쟁이 있는 점은 인간 검증을 위해 표시됩니다
다중 LLM 합의는 여러 다른 대형 언어 모델이 독립적으로 동일한 주장에 대해 추론하고 서로의 주장을 평가할 때 도달하는 합의의 수준입니다. 하나의 모델을 여러 번 샘플링하는 것과는 달리, 진정으로 다른 시스템을 활용하므로 합의는 서로 다른 아키텍처와 훈련 데이터 간의 합의를 반영하며, 불일치는 주장이 논쟁이 있는 곳을 표시합니다.
자기 일관성은 동일한 단일 모델을 여러 번 샘플링하고 다수의 답변을 취합니다. 이는 무작위 변동을 줄이지만 하나의 모델의 편향과 맹점을 공유합니다. 다중 LLM 합의는 서로 다른 모델을 사용하므로 합의는 더 의미가 있으며, 불일치는 반복 샘플링으로는 드러나지 않는 맹점을 드러낼 수 있습니다.
통계적 앙상블은 모델 출력을 하나의 평균 예측으로 혼합하여 개별 추론을 버립니다. 다중 LLM 합의는 각 모델의 주장을 보존하여 읽을 수 있도록 합니다. 아무것도 검토할 수 없는 블랙박스 점수로 평균화되지 않으며, 개별 사례는 가시성을 유지합니다. 이것이 불일치를 읽을 수 있게 만드는 이유입니다.
Mixture-of-Agents (arXiv:2406.04692)와 같은 연구는 여러 LLM을 층으로 쌓는 것에서 품질 향상을 보여줍니다. 이는 AlpacaEval과 같은 선호 기준에서 측정된 것으로, 해당 기준에서 응답 품질이 향상되었다는 증거입니다. 이는 특정 주장에 대한 사실적 정확성을 보장하지 않습니다. 합의를 신뢰 신호로 간주하고 진리 오라클로 간주하지 마세요.
아니요. 합의는 신뢰 신호이며 증거가 아닙니다. 여러 모델이 동일한 훈련 편향을 공유하고 잘못된 것에 동의할 수 있습니다. 높은 합의는 인간 검증의 우선 순위를 낮추지만, 필요성을 제거하지는 않습니다. 가장 실행 가능한 출력은 종종 불일치이며, 이는 검증이 가장 중요한 곳을 가리킵니다.