多LLM共识是当几个不同的大型语言模型独立推理同一主张并评估彼此的论点时达成的一致程度。它与单模型采样或自一致性不同，后者重复采样一个模型并分享该模型的偏见。它也不同于统计集成，后者将输出混合成一个平均预测：多LLM共识保留了各个论点，以便可以检查，而不是平均成一个黑箱。关于混合代理的研究（arXiv:2406.04692）显示，通过分层多个LLM可以获得质量提升，主要在偏好基准上进行测量，例如AlpacaEval——这是响应质量改善的证据，而不是对任何特定主张的事实准确性的保证。Argumentree.AI将共识视为信心信号，而不是真理神谕；模型之间的分歧往往是最具可操作性的输出。
多LLM共识衡量多个不同模型之间的一致性。它与自一致性（一个模型，多次采样）和统计集成（混合平均）不同。它保留了各个论点——而且它是一个信心信号，而不是事实的证明。
多LLM共识是当几个不同的大型语言模型独立推理同一问题并评估彼此的论点时达成的一致程度。重要的词是不同：这些模型来自不同的架构和训练数据，因此当它们趋同时，这种一致性反映了不止一个系统的观点——而当它们分歧时，分歧标志着一个真正有争议的主张。
一种常见的单模型技术是自一致性：多次采样同一模型并取多数答案。这减少了随机方差，但每个样本都继承了同一模型的偏见和盲点。如果模型自信地错误，再次采样只会重复错误。多LLM共识在性质上是不同的——它依赖于独立模型，因此一个模型的共享盲点不太可能被所有模型共享。
经典的集成将模型输出混合成一个单一的平均预测——对得分有用，但对理解无用。多LLM共识故意做相反的事情：它保留各个论点，以便你可以阅读每个模型的推理。没有任何东西被压缩成一个黑箱数字。这就是使分歧可读而不是消失在平均值中的原因。
| 方法 | 它结合了什么 | 推理可见？ |
|---|---|---|
| 自一致性 | 一个模型，多次采样 | 仅多数答案 |
| 统计集成 | 输出混合成一个平均值 | 否——被平均掉 |
| 多LLM共识 | 几个不同模型的论点 | 是——保留并可检查 |
这里最常引用的研究是混合代理（arXiv:2406.04692），它分层多个LLM，以便后续层可以细化早期的响应。它报告了质量提升——但重要的是要准确说明测量了什么。
混合代理的收益主要在偏好基准上显示，例如AlpacaEval——这是对响应质量的评估。这不是对任何特定主张的事实准确性的保证。结合模型可以提高质量；但并不证明真理。
将各个部分结合起来，诚实的框架是这样的：多LLM共识是一个信心信号。高共识意味着几个独立系统达成一致，这降低了——但并不消除——对人工验证的优先级。模型可以共享训练偏见并共同错误。将共识视为“可能风险较低”，并将分歧视为你最可操作的输出：它们指向验证最重要的地方。
跨不同系统的一致性——而不是一个模型被重新采样
阅读每个模型的推理；没有任何东西被平均成黑箱
得分校准信心——从不作为事实证明
有争议的点被标记以供人工验证
多LLM共识是当几个不同的大型语言模型独立推理同一主张并评估彼此的论点时达成的一致程度。与多次采样一个模型不同，它依赖于真正不同的系统——因此共识反映了跨不同架构和训练数据的一致性，而分歧则标志着主张的争议。
自一致性多次采样同一单一模型并取多数答案。它减少了随机方差，但共享一个模型的偏见和盲点。多LLM共识使用不同的模型，因此一致性更有意义，而分歧可以揭示一个盲点，而重复采样一个模型永远无法暴露。
统计集成将模型输出混合成一个单一的平均预测，丢弃个体推理。多LLM共识保留每个模型的论点，以便你可以阅读它们。没有任何东西被平均成一个你无法检查的黑箱得分——个体案例保持可见，这就是使分歧可读的原因。
研究如混合代理（arXiv:2406.04692）显示，通过分层多个LLM可以获得质量提升，主要在偏好基准上进行测量，例如AlpacaEval。这是对这些基准上响应质量改善的证据——这并不是对任何特定主张的事实准确性的保证。将共识视为信心信号，而不是一个真理神谕。
不。共识是一个信心信号，而不是证明。几个模型可以共享相同的训练偏见并在某些错误上达成一致。高共识降低了对人工验证的优先级；但从不消除对它的需求。最可操作的输出往往是分歧，它指向验证最重要的地方。