LLM評議会は、大規模な言語モデルのグループであり、それぞれが独立して質問に回答し、その後、互いの回答を評価して合意に達します。このパターンは、Andrej Karpathyのオープンソースの「llm-council」リポジトリによって広まりました。ここでは、いくつかのモデルが回答し、最終的な統合の前に互いを評価します。Argumentree.AIは、構造化された議論ツリーと匿名の相互評価を用いて評議会のパターンを拡張します。匿名化は、LLMを審判として使用する研究が、モデルが自分の出力を好む自己強化バイアスを記録しているためです。ホストされたLLM評議会を利用すれば、自分のAPIキーを提供することなく、複数のモデルにクエリを送信できます。正直なトレードオフはコストとレイテンシーです：評議会は複数のモデル呼び出しを行うため、単一のクエリよりも遅く、費用がかかりますが、モデル間の検証と明確な意見の相違を得ることができます。
複数の言語モデルが独立して回答し、互いに評価し合い、合意に達するLLM評議会。これは「一つの自信ある回答」を、検証可能な熟慮に変えます。
LLM評議会は、複数のモデルが独立して回答し、その後互いを評価して合意を形成します。このパターンはKarpathyのオープンソースのllm-councilから来ています。Argumentree.AIがホストし、APIキーは不要で、自己賛美を抑えるために匿名で評価します。
評議会パターンは簡単に説明できます：複数のLLMが同じ質問に独立して回答し、その後互いの回答を評価し、ピア評価から合意が導き出されます。単一のモデルが最後の言葉を持つことはありません。モデルは回答する前に互いの反応を見ないため、独立した推論が保持され、彼らが異なる場所が明らかになります。
各モデルは他のモデルを見ずに独自に質問に回答します
各モデルは他のモデルの回答を評価します
評価が集約され、評議会が合意する点と異なる点が明らかになります
Andrej Karpathyは、正確にこの流れを示すオープンソースの「llm-council」リポジトリを公開しました。いくつかのモデルが回答し、互いを評価し、最終的な応答が合成されます。これは、モデルが互いに意味のある評価を行えることの公的証明です。Argumentree.AIは同じアイデアを基に構築しています。
Argumentree.AIは、評議会パターンを2つの方法でさらに進めます。まず、全体の回答を比較するのではなく、各モデルの推論を議論ツリーに構造化します。これにより、最終段落だけでなく、個々の主張を評価し、検証できます。次に、匿名の相互評価を使用します：モデルが主張を評価する際、どのモデルがそれを作成したかはわかりません。
LLMを審判として使用する研究は、自己強化バイアスを記録しています。モデルは自分の出力をより好意的に評価する傾向があります。評価前に著作権を隠すことでショートカットを排除し、モデルは自分自身を単に報酬することができなくなります。これが、匿名の相互評価の設計理念です。
自分で評議会を運営するには、通常、各モデルプロバイダーにサインアップし、別々のAPIキーを接続する必要があります。Argumentree.AIはホストされたLLM評議会を提供します：一度質問すれば、すべての利用可能なモデルが参加します—管理するキーは不要で、プロバイダーごとの設定も不要です。評議会の合意と意見の相違を一か所で得ることができます。
評議会は無料ではありません。定義上、複数のモデル呼び出しを行うため、より多くの計算を使用し、単一のクエリよりも返答に時間がかかります。それが意図的なトレードオフです：モデル間の検証と意見の相違の可視化を得るために、より多くの費用を支払います。高リスクの研究には良い取引ですが、些細な検索には単一のモデルで十分です。
単一の質問で複数のモデルの評議会を招集します
各モデルの推論をポイントごとに検証し、塊としてではなく表示します
相互評価は著作権を隠して自己強化バイアスを抑えます
プロバイダーごとのAPIキーは不要—合意と異議がすぐに得られます
LLM評議会は、大規模な言語モデルのグループであり、それぞれが独立して質問に回答し、その後、互いの回答を評価して合意の見解を生み出します。単一のモデルに依存するのではなく、評議会はモデル間の合意と不一致を明示化します—モデルが収束する場所とそうでない場所を確認できます。
Andrej Karpathyは、パターンを示すオープンソースの「llm-council」リポジトリを公開しました。いくつかのモデルがクエリに回答し、その後、最終的な合成の前に互いの回答を評価します。これは、モデル間の集団的推論の概念証明です。Argumentree.AIは、構造化された議論ツリーと匿名の相互評価でこのアイデアを拡張します。
LLMを審判として使用する研究は、自己強化バイアスを記録しています—モデルは自分の出力を好む傾向があります。評価前にどのモデルがどの主張を作成したかを匿名化することで、そのバイアスが軽減され、モデルは単に自分自身を報酬することができなくなります。これがArgumentree.AIの匿名の相互評価の設計理念です。
ホストされたLLM評議会では必要ありません。オープンソースの実装では、通常、各プロバイダーのAPIキーを提供する必要があります。Argumentree.AIは、複数のモデルにクエリを送信し、個別のAPIキーを自分で接続することなく合意を確認できるホスト型のマルチLLM評議会を提供します。
正直に言うと、評議会を運営することは単一のクエリよりもコストがかかります—複数のモデル呼び出しを行うため、より多くの計算を使用し、返答に時間がかかります。そのトレードオフは、モデル間の検証と意見の不一致の可視化を得るためのものです。高リスクの質問には追加のコストとレイテンシーが通常は価値がありますが、些細な検索には単一のモデルで十分です。