ਮਿਸ਼ਰਣ-ਆਧਾਰਿਤ ਏਜੰਟ ਕੀ ਹੈ?

ਮਿਸ਼ਰਣ-ਆਧਾਰਿਤ ਏਜੰਟ (MoA) ਇੱਕ ਪਰਤਾਂ ਵਾਲੀ ਬਹੁ-LLM ਆਰਕੀਟੈਕਚਰ ਹੈ ਜੋ ਪੇਪਰ "ਮਿਸ਼ਰਣ-ਆਧਾਰਿਤ ਏਜੰਟ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ ਦੀ ਸਮਰੱਥਾ ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ" (arXiv:2406.04692) ਵਿੱਚ ਪੇਸ਼ ਕੀਤੀ ਗਈ ਸੀ। MoA ਵਿੱਚ, ਕਈ ਮਾਡਲ ਇੱਕ ਪਰਤ ਵਿੱਚ ਪ੍ਰਸਤਾਵਕ ਵਜੋਂ ਕੰਮ ਕਰਦੇ ਹਨ; ਉਨ੍ਹਾਂ ਦੇ ਜਵਾਬ ਜੋੜੇ ਜਾਂਦੇ ਹਨ ਅਤੇ ਅਗਲੀ ਪਰਤ ਵਿੱਚ ਇਕੱਠੇ ਕਰਨ ਵਾਲੇ ਮਾਡਲਾਂ ਨੂੰ ਭੇਜੇ ਜਾਂਦੇ ਹਨ, ਜੋ ਇੱਕ ਸੁਧਾਰਿਤ ਜਵਾਬ ਬਣਾਉਂਦੇ ਹਨ। ਵਾਧੂ ਪਰਤਾਂ ਸੁਧਾਰ ਨੂੰ ਦੁਹਰਾਉਂਦੀਆਂ ਹਨ। ਪੇਪਰ ਪਸੰਦਗੀ-ਸ਼ੈਲੀ ਬੈਂਚਮਾਰਕਸ ਜਿਵੇਂ ਕਿ AlpacaEval 2.0, MT-Bench, ਅਤੇ FLASK 'ਤੇ ਲਾਭ ਦਿਖਾਉਂਦਾ ਹੈ - ਜਵਾਬ ਦੀ ਗੁਣਵੱਤਾ ਦੇ ਮਾਪ ਜੋ ਇੱਕ ਮੁਲਾਂਕਣ ਕਰਨ ਵਾਲੇ ਦੁਆਰਾ ਜੱਜ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਨਾ ਕਿ ਤੱਥਾਤਮਕ ਸਹੀਤਾ ਦੀ ਗਾਰੰਟੀ। MoA ਵੀ ਟੋਕਨ ਖਰਚ ਨੂੰ ਬਹੁਗੁਣਾ ਕਰਦਾ ਹੈ ਅਤੇ ਵਿਲੰਬ ਜੋੜਦਾ ਹੈ ਕਿਉਂਕਿ ਇਹ ਕਈ ਮਾਡਲ ਕਾਲਾਂ ਨੂੰ ਪਰਤਾਂ ਵਿੱਚ ਚਲਾਉਂਦਾ ਹੈ, ਅਤੇ ਇਕੱਠਾ ਕਰਨਾ ਸੱਚੇ ਅਸਹਿਮਤੀ ਨੂੰ ਮਿੱਟਾ ਸਕਦਾ ਹੈ। Argumentree.AI ਸੰਬੰਧਿਤ ਪਰੰਤੂ ਵੱਖਰਾ ਹੈ: ਇੱਕ ਸੰਸਥਾਪਿਤ ਜਵਾਬ ਵਿੱਚ ਇਕੱਠਾ ਕਰਨ ਦੀ ਬਜਾਏ, ਇਹ ਹਰ ਮਾਡਲ ਦੇ ਵਿਅਕਤੀਗਤ ਦਲੀਲਾਂ ਨੂੰ ਸੁਰੱਖਿਅਤ ਰੱਖਦਾ ਹੈ ਅਤੇ ਹਰ ਉਪਲਬਧ ਮਾਡਲ ਨੂੰ ਹਰ ਹੋਰ ਮਾਡਲ ਦੀਆਂ ਦਲੀਲਾਂ ਦੀ ਦਰਜਾ ਦੇਣ ਦਿੰਦਾ ਹੈ, ਸਹਿਮਤੀ ਅਤੇ ਅਸਹਿਮਤੀ ਨੂੰ ਉਭਾਰਦਾ ਹੈ ਬਜਾਏ ਕਿ ਉਨ੍ਹਾਂ ਨੂੰ ਛੁਪਾਉਂਦਾ ਹੈ।

ਕਲੈਕਟਿਵ AI ਬੁੱਧੀ ਵੱਲ ਵਾਪਸਬਹੁ-LLM ਆਰਕੀਟੈਕਚਰ

ਕੀ ਹੈ
ਮਿਸ਼ਰਣ-ਆਧਾਰਿਤ ਏਜੰਟ?

ਮਿਸ਼ਰਣ-ਆਧਾਰਿਤ ਏਜੰਟ (MoA) ਕਈ LLMs ਨੂੰ ਸਹਿਯੋਗੀ ਏਜੰਟ ਵਜੋਂ ਦੇਖਦਾ ਹੈ - ਪ੍ਰਸਤਾਵਕ ਉਮੀਦਵਾਰ ਜਵਾਬ ਪੈਦਾ ਕਰਦੇ ਹਨ, ਇਕੱਠੇ ਕਰਨ ਵਾਲੇ ਉਨ੍ਹਾਂ ਨੂੰ ਇੱਕ ਸੁਧਾਰਿਤ ਜਵਾਬ ਵਿੱਚ ਸੰਸ਼ਲੇਸ਼ਿਤ ਕਰਦੇ ਹਨ। ਇਹ ਇੱਕ ਵਾਸਤਵਿਕ ਤਕਨੀਕ ਹੈ ਜਿਸ ਵਿੱਚ ਵਾਸਤਵਿਕ ਵਪਾਰ ਹਨ, ਨਾ ਕਿ ਇੱਕ ਜਾਦੂਈ ਸਹੀਤਾ ਸਵਿੱਚ।

TL;DR

ਮਿਸ਼ਰਣ-ਆਧਾਰਿਤ ਏਜੰਟ ਕਈ LLMs ਨੂੰ ਪਰਤਾਂ ਵਿੱਚ ਲਗਾਉਂਦਾ ਹੈ: ਪ੍ਰਸਤਾਵਕ ਮਾਡਲ ਜਵਾਬਾਂ ਦਾ ਖਾਕਾ ਤਿਆਰ ਕਰਦੇ ਹਨ, ਇਕੱਠੇ ਕਰਨ ਵਾਲੇ ਮਾਡਲ ਉਨ੍ਹਾਂ ਨੂੰ ਜੋੜਦੇ ਹਨ। arXiv:2406.04692 ਪੇਪਰ ਪਸੰਦਗੀ ਬੈਂਚਮਾਰਕਸ (AlpacaEval, MT-Bench) 'ਤੇ ਲਾਭ ਦਿਖਾਉਂਦਾ ਹੈ - ਜਵਾਬ ਦੀ ਗੁਣਵੱਤਾ, ਨਾ ਕਿ ਸਾਬਤ ਕੀਤੀ ਗਈ ਤੱਥਾਤਮਕ ਸਹੀਤਾ - ਅਤੇ ਇਹ ਇੱਕ ਮਾਡਲ ਨਾਲੋਂ ਵੱਧ ਟੋਕਨ ਅਤੇ ਵਿਲੰਬ ਦੀ ਲਾਗਤ ਕਰਦਾ ਹੈ।

MoA ਕਿੱਥੋਂ ਆਉਂਦਾ ਹੈ

ਮਿਸ਼ਰਣ-ਆਧਾਰਿਤ ਏਜੰਟ 2024 ਦੇ ਪੇਪਰ "ਮਿਸ਼ਰਣ-ਆਧਾਰਿਤ ਏਜੰਟ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ ਦੀ ਸਮਰੱਥਾ ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ" (arXiv:2406.04692) ਵਿੱਚ ਪੇਸ਼ ਕੀਤਾ ਗਿਆ ਸੀ। ਮੁੱਖ ਨੋਟ ਸਹਿਯੋਗੀਤਾ ਹੈ: LLMs ਜਦੋਂ ਹੋਰ ਮਾਡਲਾਂ ਦੇ ਨਤੀਜੇ ਦੇਖ ਸਕਦੇ ਹਨ ਅਤੇ ਉਨ੍ਹਾਂ 'ਤੇ ਨਿਰਭਰ ਕਰ ਸਕਦੇ ਹਨ ਤਾਂ ਉਹ ਵਧੀਆ ਜਵਾਬ ਪੈਦਾ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਨ - ਭਾਵੇਂ ਉਹ ਮਾਡਲ ਇਕੱਲੇ ਕਮਜ਼ੋਰ ਹੋਣ। MoA ਇਸ ਨੋਟ ਨੂੰ ਇੱਕ ਆਰਕੀਟੈਕਚਰ ਵਿੱਚ ਬਦਲਦਾ ਹੈ।

ਪਰਤਾਂ ਵਾਲੀ ਆਰਕੀਟੈਕਚਰ

MoA ਪਰਤਾਂ ਵਿੱਚ ਵਿਵਸਥਿਤ ਹੈ। ਹਰ ਪਰਤ ਵਿੱਚ ਕਈ LLM "ਏਜੰਟ" ਹੁੰਦੇ ਹਨ। ਇੱਕ ਪਰਤ ਦੇ ਮਾਡਲ ਹਰ ਇੱਕ ਜਵਾਬ ਪੈਦਾ ਕਰਦੇ ਹਨ, ਉਹ ਜਵਾਬ ਜੋੜੇ ਜਾਂਦੇ ਹਨ ਅਤੇ ਅਗਲੀ ਪਰਤ ਨੂੰ ਦਿੱਤੇ ਜਾਂਦੇ ਹਨ, ਜਿਸ ਦੇ ਮਾਡਲ ਇਕੱਠੇ ਕਰਨ ਵਾਲੇ ਵਜੋਂ ਕੰਮ ਕਰਦੇ ਹਨ ਜੋ ਸੁਧਾਰ ਅਤੇ ਸੰਸ਼ਲੇਸ਼ਣ ਕਰਦੇ ਹਨ। ਪਰਤਾਂ ਨੂੰ ਸਟੈਕ ਕਰਨਾ ਸੁਧਾਰ ਨੂੰ ਦੁਹਰਾਉਂਦਾ ਹੈ।

1

ਪ੍ਰਸਤਾਵਕ ਉਮੀਦਵਾਰ ਬਣਾਉਂਦੇ ਹਨ

ਕਈ ਮਾਡਲ ਹਰ ਇੱਕ ਪ੍ਰੰਪਟ ਦਾ ਜਵਾਬ ਪਹਿਲੀ ਪਰਤ ਵਿੱਚ ਸੁਤੰਤਰਤਾ ਨਾਲ ਦਿੰਦੇ ਹਨ।

2

ਜਵਾਬ ਜੋੜੇ ਜਾਂਦੇ ਹਨ

ਸਭ layer-1 ਨਿਕਾਸ ਨੂੰ ਅਗਲੀ ਪਰਤ ਲਈ ਸੰਦਰਭ ਸਮੱਗਰੀ ਵਜੋਂ ਇਕੱਠਾ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

3

ਸੰਕਲਕ ਸਿੰਥੇਸਾਈਜ਼ ਕਰਦੇ ਹਨ

Layer-2 ਮਾਡਲ ਉਮੀਦਵਾਰਾਂ ਨੂੰ ਪੜ੍ਹਦੇ ਹਨ ਅਤੇ ਇੱਕ ਸੁਧਰੇ ਹੋਏ, ਮਿਲੇ ਜਵਾਬ ਦਾ ਉਤਪਾਦਨ ਕਰਦੇ ਹਨ।

4

ਵਿਕਲਪਕ ਤੌਰ 'ਤੇ, ਪਰਤ ਦੁਹਰਾਓ

ਵਾਧੂ ਪਰਤਾਂ ਸੁਧਾਰ ਕਰਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ; ਇੱਕ ਅੰਤਿਮ ਸੰਕਲਕ ਜਵਾਬ ਜਾਰੀ ਕਰਦਾ ਹੈ।

ਉਦਾਹਰਣੀ ਉਦਾਹਰਣ - ਅਸਲ ਮਾਡਲ ਨਤੀਜਾ ਨਹੀਂ

ਪੁੱਛੋ "ਕੀ ਸਾਡਾ API 200 ਜਾਂ 202 ਨੂੰ ਇੱਕ ਅਸਿੰਕ ਕੰਮ ਲਈ ਸਵੀਕਾਰ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ?" ਤਿੰਨ ਪ੍ਰਸਤਾਵਕ ਮਾਡਲ ਹਰ ਇੱਕ REST ਰਿਵਾਇਤਾਂ ਦਾ ਉਲਲੇਖ ਕਰਦੇ ਹੋਏ ਜਵਾਬ ਦਾ ਖਾਕਾ ਤਿਆਰ ਕਰਦੇ ਹਨ। ਇੱਕ ਇਕੱਠਾ ਕਰਨ ਵਾਲਾ ਤਿੰਨੋਂ ਨੂੰ ਪੜ੍ਹਦਾ ਹੈ, ਦੋ 202 Accepted ਨੂੰ ਇੱਕ ਸਥਿਤੀ URL ਨਾਲ ਪਸੰਦ ਕਰਦੇ ਹਨ ਅਤੇ ਇੱਕ 200 ਨੂੰ ਪਸੰਦ ਕਰਦਾ ਹੈ, ਅਤੇ ਹਰ ਇੱਕ ਤੋਂ ਸਭ ਤੋਂ ਮਜ਼ਬੂਤ ਤਰਕ ਨੂੰ ਸ਼ਾਮਲ ਕਰਦੇ ਹੋਏ ਇੱਕ ਇਕੱਲਾ ਸੁਝਾਅ ਸੰਸ਼ਲੇਸ਼ਿਤ ਕਰਦਾ ਹੈ। ਮਿਲੀ ਜਵਾਬ ਚੰਗਾ ਲੱਗਦਾ ਹੈ - ਪਰ ਜੇ ਤਿੰਨੋਂ ਨੇ ਇੱਕੋ ਹੀ ਗਲਤ ਫਹਮੀ ਸਾਂਝੀ ਕੀਤੀ, ਤਾਂ ਇਕੱਠਾ ਕਰਨ ਵਾਲਾ ਇਸ ਨੂੰ ਆਤਮਵਿਸ਼ਵਾਸ ਨਾਲ ਦੁਹਰਾਏਗਾ।

ਬੈਂਚਮਾਰਕਸ ਵਾਸਤਵ ਵਿੱਚ ਕੀ ਦਿਖਾਉਂਦੇ ਹਨ

ਪੇਪਰ ਪਸੰਦਗੀ-ਸ਼ੈਲੀ ਬੈਂਚਮਾਰਕਸ 'ਤੇ ਮਜ਼ਬੂਤ ਨਤੀਜੇ ਰਿਪੋਰਟ ਕਰਦਾ ਹੈ - AlpacaEval 2.0, MT-Bench, ਅਤੇ FLASK - ਜਿੱਥੇ ਇੱਕ ਜੱਜ (ਅਕਸਰ ਇੱਕ LLM ਜਾਂ ਮਨੁੱਖ) ਇਹ ਅੰਕ ਦਿੰਦਾ ਹੈ ਕਿ ਕਿਹੜਾ ਜਵਾਬ ਵੱਧ ਸਹਾਇਕ ਜਾਂ ਉੱਚ ਗੁਣਵੱਤਾ ਦਾ ਹੈ। ਇਹ ਵਿਕਾਸਕਾਂ ਲਈ ਇੱਕ ਮਹੱਤਵਪੂਰਨ ਫਰਕ ਹੈ:

ਦਾਅਵਾ ਇਮਾਨਦਾਰੀ ਨਾਲ ਪੜ੍ਹੋ

  • • ਪਸੰਦ/ਜਿੱਤ ਦਰ ਦੇ ਲਾਭਾਂ ਦਾ ਮਾਪਿਆ ਗਿਆ ਗੁਣਵੱਤਾ ਹੈ, ਪ੍ਰਮਾਣਿਤ ਸੱਚਾਈ ਨਹੀਂ
  • • ਇੱਕ ਹੋਰ ਸੁਚਾਰੂ, ਬਿਹਤਰ-ਸੰਗਠਿਤ ਜਵਾਬ ਫਿਰ ਵੀ ਤੱਥਾਤਮਕ ਤੌਰ 'ਤੇ ਗਲਤ ਹੋ ਸਕਦਾ ਹੈ
  • • ਜੇਕਰ ਪ੍ਰਸਤਾਵਕਾਂ ਵਿੱਚ ਕੋਈ ਅੰਧਾ ਸਥਾਨ ਸਾਂਝਾ ਹੈ, ਤਾਂ ਸੰਕਲਨ ਇਸਨੂੰ ਠੀਕ ਕਰਨ ਦੀ ਬਜਾਏ ਮਜ਼ਬੂਤ ਕਰਦਾ ਹੈ
  • • ਹਰ ਪਰਤ ਮਾਡਲ ਕਾਲਾਂ ਨੂੰ ਜੋੜਦੀ ਹੈ: ਹੋਰ ਟੋਕਨ, ਉੱਚਾ ਖਰਚ, ਹੋਰ ਦੇਰੀ
  • • ਸੰਕਲਨ ਵਾਸਤਵਿਕ ਅਸਹਿਮਤੀ ਨੂੰ ਝੂਠੀ ਆਤਮਵਿਸ਼ਵਾਸ ਵਿੱਚ ਬਦਲ ਸਕਦਾ ਹੈ

MoA vs LLM ਕੌਂਸਲ vs ਬਹੁ-LLM ਸਹਿਮਤੀ

ਤਿੰਨ ਬਹੁ-ਮਾਡਲ ਪੈਟਰਨ। ਇੱਕ ਵਿਕਾਸਕ ਵਜੋਂ, ਜੋ ਤੁਹਾਨੂੰ ਸ਼ਿਪ ਕਰਨ ਦੀ ਲੋੜ ਹੈ ਉਸ ਦੇ ਆਧਾਰ 'ਤੇ ਚੁਣੋ: ਇੱਕ ਚਮਕਦਾਰ ਜਵਾਬ, ਜਾਂ ਦਿਖਾਈ ਦੇਣ ਵਾਲੀ ਕ੍ਰਾਸ-ਮਾਡਲ ਤਰਕ।

ਪੈਟਰਨਇਹ ਕੀ ਸੁਧਾਰ ਕਰਦਾ ਹੈਤੁਹਾਨੂੰ ਕੀ ਮਿਲਦਾ ਹੈ
ਏਜੰਟਾਂ ਦਾ ਮਿਸ਼ਰਣਇੱਕ ਸੁਧਰੇ ਹੋਏ ਮਿਲੇ ਜਵਾਬਸੰਕਲਕ ਪ੍ਰਸਤਾਵਕ ਦੇ ਨਿਕਾਸ ਨੂੰ ਮਿਲਾਉਂਦੇ ਹਨ; ਵਿਅਕਤੀਗਤ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਸੰਕਲਨ ਵਿੱਚ ਗਾਇਬ ਹੋ ਜਾਂਦੇ ਹਨ
ਐਲਐਲਐਮ ਕੌਂਸਲਪ੍ਰਤੀ-ਮਾਡਲ ਯੋਗਦਾਨ ਦੀ ਪਾਰਦਰਸ਼ਤਾਹਰ ਮਾਡਲ ਦਾ ਜਵਾਬ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ; ਮਾਡਲ ਅਕਸਰ ਇੱਕ ਦੂਜੇ ਦਾ ਮੁਲਾਂਕਣ ਕਰਦੇ ਹਨ
ਮਲਟੀ-ਐਲਐਲਐਮ ਸਹਿਮਤੀਸਹਿਮਤੀ + ਅਸਹਿਮਤੀ ਸੰਕੇਤਗਿਣਤੀ ਕਰਦਾ ਹੈ ਕਿ ਮਾਡਲ ਕਿੱਥੇ ਸਹਿਮਤ ਹਨ (ਆਤਮਵਿਸ਼ਵਾਸ) ਅਤੇ ਕਿੱਥੇ ਵੱਖਰੇ ਹਨ (ਵਿਵਾਦਿਤ ਸਵਾਲ)

ਨਿਯਮ: MoA ਲਈ ਪਹੁੰਚੋ ਜਦੋਂ ਤੁਸੀਂ ਇੱਕ ਸਭ ਤੋਂ ਵਧੀਆ ਜਵਾਬ ਚਾਹੁੰਦੇ ਹੋ ਅਤੇ ਟੋਕਨ/ਵਿਲੰਬ ਦੀ ਲਾਗਤ ਦੇਣ ਦੇ ਯੋਗ ਹੋ; ਜਦੋਂ ਅਸਹਿਮਤੀ ਖੁਦ ਉਤਪਾਦ ਹੈ, ਤਾਂ ਕੌਂਸਲ ਜਾਂ ਸਹਿਮਤੀ ਅੰਕੜੇ ਲਈ ਪਹੁੰਚੋ।

Argumentree.AI ਕਿੱਥੇ ਫਿੱਟ ਹੁੰਦਾ ਹੈ

Argumentree.AI MoA ਦੇ ਨੀਤੀ ਨੂੰ ਸਾਂਝਾ ਕਰਦਾ ਹੈ - ਕਈ ਮਾਡਲ ਇੱਕ ਤੋਂ ਵਧੀਆ ਹਨ - ਪਰ ਇਹ ਵਿਅਕਤੀਗਤ ਨਤੀਜਿਆਂ ਨੂੰ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ ਬਜਾਏ ਕਿ ਉਨ੍ਹਾਂ ਨੂੰ ਮਿਲਾਉਂਦਾ ਹੈ।

ਸਭ ਉਪਲਬਧ ਮਾਡਲਾਂ ਨੂੰ ਪੁੱਛੋ

ਹਰ ਮਾਡਲ ਸੁਤੰਤਰਤਾ ਨਾਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ — ਕੋਈ ਪ੍ਰਸਤਾਵਕ/ਸੰਕਲਕ ਇੱਕ ਆਵਾਜ਼ ਵਿੱਚ ਨਹੀਂ ਮਿਲਦੇ

ਹਰ ਤਰਕ ਨੂੰ ਬਚਾਓ

ਵਿਅਕਤੀਗਤ ਪ੍ਰੋ/ਕਾਨ ਤਰਕ ਉਸ ਮਾਡਲ ਨੂੰ ਸੰਬੰਧਿਤ ਰਹਿੰਦੇ ਹਨ ਜਿਸਨੇ ਉਹ ਬਣਾਏ

ਕ੍ਰਾਸ-ਮਾਡਲ ਪੀਅਰ ਰੇਟਿੰਗ

ਹਰ ਉਪਲਬਧ ਮਾਡਲ ਹਰ ਦੂਜੇ ਮਾਡਲ ਦੇ ਤਰਕਾਂ ਨੂੰ ਰੇਟ ਕਰਦਾ ਹੈ

ਸਹਿਮਤੀ ਅਤੇ ਅਸਹਿਮਤੀ ਨੂੰ ਉਭਾਰੋ

ਤੁਸੀਂ ਸਹਿਮਤੀ ਨੂੰ ਆਤਮਵਿਸ਼ਵਾਸ ਵਜੋਂ ਅਤੇ ਅਸਹਿਮਤੀ ਨੂੰ ਵਾਸਤਵਿਕ ਸਵਾਲ ਵਜੋਂ ਦੇਖਦੇ ਹੋ

ਅਕਸਰ ਪੁੱਛੇ ਜਾਣ ਵਾਲੇ ਸਵਾਲ

ਏਜੰਟਾਂ ਦਾ ਮਿਸ਼ਰਣ (MoA) ਕੀ ਹੈ?

ਏਜੰਟਾਂ ਦਾ ਮਿਸ਼ਰਣ (MoA) ਇੱਕ ਪਰਤਬੱਧ ਆਰਕੀਟੈਕਚਰ ਹੈ ਜਿਸ ਵਿੱਚ ਕਈ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ ਇੱਕ ਪਰਤ ਵਿੱਚ ਪ੍ਰਸਤਾਵਕ ਵਜੋਂ ਕੰਮ ਕਰਦੇ ਹਨ, ਅਤੇ ਉਨ੍ਹਾਂ ਦੇ ਨਿਕਾਸ ਨੂੰ ਅਗਲੀ ਪਰਤ ਵਿੱਚ ਸੰਕਲਕ ਮਾਡਲਾਂ ਨੂੰ ਪਾਸ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਜੋ ਇੱਕ ਸੁਧਰੇ ਹੋਏ ਜਵਾਬ ਦਾ ਉਤਪਾਦਨ ਕਰਦੇ ਹਨ। 'ਏਜੰਟਾਂ ਦਾ ਮਿਸ਼ਰਣ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ ਦੀ ਸਮਰੱਥਾ ਨੂੰ ਵਧਾਉਂਦਾ ਹੈ' (arXiv:2406.04692) ਪੇਪਰ ਵਿੱਚ ਪੇਸ਼ ਕੀਤਾ ਗਿਆ, ਇਹ ਕਈ LLMs ਨੂੰ ਸਹਿਯੋਗੀ ਏਜੰਟਾਂ ਵਜੋਂ ਦੇਖਦਾ ਹੈ ਨਾ ਕਿ ਇੱਕ ਹੀ ਮਾਡਲ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ।

ਕੀ ਏਜੰਟਾਂ ਦਾ ਮਿਸ਼ਰਣ ਜਵਾਬਾਂ ਨੂੰ ਹੋਰ ਸਹੀ ਬਣਾਉਂਦਾ ਹੈ?

ਮੂਲ MoA ਪੇਪਰ ਪਸੰਦ-ਸ਼ੈਲੀ ਬੈਂਚਮਾਰਕਾਂ ਜਿਵੇਂ ਕਿ AlpacaEval 2.0, MT-Bench ਅਤੇ FLASK 'ਤੇ ਲਾਭਾਂ ਦੀ ਰਿਪੋਰਟ ਕਰਦਾ ਹੈ, ਜਿੱਥੇ ਇੱਕ ਜੱਜ ਜਵਾਬ ਦੀ ਗੁਣਵੱਤਾ ਨੂੰ ਸਕੋਰ ਕਰਦਾ ਹੈ। ਇਹ ਪਸੰਦ ਅਤੇ ਮਦਦਗਾਰਤਾ ਦੇ ਮਾਪ ਹਨ, ਨਾ ਕਿ ਤੱਥਾਤਮਕ ਸਹੀਤਾ ਦੀ ਗਾਰੰਟੀ। MoA ਇੱਕ ਹੋਰ ਪੋਲਿਸ਼ ਕੀਤਾ, ਬਿਹਤਰ-ਸੰਰਚਿਤ ਜਵਾਬ ਉਤਪਾਦਨ ਕਰ ਸਕਦਾ ਹੈ ਜਦੋਂ ਕਿ ਫਿਰ ਵੀ ਇੱਕ ਸਾਂਝੀ ਤੱਥਾਤਮਕ ਗਲਤੀ ਨੂੰ ਦੁਹਰਾਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਇਸਨੂੰ ਸੱਚਾਈ ਦੀ ਗਾਰੰਟੀ ਵਜੋਂ ਨਹੀਂ ਦੇਖਣਾ ਚਾਹੀਦਾ।

ਏਜੰਟਾਂ ਦਾ ਮਿਸ਼ਰਣ ਦੇ ਨੁਕਸਾਨ ਕੀ ਹਨ?

MoA ਕਈ ਮਾਡਲਾਂ ਨੂੰ ਕਈ ਪਰਤਾਂ ਵਿੱਚ ਚਲਾਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਇਹ ਟੋਕਨ ਦੀ ਲਾਗਤ ਨੂੰ ਬਹੁਗੁਣਾ ਕਰਦਾ ਹੈ ਅਤੇ ਇੱਕ ਹੀ ਮਾਡਲ ਕਾਲ ਦੇ ਮੁਕਾਬਲੇ ਵਿੱਚ ਦੇਰੀ ਜੋੜਦਾ ਹੈ। ਸੰਕਲਕ ਪਰਤਾਂ ਵੀ ਪ੍ਰਸਤਾਵਕਾਂ ਵਿਚਕਾਰ ਵਾਸਤਵਿਕ ਅਸਹਿਮਤੀ ਨੂੰ ਮਸਤੀ ਕਰ ਸਕਦੀਆਂ ਹਨ, ਉਹ ਮਾਈਨੋਰਿਟੀ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਨੂੰ ਛੁਪਾਉਂਦੀਆਂ ਹਨ ਜੋ ਵਾਸਤਵਿਕ ਤੌਰ 'ਤੇ ਦੇਖਣ ਦੇ ਯੋਗ ਸਨ। ਇਹ ਇੱਕ ਵਾਸਤਵਿਕ ਤਕਨੀਕ ਹੈ ਜਿਸਦਾ ਇੱਕ ਵਾਸਤਵਿਕ ਲਾਗਤ/ਦੇਰੀ ਦਾ ਵਪਾਰ ਹੈ, ਨਾ ਕਿ ਇੱਕ ਮੁਫਤ ਅੱਪਗਰੇਡ।

MoA ਇੱਕ ਐਲਐਲਐਮ ਕੌਂਸਲ ਤੋਂ ਕਿਵੇਂ ਵੱਖਰਾ ਹੈ?

MoA ਇੱਕ ਸੰਕਲਨ ਆਰਕੀਟੈਕਚਰ ਹੈ: ਪ੍ਰਸਤਾਵਕ ਮਾਡਲ ਸੰਕਲਕਾਂ ਨੂੰ ਖੁਰਾਕ ਦਿੰਦੇ ਹਨ ਜੋ ਸਭ ਕੁਝ ਇੱਕ ਸੁਧਰੇ ਹੋਏ ਜਵਾਬ ਵਿੱਚ ਮਿਲਾਉਂਦੇ ਹਨ। ਇੱਕ ਐਲਐਲਐਮ ਕੌਂਸਲ ਹਰ ਮਾਡਲ ਦੇ ਯੋਗਦਾਨ ਨੂੰ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ ਅਤੇ ਅਕਸਰ ਮਾਡਲ ਇੱਕ ਦੂਜੇ ਦਾ ਮੁਲਾਂਕਣ ਜਾਂ ਰੇਟ ਕਰਦੇ ਹਨ, ਤਾਂ ਜੋ ਤੁਸੀਂ ਦੇਖ ਸਕੋ ਕਿ ਉਹ ਕਿੱਥੇ ਅਸਹਿਮਤ ਹਨ। MoA ਇੱਕ ਮਜ਼ਬੂਤ ਮਿਲੇ ਹੋਏ ਨਿਕਾਸ ਲਈ ਅਨੁਕੂਲਿਤ ਹੈ; ਇੱਕ ਕੌਂਸਲ ਵਿਅਕਤੀਗਤ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਦੀ ਪਾਰਦਰਸ਼ਤਾ ਲਈ ਅਨੁਕੂਲਿਤ ਹੈ।

ਕੀ Argumentree.AI ਇੱਕ ਏਜੰਟਾਂ ਦਾ ਮਿਸ਼ਰਣ ਪ੍ਰਣਾਲੀ ਹੈ?

ਬਿਲਕੁਲ ਨਹੀਂ। Argumentree.AI MoA ਦੇ ਧਾਰਨਾ ਨੂੰ ਸਾਂਝਾ ਕਰਦਾ ਹੈ ਕਿ ਕਈ ਮਾਡਲ ਇੱਕ ਨੂੰ ਹਰਾਉਂਦੇ ਹਨ, ਪਰ ਇੱਕ ਹੀ ਸੰਕਲਿਤ ਜਵਾਬ ਵਿੱਚ ਮਿਲਾਉਣ ਦੀ ਬਜਾਏ ਇਹ ਹਰ ਮਾਡਲ ਦੇ ਵਿਅਕਤੀਗਤ ਤਰਕਾਂ ਨੂੰ ਬਚਾਉਂਦਾ ਹੈ ਅਤੇ ਹਰ ਉਪਲਬਧ ਮਾਡਲ ਨੂੰ ਹਰ ਦੂਜੇ ਮਾਡਲ ਦੇ ਤਰਕਾਂ ਨੂੰ ਰੇਟ ਕਰਨ ਦਿੰਦਾ ਹੈ। ਲਕਸ਼ ਹੈ ਸਹਿਮਤੀ ਅਤੇ ਅਸਹਿਮਤੀ ਨੂੰ ਪਾਰਦਰਸ਼ੀ ਤੌਰ 'ਤੇ ਉਭਾਰਨਾ, ਨਾ ਕਿ ਇੱਕ ਮਿਲੇ ਹੋਏ ਜਵਾਬ ਦੇ ਪਿੱਛੇ ਵਿਅਕਤੀਗਤ ਨਿਕਾਸ ਨੂੰ ਛੁਪਾਉਣਾ।

ਕਈ ਮਾਡਲਾਂ ਨੂੰ ਤਰਕ ਕਰਦੇ ਦੇਖੋ - ਬਿਨਾਂ ਉਨ੍ਹਾਂ ਨੂੰ ਮਿਲਾਉਣ ਦੇ

MoA ਮਾਡਲਾਂ ਨੂੰ ਇੱਕ ਜਵਾਬ ਵਿੱਚ ਮਿਲਾਉਂਦਾ ਹੈ। Argumentree.AI ਹਰ ਮਾਡਲ ਦੀਆਂ ਦਲੀਲਾਂ ਨੂੰ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ ਅਤੇ ਸਾਥੀ ਦਰਜਾ ਦਿੰਦਾ ਹੈ।

ਮੁਫਤ ਸ਼ੁਰੂ ਕਰੋ