મલ્ટી-એલએલએમ સંમતિ એ સંમતિનું સ્તર છે જે ત્યારે પ્રાપ્ત થાય છે જ્યારે અનેક વિવિધ મોટા ભાષા મોડેલો સ્વતંત્ર રીતે સમાન દાવો વિશે વિચાર કરે છે અને એકબીજાના દલીલને રેટ કરે છે. તે એકલ-મોડેલ નમૂનાકરણ અથવા સ્વયં-સંગતતા થી અલગ છે, જે એક મોડેલને પુનરાવર્તિત રીતે નમૂનાકરણ કરે છે અને તે મોડેલના પૂર્વગ્રહોને શેર કરે છે. તે આંકડાકીય સંકલનથી પણ અલગ છે, જે આઉટપુટને એક સરેરાશ ભવિષ્યવાણીમાં મિશ્રિત કરે છે: મલ્ટી-એલએલએમ સંમતિ વ્યક્તિગત દલીલને જાળવે છે જેથી તે તપાસી શકાય અને કાળા બોક્સમાં સરેરાશ ન થાય. મિશ્રણ-ઓફ-એજન્ટ્સ (arXiv:2406.04692) પર સંશોધન દર્શાવે છે કે અનેક એલએલએમને સ્તરબદ્ધ કરવાથી ગુણવત્તામાં વધારો થાય છે, જે મુખ્યત્વે AlpacaEval જેવા પસંદગીના બંચમાર્ક પર માપવામાં આવે છે - સુધારેલી પ્રતિસાદની ગુણવત્તાનું પુરાવો, કોઈ ચોક્કસ દાવા પર તથ્યની ચોકસાઈની ખાતરી નથી. Argumentree.AI સંમતિને વિશ્વાસ સંકેત તરીકે માન્ય રાખે છે, સત્યOracle તરીકે નહીં; મોડેલો વચ્ચેના વિવાદો ઘણીવાર સૌથી વધુ કાર્યક્ષમ આઉટપુટ હોય છે.
મલ્ટી-એલએલએમ સંમતિ એ અનેક ખરેખર વિવિધ મોડેલો વચ્ચેની સંમતિ છે - એક મોડેલને બે વાર નમૂનાકરણ કરવું અને ન મિશ્રિત સરેરાશ. તે એક વિશ્વાસ સંકેત છે જે તમે તપાસી શકો છો, સત્યOracle નથી.
મલ્ટી-એલએલએમ સંમતિ એ અનેક વિવિધ મોડેલો વચ્ચેની સંમતિને માપે છે. તે સ્વયં-સંગતતા (એક મોડેલ, ઘણા નમૂનાઓ) અને આંકડાકીય સંકલન (મિશ્રિત સરેરાશ) થી અલગ છે. તે વ્યક્તિગત દલીલને જાળવે છે - અને તે વિશ્વાસ સંકેત છે, સત્યનો પુરાવો નથી.
મલ્ટી-એલએલએમ સંમતિ એ સંમતિનું સ્તર છે જે ત્યારે પ્રાપ્ત થાય છે જ્યારે અનેક વિવિધ મોટા ભાષા મોડેલો સ્વતંત્ર રીતે સમાન પ્રશ્ન વિશે વિચાર કરે છે અને એકબીજાના દલીલને મૂલ્યાંકન કરે છે. જે શબ્દ મહત્વનો છે તે છે વિભિન્ન: મોડેલો અલગ આર્કિટેક્ચર અને તાલીમના ડેટા પરથી આવે છે, તેથી જ્યારે તેઓ એકસાથે આવે છે, ત્યારે તે સંમતિ એક જ સિસ્ટમના દૃષ્ટિકોણથી વધુને પ્રતિબિંબિત કરે છે - અને જ્યારે તેઓ વિભાજિત થાય છે, ત્યારે વિભાજન એક ખરેખર વિવાદિત દાવાને દર્શાવે છે.
એક સામાન્ય એકલ-મોડેલ તકનીક સ્વયં-સંગતતા છે: એક જ મોડેલને ઘણી વખત નમૂનાકરણ કરો અને બહુમતીનો જવાબ લો. તે રેન્ડમ વેરિયન્સને ઘટાડે છે, પરંતુ દરેક નમૂનાને એક જ મોડેલના પૂર્વગ્રહો અને અંધ બિંદુઓ inherit કરે છે. જો મોડેલ વિશ્વાસપૂર્વક ખોટું છે, તો તેને ફરીથી નમૂનાકરણ કરવું માત્ર ભૂલને પુનરાવર્તિત કરે છે. મલ્ટી-એલએલએમ સંમતિ પ્રકારમાં અલગ છે - તે સ્વતંત્ર મોડેલો પર આધાર રાખે છે, તેથી એકમાં એક જ અંધ બિંદુને બધા દ્વારા શેર થવાની સંભાવના ઓછી છે.
ક્લાસિકલ સંકલન મોડેલના આઉટપુટને એક જ સરેરાશ ભવિષ્યવાણીમાં મિશ્રિત કરે છે - સ્કોર માટે ઉપયોગી, સમજવા માટે નિષ્ફળ. મલ્ટી-એલએલએમ સંમતિ જાગૃત રીતે વિપરીત કરે છે: તે વ્યક્તિગત દલીલને જાળવે છે જેથી તમે દરેક મોડેલના વિચારને વાંચી શકો. કશુંક કાળા બોક્સના નંબરમાં સમકક્ષ નથી. આ જ છે જે વિવાદને વાંચવા માટે યોગ્ય બનાવે છે, સરેરાશમાં ન ગુમતા.
| પદ્ધતિ | તે શું મિશ્રિત કરે છે | વિચારણાની દૃશ્યતા? |
|---|---|---|
| સ્વયં-સંગતતા | એક મોડેલ, ઘણા નમૂનાઓ | બહુમતીનો જવાબ જ |
| આંકડાકીય સંકલન | આઉટપુટને સરેરાશમાં મિશ્રિત | નહીં - સરેરાશમાં દૂર |
| મલ્ટી-એલએલએમ સંમતિ | કેટલાક વિવિધ મોડેલોની દલીલ | હા - જાળવવામાં અને તપાસી શકાય છે |
અહીં સૌથી વધુ ઉલ્લેખિત સંશોધન મિશ્રણ-ઓફ-એજન્ટ્સ (arXiv:2406.04692) છે, જે અનેક એલએલએમને સ્તરબદ્ધ કરે છે જેથી પછીના સ્તરો અગાઉના પ્રતિસાદને સુધારે. તે ગુણવત્તામાં વધારો દર્શાવે છે - પરંતુ જે માપવામાં આવ્યું તે વિશે ચોક્કસ હોવું મહત્વપૂર્ણ છે.
મિશ્રણ-ઓફ-એજન્ટ્સના લાભો મોટા ભાગે પસંદગીના બંચમાર્ક પર દર્શાવવામાં આવ્યા છે જેમ કે AlpacaEval - જે દર્શાવે છે કે પ્રતિસાદ કેટલો સારું છે તે જજ કરવામાં આવે છે. તે નહીં કોઈ ચોક્કસ દાવા પર તથ્યની ચોકસાઈની ખાતરી છે. મોડેલોનું મિશ્રણ ગુણવત્તામાં સુધારો કરી શકે છે; તે સત્યને પ્રમાણિત નથી.
ટુકડાઓને એકત્રિત કરો અને સત્ય આકારણ આ છે: મલ્ટી-એલએલએમ સંમતિ એ વિશ્વાસ સંકેત છે. ઉચ્ચ સંમતિનો અર્થ એ છે કે અનેક સ્વતંત્ર સિસ્ટમો સંમત થાય છે, જે માનવ માન્યતાના પ્રાથમિકતાને ઘટાડે છે - પરંતુ તેને દૂર નથી કરે. મોડેલો એક તાલીમના પૂર્વગ્રહને શેર કરી શકે છે અને ખોટા હોઈ શકે છે. સંમતિને "શાયદ ઓછા જોખમ" તરીકે માન્ય રાખો, અને વિવાદોને તમારા સૌથી કાર્યક્ષમ આઉટપુટ તરીકે માન્ય રાખો: તે ચોક્કસ રીતે દર્શાવે છે કે જ્યાં માન્યતા સૌથી વધુ મહત્વની છે.
વિભિન્ન સિસ્ટમો વચ્ચેની સંમતિ - એક મોડેલને પુનરાવર્તિત ન કરવું
દરેક મોડેલના વિચારને વાંચો; કશુંક કાળા બોક્સમાં સરેરાશ નથી
સ્કોર વિશ્વાસને કૅલિબ્રેટ કરે છે - ક્યારેય સત્યના પુરાવા તરીકે રજૂ કરવામાં આવતું નથી
વિવાદિત બિંદુઓ માનવ માન્યતાના માટે ચિહ્નિત કરવામાં આવે છે
મલ્ટી-એલએલએમ સંમતિ એ સંમતિનું સ્તર છે જે ત્યારે પ્રાપ્ત થાય છે જ્યારે અનેક વિવિધ મોટા ભાષા મોડેલો સ્વતંત્ર રીતે સમાન દાવો વિશે વિચાર કરે છે અને એકબીજાના દલીલને મૂલ્યાંકન કરે છે. એક મોડેલને ઘણી વખત નમૂનાકરણ કરતા, તે ખરેખર વિવિધ સિસ્ટમો પર આધાર રાખે છે - તેથી સંમતિ અલગ આર્કિટેક્ચર અને તાલીમના ડેટા વચ્ચેની સંમતિને પ્રતિબિંબિત કરે છે, અને વિવાદ તે સ્થળને દર્શાવે છે જ્યાં દાવો વિવાદિત છે.
સ્વયં-સંગતતા એક જ એકલ મોડેલને અનેક વખત નમૂનાકરણ કરે છે અને બહુમતીનો જવાબ લે છે. તે રેન્ડમ વેરિયન્સને ઘટાડે છે પરંતુ એક મોડેલના પૂર્વગ્રહો અને અંધ બિંદુઓને શેર કરે છે. મલ્ટી-એલએલએમ સંમતિ વિવિધ મોડેલોનો ઉપયોગ કરે છે, તેથી સંમતિ વધુ અર્થપૂર્ણ છે અને વિવાદ એ અંધ બિંદુને પ્રગટ કરી શકે છે જે એક મોડેલના પુનરાવર્તિત નમૂનાકરણ દ્વારા ક્યારેય બહાર નહીં આવે.
આંકડાકીય સંકલન મોડેલના આઉટપુટને એક જ સરેરાશ ભવિષ્યવાણીમાં મિશ્રિત કરે છે, વ્યક્તિગત વિચારણાને દૂર કરે છે. મલ્ટી-એલએલએમ સંમતિ દરેક મોડેલની દલીલને જાળવે છે જેથી તમે તેને વાંચી શકો. કશુંક કાળા બોક્સના સ્કોરમાં સરેરાશ નથી જે તમે તપાસી શકતા નથી - વ્યક્તિગત કેસો દૃશ્યમાન રહે છે, જે વિવાદને વાંચવા માટે યોગ્ય બનાવે છે.
મિશ્રણ-ઓફ-એજન્ટ્સ (arXiv:2406.04692) જેવા સંશોધન દર્શાવે છે કે અનેક એલએલએમને સ્તરબદ્ધ કરવાથી ગુણવત્તામાં વધારો થાય છે, જે મુખ્યત્વે AlpacaEval જેવા પસંદગીના બંચમાર્ક પર માપવામાં આવે છે. તે આ બંચમાર્ક પર સુધારેલી પ્રતિસાદની ગુણવત્તાનું પુરાવો છે - તે કોઈ ચોક્કસ દાવા પર તથ્યની ચોકસાઈની ખાતરી નથી. સંમતિને વિશ્વાસ સંકેત તરીકે માન્ય રાખો, સત્યOracle તરીકે નહીં.
નહીં. સંમતિ એ વિશ્વાસ સંકેત છે, પુરાવો નથી. અનેક મોડેલો એક જ તાલીમના પૂર્વગ્રહને શેર કરી શકે છે અને ખોટા પર સંમત થઈ શકે છે. ઉચ્ચ સંમતિ માનવ માન્યતાના પ્રાથમિકતાને ઘટાડે છે; તે ક્યારેય તેને દૂર નથી કરે. સૌથી કાર્યક્ષમ આઉટપુટ ઘણીવાર વિવાદ હોય છે, જે દર્શાવે છે કે જ્યાં માન્યતા સૌથી વધુ મહત્વની છે.
એક મોડેલને બે વાર નમૂનાકરણ કરવું નહીં. કેટલાક વિવિધ મોડેલો, દલીલો જાળવવામાં આવી, વિવાદ દૃશ્યમાન.
મફત શરૂ કરો