মাল্টি-এলএলএম সম্মতি হল সেই চুক্তির স্তর যা পৌঁছানো হয় যখন বিভিন্ন বড় ভাষার মডেলগুলি স্বাধীনভাবে একই দাবির বিষয়ে যুক্তি করে এবং একে অপরের যুক্তিগুলির মূল্যায়ন করে। এটি একক মডেলের নমুনা বা স্ব-সঙ্গতির থেকে আলাদা, যা এক মডেলকে বারবার নমুনা করে এবং সেই মডেলের পক্ষপাতগুলি ভাগ করে। এটি পরিসংখ্যানগত সংমিশ্রণের থেকেও আলাদা, যা আউটপুটগুলিকে একটি গড় পূর্বাভাসে মিশ্রিত করে: মাল্টি-এলএলএম সম্মতি পৃথক যুক্তিগুলিকে সংরক্ষণ করে যাতে সেগুলি গড়ে না মিশে বরং পরিদর্শন করা যায়। মিশ্রণ-অফ-এজেন্টস (arXiv:2406.04692) গবেষণা দেখায় যে একাধিক এলএলএম স্তরবিন্যাসের মাধ্যমে গুণগত লাভ হয়, যা প্রধানত আলপাকা ইভ্যালের মতো পছন্দের বেঞ্চমার্কগুলিতে পরিমাপ করা হয়—উত্তর গুণমানের উন্নতির প্রমাণ, কোনও নির্দিষ্ট দাবির উপর সত্যতার গ্যারান্টি নয়। Argumentree.AI সম্মতিকে একটি আত্মবিশ্বাসের সংকেত হিসাবে বিবেচনা করে, সত্যের অরাকল নয়; মডেলগুলির মধ্যে অমিলগুলি প্রায়শই সবচেয়ে কার্যকর আউটপুট।
মাল্টি-এলএলএম সম্মতি হল কয়েকটি সত্যিকারভাবে ভিন্ন মডেলের মধ্যে চুক্তি—একটি মডেলকে দুইবার নমুনা করা নয়, এবং একটি মিশ্রিত গড় নয়। এটি একটি আত্মবিশ্বাসের সংকেত যা আপনি পরিদর্শন করতে পারেন, সত্যের অরাকল নয়।
মাল্টি-এলএলএম সম্মতি বিভিন্ন মডেলের মধ্যে চুক্তি পরিমাপ করে। এটি স্ব-সঙ্গতি (একটি মডেল, অনেক নমুনা) এবং পরিসংখ্যানগত সংমিশ্রণ (মিশ্রিত গড়) থেকে আলাদা। এটি পৃথক যুক্তিগুলিকে সংরক্ষণ করে—এবং এটি একটি আত্মবিশ্বাসের সংকেত, সত্যের প্রমাণ নয়।
মাল্টি-এলএলএম সম্মতি হল সেই চুক্তির ডিগ্রি যা পৌঁছানো হয় যখন বিভিন্ন বড় ভাষার মডেলগুলি স্বাধীনভাবে একই প্রশ্নের বিষয়ে যুক্তি করে এবং একে অপরের যুক্তিগুলির মূল্যায়ন করে। যে শব্দটি গুরুত্বপূর্ণ তা হল ভিন্ন: মডেলগুলি আলাদা স্থাপত্য এবং প্রশিক্ষণ ডেটা থেকে আসে, তাই যখন তারা একত্রিত হয়, তখন সেই চুক্তি একাধিক সিস্টেমের দৃষ্টিভঙ্গি প্রতিফলিত করে—এবং যখন তারা বিচ্ছিন্ন হয়, তখন বিভাজন একটি সত্যিকারভাবে বিতর্কিত দাবিকে চিহ্নিত করে।
একটি সাধারণ একক-মডেল কৌশল হল স্ব-সঙ্গতি: একই মডেলকে অনেকবার নমুনা করা এবং সংখ্যাগরিষ্ঠ উত্তর নেওয়া। এটি এলোমেলো পরিবর্তনকে কমিয়ে দেয়, কিন্তু প্রতিটি নমুনা একই মডেলের পক্ষপাত এবং অন্ধ স্থানগুলি উত্তরাধিকারী হয়। যদি মডেলটি আত্মবিশ্বাসের সাথে ভুল হয়, তবে এটি আবার নমুনা করা কেবল ত্রুটিটি পুনরাবৃত্তি করে। মাল্টি-এলএলএম সম্মতি প্রকারে আলাদা—এটি স্বাধীন মডেলগুলি ব্যবহার করে, তাই একটিতে একটি সাধারণ অন্ধ স্থান সকলের দ্বারা ভাগ করা সম্ভব নয়।
ক্লাসিক সংমিশ্রণ মডেল আউটপুটগুলিকে একটি একক গড় পূর্বাভাসে মিশ্রিত করে—স্কোরের জন্য উপকারী, বোঝার জন্য অকার্যকর। মাল্টি-এলএলএম সম্মতি ইচ্ছাকৃতভাবে বিপরীত কাজ করে: এটি পৃথক যুক্তিগুলিকে সংরক্ষণ করে যাতে আপনি প্রতিটি মডেলের যুক্তি পড়তে পারেন। কিছুই একটি ব্ল্যাক-বক্স সংখ্যায় সমতল করা হয় না। এটি অমিলকে পাঠযোগ্য করে তোলে বরং গড়ে মিশে যাওয়ার পরিবর্তে।
| পদ্ধতি | এটি কী সংমিশ্রণ করে | যুক্তি দৃশ্যমান? |
|---|---|---|
| স্ব-সঙ্গতি | একটি মডেল, অনেক নমুনা | শুধুমাত্র সংখ্যাগরিষ্ঠ উত্তর |
| পরিসংখ্যানগত সংমিশ্রণ | গড়ে মিশ্রিত আউটপুট | না—গড়ে মিশে গেছে |
| মাল্টি-এলএলএম সম্মতি | কয়েকটি ভিন্ন মডেলের যুক্তি | হ্যাঁ—সংরক্ষিত এবং পরিদর্শনযোগ্য |
এখানে সবচেয়ে বেশি উদ্ধৃত গবেষণা হল মিশ্রণ-অফ-এজেন্টস (arXiv:2406.04692), যা একাধিক এলএলএম স্তরবিন্যাস করে যাতে পরবর্তী স্তরগুলি পূর্ববর্তী প্রতিক্রিয়াগুলিকে পরিশোধিত করে। এটি গুণগত লাভের রিপোর্ট করে—কিন্তু এটি কী পরিমাপ করা হয়েছে তা সম্পর্কে সঠিক হওয়া গুরুত্বপূর্ণ।
মিশ্রণ-অফ-এজেন্টস লাভগুলি প্রধানত পছন্দের বেঞ্চমার্ক যেমন আলপাকা ইভ্যালের উপর প্রদর্শিত হয়—যার মাধ্যমে একটি প্রতিক্রিয়া কতটা ভাল তা বিচার করা হয়। এটি নয় কোনও নির্দিষ্ট দাবির উপর সত্যতার গ্যারান্টি। মডেলগুলিকে একত্রিত করা গুণমান উন্নত করতে পারে; এটি সত্যের সার্টিফিকেট দেয় না।
টুকরোগুলি একত্রিত করুন এবং সৎ ফ্রেমিং হল এটি: মাল্টি-এলএলএম সম্মতি একটি আত্মবিশ্বাসের সংকেত। উচ্চ সম্মতি মানে একাধিক স্বাধীন সিস্টেম একমত, যা মানব যাচাইকরণের জন্য অগ্রাধিকার কমায়—কিন্তু এটি কখনও তা দূর করে না। মডেলগুলি একটি প্রশিক্ষণ পক্ষপাত ভাগ করতে পারে এবং একসাথে ভুল হতে পারে। সম্মতিকে "সম্ভবত কম ঝুঁকি" হিসাবে বিবেচনা করুন, এবং অমিলগুলি আপনার সবচেয়ে কার্যকর আউটপুট হিসাবে বিবেচনা করুন: এগুলি ঠিক কোথায় যাচাইকরণ সবচেয়ে গুরুত্বপূর্ণ তা নির্দেশ করে।
বিভিন্ন সিস্টেমের মধ্যে সম্মতি—একটি মডেল পুনরায় নমুনা করা নয়
প্রতিটি মডেলের যুক্তি পড়ুন; কিছুই একটি ব্ল্যাক বক্সে গড়ে মিশে যায় না
স্কোরগুলি আত্মবিশ্বাসকে ক্যালিব্রেট করে—কখনও সত্যের প্রমাণ হিসাবে উপস্থাপন করা হয় না
বিতর্কিত পয়েন্টগুলি মানব যাচাইকরণের জন্য চিহ্নিত করা হয়
মাল্টি-এলএলএম সম্মতি হল সেই চুক্তির স্তর যা পৌঁছানো হয় যখন বিভিন্ন বড় ভাষার মডেলগুলি স্বাধীনভাবে একই দাবির বিষয়ে যুক্তি করে এবং একে অপরের যুক্তিগুলির মূল্যায়ন করে। এক মডেলকে অনেকবার নমুনা করার পরিবর্তে, এটি সত্যিকারভাবে ভিন্ন সিস্টেমগুলির উপর নির্ভর করে—তাহলে সম্মতি আলাদা স্থাপত্য এবং প্রশিক্ষণ ডেটার মধ্যে চুক্তি প্রতিফলিত করে, এবং অমিলগুলি চিহ্নিত করে যেখানে একটি দাবি বিতর্কিত।
স্ব-সঙ্গতি একই একক মডেলকে একাধিক বার নমুনা করে এবং সংখ্যাগরিষ্ঠ উত্তর গ্রহণ করে। এটি এলোমেলো পরিবর্তন কমিয়ে দেয় কিন্তু একটি মডেলের পক্ষপাত এবং অন্ধ স্থানগুলি ভাগ করে। মাল্টি-এলএলএম সম্মতি ভিন্ন মডেলগুলি ব্যবহার করে, তাই চুক্তি আরও অর্থপূর্ণ এবং অমিল একটি অন্ধ স্থান প্রকাশ করতে পারে যা এক মডেলের পুনরাবৃত্ত নমুনা কখনও প্রকাশ করবে না।
পরিসংখ্যানগত সংমিশ্রণ মডেল আউটপুটগুলিকে একটি একক গড় পূর্বাভাসে মিশ্রিত করে, পৃথক যুক্তিগুলি বাদ দিয়ে। মাল্টি-এলএলএম সম্মতি প্রতিটি মডেলের যুক্তিগুলি সংরক্ষণ করে যাতে আপনি সেগুলি পড়তে পারেন। কিছুই একটি ব্ল্যাক-বক্স স্কোরে গড়ে মিশে যায় যা আপনি পরিদর্শন করতে পারেন না—পৃথক কেসগুলি দৃশ্যমান থাকে, যা অমিলকে পাঠযোগ্য করে তোলে।
মিশ্রণ-অফ-এজেন্টস (arXiv:2406.04692) এর মতো গবেষণা একাধিক এলএলএম স্তরবিন্যাসের মাধ্যমে গুণগত লাভ দেখায়, যা প্রধানত আলপাকা ইভ্যালের মতো পছন্দের বেঞ্চমার্কগুলিতে পরিমাপ করা হয়। এটি সেই বেঞ্চমার্কগুলিতে উত্তর গুণমানের উন্নতির প্রমাণ—এটি কোনও নির্দিষ্ট দাবির উপর সত্যতার গ্যারান্টি নয়। সম্মতিকে একটি আত্মবিশ্বাসের সংকেত হিসাবে বিবেচনা করুন, সত্যের অরাকল নয়।
না। সম্মতি একটি আত্মবিশ্বাসের সংকেত, প্রমাণ নয়। একাধিক মডেল একই প্রশিক্ষণ পক্ষপাত ভাগ করতে পারে এবং কিছু ভুল বিষয়ে একমত হতে পারে। উচ্চ সম্মতি মানব যাচাইকরণের জন্য অগ্রাধিকার কমায়; এটি কখনও তা দূর করে না। সবচেয়ে কার্যকর আউটপুট প্রায়শই অমিল হয়, যা নির্দেশ করে কোথায় যাচাইকরণ সবচেয়ে গুরুত্বপূর্ণ।
একটি মডেলকে দুইবার নমুনা করা নয়। কয়েকটি ভিন্ন মডেল, যুক্তিগুলি সংরক্ষিত, অমিল দৃশ্যমান।
ফ্রি শুরু করুন