सर्वांनी AI-भ्रमणाच्या खटल्यांमधून चुकीचा धडा घेतला. शीर्षक होते "AI बनवते खोटी प्रकरणे." खरी धोका अधिक सूक्ष्म आणि पकडणे कठीण आहे: AI पूर्णपणे वास्तविक प्रकरणांमध्ये खोटी उद्धरणे तयार करणे.
सर्वांना माहित असलेली अपयश: बनावट प्रकरणे
माता वि. अवियनका (2023) मध्ये, वकीलांनी अनेक न्यायिक निर्णयांचा उल्लेख करणारा एक संघीय ब्रीफ दाखल केला जो साधारणपणे अस्तित्वात नव्हता. या संदर्भांना ChatGPT ने तयार केले होते, ज्याने विश्वासार्ह दिसणारे प्रकरणाचे नाव, रिपोर्टर क्रमांक आणि उद्धरणे हवा कडून तयार केली. जेव्हा विरोधी वकील आणि न्यायालय या प्रकरणांना शोधू शकले नाहीत, तेव्हा वकीलांना शिक्षा देण्यात आली. हे कायदेशीर प्रथेत जनरेटिव्ह AI चा एक शास्त्रीय सावधगिरीचा कथा बनला — आणि याने व्यावसायिकांना संदर्भ तपासण्यास शिकवले.
एक बनावट प्रकरण, सौभाग्याने, पकडणे सोपे आहे. तुम्ही ते शोधता; ते तिथे नाही; तुम्ही ते हटवता. एकच शोध खोटेपणाला उघड करतो.
ज्याचा बहुतेक लोकांना गहाळ होतो: वास्तविक संदर्भांमध्ये बनावट उद्धरण
आता एक अधिक कपटी प्रकाराचा विचार करा. हा प्रकरण खरा आहे. रिपोर्टरचा संदर्भ योग्य आहे. न्यायालय, वर्ष, पक्ष — सर्व खरे. पण AI ज्याला त्या मताशी संबंधित वाक्य म्हणून दर्शवित आहे, त्यात उद्धृत केलेले वाक्य त्या न्यायालयाने कधीही लिहिलेले नाही. या साधनाने आपल्या उत्तराला एका खऱ्या दस्तऐवजावर आधार दिला आणि नंतर तिथे सापडलेले असे भाष्य तयार केले.
हे खोट्या प्रकरणापेक्षा का वाईट आहे?
- •उद्धरण खरे आहे, त्यामुळे ते सामान्य उद्धरण तपासणी पास करते
- •एक समीक्षक पुष्टी करतो की प्रकरण अस्तित्वात आहे आणि पुढे जातो — उद्धरणाची पडताळणी होत नाही
- •निर्मित भाषा अनेकदा ऐकू येते जणू काही न्यायालयाने सांगितले आहे.
- •हे एक फाईल केलेल्या संक्षिप्त, एक मत, किंवा एक क्लायंट मेमोमध्ये जाऊ शकते.
हे "ग्राउंडेड" किंवा रिट्रीव्हल-ऑग्मेंटेड (RAG) कायदेशीर-AI साधनांचे जाळे आहे. वास्तविक स्रोत दस्तऐवजांवर मॉडेल ग्राउंडिंग केल्याने संपूर्णपणे तयार केलेल्या प्रकरणाची शक्यता कमी होते — परंतु हे नाही सुनिश्चित करते की मॉडेलने जे काही मिळवले आहे ते अचूकपणे उद्धृत करते. हे अद्याप एका निर्णयाचे शब्दांमध्ये पुनर्लेखन करू शकते जे न्यायालयाने कधीही वापरले नाही, किंवा एका उताऱ्यातील उद्धरणाला एका प्रस्तावावर जोडू शकते ज्याला ते समर्थन देत नाही.
या उद्धरण-इन-रिअल-उद्धरण पॅटर्नने व्यावसायिक, ग्राउंडेड संशोधन सहाय्यकांसह प्रात्यक्षिकात उगम घेतल्याची माहिती आहे. थॉमसन रॉयटर्सच्या वेस्टलॉ कोकाउंसलशी संबंधित एका उदाहरणात — ज्याला यू.एस. वि. फॅरिस म्हणून संदर्भित केले गेले आहे — या साधनाने उद्धरणे तयार केली आहेत जी उद्धृत प्राधिकरणाच्या भाषेशी जुळत नाहीत, जरी मूलभूत उद्धरण खरे असले तरी. आम्ही हे फक्त एक अहवालित उदाहरण म्हणून सादर करतो: आम्ही स्वतंत्रपणे अचूक प्रकरणाचे नाव, उद्धरण, न्यायालय, वर्ष, किंवा निर्णयाची पुष्टी केलेली नाही, आणि वाचकांनी त्यांच्यावर अवलंबून राहण्यापूर्वी त्या तपशीलांची पडताळणी करावी. तथापि, पॅटर्न चांगल्या प्रकारे दस्तऐवजीकरण केलेले आहे — आणि हे पॅटर्न, कोणतेही एकल किस्सा नाही, जे तुम्हाला AI उत्पादनाची पुनरावलोकन करण्याची पद्धत बदलायला हवे.
ग्राउंडिंग एक हमी नाही — पुरावे
हे एक तिरकस चिंतेचे मुद्दा नाही. स्टॅनफोर्ड रिगलॅब आणि मानव-केंद्रित एआय (HAI) संस्थेचा 2024 चा अभ्यास प्रमुख उद्देशाने तयार केलेल्या कायदेशीर-एआय संशोधन साधनांचे मूल्यांकन केले — जे स्पष्टपणे भौतिक आणि भ्रामक कमी केलेले म्हणून मार्केट केले जातात — आणि आढळले की ते अद्याप महत्त्वाच्या प्रश्नांवर भ्रामकता दर्शवतात.
या आकड्यांबद्दल
स्टॅनफर्ड रिगलॅब / HAI (2024) कामाने आघाडीच्या कायदेशीर-AI संशोधन साधनांसाठी हॅल्यूसीनेशन दर सुमारे 17–33% श्रेणी मध्ये अहवालित केले, साधन आणि कार्यानुसार. आम्ही एकाच मुख्य संख्याऐवजी श्रेणीचा उल्लेख करतो कारण परिणाम साधन आणि प्रश्न प्रकारानुसार बदलले — प्रत्येक साधनाच्या अचूक टक्केवारी आणि पद्धतीसाठी, प्राथमिक कागदपत्राचा संदर्भ घ्या.
घेऊन जाण्याची गोष्ट ही नाही की "हे साधने वाईट आहेत." तर हे आहे की ग्राउंडिंग हॅल्यूसीनेशन कमी करते पण ते पूर्णपणे समाप्त करत नाही, आणि उरलेले अचूकपणे धोकादायक प्रकारात समाविष्ट आहे: आत्मविश्वासाने, चांगल्या स्वरूपात, संदर्भ तपासणाऱ्या उद्धरणे जी चुकीची आहेत.
AI-भ्रमित संदर्भांसह संबंधित खरे न्यायालयीन प्रकरणांचे चालू, सार्वजनिक रेकॉर्ड ठेवण्यासाठी, संशोधक डॅमियन चार्लोटिन एक व्यापकपणे उद्धृत केलेला डेटाबेस राखतो जो या घटनांचा मागोवा घेतो जेव्हा ते न्यायालयांपर्यंत पोहोचतात. हे पाहण्यासाठी एक उत्कृष्ट साधन आहे की या चुका किती वेळा — आणि प्रक्रियेत किती दूर — जातात. आम्ही याकडे निर्देश करतो, त्याची पुनरावृत्ती करत नाही.
एकल-मॉडेल आत्म-तपासणी का अपयशी ठरते
आवश्यकतेनुसार उपाय म्हणजे त्याच साधनाला स्वतःची तपासणी करण्यास विचारणे: "तुम्हाला खात्री आहे का की तो उद्धरण अचूक आहे?" हे सहसा मदत करत नाही, आणि अनेकदा परिस्थिती आणखी वाईट करते.
- उद्धरण तयार करणाऱ्या मॉडेलकडे त्या मताची कोणतीही सत्यता असलेली स्मृती नाही — त्याला "सत्यापित" करण्यास सांगितल्यास ते फक्त त्या चुकलेल्या पॅटर्न-मॅचिंगची पुनरावृत्ती करते.
- "हे शब्दशः आहे हे पुष्टी करा" सारख्या प्रॉम्प्ट्स नेहमीच आत्मविश्वासाने होय परत करतात — कधी कधी ताज्या कल्पित समर्थन तपशीलासह.
- मॉडेलच्या आत्मविश्वास स्कोअरचा कोटेशन अचूकतेशी संबंध नाही, त्यामुळे ते धोकादायक कोटेशन स्वतःच ओळखू शकत नाही.
का क्रॉस-मॉडेल असहमतता त्याला पकडते
एकटा ग्राउंडेड मॉडेल एक पुनर्प्राप्ती आणि त्याचे एक उद्धरण करण्याचा मार्ग आहे. अनेक स्वतंत्र मॉडेल प्रत्येकाने स्वतःच पुनर्प्राप्ती आणि उद्धरण करतात. जेव्हा तुम्ही अनेक मॉडेल्सना एकाच प्रश्न विचारता आणि त्यापैकी एक उद्धरण तयार करते जे इतर पुनरुत्पादित करू शकत नाहीत — किंवा जे इतर स्पष्टपणे असमर्थित म्हणून रेट करतात — ती असहमतता म्हणजे इशारा.
स्वातंत्र्य तत्त्व, उद्धरणांवर लागू केलेले
जर एक मॉडेल "कोर्टने X ठरवले" असे खरे प्रकरणात तयार केले, तर इतर मॉडेल्स — त्यांच्या स्वतःच्या त्या समान मताच्या पुनर्प्राप्तीवर आधारित — सामान्यतः त्या अचूक बनवलेल्या भाषेची पुनरुत्पत्ती करणार नाहीत. एक उद्धरण जे फक्त एक मॉडेल तयार करू शकते, आणि जे इतरांनी कमी दर्जाचे मानले आहे, ते कमी सहमतीचे दावे म्हणून समोर येते. तुम्ही एक अदृश्य त्रुटी दृश्यमान ध्वजात बदलली आहे. हे प्राथमिक स्रोताच्या विरुद्ध तपासण्यासारखे उद्धरण दर्शवते — हे उच्च आत्मविश्वासाचे स्क्रीन आहे, अचूकतेचे पुरावे नाही.
AI-सहाय्यित कायदेशीर संशोधनासाठी एक पडताळणी तपासणी यादी
तुम्ही सहमती साधणारे साधन वापरत असाल की नाही, कधीही पडताळलेले AI उत्पादन सादर करू नका. किमान:
- केस अस्तित्वात आहे याची पुष्टी करा — पण तिथे थांबू नका; खरे संदर्भ म्हणजे जिथे धोकादायक चुका लपलेल्या असतात
- प्राथमिक स्रोत काढा आणि संदर्भात उद्धृत केलेली भाषा वाचा — प्रत्येक उद्धरणाचे शब्दशः सत्यापन करा, ते AI च्या सारांशाच्या विरुद्ध नाही, तर मताच्या विरुद्ध.
- तपासा की उद्धरणाने प्रस्तावाला समर्थन दिले आहे — एक वास्तविक उद्धरण एका दाव्याशी जोडले जाऊ शकते ज्याला ते प्रत्यक्षात समर्थन देत नाही
- स्वतंत्र मॉडेलसह क्रॉस-चेक करा — एकच मॉडेल तयार केलेली कोटेशन ही तपासणीसाठी एक झेंडा आहे, फाइल करण्यासाठी एक तथ्य नाही
- कधीही "ग्राउंडेड" ला "सत्यापित" म्हणून मानू नका — RAG नवकल्पनांच्या शक्यता कमी करतो; हे तुमच्या तपासण्याच्या कर्तव्याला काढत नाही
स्वतंत्र मॉडेल्समधील सहमती तुमच्या विश्वासाला वाढवते की एक कोट वास्तव आहे. हे त्याचे प्रमाण नाही. प्राथमिक स्रोत अजूनही प्राधिकृत आहे — AI फक्त तुम्हाला ते जलद शोधण्यात मदत करण्यासाठी आणि मॉडेल्स जिथे असहमत आहेत ते सांगण्यासाठी आहे.
वारंवार विचारले जाणारे प्रश्न
बहुतेक लोक कोणती कायदेशीर-एआय अपयश चुकवतात?
सर्वांना माहित असलेल्या खोट्या प्रकरणाबद्दल नाही, तर एक खोटी उद्धरण जी एका वास्तविक संदर्भात लपवलेली आहे — संदर्भ अस्तित्वात आहे आणि संदर्भ तपासणी पास करतो, परंतु उद्धृत केलेले शब्द कधीच मतात नव्हते.
एकल-मॉडेल स्व-सत्यापन खोटी उद्धरण का पकडत नाही?
कारण संदर्भ वास्तविक आहे, आत्म-तपासणी प्रकरण अस्तित्वात असल्याची पुष्टी करते आणि तिथेच थांबते; मॉडेलकडे मताने खरोखर काय सांगितले याचा कोणताही स्वतंत्र रेकॉर्ड नाही.
क्रॉस-मॉडेल तुलना बनावट उद्धरण का पकडते आहे?
स्वतंत्र मॉडेल्स विविध पुनर्प्राप्तींवर आधारित असल्याने सहसा एकाच उद्धरणाचा शोध घेत नाहीत, त्यामुळे त्यांचा असहमतपणा एकाच मॉडेलने पुष्टी केलेल्या बनावटतेला उघड करतो.