सभी ने AI-हैल्यूसीनेशन मुकदमों से गलत सबक सीखा। शीर्षक था "AI नकली मामले बनाता है।" असली खतरा अधिक सूक्ष्म और पकड़ने में कठिन है: AI पूरी तरह से असली मामलों के भीतर नकली उद्धरण बनाना।
जिस विफलता के बारे में सभी जानते हैं: बनाए गए मामले
माता बनाम अवियंका (2023) में, वकीलों ने एक संघीय ब्रीफ दायर किया जिसमें कई न्यायिक निर्णयों का उल्लेख किया गया जो वास्तव में मौजूद नहीं थे। उद्धरण ChatGPT द्वारा उत्पन्न किए गए थे, जिसने हवा से संभावित रूप से सही मामले के नाम, रिपोर्टर नंबर और उद्धरण तैयार किए। जब विपक्षी वकील और अदालत मामलों को खोज नहीं पाए, तो वकीलों पर दंड लगाया गया। यह कानूनी प्रथा में जनरेटिव एआई की एक मानक चेतावनी की कहानी बन गई — और इसने पेशे को उद्धरण की जांच करने का सबक सिखाया।
एक बनावटी मामला, शुक्र है, पकड़ना आसान है। आप इसे देखते हैं; यह वहाँ नहीं है; आप इसे हटा देते हैं। एक ही खोज झूठ को उजागर कर देती है।
ज्यादातर लोग जो चूकते हैं: असली उद्धरणों में नकली उद्धरण
अब एक अधिक कपटी रूपांतर पर विचार करें। मामला वास्तविक है। रिपोर्टर का उद्धरण सही है। अदालत, वर्ष, पक्ष — सभी वास्तविक हैं। लेकिन वह वाक्य जो एआई उस राय के लिए जिम्मेदार ठहराता है, जो उद्धृत धारणा वह उद्धरण चिह्नों में रखता है, उस अदालत द्वारा कभी नहीं लिखा गया। उपकरण ने अपने उत्तर को एक वास्तविक दस्तावेज़ पर आधारित किया और फिर उस भाषा का निर्माण किया जिसे वह वहां पाया हुआ बताता है।
यह नकली मामले से क्यों बदतर है
- •उद्धरण असली है, इसलिए यह एक नियमित उद्धरण-जांच को पार करता है।
- •एक समीक्षक पुष्टि करता है कि मामला मौजूद है और आगे बढ़ जाता है — उद्धरण की पुष्टि नहीं होती
- •निर्मित भाषा अक्सर सुनाई देती है जैसे कुछ ऐसा जो अदालत कहेगी
- •यह एक फाइल्ड ब्रीफ, एक राय, या एक क्लाइंट मेमो में पूरी तरह से जीवित रह सकता है।
यह "ग्राउंडेड" या रिट्रीवल-ऑग्मेंटेड (RAG) कानूनी-AI उपकरणों का जाल है। वास्तविक स्रोत दस्तावेजों पर एक मॉडल को ग्राउंड करना पूरी तरह से आविष्कृत मामले की संभावनाओं को कम करता है — लेकिन यह नहीं गारंटी देता कि मॉडल ने जो कुछ प्राप्त किया है उसे सही ढंग से उद्धृत करता है। यह अभी भी एक धारणा को उन शब्दों में पैराफ्रेज़ कर सकता है जो अदालत ने कभी नहीं इस्तेमाल किए, या एक उद्धरण को एक अंश से एक प्रस्ताव पर जोड़ सकता है जिसे यह समर्थन नहीं करता।
यह उद्धरण-में-वास्तविक-उद्धरण पैटर्न व्यावसायिक, ग्राउंडेड अनुसंधान सहायकों के साथ प्रथा में सामने आया है। एक रिपोर्ट किए गए उदाहरण में, जिसमें थॉमसन रॉयटर्स का वेस्टलॉ को-काउंसल शामिल है — जिसे यू.एस. बनाम फैरिस के रूप में संदर्भित किया गया है — कहा गया है कि इस उपकरण ने ऐसे उद्धरण उत्पन्न किए जो उद्धृत प्राधिकरण की भाषा से मेल नहीं खाते, भले ही मूल उद्धरण वास्तविक था। हम इसे केवल एक रिपोर्ट किए गए उदाहरण के रूप में प्रस्तुत करते हैं: हमने स्वतंत्र रूप से सटीक मामले का नाम, उद्धरण, अदालत, वर्ष, या निर्णय की पुष्टि नहीं की है, और पाठकों को उन विवरणों की पुष्टि करनी चाहिए इससे पहले कि वे उन पर भरोसा करें। हालाँकि, पैटर्न अच्छी तरह से प्रलेखित है — और यह पैटर्न है, न कि कोई एकल उपाख्यान, जो आपको एआई आउटपुट की समीक्षा करने के तरीके को बदलना चाहिए।
ग्राउंडिंग एक गारंटी नहीं है — सबूत
यह कोई सीमांत चिंता नहीं है। स्टैनफोर्ड रेज़लैब और इंस्टीट्यूट फॉर ह्यूमन-सेन्टर्ड एआई (HAI) का 2024 का अध्ययन प्रमुख उद्देश्य-निर्मित कानूनी-एआई अनुसंधान उपकरणों का मूल्यांकन करता है — जो स्पष्ट रूप से ग्राउंडेड और हॉलुसिनेशन-निवारक के रूप में विपणन किए जाते हैं — और पाया कि वे अभी भी महत्वपूर्ण संख्या में प्रश्नों पर हॉलुसिनेट करते हैं।
इन आंकड़ों के बारे में
स्टैनफोर्ड रेग्लैब / एचएआई (2024) ने प्रमुख कानूनी-एआई अनुसंधान उपकरणों के लिए भ्रांति दरों की रिपोर्ट की, जो लगभग 17–33% रेंज में हैं, उपकरण और कार्य के आधार पर। हम एकल शीर्षक संख्या के बजाय रेंज का उल्लेख करते हैं क्योंकि परिणाम उपकरण और प्रश्न प्रकार के अनुसार भिन्न होते हैं — सटीक प्रति-उपकरण प्रतिशत और पद्धति के लिए, प्राथमिक पत्र का संदर्भ लें।
संदेश यह नहीं है कि "ये उपकरण खराब हैं।" बल्कि यह है कि ग्राउंडिंग भ्रांति को कम करता है लेकिन इसे समाप्त नहीं करता, और इसका अवशेष ठीक उसी खतरनाक प्रकार को शामिल करता है: आत्मविश्वासी, अच्छी तरह से स्वरूपित, उद्धरण जो सही नहीं हैं और जो संदर्भ जांच पास करते हैं।
एक चलती हुई, सार्वजनिक रिकॉर्ड के लिए वास्तविक अदालत के मामलों का जो AI-भ्रमित उद्धरणों से संबंधित हैं, शोधकर्ता डेमियन चार्लोटिन एक व्यापक रूप से उद्धृत डेटाबेस बनाए रखते हैं जो इन घटनाओं को ट्रैक करता है जब वे अदालतों तक पहुँचते हैं। यह देखना एक उत्कृष्ट संसाधन है कि ये त्रुटियाँ कितनी बार — और प्रक्रिया में कितनी दूर तक — जाती हैं। हम इसे संदर्भित करते हैं बजाय इसके कि इसे दोहराएँ।
क्यों एकल-मॉडल आत्म-प्रमाणन विफल होता है
स्वाभाविक समाधान यह है कि उसी उपकरण से पूछें कि क्या वह खुद की जांच कर सकता है: "क्या आप सुनिश्चित हैं कि यह उद्धरण सही है?" यह शायद ही कभी मदद करता है, और अक्सर चीजों को और खराब कर देता है।
- जिस मॉडल ने उद्धरण तैयार किया है, उसके पास उस राय की कोई वास्तविक स्मृति नहीं है — इसे "सत्यापित" करने के लिए कहना बस उसी पैटर्न-मैचिंग को फिर से चलाता है जिसने त्रुटि उत्पन्न की।
- "यह पुष्टि करें कि यह शब्दशः है" जैसे संकेत अक्सर एक आत्मविश्वासी हाँ लौटाते हैं — कभी-कभी एक ताजा कल्पित सहायक विवरण के साथ
- एक मॉडल का आत्मविश्वास स्कोर उद्धरण की सटीकता से संबंधित नहीं होता, इसलिए यह जोखिम भरे उद्धरणों को स्वयं चिह्नित नहीं कर सकता।
क्यों क्रॉस-मॉडल असहमति इसे पकड़ लेती है
एक अकेला ग्राउंडेड मॉडल एक पुनर्प्राप्ति और उसे उद्धृत करने का एक तरीका रखता है। कई स्वतंत्र मॉडल प्रत्येक अपनी-अपनी पुनर्प्राप्ति और उद्धरण करते हैं। जब आप कई मॉडलों से एक ही प्रश्न पूछते हैं और उनमें से एक उद्धरण प्रस्तुत करता है जिसे अन्य पुन: उत्पन्न नहीं कर सकते — या जिसे अन्य स्पष्ट रूप से असमर्थित के रूप में रेट करते हैं — वह असहमति अलार्म बेल है।
स्वतंत्रता सिद्धांत, उद्धरणों पर लागू किया गया
यदि एक मॉडल "अदालत ने X कहा" को एक वास्तविक मामले में बनाता है, तो अन्य मॉडल - जो उसी राय की अपनी पुनर्प्राप्ति पर आधारित हैं - आमतौर पर उस सटीक निर्मित भाषा को पुन: उत्पन्न नहीं करेंगे। एक उद्धरण जिसे केवल एक मॉडल उत्पन्न कर सकता है, और जिसे अन्य कम रेट करते हैं, एक निम्न-सहमति दावे के रूप में उभरता है। आपने एक अदृश्य त्रुटि को एक दृश्य ध्वज में बदल दिया है। यह एक उद्धरण को प्राथमिक स्रोत के खिलाफ जांचने के लिए संकेत करता है - यह एक उच्च-विश्वास स्क्रीन है, सटीकता का प्रमाण नहीं।
एआई-सहायता प्राप्त कानूनी अनुसंधान के लिए एक सत्यापन चेकलिस्ट
चाहे आप सहमति उपकरण का उपयोग करें या नहीं, कभी भी अप्रमाणित एआई आउटपुट को फाइल न करें। न्यूनतम:
- मामले की पुष्टि करें — लेकिन यहीं पर न रुकें; असली संदर्भ वह है जहाँ खतरनाक गलतियाँ छिपी होती हैं
- प्राथमिक स्रोत को खींचें और संदर्भ में उद्धृत भाषा पढ़ें — हर उद्धरण को उसके स्वयं के विचार के खिलाफ शाब्दिक रूप से सत्यापित करें, न कि एआई के सारांश के खिलाफ
- जांचें कि उद्धरण प्रस्ताव का समर्थन करता है — एक वास्तविक उद्धरण को एक दावे से जोड़ा जा सकता है जिसका वह वास्तव में समर्थन नहीं करता है
- स्वतंत्र मॉडलों के साथ क्रॉस-चेक करें — केवल एक मॉडल द्वारा उत्पन्न एक उद्धरण जांचने का संकेत है, इसे फाइल करने का तथ्य नहीं।
- कभी भी "ग्राउंडेड" को "सत्यापित" के रूप में न मानें — RAG आविष्कार की संभावनाओं को कम करता है; यह आपकी जांच करने की जिम्मेदारी को नहीं हटाता
स्वतंत्र मॉडलों के बीच सहमति आपके विश्वास को बढ़ाती है कि एक उद्धरण वास्तविक है। यह इसे साबित नहीं करता। प्राथमिक स्रोत अभी भी प्राधिकरण है — एआई केवल आपको इसे तेजी से खोजने में मदद करने और यह बताने के लिए है कि मॉडल कहाँ असहमत हैं।
अक्सर पूछे जाने वाले प्रश्न
कौन सा कानूनी-एआई विफलता है जिसे अधिकांश लोग नजरअंदाज करते हैं?
यह वह नकली मामला नहीं है जिसके बारे में सभी जानते हैं, बल्कि एक वास्तविक उद्धरण के अंदर छिपा हुआ एक निर्मित उद्धरण है — उद्धरण मौजूद है और एक उद्धरण-चेक पास करता है, लेकिन उद्धृत शब्द कभी भी राय में नहीं थे।
एकल-मॉडल आत्म-चेकिंग नकली उद्धरण को क्यों नहीं पकड़ती?
क्योंकि उद्धरण वास्तविक है, आत्म-प्रमाणन पुष्टि करता है कि मामला मौजूद है और वहीं रुक जाता है; मॉडल के पास यह जानने का कोई स्वतंत्र रिकॉर्ड नहीं है कि राय में वास्तव में क्या कहा गया था।
क्रॉस-मॉडल तुलना क्यों बनावटी उद्धरणों को पकड़ती है?
स्वतंत्र मॉडल जो विभिन्न पुनर्प्राप्तियों पर आधारित होते हैं, वे शायद ही कभी एक ही उद्धरण का आविष्कार करते हैं, इसलिए उनका असहमति एकल मॉडल द्वारा पुष्टि की गई निर्माण को उजागर करती है।