سب نے AI-ہیلوسینیشن مقدمات سے غلط سبق سیکھا۔ سرخی تھی "AI جعلی مقدمات تخلیق کرتا ہے۔" حقیقی خطرہ زیادہ لطیف اور پکڑنے میں مشکل ہے: AI حقیقی مقدمات کے اندر جعلی اقتباسات تخلیق کرنا۔
وہ ناکامی جس کے بارے میں سب جانتے ہیں: جعلی مقدمات
Mata v. Avianca (2023) میں، وکلاء نے ایک وفاقی مختصر دائر کیا جس میں کئی عدالتی فیصلوں کا حوالہ دیا گیا جو حقیقت میں موجود نہیں تھے۔ یہ حوالہ جات ChatGPT کے ذریعے تیار کیے گئے تھے، جس نے ممکنہ طور پر درست کیس کے نام، رپورٹر نمبر، اور اقتباسات بغیر کسی بنیاد کے پیدا کیے۔ جب مخالف وکیل اور عدالت ان کیسز کو تلاش نہیں کر سکے تو وکلاء کو سزا دی گئی۔ یہ قانونی عمل میں تخلیقی AI کی ایک روایتی احتیاطی کہانی بن گئی — اور اس نے پیشے کو حوالہ چیک کرنے کا سبق سکھایا۔
ایک جعلی کیس، خوش قسمتی سے، پکڑنا آسان ہے۔ آپ اسے دیکھتے ہیں؛ یہ وہاں نہیں ہے؛ آپ اسے حذف کر دیتے ہیں۔ ایک ہی تلاش جھوٹ کو بے نقاب کر دیتی ہے۔
زیادہ تر لوگ جو چیز نظرانداز کرتے ہیں: حقیقی حوالوں میں جعلی اقتباسات
اب ایک زیادہ چالاک قسم پر غور کریں۔ معاملہ حقیقی ہے۔ رپورٹر کا حوالہ درست ہے۔ عدالت، سال، فریقین — سب حقیقی ہیں۔ لیکن وہ جملہ جو AI اس رائے کے ساتھ منسوب کرتا ہے، جو اقتباس اس نے اقتباس کے نشانات میں رکھا ہے، اس عدالت نے کبھی نہیں لکھا۔ اس ٹول نے اپنے جواب کو ایک حقیقی دستاویز پر مبنی کیا اور پھر ایسی زبان تخلیق کی جس کا دعویٰ ہے کہ اسے وہاں پایا۔
یہ جعلی کیس سے کیوں بدتر ہے
- •حوالہ حقیقی ہے، لہذا یہ ایک روایتی حوالہ چیک میں کامیاب ہوتا ہے۔
- •ایک جائزہ لینے والا تصدیق کرتا ہے کہ کیس موجود ہے اور آگے بڑھتا ہے — اقتباس کی تصدیق نہیں ہوتی
- •بنے ہوئے زبان اکثر سنائی دیتی ہے جیسے کچھ عدالت کہے گی
- •یہ ایک فائلڈ بریف، رائے، یا کلائنٹ میمو میں مکمل طور پر زندہ رہ سکتا ہے۔
یہ "گراؤنڈڈ" یا بازیابی-بڑھائے گئے (RAG) قانونی-AI ٹولز کا جال ہے۔ حقیقی ماخذ دستاویزات پر ماڈل کو گراؤنڈ کرنے سے مکمل طور پر اختراعی کیس کے امکانات کم ہو جاتے ہیں — لیکن یہ ضمانت نہیں دیتا کہ ماڈل نے جو کچھ حاصل کیا ہے اسے درست طور پر اقتباس کرتا ہے۔ یہ اب بھی ایک فیصلے کو ایسے الفاظ میں پیرافرائز کر سکتا ہے جو عدالت نے کبھی استعمال نہیں کیے، یا ایک اقتباس کو ایک ایسے بیان پر جوڑ سکتا ہے جس کی وہ حمایت نہیں کرتا۔
یہ اقتباسات-میں-حقیقی-حوالے کا نمونہ تجارتی، عملی تحقیقاتی معاونین کے ساتھ عمل میں آنے کی اطلاعات ملی ہیں۔ ایک رپورٹ شدہ مثال میں، جو تھامسن رائٹرز کے ویسٹ لا کوکونسل سے متعلق ہے — جس کا ذکر ایک معاملے کے حوالے سے کیا گیا ہے جسے U.S. v. Farris کہا جاتا ہے — یہ کہا جاتا ہے کہ اس ٹول نے ایسے اقتباسات پیدا کیے جو حوالہ دی گئی اتھارٹی کی زبان سے میل نہیں کھاتے، حالانکہ بنیادی حوالہ حقیقی تھا۔ ہم یہ صرف ایک رپورٹ شدہ مثال کے طور پر پیش کرتے ہیں: ہم نے اس معاملے کے نام، حوالہ، عدالت، سال، یا فیصلے کی درستگی کی آزادانہ تصدیق نہیں کی ہے، اور قارئین کو چاہیے کہ وہ ان تفصیلات کی تصدیق کریں قبل اس کے کہ ان پر اعتماد کریں۔ تاہم، یہ نمونہ اچھی طرح سے دستاویزی ہے — اور یہ نمونہ ہے، نہ کہ کوئی واحد واقعہ، جو آپ کو AI کے نتائج کا جائزہ لینے کے طریقے کو تبدیل کرنا چاہیے۔
زمین پر رکھنا کوئی ضمانت نہیں ہے — ثبوت
یہ کوئی غیر اہم مسئلہ نہیں ہے۔ ایک 2024 کا مطالعہ جو اسٹینفورڈ ریگ لیب اور انسٹی ٹیوٹ فار ہیومن سینٹرڈ اے آئی (HAI) سے ہے، نے معروف مقصد کے تحت بنائے گئے قانونی-اے آئی تحقیق کے ٹولز کا جائزہ لیا — وہ قسم جو واضح طور پر بنیاد پرست اور ہالوسینیشن کو کم کرنے کے طور پر مارکیٹ کی گئی ہیں — اور پایا کہ وہ اب بھی اہم تعداد میں سوالات پر ہالوسینیٹ کرتے ہیں۔
ان اعداد و شمار کے بارے میں
اسٹینفورڈ ریگ لیب / ایچ اے آئی (2024) نے قانونی AI تحقیق کے اوزاروں کے لیے ہیلوسینیشن کی شرحیں تقریباً 17–33% کی حد میں رپورٹ کیں، جو کہ ٹول اور کام کے لحاظ سے مختلف ہیں۔ ہم ایک واحد سرخی نمبر کے بجائے حد کا حوالہ دیتے ہیں کیونکہ نتائج ٹول اور سوال کی قسم کے لحاظ سے مختلف تھے — ہر ٹول کے درست فیصد اور طریقہ کار کے لیے، بنیادی مقالے کا حوالہ دیں۔
نکالنے کا مطلب یہ نہیں ہے کہ "یہ ٹولز خراب ہیں۔" بلکہ یہ ہے کہ گراؤنڈنگ ہیلوسینیشن کو کم کرتی ہے لیکن اسے ختم نہیں کرتی، اور باقیات میں بالکل وہی خطرناک قسم شامل ہے: خوداعتماد، اچھی طرح سے ترتیب دی گئی، حوالہ چیک پاس کرنے والے اقتباسات جو غلط ہیں۔
AI-ہیلوسینیٹڈ حوالوں کے ساتھ حقیقی عدالت کے مقدمات کا ایک جاری، عوامی ریکارڈ رکھنے کے لیے محقق ڈیمین چارلوٹن ایک وسیع حوالہ دیا جانے والا ڈیٹا بیس برقرار رکھتے ہیں جو ان واقعات کی نگرانی کرتا ہے جب وہ عدالتوں تک پہنچتے ہیں۔ یہ دیکھنے کے لیے ایک بہترین وسیلہ ہے کہ یہ غلطیاں کتنی بار — اور عمل میں کتنی دور تک — جاتی ہیں۔ ہم اس کی طرف اشارہ کرتے ہیں بجائے اس کے کہ اسے دوبارہ پیش کریں۔
کیوں واحد ماڈل خود تصدیق ناکام ہوتی ہے
فطری حل یہ ہے کہ اسی ٹول سے پوچھا جائے کہ کیا وہ خود کو چیک کر سکتا ہے: "کیا آپ کو یقین ہے کہ یہ اقتباس درست ہے؟" یہ شاذ و نادر ہی مدد کرتا ہے، اور اکثر چیزوں کو بدتر بنا دیتا ہے۔
- ماڈل جس نے اقتباس تیار کیا ہے، اس کے پاس رائے کی کوئی حقیقی یادداشت نہیں ہے — اس سے "تصدیق" کرنے کو کہنا صرف اسی پیٹرن میچنگ کو دوبارہ چلاتا ہے جس نے غلطی پیدا کی۔
- ایسے اشارے جیسے "یہ لفظ بہ لفظ تصدیق کریں" اکثر ایک پراعتماد ہاں واپس کرتے ہیں — کبھی کبھار ایک تازہ تخلیق کردہ معاون تفصیل کے ساتھ
- ایک ماڈل کا اعتماد اسکور اقتباس کی درستگی سے منسلک نہیں ہے، لہذا یہ خطرناک اقتباسات کو خود سے نشان زد نہیں کر سکتا۔
کیوں کراس ماڈل اختلاف اسے پکڑ لیتا ہے
ایک اکیلا گراؤنڈ ماڈل کے پاس ایک بازیافت اور اسے حوالہ دینے کا ایک طریقہ ہوتا ہے۔ متعدد آزاد ماڈلز ہر ایک اپنی طرف سے بازیافت اور حوالہ دیتے ہیں۔ جب آپ کئی ماڈلز سے ایک ہی سوال پوچھتے ہیں اور ان میں سے ایک حوالہ پیدا کرتا ہے جسے دوسرے دوبارہ پیدا نہیں کر سکتے — یا جسے دوسرے واضح طور پر غیر حمایت یافتہ قرار دیتے ہیں — وہ اختلاف ہی خطرے کی گھنٹی ہے۔
آزادی کا اصول، حوالوں پر لاگو ہوتا ہے
اگر ایک ماڈل حقیقی کیس میں "عدالت نے X کا فیصلہ دیا" بنا دیتا ہے، تو دوسرے ماڈل — جو اسی رائے کی اپنی بازیافت پر مبنی ہیں — عام طور پر اس عین جعلی زبان کو دوبارہ پیدا نہیں کریں گے۔ ایک اقتباس جو صرف ایک ماڈل پیدا کر سکتا ہے، اور جس کی درجہ بندی دوسرے ماڈلز نے کمزور کی ہے، ایک کم اتفاق رائے والے دعوے کے طور پر سامنے آتا ہے۔ آپ نے ایک غیر مرئی غلطی کو ایک مرئی جھنڈے میں تبدیل کر دیا ہے۔ یہ ایک اقتباس کی نشاندہی کرتا ہے جسے بنیادی ماخذ کے خلاف جانچنے کی ضرورت ہے — یہ ایک زیادہ اعتماد والا اسکرین ہے، درستگی کا ثبوت نہیں۔
AI کی مدد سے قانونی تحقیق کے لیے ایک تصدیقی چیک لسٹ
چاہے آپ کسی متفقہ ٹول کا استعمال کریں یا نہ کریں، کبھی بھی غیر تصدیق شدہ AI آؤٹ پٹ جمع نہ کریں۔ کم از کم:
- کیس کی موجودگی کی تصدیق کریں — لیکن یہاں رکیں نہیں؛ حقیقی حوالہ وہ جگہ ہے جہاں خطرناک غلطیاں چھپی ہوتی ہیں
- پرائمری ماخذ کو کھینچیں اور اقتباس کردہ زبان کو سیاق و سباق میں پڑھیں — ہر اقتباس کی تصدیق لفظ بہ لفظ خود رائے کے خلاف کریں، AI کے خلاصے کے خلاف نہیں۔
- چیک کریں کہ اقتباس تجویز کی حمایت کرتا ہے — ایک حقیقی اقتباس کو کسی دعوے سے منسلک کیا جا سکتا ہے جس کی وہ حقیقت میں حمایت نہیں کرتا
- آزاد ماڈلز کے ساتھ کراس چیک کریں — ایک اقتباس جو صرف ایک ماڈل پیدا کرتا ہے، تحقیق کے لیے ایک اشارہ ہے، فائل کرنے کے لیے ایک حقیقت نہیں۔
- کبھی بھی "زمین پر" کو "تصدیق شدہ" نہ سمجھیں — RAG اختراع کے امکانات کو کم کرتا ہے؛ یہ آپ کی جانچ کرنے کی ذمہ داری کو ختم نہیں کرتا
آزاد ماڈلز کے درمیان ہم آہنگی آپ کے اعتماد کو بڑھاتی ہے کہ ایک اقتباس حقیقی ہے۔ یہ اس کی تصدیق نہیں کرتی۔ بنیادی ماخذ اب بھی اختیار ہے — AI صرف آپ کی مدد کے لیے ہے کہ آپ اسے تیز تر تلاش کریں اور یہ بتائیں کہ ماڈلز کہاں متفق نہیں ہیں۔
اکثر پوچھے جانے والے سوالات
زیادہ تر لوگ قانونی-اے آئی کی ناکامی کو کیا سمجھتے ہیں؟
یہ جعلی کیس نہیں ہے جس کے بارے میں سب جانتے ہیں، بلکہ ایک فرضی اقتباس ہے جو ایک حقیقی حوالہ کے اندر چھپا ہوا ہے — حوالہ موجود ہے اور حوالہ چیک میں کامیاب ہوتا ہے، لیکن اقتباس کردہ الفاظ کبھی بھی رائے میں نہیں تھے۔
کیوں ایک ماڈل کی خود جانچ جعلی اقتباس کو پکڑ نہیں پاتی؟
کیونکہ حوالہ حقیقی ہے، خود تصدیق اس بات کی تصدیق کرتی ہے کہ کیس موجود ہے اور وہیں رک جاتی ہے؛ ماڈل کے پاس یہ جاننے کا کوئی آزاد ریکارڈ نہیں ہے کہ رائے میں واقعی کیا کہا گیا تھا۔
کراس ماڈل موازنہ جعلی اقتباسات کو کیوں پکڑتا ہے؟
مختلف بازیافتوں پر مبنی آزاد ماڈلز شاذ و نادر ہی ایک ہی اقتباس تخلیق کرتے ہیں، اس لیے ان کے اختلاف سے وہ جعل سازی سامنے آتی ہے جس کی تصدیق ایک ہی ماڈل کرے گا۔