AI فیڈبیک لوپس: کس طرح خود تقویت پذیر نظام خاموشی سے طاقت منتقل کرتے ہیں

AI فیڈبیک لوپس اور طاقت کی خاموش شکل

جدید الگورڈمز اور مصنوعی ذہانت ہماری دنیا کو باریک لیکن گہرے طریقوں سے بڑھتی ہوئی طور پر مداخلت کر رہی ہیں۔ یہ ہمارے رویے سے سیکھتے ہیں اور بدلے میں ہمارے رویے کو شکل دیتے ہیں - ایسے فیڈبیک لوپس تخلیق کرتے ہیں جو مخصوص پیٹرن کو مضبوط کرتے ہیں۔ پولیسنگ کی حکمت عملیوں اور مالی تجارت سے لے کر سوشل میڈیا پر جو خبریں ہم دیکھتے ہیں، یہ AI سے چلنے والے نظام خاموشی سے یہ تبدیل کر رہے ہیں کہ کون طاقت اور کنٹرول رکھتا ہے۔ ان کی خاص طاقت یہ ہے کہ وہ خود کو ڈھالنے اور خود کو مضبوط کرنے کی صلاحیت رکھتے ہیں: ایک بار شروع ہونے کے بعد، یہ تعصبات یا رجحانات کو بغیر کسی انسانی ہدایت کے بڑھا سکتے ہیں۔ یہ مضمون اس بات کا جائزہ لیتا ہے کہ ایسے خود کو مضبوط کرنے والے ٹیکنالوجی کے نظام قانون نافذ کرنے، مالیات، سوشل پلیٹ فارمز، اور حکمرانی جیسے شعبوں میں کیسے کام کرتے ہیں، اور کیوں ان کی غیر شفاف، خودکار نوعیت معاشرے کے لیے نئے چیلنجز پیش کرتی ہے۔

پریڈیکٹو پولیسنگ: جب ڈیٹا تقدیر بن جاتا ہے

AI فیڈبیک لوپ کی ایک نمایاں مثال پریڈیکٹو پولیسنگ ہے - جرائم کی پیش گوئی کرنے اور قانون نافذ کرنے کی رہنمائی کے لیے الگورڈمز کا استعمال۔ نظریاتی طور پر، یہ پولیس کو ان مقامات پر ڈیٹا پر مبنی تعیناتی کا وعدہ کرتا ہے جہاں جرم ہونے کا امکان ہے۔ عملی طور پر، یہ ایک مہلک چکر پیدا کر سکتا ہے۔ شکاگو کی اب مشہور "اسٹریٹجک سبجیکٹس لسٹ" پر غور کریں، جس نے لوگوں کو ان کے ممکنہ طور پر بندوقی تشدد میں ملوث ہونے کے لحاظ سے الگورڈم کے ذریعے درجہ بند کیا۔ 2017 میں، ایک شکاگو کے رہائشی کو جس کا کوئی مجرمانہ ریکارڈ نہیں تھا، اس لسٹ میں پایا جانا حیران کن تھا جب وہ ایک شوٹنگ کا شکار ہوا۔ کیونکہ نظام نے اسے نشان زد کیا (ایسے معیار کی بنیاد پر جیسے پولیس کے ساتھ ماضی میں رابطہ ہونا، چاہے وہ ایک بے گناہ متاثرہ ہو)، وہ پولیس کی توجہ اور نگرانی کا ہدف بن گیا۔ یہ ایک پریشان کن پیٹرن کو ظاہر کرتا ہے: الگورڈم نے تاریخی پولیس کے ڈیٹا پر انحصار کیا - ایسے ڈیٹا جس میں یہ موجود تعصبات شامل تھے کہ کون سے محلے اور افراد کی نگرانی کی گئی - اور پھر ان ہی لوگوں اور مقامات کے لیے مزید پولیسنگ کی سفارش کی۔ ہر نئے پولیس کے سامنا نے سافٹ ویئر میں "مشکوک" سرگرمی کے مزید ثبوت کے طور پر فیڈ بیک دیا، جس نے ان کمیونٹیز میں مزید جارحانہ گشت کو جائز قرار دیا۔ نتیجہ یہ تھا کہ نگرانی کا ایک فیڈبیک لوپ بڑھتا گیا۔ جرم کی پیش گوئی کرنے کے بجائے، یہ ٹول پولیس کے محکمے کی پچھلی توجہ کو بڑھا رہا تھا، مؤثر طور پر خود کو پورا کرنے والی پیش گوئی کو خودکار بنا رہا تھا۔ ایسے نظام غیر منصفانہ طور پر نسلی اور سماجی و اقتصادی تعصبات کو الگورڈم کی معروضیت کے پردے میں مضبوط کر سکتے ہیں۔

یہاں طاقت کے متحرکات باریک لیکن حقیقی ہیں۔ وہ کمیونٹیز جنہیں کمپیوٹر نے "ہائی رسک" قرار دیا ہو، ایک ایسے چکر میں پھنس سکتی ہیں جسے توڑنا مشکل ہو، کیونکہ یہ لیبل بھاری پولیسنگ کو دعوت دیتا ہے۔ دریں اثنا، میدان میں موجود پولیس افسران ممکنہ طور پر الگورڈم کے نتائج پر اعتماد کرنا شروع کر سکتے ہیں - ایک مظہر جسے خودکار تعصب کہا جاتا ہے۔ ریاستہائے متحدہ میں متعدد کیسز میں یہ تعصب سنگین غلطیوں کا باعث بنا ہے۔ مثال کے طور پر، چہرے کی شناخت کا سافٹ ویئر (ایک اور الگورڈم کی پولیسنگ کا ٹول) نے بے گناہ لوگوں کو مجرمانہ مشتبہ کے طور پر غلط شناخت کیا۔ کم از کم آٹھ مواقع پر، افراد - زیادہ تر سیاہ فام مرد - غلط طور پر گرفتار کیے گئے کیونکہ پولیس نے AI کی پیدا کردہ میچ کو ناقابل تردید ثبوت کے طور پر لیا۔ ایک رپورٹ میں، افسران نے سافٹ ویئر کے انتخاب کو "100% میچ" کے طور پر بیان کیا، فوراً اسے سچ کے طور پر قبول کیا اور گرفتاری کے ساتھ آگے بڑھے۔ صرف بعد میں، جب بے گناہ لوگوں نے جیل میں وقت گزارا، تو یہ واضح ہوا کہ الگورڈم غلط تھا۔ بنیادی چیک جو ایک انسانی تفتیش کار عام طور پر کرتا (جیسے یہ تصدیق کرنا کہ شخص جرم کے وقت کہاں تھا یا ممتاز خصوصیات کا موازنہ کرنا) کو نظر انداز کیا گیا کیونکہ کمپیوٹر کا لفظ اتنی اہمیت رکھتا تھا۔ یہ ظاہر کرتا ہے کہ جب ایک الگورڈم فیصلہ سازی کی زنجیر میں داخل ہوتا ہے تو انسانی نگرانی کتنی آسانی سے نظرانداز کی جا سکتی ہے۔ خطرہ یہ ہے کہ پولیس اور اہلکار اپنی اپنی رائے کے مقابلے میں مشینوں کی طرف رجوع کرنا شروع کر دیتے ہیں، طاقت کو الگورڈم کی پوشیدہ منطق کی طرف منتقل کر دیتے ہیں۔ اور جب وہ منطق پوشیدہ ہو جاتی ہے - اکثر یہ پولیسنگ کے الگورڈمز ملکیتی ہوتے ہیں، جو نجی کمپنیوں کے ذریعہ تیار کیے جاتے ہیں جو اپنی اندرونی کارروائیوں کو ظاہر نہیں کرتے - تو متاثرہ افراد کے لیے یہ چیلنج کرنا یا یہاں تک کہ یہ سمجھنا تقریباً ناممکن ہو جاتا ہے کہ انہیں کیوں نشان زد کیا گیا ہے۔ نتیجہ یہ ہے کہ حکمرانی کے ایک بنیادی فعل میں شفافیت اور جوابدہی کا نقصان ہوتا ہے۔

الگورڈمک مارکیٹس: AI کی رفتار پر تجارت

مالیات ایک اور میدان ہے جہاں AI سے چلنے والے فیڈبیک لوپس نے خاموشی سے طاقت کو دوبارہ ترتیب دیا ہے۔ آج، اسٹاک کی اکثریت کی تجارت انسانوں کے چلا چلا کر تجارت کرنے کے بجائے، ڈیٹا سینٹرز میں موجود الگورڈمز کے ذریعے کی جاتی ہے۔ اندازے لگاتے ہیں کہ اب تقریباً 60-70% تجارتیں ایکویٹی مارکیٹوں میں خودکار تجارتی نظاموں کے ذریعے کی جاتی ہیں۔ یہ الگورڈمز ملی سیکنڈ کے وقت کے پیمانوں پر کام کرتے ہیں اور مارکیٹ کے ڈیٹا کا جواب کسی بھی انسان کی پلک جھپکنے سے کہیں زیادہ تیزی سے دیتے ہیں۔ جبکہ یہ کارکردگی اور لیکویڈیٹی لاتا ہے، یہ الگورڈمز کے درمیان فیڈبیک اثرات سے پیدا ہونے والی نئی قسم کی عدم استحکام اور نظامی خطرات بھی متعارف کرتا ہے۔ ایک ڈرامائی مثال 6 مئی 2010 کا "فلیش کریش" تھا، جب تقریباً $1 ٹریلین کی مارکیٹ کی قیمت چند منٹوں میں غائب ہو گئی، صرف آدھے گھنٹے بعد بڑی حد تک بحال ہونے کے لیے۔ تحقیقات نے پایا کہ یہ کریش کسی بڑے خبر یا انسانی خوف کی وجہ سے نہیں ہوا، بلکہ الگورڈمز کے ایک دوسرے کو تیز رفتار زنجیر کے ردعمل میں متحرک کرنے کی وجہ سے ہوا۔ ایک خودکار تجارتی پروگرام کا بڑا فروخت کا آرڈر مارکیٹ میں آیا، جسے دوسرے ہائی فریکوئنسی ٹریڈنگ الگورڈمز نے بھی بیچنے کے لیے ایک علامت کے طور پر سمجھا۔ ان فروخت نے قیمتوں کو نیچے کی طرف دھکیل دیا، جس نے مزید الگورڈمز کو متحرک کیا جو لیکویڈیٹی کو واپس لینے یا مخصوص حدوں پر مارکیٹ کو مختصر کرنے کے لیے پروگرام کیے گئے تھے۔ مؤثر طور پر، ایک فیڈبیک لوپ نے اگلے اور پھر اگلے کو متحرک کیا، ایک ہم آہنگی کی ناکامی میں۔ اتنے زیادہ بوٹس کے ایک جیسے حکمت عملیوں کی پیروی کرنے کی وجہ سے، مارکیٹ الگورڈمز کے ایک گونج کمرے میں تبدیل ہو گئی جو ایک دوسرے کی حرکتوں کو بڑھا رہے تھے۔ قیمتیں ایک خود کو مضبوط کرنے والے سرپل میں گر گئیں جب تک کہ سرکٹ بریکروں نے تجارت کو روک نہیں دیا۔

فلیش کریش نے اس بات کی یاد دہانی کرائی کہ یہ نظر نہ آنے والے الگورڈمز مالی استحکام پر کتنا اثر رکھتے ہیں۔ اس کے علاوہ، اس نے ایک غیر آرام دہ حقیقت کو اجاگر کیا: جیسے جیسے مارکیٹیں خودکار ایجنٹس کے زیر اثر آتی ہیں، ایک نظام میں چھوٹی غلطیاں یا عجیب و غریب چیزیں فیڈ بیک لوپس کے ذریعے نظامی واقعات میں بڑھ سکتی ہیں۔ اس معاملے میں، کسی بھی بدنیتی کا ارادہ ضروری نہیں تھا - الگورڈمز صرف اپنے کوڈ کی پیروی کر رہے تھے - پھر بھی اجتماعی طور پر انہوں نے اسٹاک مارکیٹ کو تقریباً کریش کر دیا۔ الگورڈمز میں کنٹرول کی یہ مرکزیت ان لوگوں کی طرف طاقت منتقل کرتی ہے جو انہیں ڈیزائن اور نافذ کرتے ہیں۔ ایلیٹ ٹریڈنگ فرمیں جن کے پاس تیز ترین، ذہین الگورڈمز ہیں، مؤثر طریقے سے روایتی سرمایہ کاروں سے آگے نکل سکتی ہیں، ممکنہ طور پر ان جھولوں سے فائدہ اٹھا سکتی ہیں جو ان کی اپنی مشینیں پیدا کرنے میں مدد کرتی ہیں۔ ریگولیٹرز اس نئی حقیقت کی نگرانی کے طریقوں سے نبرد آزما ہیں۔ تجاویز میں مضبوط شفافیت کی ضروریات شامل ہیں (مثال کے طور پر، الگورڈمز کو عجیب منظرناموں کے لیے تصدیق یا دباؤ کے ٹیسٹ سے گزارنا) اور سرکٹ بریکرز جو بھاگتے ہوئے فیڈ بیک اثرات کو کم کر سکتے ہیں۔ تاہم، براہ راست ریگولیشن چیلنجنگ ہے کیونکہ یہ تجارتی ماڈل پیچیدہ اور ملکیتی ہیں، اور مالی فرمیں انہیں تجارتی راز کے طور پر سختی سے محفوظ رکھتی ہیں۔ یہاں بھی ہمیں عدم شفافیت نظر آتی ہے: وہ کوڈ جو اربوں ڈالر کو مائیکرو سیکنڈز میں منتقل کرتا ہے، عام طور پر اس کے تخلیق کاروں کے علاوہ کسی کو نظر نہیں آتا۔ معاشرے کو اس بات پر اعتماد کرنا چاہیے کہ چند ٹیکنالوجسٹوں نے چیزوں کو درست کر لیا ہے - اور جیسا کہ فلیش کریش نے دکھایا، یہاں تک کہ ایک معمولی نظراندازی بھی کنٹرول سے باہر جا سکتی ہے۔ ممکنہ طویل مدتی خطرہ ایک غیر مستحکم مارکیٹ کا ماحولیاتی نظام ہے جو اچانک جھٹکوں کا شکار ہے جو عوامی اعتماد کو کمزور کرتا ہے، تمام خود مختار نظاموں کے ذریعے جو پس منظر میں خاموشی سے گونجتے ہیں۔

سماجی پلیٹ فارم اور سلوکی نڈجنگ

اگر پیشگوئی کرنے والی پولیسنگ اور تجارتی الگورڈمز غیر ارادی فیڈ بیک لوپس کی وضاحت کرتے ہیں، تو سوشل میڈیا پلیٹ فارم یہ ظاہر کرتے ہیں کہ الگورڈمز کو جان بوجھ کر انسانی سلوک کو نڈج کرنے کے لیے ڈیزائن کیا جا سکتا ہے - اور اس کے دور رس نتائج کیا ہو سکتے ہیں۔ جدید سوشل پلیٹ فارم جیسے فیس بک، یوٹیوب، ٹک ٹوک، اور ٹوئٹر تجویز کردہ انجنوں اور فیڈز پر انحصار کرتے ہیں جو AI کے ذریعے صارف کی مشغولیت کو زیادہ سے زیادہ کرنے کے لیے تیار کیے گئے ہیں۔ آپ کا ہر کلک، لائک، یا شیئر الگورڈم کے لیے ان پٹ بن جاتا ہے تاکہ یہ فیصلہ کیا جا سکے کہ آپ کو اگلا کیا دکھانا ہے، ایک لامتناہی سائیکل میں جو آپ کو سکرول کرتے رہنے کے لیے ترتیب دیا گیا ہے۔ یہ انسانی توجہ اور مشین کی کیوریٹیشن کے درمیان ایک طاقتور فیڈ بیک لوپ پیدا کرتا ہے۔ ایسا مواد جو مضبوط ردعمل کو متحرک کرتا ہے (چاہے وہ غصہ ہو، خوشی ہو، یا صدمہ) زیادہ مشغولیت حاصل کرتا ہے، لہذا الگورڈم مزید اس طرح کا مواد پیش کرنا سیکھتا ہے۔ وقت کے ساتھ، صارفین اکثر "ایکو چیمبرز" میں بند ہو سکتے ہیں - زیادہ تر ایسے پوسٹس دیکھتے ہیں جو ان کے موجودہ مفادات یا جذبات کے ساتھ ہم آہنگ ہیں، کیونکہ وہی پوسٹس ہیں جنہوں نے انہیں پہلے بات چیت کرنے پر مجبور کیا۔ یہ عمل لطیف ہے؛ صارفین کو یہ احساس نہیں ہو سکتا کہ ان کی فیڈز خاموشی سے ان کے بٹن دبانے کے لیے بہتر بنائی جا رہی ہیں۔ لیکن بڑے پیمانے پر، یہ الگورڈم کی نڈجنگ عوامی رائے اور یہاں تک کہ سماجی اصولوں کو تشکیل دے سکتی ہے۔

ایک مشہور کیس جس نے ان نظاموں کی طاقت کو بے نقاب کیا وہ کیمرج اینالیٹیکا اسکینڈل تھا۔ 2016 میں، ایک سیاسی مشاورتی فرم نے فیس بک کے دسیوں ملین صارفین کا ڈیٹا حاصل کیا اور اسے سیاسی اشتہارات اور پیغامات کو مائیکرو ٹارگٹ کرنے کے لیے استعمال کیا۔ فیس بک کے اپنے الگورڈمز، جو یہ طے کرتے ہیں کہ ہر صارف کو کون سا مواد نظر آتا ہے، اس ہدفی قائل کرنے کے لیے ترسیل کا طریقہ بن گئے۔ پلیٹ فارم کی صلاحیت کا فائدہ اٹھاتے ہوئے کہ وہ سامعین کو تقسیم اور متاثر کر سکتا ہے - مثال کے طور پر، لوگوں کو ان کے ڈیٹا کی بنیاد پر نیوروٹک یا متفقہ سمجھا جانے والے مخصوص جذباتی اشتہارات بھیجنا - مہم نے ووٹر کے سلوک کو متاثر کرنے کی کوشش کی۔ درحقیقت، ووٹرز کو ایک انتہائی ذاتی نوعیت کے طریقے سے نڈج کیا جا رہا تھا، ان کی آگاہی کے بغیر۔ جب یہ بات سامنے آئی، تو اس نے اس بات کی وسیع تر آگاہی پیدا کی کہ سوشل میڈیا پر مخصوص اشتہارات اور پوسٹس کا مسلسل سیلاب صرف جوتے بیچنے یا کلکس حاصل کرنے کے بارے میں نہیں ہے - اسے رائے، خریداری کی عادات، اور ووٹوں کو متاثر کرنے کے لیے استعمال کیا جا سکتا ہے۔ روایتی پروپیگنڈا یا مارکیٹنگ کے برعکس، الگورڈم کی نڈجنگ ایک ساتھ بڑے پیمانے پر ایک پر ایک کام کرتی ہے، خاموشی سے ہر صارف کی رجحانات کا فائدہ اٹھاتی ہے۔

یہاں تک کہ روزمرہ کے پلیٹ فارم کی حرکیات بھی فیڈ بیک لوپ کو کام کرتے ہوئے دکھاتی ہیں۔ غور کریں کہ غلط معلومات یا انتہائی مواد کتنی تیزی سے وائرل ہو سکتا ہے۔ اگر ایک سنسنی خیز دعویٰ تجسس کو متحرک کرتا ہے اور لوگ اس کے ساتھ مشغول ہونا شروع کرتے ہیں، تو پلیٹ فارم کا تجویز کردہ انجن اس عروج کو نوٹ کرتا ہے اور فوری طور پر اس مواد کو مزید صارفین کو دکھاتا ہے۔ ریڈٹ نے ایک بار اس کے ساتھ ایک پرائیویسی کی خلاف ورزی کے واقعے میں یہ دیکھا: ایک مشہور شخصیت کی چوری شدہ نجی تصاویر پوسٹ کی گئیں، اور جیسے جیسے صارفین کی بڑی تعداد نے ان پر کلک کیا اور انہیں اپ ووٹ کیا، ریڈٹ کا خودکار درجہ بندی کا نظام ان تصاویر کو اوپر دھکیلتا رہا، جس نے مزید ناظرین کو متوجہ کیا۔ اس فیڈ بیک سائیکل میں، مشغولیت نے نظر آنے کی وجہ بنی، جس نے مزید مشغولیت پیدا کی - پلیٹ فارم کے ٹریفک کے میٹرکس کے فائدے کے لیے، لیکن متاثرہ کی پرائیویسی اور وقار کے لیے ایک بڑے نقصان پر۔ زیادہ باقاعدگی سے، یوٹیوب کے خودکار پلے اور "آپ کے بعد" الگورڈمز پر تنقید کی گئی ہے کہ وہ ناظرین کو زیادہ سے زیادہ انتہائی ویڈیوز کی طرف مائل کرتے ہیں تاکہ ان کی توجہ برقرار رکھی جا سکے - مثال کے طور پر، کسی شخص کو ایک ہلکے سیاسی ویڈیو کو دیکھنے کے بعد چند گھنٹوں کے الگورڈم کی رہنمائی میں مشورے کے بعد زیادہ انتہا پسند مواد کی طرف کھینچنا۔ یہ سب اثر و رسوخ میں ترجمہ ہوتا ہے۔ مواد کے لیے ان ڈیجیٹل "انعامی نظاموں" کو ترتیب دینے کی طاقت مؤثر طریقے سے پلیٹ فارم کے مالکان کو یہ متاثر کرنے کی اجازت دیتی ہے کہ کون سی معلومات پھیلتی ہیں اور کون سی آوازیں بڑھائی یا نظرانداز کی جاتی ہیں۔ یہ الگورڈمز کے ذریعے exerted ایک نرم طاقت کی شکل ہے: روایتی معنی میں واضح سنسرشپ یا کنٹرول نہیں، بلکہ یہ کہ دیکھنے والوں کو کیا نظر آتا ہے، پلیٹ فارم صارفین کی حقیقت کے تاثر کو خاموشی سے تشکیل دے سکتے ہیں۔ اور چونکہ الگورڈمز سب سے زیادہ مشغولیت کے لیے بہتر بناتے ہیں (جو اکثر غصے یا دلچسپی کے ساتھ ہم آہنگ ہوتا ہے)، وہ جذباتی طور پر چارج شدہ مواد کو ترجیح دے سکتے ہیں، پولرائزیشن اور غلط معلومات کے پھیلاؤ میں اضافہ کر سکتے ہیں۔

الگورڈم کے ذریعے حکمرانی: انصاف کی قیمت پر کارکردگی؟

AI سے چلنے والے نظام صرف نجی شعبے تک محدود نہیں ہیں؛ یہ حکمرانی اور عوامی خدمات میں بڑھتی ہوئی تعداد میں شامل ہو رہے ہیں۔ دنیا بھر میں، حکومتیں اور ایجنسیاں الگورڈمز کا استعمال شروع کر چکی ہیں تاکہ فلاحی اہلیت، بے روزگاری کے دھوکہ دہی کی شناخت، اسکول کی جگہوں، اور یہاں تک کہ عدالتی سزا کی سفارشات جیسے معاملات پر فیصلے کرنے میں مدد مل سکے۔ وعدہ یہ ہے کہ الگورڈمز ڈیٹا کو انسانی بیوروکریٹس کی نسبت زیادہ مؤثر اور "غیر جانبدار" طریقے سے پروسیس کر سکتے ہیں، ممکنہ طور پر انسانی غلطی یا تعصب کو ختم کر سکتے ہیں۔ لیکن ابتدائی حقیقی دنیا کی مثالوں نے ایک تاریک پہلو کو بے نقاب کیا ہے: یہ خودکار نظام گہرے تعصبات کو وراثت میں لے سکتے ہیں اور چھپانے کی صلاحیت انہیں جوابدہی کے بغیر کنٹرول کے خطرناک آلات بنا سکتی ہے۔ ایک قابل ذکر کیس نیدرلینڈ کے شہر روٹرڈیم میں سامنے آیا، جہاں ایک الگورڈم کو فلاحی فوائد کی دھوکہ دہی کی شناخت کے لیے استعمال کیا گیا۔ 2023 میں ایک تحقیقی تجزیے نے یہ ظاہر کیا کہ یہ نظام نسل اور جنس کی بنیاد پر امتیاز کر رہا تھا – مثلاً، کچھ نسلی پس منظر کی واحد ماؤں کو ماڈل کی طرف سے "اعلی خطرہ" کے طور پر نشان زد ہونے کا زیادہ امکان تھا۔ یہ اس وقت ہوا جب حساس خصوصیات جیسے نسل کو الگورڈم میں واضح طور پر شامل نہیں کیا گیا؛ اس کے بجائے، متبادل (جیسے کسی کی مادری زبان یا پوسٹل کوڈ) خفیہ اشارے کے طور پر کام کرتے تھے، جو تاریخی تعصبات کی عکاسی کرتے تھے۔ چونکہ ماڈل ایک ایسی بیوروکریسی کے اندر کام کرتا تھا جس میں شفافیت کم تھی، جن کی تحقیقات کی جا رہی تھیں انہیں یہ نہیں معلوم تھا کہ ایک کمپیوٹر کی پوشیدہ حساب نے انہیں الگ کر دیا ہے، نہ ہی وہ آسانی سے اس کا چیلنج کر سکتے تھے۔ یہ صرف صحافیوں اور محققین کے ذریعے کوڈ تک رسائی حاصل کرنے (آزادی معلومات کے قوانین کے ذریعے) کے نتیجے میں یہ تعصب سامنے آیا۔ صرف تصور کریں کہ حکومت میں کتنے مشابہ الگورڈمز "بیوروکریٹک تاریکی کی آڑ میں" بغیر کسی چیک کے چل رہے ہیں، خاموشی سے ان لوگوں میں عدم مساوات کو بڑھا رہے ہیں جن کی تحقیقات کی جاتی ہیں یا جنہیں مدد کے لائق سمجھا جاتا ہے۔

اس مظہر کو الگورڈمک حکمرانی کے وسیع تر مسئلے کا حصہ قرار دیا گیا ہے۔ فیصلے جو پہلے (غلطی سے) انسانوں کے ذریعے کیے جاتے تھے - اکثر وضاحت، اپیل، یا عوامی بحث کے مواقع کے ساتھ - اب کبھی کبھار ناقابل فہم ماڈلز کے ذریعے کیے جاتے ہیں۔ مثال کے طور پر، مجرمانہ انصاف کے نظام میں، بہت سے دائرہ اختیار خطرے کی تشخیص کے الگورڈمز کا استعمال کرتے ہیں تاکہ ججوں کو یہ فیصلہ کرنے میں مدد ملے کہ آیا کسی ملزم کو ضمانت دی جانی چاہیے یا ان کی سزا کیا ہونی چاہیے۔ امریکہ میں ایک مشہور ٹول، COMPAS، میں نمایاں نسلی تعصب پایا گیا: یہ سیاہ ملزمان کو دوبارہ جرم کرنے کے لیے زیادہ خطرہ کے طور پر غلط طور پر لیبل کرنے کا زیادہ امکان رکھتا تھا، جب کہ سفید ملزمان کے مقابلے میں۔ انسانی جج میں اس طرح کا تعصب اسکینڈل کا باعث بنے گا؛ ایک الگورڈم میں، یہ بڑی حد تک پوشیدہ رہا جب تک کہ تحقیقی صحافیوں اور ماہرین نے نتائج کا مطالعہ نہیں کیا۔ ان ٹولز کا استعمال سافٹ ویئر فراہم کرنے والوں اور ڈیٹا سائنسدانوں کو ایک خاص قسم کی طاقت دیتا ہے جو انہیں تخلیق کرتے ہیں - اکثر نجی کمپنیاں - جبکہ جج، اہلکار، اور عوام یہ نہیں سمجھتے کہ فیصلے کیسے کیے جا رہے ہیں۔ یہ حکمرانی کی قانونی حیثیت کو چیلنج کرتا ہے: اگر لوگوں کو لگتا ہے کہ فیصلے "بلیک باکس" سے آ رہے ہیں جس پر سوال نہیں اٹھایا جا سکتا، تو اداروں پر اعتماد کمزور ہو جاتا ہے۔ مزید یہ کہ الگورڈمک نظام بیوروکریٹک فیصلوں کو اس طرح بڑھا سکتے ہیں کہ اگر یہ غلط ہوں تو ہزاروں کو نقصان پہنچاتے ہیں جب تک کہ مسئلہ پکڑا نہ جائے۔ تصور کریں کہ ایک بے روزگاری کے فوائد کا الگورڈم غلطی سے ہزاروں ایماندار درخواست دہندگان کو دھوکہ دہی کے طور پر نشان زد کرتا ہے کیونکہ ایک غلط قاعدہ؛ جب تک کہ کوئی آڈٹ یا مداخلت نہ کرے، روزگار بڑے پیمانے پر ایک بے سوچے سمجھے کوڈ کے چکر سے برباد ہو سکتا ہے۔ اس پیمانے، عدم شفافیت، اور اختیار کا یہ مجموعہ الگورڈمک حکمرانی کو ایک دو دھاری تلوار بناتا ہے - مؤثر، شاید، لیکن ممکنہ طور پر غیر منصفانہ اور چیلنج کرنا مشکل۔

غیر شفاف نظام، خودکار تعصب، اور خود کو مضبوط کرنا