پروڈکشن ورک فلوز میں AI/ML استنتاج انٹیگریشن

زیادہ تر انٹرپرائز AI منصوبے ڈیمو اور پروڈکشن کے درمیان خلا میں مر جاتے ہیں۔ ایک ٹیم پروف آف کانسیپٹ بناتی ہے جو سپورٹ ٹکٹس کو درجہ بند کرنے یا قانونی دستاویزات کا خلاصہ کرنے یا مارکیٹنگ کاپی تیار کرنے کے لیے GPT-4 استعمال کرتی ہے۔ ڈیمو کام کرتا ہے۔ قیادت پرجوش ہو جاتی ہے۔ پھر منصوبہ مہینوں کے لیے رک جاتا ہے ان سوالوں کا جواب دینے کی کوشش میں جو ڈیمو کو کبھی دینے نہیں پڑے: ڈیٹا کہاں سے آتا ہے؟ آؤٹ پٹ کہاں جاتا ہے؟ AI کے فیصلوں کو کون منظور کرتا ہے؟ ماڈل ہلوسیٹ کرے تو کیا ہوتا ہے؟ ہم اس کے کیا کیے کا آڈٹ کیسے کریں؟ ہم اسے ایسا ڈیٹا دیکھنے سے کیسے روکیں جو اسے نہیں دیکھنا چاہیے؟ ہم اسے حساس معلومات غلط جگہ بھیجنے سے کیسے روکیں؟

یہ فرضی خدشات نہیں ہیں۔ انٹرپرائز جنریٹیو AI پائلٹس کا 95% مالی منافع دینے میں ناکام رہتا ہے، اور وجہ یہ نہیں کہ ٹیکنالوجی کام نہیں کرتی۔ ماڈلز قابل ہیں۔ ناکامی پلمبنگ میں ہے: AI استنتاج کو قابل اعتماد طریقے سے حقیقی کاروباری ورک فلوز میں ضم کرنا جہاں اسے کام کرنا ہے، سیکیورٹی کنٹرولز، خرابی ہینڈلنگ، اور آڈٹ ٹریلز کے ساتھ جن کی پروڈکشن سسٹمز کو ضرورت ہے۔

عام انٹرپرائز جواب کسٹم انٹیگریشن پرت بنانا ہے۔ ایک انجینئرنگ ٹیم AI ماڈل کو ڈیٹا سورسز سے جوڑنے، پائپ لائن بنانے، تصدیق شامل کرنے، لاگنگ نافذ کرنے، منظوری ورک فلو بنانے، اور سیکیورٹی جانچیں جوڑنے میں مہینے گزارتی ہے۔ جب تک انٹیگریشن "پروڈکشن کے لیے تیار" ہو، اصل ماڈل ایک نئے سے تبدیل ہو چکا ہوتا ہے، کاروباری تقاضے بدل چکے ہوتے ہیں، اور ٹیم کو دوبارہ شروع کرنا پڑتا ہے۔

Triggerfish اسے کیسے حل کرتا ہے

Triggerfish انٹیگریشن خلا کو AI استنتاج کو ورک فلو انجن میں فرسٹ کلاس قدم بنا کر ختم کرتا ہے، جو اسی سیکیورٹی نفاذ، آڈٹ لاگنگ، اور درجہ بندی کنٹرولز سے کنٹرول ہوتا ہے جو سسٹم میں ہر دوسرے آپریشن پر لاگو ہوتے ہیں۔ Triggerfish ورک فلو میں LLM سب ایجنٹ قدم اضافی نہیں ہے۔ یہ HTTP کال یا ڈیٹا بیس کوئری جیسے ہی پالیسی hooks، نسب ٹریکنگ، اور رائٹ ڈاؤن روک تھام کے ساتھ مقامی آپریشن ہے۔

ورک فلو میں AI بطور قدم، الگ سسٹم نہیں

ورک فلو DSL میں، LLM استنتاج قدم call: triggerfish:llm سے تعریف ہوتا ہے۔ کام کی تفصیل سب ایجنٹ کو قدرتی زبان میں بتاتی ہے کیا کرنا ہے۔ سب ایجنٹ کو Triggerfish میں رجسٹرڈ ہر ٹول تک رسائی ہے۔ یہ ویب تلاش کر سکتا ہے، MCP ٹولز کے ذریعے ڈیٹا بیس کو کوئری کر سکتا ہے، دستاویزات پڑھ سکتا ہے، ویب سائٹس براؤز کر سکتا ہے، اور کراس سیشن میموری استعمال کر سکتا ہے۔ جب قدم مکمل ہو، اس کا آؤٹ پٹ براہ راست ورک فلو کے اگلے قدم میں جاتا ہے۔

اس کا مطلب ہے کوئی الگ "AI سسٹم" نہیں ہے جس کے ساتھ ضم کیا جائے۔ استنتاج ورک فلو کے اندر ہوتا ہے، انہی اسناد، انہی ڈیٹا کنکشنز، اور اسی سیکیورٹی نفاذ کا استعمال کرتے ہوئے جیسے باقی سب کچھ۔ انجینئرنگ ٹیم کو کسٹم انٹیگریشن پرت بنانے کی ضرورت نہیں کیونکہ انٹیگریشن پرت پہلے سے موجود ہے۔

سیکیورٹی جسے کسٹم انجینئرنگ کی ضرورت نہیں

AI ورک فلو کو پروڈکشن کے قابل بنانے کا سب سے وقت خرچ کرنے والا حصہ AI خود نہیں ہے۔ یہ سیکیورٹی اور تعمیل کا کام ہے۔ ماڈل کون سا ڈیٹا دیکھ سکتا ہے؟ اپنا آؤٹ پٹ کہاں بھیج سکتا ہے؟ ہم حساس معلومات لیک ہونے سے کیسے روکیں؟ آڈٹ کے لیے سب کچھ کیسے لاگ کریں؟

Triggerfish میں، یہ سوالات پلیٹ فارم آرکیٹیکچر سے جواب ملتے ہیں، فی منصوبہ انجینئرنگ سے نہیں۔ درجہ بندی سسٹم ہر حد پر ڈیٹا کی حساسیت ٹریک کرتا ہے۔ سیشن taint ایسکلیٹ ہوتا ہے جب ماڈل درجہ بند ڈیٹا تک رسائی کرتا ہے۔ رائٹ ڈاؤن روک تھام آؤٹ پٹ کو سیشن کی taint سطح سے کم درجہ بند چینل تک بہنے سے روکتی ہے۔ ہر ٹول کال، ہر ڈیٹا رسائی، اور ہر آؤٹ پٹ فیصلہ مکمل نسب کے ساتھ لاگ ہوتا ہے۔

AI ورک فلو جو کسٹمر ریکارڈز (CONFIDENTIAL) پڑھتا ہے اور خلاصہ تیار کرتا ہے، وہ خلاصہ عوامی Slack چینل کو نہیں بھیج سکتا۔ یہ prompt ہدایت سے نافذ نہیں ہوتا جسے ماڈل نظرانداز کر سکے۔ یہ PRE_OUTPUT hook میں قطعی کوڈ سے نافذ ہوتا ہے جسے ماڈل نہ دیکھ سکتا ہے، نہ ترمیم کر سکتا ہے، نہ نظرانداز کر سکتا ہے۔ پالیسی hooks LLM پرت کے نیچے چلتے ہیں۔ LLM ایک عمل کی درخواست کرتا ہے، اور پالیسی پرت فیصلہ کرتی ہے کہ اسے اجازت دیں یا نہیں۔ ٹائم آؤٹ کا مطلب ہے مسترد۔ ماڈل سے باہری دنیا تک کوئی راستہ نہیں جو نفاذ سے نہ گزرے۔

آڈٹ ٹریلز جو پہلے سے موجود ہیں

Triggerfish ورک فلو میں ہر AI فیصلہ خودکار طریقے سے نسب ریکارڈز تیار کرتا ہے۔ نسب ٹریک کرتی ہے کہ ماڈل نے کون سا ڈیٹا رسائی کیا، اس نے کیا درجہ بندی سطح رکھی، کیا تبدیلیاں لاگو ہوئیں، اور آؤٹ پٹ کہاں بھیجا گیا۔ یہ لاگنگ فیچر نہیں ہے جسے فعال یا کنفیگر کرنا ہو۔ یہ پلیٹ فارم کی ساختی خاصیت ہے۔ ہر ڈیٹا عنصر تخلیق سے ہر تبدیلی تک اپنے آخری مقام تک منشاء میٹا ڈیٹا رکھتا ہے۔

ریگولیٹڈ صنعتوں کے لیے، اس کا مطلب ہے پہلے دن سے AI ورک فلو کے لیے تعمیل کے شواہد موجود ہیں۔ آڈیٹر کسی بھی AI تیار کردہ آؤٹ پٹ کو پوری زنجیر میں ٹریس کر سکتا ہے: کون سے ماڈل نے اسے تیار کیا، یہ کس ڈیٹا پر مبنی تھا، استدلال کے دوران ماڈل نے کون سے ٹولز استعمال کیے، ہر قدم پر کیا درجہ بندی سطح لاگو ہوئی، اور کیا کوئی پالیسی نفاذ اقدامات ہوئے۔ یہ شواہد کا جمع خودکار ہوتا ہے کیونکہ یہ نفاذ hooks میں شامل ہے، نہ کہ رپورٹنگ پرت کے طور پر بعد میں جوڑا گیا ہے۔

دوبارہ آرکیٹیکچر کے بغیر ماڈل لچک

Triggerfish LlmProvider انٹرفیس کے ذریعے متعدد LLM فراہم کنندگان کو سپورٹ کرتا ہے: Anthropic، OpenAI، Google، Ollama کے ذریعے مقامی ماڈلز، اور کسی بھی روٹڈ ماڈل کے لیے OpenRouter۔ فراہم کنندہ کا انتخاب فی ایجنٹ کنفیگر کے قابل ہے خودکار فیل اوور کے ساتھ۔ جب بہتر ماڈل دستیاب ہو یا کوئی فراہم کنندہ قیمتیں بدلے، تبدیلی کنفیگریشن سطح پر ہوتی ہے ورک فلو تعریفوں کو چھوئے بغیر۔

یہ "منصوبہ بھیجنے سے پہلے پرانا ہو گیا" مسئلے کو براہ راست حل کرتا ہے۔ ورک فلو تعریفیں بیان کرتی ہیں کہ AI کو کیا کرنا چاہیے، نہ کہ کون سا ماڈل کرتا ہے۔ GPT-4 سے Claude تک ایک فائن ٹیونڈ مقامی ماڈل پر سوئچ کرنا ایک کنفیگریشن ویلیو بدلتا ہے۔ ورک فلو، سیکیورٹی کنٹرولز، آڈٹ ٹریلز، اور انٹیگریشن پوائنٹس سب بالکل ایک جیسے رہتے ہیں۔

Cron، Webhooks، اور ایونٹ سے چلنے والی عمل کاری

AI ورک فلوز جو شیڈول پر یا ایونٹس کے جواب میں چلتے ہیں انہیں انسان کی ضرورت نہیں۔ شیڈیولر بار بار آنے والے ورک فلوز کے لیے پانچ فیلڈ cron ایکسپریشنز اور ایونٹ سے چلنے والے ٹرگرز کے لیے webhook اینڈ پوائنٹس کو سپورٹ کرتا ہے۔ روزانہ رپورٹ تیاری ورک فلو صبح 6 بجے چلتی ہے۔ دستاویز درجہ بندی ورک فلو تب چلتی ہے جب webhook کے ذریعے نئی فائل آتی ہے۔ جذبات تجزیہ ورک فلو ہر نئے سپورٹ ٹکٹ پر چلتی ہے۔

ہر شیڈول یا ایونٹ سے چلنے والی عمل کاری تازہ taint کے ساتھ الگ سیشن بناتی ہے۔ ورک فلو اپنے سیکیورٹی سیاق میں چلتا ہے، کسی بھی انٹریکٹیو سیشن سے آزاد۔ اگر cron سے شروع ہونے والی ورک فلو CONFIDENTIAL ڈیٹا تک رسائی کرتی ہے، صرف اس عمل کاری کی تاریخ CONFIDENTIAL پر درجہ بند ہوتی ہے۔ PUBLIC درجہ بندی پر چلنے والے دیگر شیڈول ورک فلوز متاثر نہیں ہوتے۔

خرابی ہینڈلنگ اور لوپ میں انسان

پروڈکشن AI ورک فلوز کو ناکامی کو احسن طریقے سے سنبھالنا ہوتا ہے۔ ورک فلو DSL صریح خرابی حالات کے لیے raise اور کام کی تعریفوں میں خرابی ہینڈلنگ کے ذریعے try/catch سیمانٹکس کو سپورٹ کرتا ہے۔ جب LLM سب ایجنٹ کم اعتماد آؤٹ پٹ تیار کرے یا ایسی صورتحال کا سامنا کرے جسے وہ سنبھال نہیں سکتا، ورک فلو انسانی منظوری کیو کو روٹ کر سکتا ہے، نوٹیفیکیشن سروس کے ذریعے نوٹیفیکیشن بھیج سکتا ہے، یا فال بیک اقدام کر سکتا ہے۔

نوٹیفیکیشن سروس ترجیح اور ڈی ڈپلیکیشن کے ساتھ تمام جڑے چینلز پر الرٹس پہنچاتی ہے۔ اگر ورک فلو کو AI تیار کردہ کنٹریکٹ ترمیم بھیجنے سے پہلے انسانی منظوری کی ضرورت ہو، منظوری کی درخواست Slack، WhatsApp، ای میل، یا جہاں بھی منظوری دینے والا ہو پہنچ سکتی ہے۔ ورک فلو منظوری آنے تک رک جاتی ہے، پھر جہاں سے رکی تھی وہاں سے جاری ہو جاتی ہے۔

عملی طور پر یہ کیسا نظر آتا ہے

ایک قانونی محکمہ کنٹریکٹ جائزے کو خودکار بنانا چاہتا ہے۔ روایتی طریقہ: اپ لوڈ شدہ کنٹریکٹس سے شقیں نکالنے، خطرے کی سطحیں درجہ بند کرنے، غیر معیاری شرائط کو نشان زد کرنے، اور جائزہ کرنے والے وکیل کے لیے خلاصہ تیار کرنے والی پائپ لائن بنانے کے لیے چھ ماہ کی کسٹم ڈویلپمنٹ۔ منصوبے کو وقف انجینئرنگ ٹیم، کسٹم سیکیورٹی جائزہ، تعمیل کی منظوری، اور جاری دیکھ بھال کی ضرورت ہوتی ہے۔

Triggerfish کے ساتھ، ورک فلو تعریف لکھنے میں ایک دن لگتا ہے۔ اپ لوڈ webhook شروع کرتا ہے۔ LLM سب ایجنٹ کنٹریکٹ پڑھتا ہے، اہم شقیں نکالتا ہے، خطرے کی سطحیں درجہ بند کرتا ہے، اور غیر معیاری شرائط کی شناخت کرتا ہے۔ تصدیقی قدم میموری میں محفوظ فرم کی شق لائبریری کے خلاف نکالنے کو جانچتا ہے۔ خلاصہ مخصوص وکیل کے نوٹیفیکیشن چینل کو بھیجا جاتا ہے۔ پوری پائپ لائن RESTRICTED درجہ بندی پر چلتی ہے کیونکہ کنٹریکٹس میں کلائنٹ کی مراعاتی معلومات ہوتی ہیں، اور رائٹ ڈاؤن روک تھام یقینی بناتی ہے کہ RESTRICTED سے نیچے کسی چینل میں کوئی کنٹریکٹ ڈیٹا لیک نہ ہو۔

جب فرم LLM فراہم کنندگان بدلتی ہے (کیونکہ نیا ماڈل قانونی زبان بہتر سنبھالتا ہے، یا کیونکہ موجودہ فراہم کنندہ قیمتیں بڑھاتا ہے)، تبدیلی کنفیگریشن میں ایک لائن ہے۔ ورک فلو تعریف، سیکیورٹی کنٹرولز، آڈٹ ٹریل، اور نوٹیفیکیشن روٹنگ سب ترمیم کے بغیر کام کرتے رہتے ہیں۔ جب فرم اپنے خطرے کے فریم ورک میں نئی شق کی قسم شامل کرتی ہے، LLM سب ایجنٹ نکالنے کے اصول دوبارہ لکھے بغیر اسے اٹھا لیتا ہے کیونکہ یہ معنی کے لیے پڑھتا ہے، نمونوں کے لیے نہیں۔

تعمیل ٹیم کو پہلے دن سے مکمل آڈٹ ٹریل ملتی ہے۔ ہر پروسیس ہونے والا کنٹریکٹ، ہر نکالی گئی شق، ہر خطرے کی درجہ بندی جو دی گئی، ہر نوٹیفیکیشن جو بھیجی گئی، اور ہر وکیل کی منظوری جو ریکارڈ ہوئی، ماخذ دستاویز تک مکمل نسب کے ساتھ۔ شواہد جمع کرنا جس میں ہفتوں کی کسٹم رپورٹنگ لگتی، پلیٹ فارم کی ساختی خاصیت کے طور پر خودکار موجود ہے۔