उत्पादन वर्कफ़्लो में AI/ML अनुमान एकीकरण

अधिकांश एंटरप्राइज़ AI परियोजनाएँ डेमो और उत्पादन के बीच की खाई में मर जाती हैं। एक टीम एक प्रूफ ऑफ़ कॉन्सेप्ट बनाती है जो सपोर्ट टिकट वर्गीकृत करने या कानूनी दस्तावेज़ सारांशित करने या मार्केटिंग कॉपी उत्पन्न करने के लिए GPT-4 का उपयोग करती है। डेमो काम करता है। नेतृत्व उत्साहित होता है। फिर परियोजना उन प्रश्नों का उत्तर देने की कोशिश में महीनों तक रुकी रहती है जो डेमो को कभी नहीं पूछने पड़े: डेटा कहाँ से आता है? आउटपुट कहाँ जाता है? AI के निर्णयों को कौन अनुमोदित करता है? जब मॉडल हैलुसिनेट करता है तो क्या होता है? हम क्या ऑडिट करते हैं? हम इसे ऐसा डेटा एक्सेस करने से कैसे रोकते हैं जो इसे नहीं देखना चाहिए? हम इसे गलत जगह संवेदनशील जानकारी भेजने से कैसे रोकते हैं?

ये काल्पनिक चिंताएँ नहीं हैं। 95% एंटरप्राइज़ जेनरेटिव AI पायलट वित्तीय रिटर्न देने में विफल रहते हैं, और कारण यह नहीं है कि तकनीक काम नहीं करती। मॉडल सक्षम हैं। विफलता प्लंबिंग में है: AI अनुमान को उन वास्तविक व्यावसायिक वर्कफ़्लो में विश्वसनीय रूप से एकीकृत करना जहाँ इसे संचालित करने की आवश्यकता है, सुरक्षा नियंत्रणों, त्रुटि हैंडलिंग, और ऑडिट ट्रेल के साथ जो उत्पादन प्रणालियों की आवश्यकता है।

सामान्य एंटरप्राइज़ प्रतिक्रिया एक कस्टम इंटीग्रेशन परत बनाना है। एक इंजीनियरिंग टीम AI मॉडल को डेटा स्रोतों से जोड़ने, पाइपलाइन बनाने, प्रमाणीकरण जोड़ने, लॉगिंग लागू करने, अनुमोदन वर्कफ़्लो बनाने, और सुरक्षा जाँचें जोड़ने में महीने बिताती है। जब तक इंटीग्रेशन "उत्पादन के लिए तैयार" होती है, मूल मॉडल एक नए से बदल दिया गया है, व्यावसायिक आवश्यकताएँ बदल गई हैं, और टीम को फिर से शुरू करना होगा।

Triggerfish इसे कैसे हल करता है

Triggerfish वर्कफ़्लो इंजन में AI अनुमान को एक प्रथम-श्रेणी चरण बनाकर एकीकरण अंतराल को समाप्त करता है, उसी सुरक्षा प्रवर्तन, ऑडिट लॉगिंग, और वर्गीकरण नियंत्रणों द्वारा संचालित जो सिस्टम में हर दूसरे ऑपरेशन पर लागू होते हैं। Triggerfish वर्कफ़्लो में एक LLM सब-एजेंट चरण एक बोल्ट-ऑन नहीं है। यह HTTP कॉल या डेटाबेस क्वेरी के समान नीति hooks, वंशावली ट्रैकिंग, और write-down प्रतिबंध के साथ एक मूल ऑपरेशन है।

एक अलग सिस्टम के बजाय वर्कफ़्लो चरण के रूप में AI

वर्कफ़्लो DSL में, एक LLM अनुमान चरण call: triggerfish:llm के साथ परिभाषित किया जाता है। कार्य विवरण सब-एजेंट को बताता है कि प्राकृतिक भाषा में क्या करना है। सब-एजेंट के पास Triggerfish में पंजीकृत हर टूल तक पहुँच है। यह वेब खोज कर सकता है, MCP टूल के माध्यम से डेटाबेस क्वेरी कर सकता है, दस्तावेज़ पढ़ सकता है, वेबसाइट ब्राउज़ कर सकता है, और क्रॉस-सत्र मेमोरी का उपयोग कर सकता है। जब चरण पूरा होता है, इसका आउटपुट वर्कफ़्लो के अगले चरण में सीधे जाता है।

इसका मतलब है कि कोई अलग "AI सिस्टम" नहीं है जिसे एकीकृत करना हो। अनुमान वर्कफ़्लो के अंदर होता है, उसी क्रेडेंशियल, उसी डेटा कनेक्शन, और उसी सुरक्षा प्रवर्तन का उपयोग करते हुए जैसा बाकी सब। एक इंजीनियरिंग टीम को कस्टम इंटीग्रेशन परत बनाने की आवश्यकता नहीं है क्योंकि इंटीग्रेशन परत पहले से मौजूद है।

कस्टम इंजीनियरिंग की आवश्यकता के बिना सुरक्षा

AI वर्कफ़्लो को उत्पादन में लाने का सबसे समय लेने वाला हिस्सा AI नहीं है। यह सुरक्षा और अनुपालन कार्य है। मॉडल कौन सा डेटा देख सकता है? यह अपना आउटपुट कहाँ भेज सकता है? हम इसे संवेदनशील जानकारी लीक करने से कैसे रोकते हैं? हम ऑडिट के लिए सब कुछ कैसे लॉग करते हैं?

Triggerfish में, इन प्रश्नों का उत्तर प्लेटफ़ॉर्म आर्किटेक्चर द्वारा दिया जाता है, प्रति-परियोजना इंजीनियरिंग द्वारा नहीं। वर्गीकरण प्रणाली प्रत्येक सीमा पर डेटा संवेदनशीलता ट्रैक करती है। जब मॉडल वर्गीकृत डेटा एक्सेस करता है तो सत्र taint बढ़ता है। Write-down प्रतिबंध आउटपुट को एक चैनल में जाने से रोकता है जो सत्र के taint स्तर से नीचे वर्गीकृत है। हर टूल कॉल, हर डेटा एक्सेस, और हर आउटपुट निर्णय पूर्ण वंशावली के साथ लॉग किया जाता है।

एक AI वर्कफ़्लो जो ग्राहक रिकॉर्ड (CONFIDENTIAL) पढ़ती है और एक सारांश उत्पन्न करती है, वह सारांश एक PUBLIC Slack चैनल में नहीं भेज सकती। यह एक प्रॉम्प्ट निर्देश द्वारा लागू नहीं किया जाता जिसे मॉडल अनदेखा कर सकता है। यह PRE_OUTPUT hook में नियतात्मक कोड द्वारा लागू किया जाता है जिसे मॉडल देख नहीं सकता, संशोधित नहीं कर सकता, और बायपास नहीं कर सकता। नीति hooks LLM परत के नीचे चलती हैं।

ऑडिट ट्रेल जो पहले से मौजूद हैं

Triggerfish वर्कफ़्लो में हर AI निर्णय स्वचालित रूप से वंशावली रिकॉर्ड उत्पन्न करता है। वंशावली ट्रैक करती है कि मॉडल ने कौन सा डेटा एक्सेस किया, इसका कौन सा वर्गीकरण स्तर था, कौन से परिवर्तन लागू किए गए, और आउटपुट कहाँ भेजा गया। यह एक लॉगिंग सुविधा नहीं है जिसे सक्षम या कॉन्फ़िगर करने की आवश्यकता है। यह प्लेटफ़ॉर्म का एक संरचनात्मक गुण है।

विनियमित उद्योगों के लिए, इसका मतलब है कि एक AI वर्कफ़्लो के लिए अनुपालन प्रमाण पहले दिन से मौजूद है। एक ऑडिटर किसी भी AI-जनरेट आउटपुट को पूरी श्रृंखला के माध्यम से ट्रेस कर सकता है: किस मॉडल ने इसे उत्पन्न किया, यह किस डेटा पर आधारित था, मॉडल ने तर्क के दौरान किन टूल का उपयोग किया, प्रत्येक चरण में कौन सा वर्गीकरण स्तर लागू था, और क्या कोई नीति प्रवर्तन कार्रवाई हुई।

पुनः-आर्किटेक्चर के बिना मॉडल लचीलापन

Triggerfish LlmProvider इंटरफेस के माध्यम से कई LLM प्रदाताओं का समर्थन करता है: Anthropic, OpenAI, Google, Ollama के माध्यम से स्थानीय मॉडल, और किसी भी रूट किए गए मॉडल के लिए OpenRouter। प्रदाता चयन प्रति-एजेंट कॉन्फ़िगर करने योग्य है जिसमें स्वचालित failover है। जब एक बेहतर मॉडल उपलब्ध होता है या एक प्रदाता मूल्य निर्धारण बदलता है, स्विचिंग कॉन्फ़िगरेशन स्तर पर होती है बिना वर्कफ़्लो परिभाषाओं को छुए।

यह "परियोजना शिप होने से पहले अप्रचलित है" समस्या को सीधे संबोधित करता है। वर्कफ़्लो परिभाषाएँ वर्णन करती हैं कि AI को क्या करना चाहिए, न कि कौन सा मॉडल करता है। GPT-4 से Claude से फाइन-ट्यून किए गए स्थानीय मॉडल पर स्विच करना एक कॉन्फ़िगरेशन मूल्य बदलता है। वर्कफ़्लो, सुरक्षा नियंत्रण, ऑडिट ट्रेल, और इंटीग्रेशन पॉइंट सभी बिना संशोधन के काम करते रहते हैं।

Cron, Webhooks, और इवेंट-संचालित निष्पादन

शेड्यूल पर या इवेंट के जवाब में चलने वाली AI वर्कफ़्लो को उन्हें प्रॉम्प्ट करने के लिए एक मानव की आवश्यकता नहीं है। शेड्यूलर आवर्ती वर्कफ़्लो के लिए पाँच-फील्ड cron एक्सप्रेशन और इवेंट-संचालित ट्रिगर के लिए webhook एंडपॉइंट का समर्थन करता है। एक दैनिक रिपोर्ट जनरेशन वर्कफ़्लो सुबह 6 बजे चलती है। एक दस्तावेज़ वर्गीकरण वर्कफ़्लो तब चालू होती है जब webhook के माध्यम से एक नई फ़ाइल आती है। एक भावना विश्लेषण वर्कफ़्लो हर नए सपोर्ट टिकट पर ट्रिगर होती है।

प्रत्येक शेड्यूल या इवेंट-ट्रिगर निष्पादन ताजा taint के साथ एक अलग सत्र उत्पन्न करता है। यदि cron-ट्रिगर वर्कफ़्लो CONFIDENTIAL डेटा एक्सेस करती है, केवल उस निष्पादन का इतिहास CONFIDENTIAL पर वर्गीकृत होता है।

त्रुटि हैंडलिंग और ह्यूमन-इन-द-लूप

उत्पादन AI वर्कफ़्लो को विफलता को सुंदरता से संभालने की आवश्यकता है। वर्कफ़्लो DSL स्पष्ट त्रुटि स्थितियों के लिए raise और कार्य परिभाषाओं में त्रुटि हैंडलिंग के माध्यम से try/catch सेमेंटिक का समर्थन करता है। जब एक LLM सब-एजेंट कम-विश्वास आउटपुट उत्पन्न करता है या ऐसी स्थिति का सामना करता है जिसे वह संभाल नहीं सकता, तो वर्कफ़्लो मानव अनुमोदन कतार में रूट कर सकती है, अधिसूचना सेवा के माध्यम से एक अधिसूचना भेज सकती है, या एक fallback कार्रवाई ले सकती है।

अधिसूचना सेवा प्राथमिकता और डीडुप्लिकेशन के साथ सभी जुड़े चैनलों में अलर्ट वितरित करती है। यदि एक वर्कफ़्लो को AI-जनरेट अनुबंध संशोधन भेजने से पहले मानव अनुमोदन की आवश्यकता है, तो अनुमोदन अनुरोध Slack, WhatsApp, ईमेल, या जहाँ भी अनुमोदक है वहाँ पहुँच सकता है। वर्कफ़्लो तब तक रुकती है जब तक अनुमोदन नहीं आता, फिर जहाँ छोड़ा था वहाँ से जारी रहती है।

व्यवहार में यह कैसा दिखता है

एक कानूनी विभाग अनुबंध समीक्षा को स्वचालित करना चाहता है। पारंपरिक दृष्टिकोण: अपलोड किए गए अनुबंधों से खंड निकालने, जोखिम स्तर वर्गीकृत करने, गैर-मानक शर्तों को फ्लैग करने, और समीक्षा करने वाले वकील के लिए एक सारांश उत्पन्न करने वाली पाइपलाइन बनाने के लिए छह महीने का कस्टम विकास। परियोजना के लिए एक समर्पित इंजीनियरिंग टीम, एक कस्टम सुरक्षा समीक्षा, एक अनुपालन साइन-ऑफ, और चल रखरखाव की आवश्यकता है।

Triggerfish के साथ, वर्कफ़्लो परिभाषा लिखने में एक दिन लगता है। अपलोड एक webhook ट्रिगर करता है। एक LLM सब-एजेंट अनुबंध पढ़ता है, मुख्य खंड निकालता है, जोखिम स्तर वर्गीकृत करता है, और गैर-मानक शर्तों की पहचान करता है। एक सत्यापन चरण मेमोरी में संग्रहीत फर्म की खंड लाइब्रेरी के खिलाफ एक्सट्रैक्शन जाँचता है। सारांश असाइन किए गए वकील के अधिसूचना चैनल में रूट किया जाता है। अनुबंधों में क्लाइंट विशेषाधिकार प्राप्त जानकारी होती है, इसलिए पूरी पाइपलाइन RESTRICTED वर्गीकरण पर चलती है।

जब फर्म LLM प्रदाता स्विच करती है (क्योंकि एक नया मॉडल कानूनी भाषा बेहतर संभालता है, या क्योंकि वर्तमान प्रदाता कीमत बढ़ाता है), परिवर्तन कॉन्फ़िगरेशन में एक एकल पंक्ति है। वर्कफ़्लो परिभाषा, सुरक्षा नियंत्रण, ऑडिट ट्रेल, और अधिसूचना रूटिंग सभी बिना संशोधन के काम करते रहते हैं।

अनुपालन टीम को पहले दिन से एक पूर्ण ऑडिट ट्रेल मिलती है। हर अनुबंध प्रोसेस किया गया, हर खंड निकाला गया, हर जोखिम वर्गीकरण असाइन किया गया, हर अधिसूचना भेजी गई, और हर वकील अनुमोदन रिकॉर्ड किया गया, स्रोत दस्तावेज़ तक पूर्ण वंशावली के साथ। प्रमाण संग्रह जो सप्ताहों के कस्टम रिपोर्टिंग कार्य लेता, प्लेटफ़ॉर्म के संरचनात्मक गुण के रूप में स्वचालित रूप से मौजूद है।