उत्पादन वर्कफ्लोमध्ये AI/ML अनुमान एकत्रीकरण

बहुतेक एंटरप्राइझ AI प्रकल्प डेमो आणि उत्पादनामधील अंतरात मरतात. संघ सपोर्ट तिकीट वर्गीकृत करण्यासाठी किंवा कायदेशीर दस्तऐवज सारांशित करण्यासाठी GPT-4 वापरणारा प्रूफ ऑफ कॉन्सेप्ट बनवतो. डेमो काम करतो. नेतृत्व उत्साहित होते. मग प्रकल्प त्या प्रश्नांची उत्तरे देण्याच्या प्रयत्नात महिने थांबतो जे डेमोला कधी विचारावे लागले नाहीत: डेटा कुठून येतो? आउटपुट कुठे जाते? AI च्या निर्णयांना कोण मंजुरी देतो? मॉडेल भ्रम निर्माण करतो तेव्हा काय होते? ऑडिटसाठी सर्व काही कसे लॉग करायचे?

95% एंटरप्राइझ जनरेटिव्ह AI पायलट आर्थिक परतावा देण्यात अयशस्वी होतात, आणि कारण तंत्रज्ञान काम करत नाही असे नाही. अपयश प्लम्बिंगमध्ये आहे: उत्पादन प्रणालींना आवश्यक सुरक्षा नियंत्रणे, त्रुटी हाताळणी आणि ऑडिट ट्रेल्ससह प्रत्यक्ष व्यावसायिक वर्कफ्लोमध्ये AI अनुमान विश्वसनीयपणे एकत्रित करणे.

Triggerfish हे कसे सोडवते

Triggerfish वर्कफ्लो इंजिनमध्ये AI अनुमानाला प्रथम-श्रेणी चरण करून एकत्रीकरण अंतर दूर करते, त्याच सुरक्षा अंमलबजावणी, ऑडिट लॉगिंग आणि वर्गीकरण नियंत्रणांद्वारे शासित जे प्रणालीतील प्रत्येक इतर ऑपरेशनला लागू होतात. Triggerfish वर्कफ्लोमधील LLM उप-एजंट चरण बोल्ट-ऑन नाही. ते HTTP कॉल किंवा डेटाबेस क्वेरीसारख्याच धोरण hooks, वंशावळ ट्रॅकिंग आणि write-down प्रतिबंधासह मूळ ऑपरेशन आहे.

स्वतंत्र प्रणालीऐवजी वर्कफ्लो चरण म्हणून AI

वर्कफ्लो DSL मध्ये, LLM अनुमान चरण call: triggerfish:llm सह परिभाषित केला जातो. कार्य वर्णन उप-एजंटला नैसर्गिक भाषेत काय करायचे ते सांगते. आउटपुट थेट वर्कफ्लोच्या पुढील चरणात जाते.

याचा अर्थ एकत्रित करण्यासाठी कोणतीही स्वतंत्र "AI प्रणाली" नाही. अनुमान वर्कफ्लोच्या आत होते, त्याच क्रेडेन्शियल, त्याच डेटा कनेक्शन आणि बाकी सर्वासारख्याच सुरक्षा अंमलबजावणीचा वापर करून.

सानुकूल अभियांत्रिकीशिवाय सुरक्षा

AI वर्कफ्लो उत्पादनात आणण्याचा सर्वात वेळखाऊ भाग AI नाही. ते सुरक्षा आणि अनुपालनाचे काम आहे. मॉडेल कोणता डेटा पाहू शकतो? ते आउटपुट कुठे पाठवू शकते?

Triggerfish मध्ये, ह्या प्रश्नांची उत्तरे प्लॅटफॉर्म आर्किटेक्चरद्वारे दिली जातात, प्रति-प्रकल्प अभियांत्रिकीद्वारे नाही. वर्गीकरण प्रणाली प्रत्येक सीमेवर डेटा संवेदनशीलता ट्रॅक करते. मॉडेल वर्गीकृत डेटामध्ये प्रवेश करते तेव्हा सत्र taint वाढतो. Write-down प्रतिबंध आउटपुट सत्राच्या taint स्तरापेक्षा कमी वर्गीकृत चॅनेलमध्ये जाण्यापासून रोखतो.

ग्राहक रेकॉर्ड (CONFIDENTIAL) वाचणारी आणि सारांश तयार करणारी AI वर्कफ्लो तो सारांश PUBLIC Slack चॅनेलला पाठवू शकत नाही. हे मॉडेल दुर्लक्षित करू शकेल अशा प्रॉम्प्ट निर्देशनाद्वारे लागू केले जात नाही. हे PRE_OUTPUT hook मधील निश्चयात्मक कोडद्वारे लागू केले जाते.

आधीपासून अस्तित्वात असलेले ऑडिट ट्रेल्स

Triggerfish वर्कफ्लोमधील प्रत्येक AI निर्णय स्वयंचलितपणे वंशावळ रेकॉर्ड तयार करतो. प्रत्येक डेटा घटक त्याच्या निर्मितीपासून प्रत्येक परिवर्तनातून त्याच्या अंतिम गंतव्यापर्यंत उगम मेटाडेटा वाहतो. हे सक्षम किंवा कॉन्फिगर केले जाणे आवश्यक असलेले लॉगिंग वैशिष्ट्य नाही. हे प्लॅटफॉर्मचा संरचनात्मक गुण आहे.

नियंत्रित उद्योगांसाठी, याचा अर्थ AI वर्कफ्लोसाठी अनुपालन पुरावा पहिल्या दिवसापासून अस्तित्वात आहे. लेखापरीक्षक कोणताही AI-निर्मित आउटपुट संपूर्ण साखळीतून शोधू शकतो.

पुनर्-आर्किटेक्चरशिवाय मॉडेल लवचिकता

Triggerfish LlmProvider इंटरफेसद्वारे अनेक LLM प्रदात्यांना समर्थन देते: Anthropic, OpenAI, Google, Ollama द्वारे स्थानिक मॉडेल आणि कोणत्याही रूट केलेल्या मॉडेलसाठी OpenRouter. चांगले मॉडेल उपलब्ध झाल्यावर किंवा प्रदाता किंमत बदलल्यावर, बदलणे वर्कफ्लो व्याख्यांना स्पर्श न करता कॉन्फिगरेशन स्तरावर होते.

Cron, Webhooks आणि इव्हेंट-चालित कार्यान्वयन

वेळापत्रकावर किंवा इव्हेंटच्या प्रतिसादात चालणाऱ्या AI वर्कफ्लोंना त्यांना प्रॉम्प्ट करण्यासाठी मानवाची आवश्यकता नाही. शेड्यूलर आवर्ती वर्कफ्लोंसाठी पाच-फील्ड cron अभिव्यक्ती आणि इव्हेंट-चालित ट्रिगरसाठी webhook एंडपॉइंट समर्थन करते.

प्रत्येक शेड्यूल केलेले किंवा इव्हेंट-ट्रिगर केलेले कार्यान्वयन ताज्या taint सह वेगळे सत्र निर्माण करते.

त्रुटी हाताळणी आणि लूपमध्ये मानव

उत्पादन AI वर्कफ्लोंना अयशस्वी होण्याला सुंदरतेने हाताळणे आवश्यक आहे. LLM उप-एजंट कमी-विश्वास आउटपुट तयार करतो किंवा हाताळता न येणाऱ्या परिस्थितीला सामोरे जातो तेव्हा, वर्कफ्लो मानवी मंजुरी कतारकडे पाठवू शकते, अधिसूचना सेवेद्वारे अधिसूचना पाठवू शकते किंवा फॉलबॅक कृती घेऊ शकते.

अधिसूचना सेवा प्राधान्यक्रम आणि डीडुप्लिकेशनसह सर्व कनेक्ट केलेल्या चॅनेलमध्ये सूचना पोहोचवते. वर्कफ्लो मंजुरी येईपर्यंत थांबते, नंतर जिथे सोडले होते तिथून पुढे चालते.

व्यवहारात हे कसे दिसते

कायदेशीर विभाग करार पुनरावलोकन स्वयंचलित करायचे आहे. पारंपारिक दृष्टिकोन: अपलोड केलेल्या करारातून खंड काढण्यासाठी, जोखीम स्तर वर्गीकृत करण्यासाठी, मानकेतर अटी फ्लॅग करण्यासाठी आणि पुनरावलोकन करणाऱ्या वकिलासाठी सारांश तयार करण्यासाठी पाइपलाइन बनवण्यासाठी सहा महिने सानुकूल विकास.

Triggerfish सह, वर्कफ्लो व्याख्या लिहायला एक दिवस लागतो. अपलोड webhook ट्रिगर करतो. LLM उप-एजंट करार वाचतो, मुख्य खंड काढतो, जोखीम स्तर वर्गीकृत करतो आणि मानकेतर अटी ओळखतो. प्रमाणीकरण चरण मेमरीमध्ये संग्रहित फर्मच्या खंड लायब्ररीविरुद्ध एक्सट्रॅक्शन तपासतो. संपूर्ण पाइपलाइन RESTRICTED वर्गीकरणावर चालते कारण करारांमध्ये क्लायंट विशेषाधिकार माहिती असते.

संस्था LLM प्रदाता बदलते तेव्हा, बदल कॉन्फिगरेशनमध्ये एकच ओळ आहे. अनुपालन संघाला पहिल्या दिवसापासून संपूर्ण ऑडिट ट्रेल मिळतो. सानुकूल अहवाल कामाच्या आठवड्यांवर जाणारा पुरावा संग्रह प्लॅटफॉर्मच्या संरचनात्मक गुणाच्या रूपात स्वयंचलितपणे अस्तित्वात असतो.