ಉತ್ಪಾದನ ವರ್ಕ್‌ಫ್ಲೋಗಳಲ್ಲಿ AI/ML ಅನುಮಾನ ಏಕೀಕರಣ

ಹೆಚ್ಚಿನ ಎಂಟರ್‌ಪ್ರೈಸ್ AI ಯೋಜನೆಗಳು ಡೆಮೊ ಮತ್ತು ಉತ್ಪಾದನದ ನಡುವಿನ ಅಂತರದಲ್ಲಿ ಸಾಯುತ್ತವೆ. ತಂಡ ಬೆಂಬಲ ಟಿಕೆಟ್‌ಗಳನ್ನು ವರ್ಗೀಕರಿಸಲು ಅಥವಾ ಕಾನೂನು ದಾಖಲೆಗಳನ್ನು ಸಾರಾಂಶ ಮಾಡಲು GPT-4 ಬಳಸುವ ಪ್ರೂಫ್ ಆಫ್ ಕಾನ್ಸೆಪ್ಟ್ ನಿರ್ಮಿಸುತ್ತದೆ. ಡೆಮೊ ಕೆಲಸ ಮಾಡುತ್ತದೆ. ನಾಯಕತ್ವ ಉತ್ಸಾಹಿತವಾಗುತ್ತದೆ. ನಂತರ ಯೋಜನೆ ಡೆಮೊ ಕೇಳದ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರ ನೀಡಲು ತಿಂಗಳುಗಳ ಕಾಲ ನಿಂತುಹೋಗುತ್ತದೆ: ಡೇಟಾ ಎಲ್ಲಿಂದ ಬರುತ್ತದೆ? ಔಟ್‌ಪುಟ್ ಎಲ್ಲಿ ಹೋಗುತ್ತದೆ? AI ನಿರ್ಧಾರಗಳನ್ನು ಯಾರು ಅನುಮೋದಿಸುತ್ತಾರೆ? ಮಾದರಿ ಭ್ರಮೆ ಹೊಂದಿದಾಗ ಏನಾಗುತ್ತದೆ? ಆಡಿಟ್‌ಗಾಗಿ ಎಲ್ಲವನ್ನೂ ಹೇಗೆ ದಾಖಲಿಸಬೇಕು? ಅದು ನೋಡಬಾರದ ಡೇಟಾ ಪ್ರವೇಶಿಸದಂತೆ ಹೇಗೆ ತಡೆಯಬೇಕು?

ಇವು ಕಾಲ್ಪನಿಕ ಕಾಳಜಿಗಳಲ್ಲ. 95% ಎಂಟರ್‌ಪ್ರೈಸ್ ಜನರೇಟಿವ್ AI ಪೈಲಟ್‌ಗಳು ಆರ್ಥಿಕ ಲಾಭ ನೀಡಲು ವಿಫಲವಾಗುತ್ತವೆ, ಮತ್ತು ಕಾರಣ ತಂತ್ರಜ್ಞಾನ ಕೆಲಸ ಮಾಡುವುದಿಲ್ಲ ಎಂದಲ್ಲ. ವೈಫಲ್ಯ ಪ್ಲಂಬಿಂಗ್‌ನಲ್ಲಿ ಇದೆ: ಉತ್ಪಾದನ ವ್ಯವಸ್ಥೆಗಳಿಗೆ ಅಗತ್ಯ ಸುರಕ್ಷತಾ ನಿಯಂತ್ರಣಗಳು, ದೋಷ ನಿರ್ವಹಣೆ, ಮತ್ತು ಆಡಿಟ್ ಟ್ರೇಲ್‌ಗಳೊಂದಿಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸಬೇಕಾದ ನಿಜವಾದ ವ್ಯಾಪಾರ ವರ್ಕ್‌ಫ್ಲೋಗಳಲ್ಲಿ AI ಅನುಮಾನ ವಿಶ್ವಸನೀಯವಾಗಿ ಏಕೀಕರಿಸುವುದು.

Triggerfish ಇದನ್ನು ಹೇಗೆ ಪರಿಹರಿಸುತ್ತದೆ

Triggerfish ವರ್ಕ್‌ಫ್ಲೋ ಎಂಜಿನ್‌ನಲ್ಲಿ AI ಅನುಮಾನವನ್ನು ಪ್ರಥಮ-ದರ್ಜೆ ಹಂತ ಮಾಡಿ ಏಕೀಕರಣ ಅಂತರ ನಿವಾರಿಸುತ್ತದೆ, ವ್ಯವಸ್ಥೆಯ ಪ್ರತಿ ಕಾರ್ಯಾಚರಣೆಗೆ ಅನ್ವಯಿಸುವ ಅದೇ ಸುರಕ್ಷತಾ ಜಾರಿ, ಆಡಿಟ್ ಲಾಗಿಂಗ್, ಮತ್ತು ವರ್ಗೀಕರಣ ನಿಯಂತ್ರಣಗಳಿಂದ ನಿಯಂತ್ರಿಸಲ್ಪಟ್ಟಿದೆ. Triggerfish ವರ್ಕ್‌ಫ್ಲೋದಲ್ಲಿ LLM ಉಪ-ಏಜೆಂಟ್ ಹಂತ ಬೋಲ್ಟ್-ಆನ್ ಅಲ್ಲ. ಇದು HTTP ಕರೆ ಅಥವಾ ಡೇಟಾಬೇಸ್ ಪ್ರಶ್ನೆಯಂತೆ ಅದೇ ನೀತಿ hooks, ವಂಶಾವಳಿ ಟ್ರ್ಯಾಕಿಂಗ್, ಮತ್ತು write-down ತಡೆಯೊಂದಿಗೆ ಮೂಲ ಕಾರ್ಯಾಚರಣೆ.

ಪ್ರತ್ಯೇಕ ವ್ಯವಸ್ಥೆಯ ಬದಲು ವರ್ಕ್‌ಫ್ಲೋ ಹಂತವಾಗಿ AI

ವರ್ಕ್‌ಫ್ಲೋ DSL ನಲ್ಲಿ, LLM ಅನುಮಾನ ಹಂತ call: triggerfish:llm ನೊಂದಿಗೆ ವ್ಯಾಖ್ಯಾನಿಸಲಾಗುತ್ತದೆ. ಕಾರ್ಯ ವಿವರಣೆ ಉಪ-ಏಜೆಂಟ್‌ಗೆ ನೈಸರ್ಗಿಕ ಭಾಷೆಯಲ್ಲಿ ಏನು ಮಾಡಬೇಕೆಂದು ಹೇಳುತ್ತದೆ. ಔಟ್‌ಪುಟ್ ನೇರವಾಗಿ ವರ್ಕ್‌ಫ್ಲೋದ ಮುಂದಿನ ಹಂತಕ್ಕೆ ಹೋಗುತ್ತದೆ.

ಇದರ ಅರ್ಥ ಏಕೀಕರಿಸಲು ಪ್ರತ್ಯೇಕ "AI ವ್ಯವಸ್ಥೆ" ಇಲ್ಲ. ಅನುಮಾನ ವರ್ಕ್‌ಫ್ಲೋ ಒಳಗೆ ಸಂಭವಿಸುತ್ತದೆ, ಅದೇ ರುಜುವಾತುಗಳು, ಅದೇ ಡೇಟಾ ಸಂಪರ್ಕಗಳು, ಮತ್ತು ಬೇರೆಲ್ಲದರ ಅದೇ ಸುರಕ್ಷತಾ ಜಾರಿ ಬಳಸಿ.

ಕಸ್ಟಮ್ ಇಂಜಿನಿಯರಿಂಗ್ ಇಲ್ಲದ ಸುರಕ್ಷತೆ

AI ವರ್ಕ್‌ಫ್ಲೋ ಉತ್ಪಾದನೆಗೆ ತರುವ ಅತ್ಯಂತ ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುವ ಭಾಗ AI ಅಲ್ಲ. ಇದು ಸುರಕ್ಷತೆ ಮತ್ತು ಅನುಸರಣೆ ಕೆಲಸ. ಮಾದರಿ ಯಾವ ಡೇಟಾ ನೋಡಬಲ್ಲದು? ಅದು ತನ್ನ ಔಟ್‌ಪುಟ್ ಎಲ್ಲಿ ಕಳಿಸಬಲ್ಲದು?

Triggerfish ನಲ್ಲಿ, ಈ ಪ್ರಶ್ನೆಗಳಿಗೆ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಆರ್ಕಿಟೆಕ್ಚರ್ ಉತ್ತರ ನೀಡುತ್ತದೆ, ಪ್ರತಿ-ಯೋಜನಾ ಇಂಜಿನಿಯರಿಂಗ್ ಅಲ್ಲ. ವರ್ಗೀಕರಣ ವ್ಯವಸ್ಥೆ ಪ್ರತಿ ಗಡಿಯಲ್ಲಿ ಡೇಟಾ ಸಂವೇದನಶೀಲತೆ ಟ್ರ್ಯಾಕ್ ಮಾಡುತ್ತದೆ. ಮಾದರಿ ವರ್ಗೀಕೃತ ಡೇಟಾ ಪ್ರವೇಶಿಸಿದಾಗ ಅಧಿವೇಶನ taint ಹೆಚ್ಚಾಗುತ್ತದೆ. Write-down ತಡೆ ಔಟ್‌ಪುಟ್‌ನ್ನು ಅಧಿವೇಶನ taint ಮಟ್ಟಕ್ಕಿಂತ ಕಡಿಮೆ ವರ್ಗೀಕರಿಸಿದ ಚಾನೆಲ್‌ಗೆ ಹೋಗದಂತೆ ತಡೆಯುತ್ತದೆ.

ಗ್ರಾಹಕ ದಾಖಲೆಗಳು (CONFIDENTIAL) ಓದಿ ಸಾರಾಂಶ ಉತ್ಪಾದಿಸುವ AI ವರ್ಕ್‌ಫ್ಲೋ ಆ ಸಾರಾಂಶ PUBLIC Slack ಚಾನೆಲ್‌ಗೆ ಕಳಿಸಲಾಗುವುದಿಲ್ಲ. ಇದನ್ನು ಮಾದರಿ ನಿರ್ಲಕ್ಷಿಸಬಹುದಾದ ಪ್ರಾಂಪ್ಟ್ ಸೂಚನೆಯಿಂದ ಜಾರಿ ಮಾಡಲಾಗುವುದಿಲ್ಲ. ಇದನ್ನು PRE_OUTPUT hook ನಲ್ಲಿ ನಿರ್ಣಾಯಕ ಕೋಡ್‌ನಿಂದ ಜಾರಿ ಮಾಡಲಾಗುತ್ತದೆ.

ಈಗಾಗಲೇ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಆಡಿಟ್ ಟ್ರೇಲ್‌ಗಳು

Triggerfish ವರ್ಕ್‌ಫ್ಲೋದಲ್ಲಿ ಪ್ರತಿ AI ನಿರ್ಧಾರ ಸ್ವಯಂಚಾಲಿತವಾಗಿ ವಂಶಾವಳಿ ದಾಖಲೆಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ. ಪ್ರತಿ ಡೇಟಾ ಅಂಶ ಅದರ ಸೃಷ್ಟಿಯಿಂದ ಪ್ರತಿ ರೂಪಾಂತರ ಮೂಲಕ ಅದರ ಅಂತಿಮ ಗಮ್ಯಸ್ಥಾನಕ್ಕೆ ಮೂಲ ಮೆಟಾಡೇಟಾ ಒಯ್ಯುತ್ತದೆ. ಇದು ಸಕ್ರಿಯಗೊಳಿಸಬೇಕಾದ ಅಥವಾ ಸಂರಚಿಸಬೇಕಾದ ಲಾಗಿಂಗ್ ವೈಶಿಷ್ಟ್ಯ ಅಲ್ಲ. ಇದು ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ನ ರಚನಾತ್ಮಕ ಗುಣ.

ನಿಯಂತ್ರಿತ ಕೈಗಾರಿಕೆಗಳಿಗೆ, ಇದರ ಅರ್ಥ AI ವರ್ಕ್‌ಫ್ಲೋಗಾಗಿ ಅನುಸರಣೆ ಪುರಾವೆ ಮೊದಲ ದಿನದಿಂದ ಅಸ್ತಿತ್ವದಲ್ಲಿರುತ್ತದೆ. ಲೆಕ್ಕಪರಿಶೋಧಕ ಯಾವ AI-ಜನಿತ ಔಟ್‌ಪುಟ್ ಅನ್ನಾದರೂ ಸಂಪೂರ್ಣ ಸರಪಳಿಯ ಮೂಲಕ ಹಿಂಬಾಲಿಸಬಲ್ಲರು.

ಮರು-ಆರ್ಕಿಟೆಕ್ಚರ್ ಇಲ್ಲದ ಮಾದರಿ ನಮ್ಯತೆ

Triggerfish LlmProvider ಇಂಟರ್‌ಫೇಸ್ ಮೂಲಕ ಬಹು LLM ಒದಗಿಸುವವರನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ: Anthropic, OpenAI, Google, Ollama ಮೂಲಕ ಸ್ಥಳೀಯ ಮಾದರಿಗಳು, ಮತ್ತು ಯಾವ ರೂಟ್ ಮಾಡಿದ ಮಾದರಿಗಾದರೂ OpenRouter. ಒಳ್ಳೆಯ ಮಾದರಿ ಲಭ್ಯವಾದಾಗ ಅಥವಾ ಒದಗಿಸುವವರು ಬೆಲೆ ನಿರ್ಧಾರ ಬದಲಾಯಿಸಿದಾಗ, ಬದಲಾಯಿಸುವಿಕೆ ವರ್ಕ್‌ಫ್ಲೋ ವ್ಯಾಖ್ಯಾನಗಳನ್ನು ಮುಟ್ಟದೆ ಸಂರಚನಾ ಮಟ್ಟದಲ್ಲಿ ಸಂಭವಿಸುತ್ತದೆ.

Cron, Webhooks, ಮತ್ತು ಈವೆಂಟ್-ಚಾಲಿತ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆ

ವೇಳಾಪಟ್ಟಿಯ ಮೇಲೆ ಅಥವಾ ಈವೆಂಟ್‌ಗಳಿಗೆ ಪ್ರತಿಕ್ರಿಯೆಯಾಗಿ ಚಲಿಸುವ AI ವರ್ಕ್‌ಫ್ಲೋಗಳಿಗೆ ಮಾನವ ಪ್ರಾಂಪ್ಟ್ ಅಗತ್ಯ ಇಲ್ಲ. ಶೆಡ್ಯೂಲರ್ ಆವರ್ತಕ ವರ್ಕ್‌ಫ್ಲೋಗಳಿಗೆ ಐದು-ಕ್ಷೇತ್ರ cron ಅಭಿವ್ಯಕ್ತಿಗಳು ಮತ್ತು ಈವೆಂಟ್-ಚಾಲಿತ ಟ್ರಿಗರ್‌ಗಳಿಗಾಗಿ webhook ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ.

ಪ್ರತಿ ನಿಗದಿತ ಅಥವಾ ಈವೆಂಟ್-ಟ್ರಿಗರ್ ಮಾಡಿದ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆ ತಾಜಾ taint ನೊಂದಿಗೆ ಪ್ರತ್ಯೇಕ ಅಧಿವೇಶನ ಉತ್ಪಾದಿಸುತ್ತದೆ. cron-ಟ್ರಿಗರ್ ಮಾಡಿದ ವರ್ಕ್‌ಫ್ಲೋ CONFIDENTIAL ಡೇಟಾ ಪ್ರವೇಶಿಸಿದರೆ, ಆ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆ ಇತಿಹಾಸ ಮಾತ್ರ CONFIDENTIAL ನಲ್ಲಿ ವರ್ಗೀಕರಿಸಲ್ಪಡುತ್ತದೆ.

ದೋಷ ನಿರ್ವಹಣೆ ಮತ್ತು ಲೂಪ್‌ನಲ್ಲಿ ಮಾನವ

ಉತ್ಪಾದನ AI ವರ್ಕ್‌ಫ್ಲೋಗಳಿಗೆ ಸ್ವಾಭಾವಿಕವಾಗಿ ವೈಫಲ್ಯ ನಿರ್ವಹಿಸಬೇಕು. LLM ಉಪ-ಏಜೆಂಟ್ ಕಡಿಮೆ-ವಿಶ್ವಾಸ ಔಟ್‌ಪುಟ್ ಉತ್ಪಾದಿಸಿದಾಗ ಅಥವಾ ನಿರ್ವಹಿಸಲಾಗದ ಪರಿಸ್ಥಿತಿಯನ್ನು ಎದುರಿಸಿದಾಗ, ವರ್ಕ್‌ಫ್ಲೋ ಮಾನವ ಅನುಮೋದನೆ ಸರದಿಗೆ ರೂಟ್ ಮಾಡಬಲ್ಲದು, ಅಧಿಸೂಚನಾ ಸೇವೆ ಮೂಲಕ ಅಧಿಸೂಚನೆ ಕಳಿಸಬಲ್ಲದು, ಅಥವಾ ಮಿಂಚು ಕ್ರಿಯೆ ತೆಗೆದುಕೊಳ್ಳಬಲ್ಲದು.

ಅಧಿಸೂಚನಾ ಸೇವೆ ಆದ್ಯತೆ ಮತ್ತು ನಕಲು ತಡೆಯೊಂದಿಗೆ ಎಲ್ಲ ಸಂಪರ್ಕಿತ ಚಾನೆಲ್‌ಗಳಲ್ಲಿ ಎಚ್ಚರಿಕೆಗಳನ್ನು ತಲುಪಿಸುತ್ತದೆ.

ಅಭ್ಯಾಸದಲ್ಲಿ ಇದು ಹೇಗೆ ಕಾಣುತ್ತದೆ

ಕಾನೂನು ವಿಭಾಗ ಒಪ್ಪಂದ ವಿಮರ್ಶೆ ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸಲು ಬಯಸುತ್ತದೆ. ಸಾಂಪ್ರದಾಯಿಕ ವಿಧಾನ: ಅಪ್‌ಲೋಡ್ ಮಾಡಿದ ಒಪ್ಪಂದಗಳಿಂದ ನಿಯಮಗಳನ್ನು ಹೊರತೆಗೆಯುವ, ಅಪಾಯ ಮಟ್ಟ ವರ್ಗೀಕರಿಸುವ, ಮಾನಕೇತರ ನಿಯಮಗಳನ್ನು ಫ್ಲ್ಯಾಗ್ ಮಾಡುವ, ಮತ್ತು ವಿಮರ್ಶಿಸುವ ವಕೀಲರಿಗೆ ಸಾರಾಂಶ ಉತ್ಪಾದಿಸುವ ಪೈಪ್‌ಲೈನ್ ನಿರ್ಮಿಸಲು ಆರು ತಿಂಗಳ ಕಸ್ಟಮ್ ಅಭಿವೃದ್ಧಿ.

Triggerfish ನೊಂದಿಗೆ, ವರ್ಕ್‌ಫ್ಲೋ ವ್ಯಾಖ್ಯಾನ ಬರೆಯಲು ಒಂದು ದಿನ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ. ಅಪ್‌ಲೋಡ್ webhook ಟ್ರಿಗರ್ ಮಾಡುತ್ತದೆ. LLM ಉಪ-ಏಜೆಂಟ್ ಒಪ್ಪಂದ ಓದಿ, ಪ್ರಮುಖ ನಿಯಮಗಳನ್ನು ಹೊರತೆಗೆದು, ಅಪಾಯ ಮಟ್ಟ ವರ್ಗೀಕರಿಸಿ, ಮಾನಕೇತರ ನಿಯಮಗಳನ್ನು ಗುರುತಿಸುತ್ತದೆ. ಮೌಲ್ಯೀಕರಣ ಹಂತ ಮೆಮೊರಿಯಲ್ಲಿ ಸಂಗ್ರಹಿಸಿದ ಸಂಸ್ಥೆಯ ನಿಯಮ ಗ್ರಂಥಾಲಯದ ವಿರುದ್ಧ ಹೊರತೆಗೆಯುವಿಕೆ ಪರಿಶೀಲಿಸುತ್ತದೆ. ಸಾರಾಂಶ ನಿಯೋಜಿತ ವಕೀಲರ ಅಧಿಸೂಚನಾ ಚಾನೆಲ್‌ಗೆ ರೂಟ್ ಮಾಡಲಾಗುತ್ತದೆ. ಒಪ್ಪಂದಗಳು ಕ್ಲೈಂಟ್ ಸವಲತ್ತು ಪಡೆದ ಮಾಹಿತಿ ಒಳಗೊಂಡಿರುವ ಕಾರಣ ಸಂಪೂರ್ಣ ಪೈಪ್‌ಲೈನ್ RESTRICTED ವರ್ಗೀಕರಣದಲ್ಲಿ ಚಲಿಸುತ್ತದೆ.

ಸಂಸ್ಥೆ LLM ಒದಗಿಸುವವರನ್ನು ಬದಲಾಯಿಸಿದಾಗ, ಬದಲಾವಣೆ ಸಂರಚನೆಯಲ್ಲಿ ಒಂದೇ ಸಾಲು. ಅನುಸರಣೆ ತಂಡ ಮೊದಲ ದಿನದಿಂದ ಸಂಪೂರ್ಣ ಆಡಿಟ್ ಟ್ರೇಲ್ ಪಡೆಯುತ್ತದೆ. ಸ್ವಯಂಚಾಲಿತ ವರದಿ ಕೆಲಸದ ವಾರಗಳು ತೆಗೆದುಕೊಳ್ಳುತ್ತಿದ್ದ ಪುರಾವೆ ಸಂಗ್ರಹ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ನ ರಚನಾತ್ಮಕ ಗುಣವಾಗಿ ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಅಸ್ತಿತ್ವದಲ್ಲಿರುತ್ತದೆ.