קליטת נתונים לא מובנים ואחוסי-מבנה

עיבוד חשבוניות כבר היה אמור להיות בעיה פתורה. מסמך מגיע, שדות מחולצים, נתונים מאומתים מול רשומות קיימות, והתוצאה מנותבת למערכת המתאימה. המציאות היא שעיבוד חשבוניות בלבד עולה לארגונים מיליארדים בעבודה ידנית מדי שנה, ופרויקטי האוטומציה שנועדו לתקן זאת נשברים ללא הרף.

הסיבה היא שונות בפורמט. חשבוניות מגיעות כ-PDF, כקבצים מצורפים לדואר אלקטרוני, כתמונות סרוקות, כיצוא גיליונות אלקטרוניים, ולעיתים כפקסים. כל ספק משתמש בפריסה שונה. פריטי שורה מופיעים בטבלאות, בטקסט חופשי, או בשילוב של שניהם. חישובי מס עוקבים אחר כללים שונים לפי תחום שיפוט. פורמטי מטבע משתנים. פורמטי תאריך משתנים. אפילו אותו ספק משנה את תבנית החשבונית שלו ללא הודעה.

RPA מסורתית מטפלת בכך באמצעות התאמת תבניות. הגדר את הקואורדינטות שבהן מספר החשבונית מופיע, היכן פריטי השורה מתחילים, היכן נמצא הסכום הכולל. זה עובד עבור התבנית הנוכחית של ספק אחד. ואז הספק מעדכן את מערכתו, מזיז עמודה, מוסיף שורת כותרת, או משנה את מחולל ה-PDF שלו, והבוט נכשל לחלוטין או מחלץ נתוני זבל שמתפשטים במורד הזרם עד שמישהו תופס את זה ידנית.

אותו דפוס חוזר על פני כל תהליך עבודה של נתונים לא מובנים. עיבוד EOB של ביטוח נשבר כאשר חברת תשלום משנה את פריסת הטופס שלה. קבלת אישור מראש נשברת כאשר סוג מסמך חדש מתווסף לתהליך. פענוח דואר אלקטרוני של לקוחות נשבר כאשר מישהו משתמש בפורמט שורת נושא שונה במקצת. עלות הקיום של האוטומציה הזו לרוב עולה על עלות ביצוע העבודה ידנית.

כיצד Triggerfish פותרת את זה

Triggerfish מחליפה חילוץ שדות מיקומי בהבנת מסמכים מבוססת LLM. ה-AI קורא את המסמך כפי שאדם היה קורא: מבין הקשר, מסיק קשרים בין שדות, ומסתגל לשינויי פריסה אוטומטית. בשילוב עם מנוע תהליכי העבודה לתזמור צינורות ומערכת הסיווג לאבטחת נתונים, זה יוצר צינורות קליטה שלא נשברים כאשר העולם משתנה.

פענוח מסמכים מופעל LLM

כאשר מסמך נכנס לתהליך עבודה של Triggerfish, תת-סוכן LLM קורא את המסמך כולו ומחלץ נתונים מובנים בהתבסס על מה שהמסמך אומר, לא על מיקום פיקסלים ספציפיים. מספר חשבונית הוא מספר חשבונית בין אם הוא בפינה הימנית העליונה עם התווית "Invoice #", באמצע הדף עם התווית "Factura No.", או מוטמע בפסקת טקסט. ה-LLM מבין ש-"Net 30" פירושו תנאי תשלום, ש-"Qty" ו-"Quantity" ו-"Units" אומרים את אותו הדבר, ושטבלה עם עמודות לתיאור, שיעור, וסכום היא רשימת פריטי שורה ללא קשר לסדר העמודות.

זו אינה גישת "שלח את המסמך ל-ChatGPT ותקווה לטוב" כללית. הגדרת תהליך העבודה מציינת בדיוק איזה פלט מובנה ה-LLM צריך לייצר, אילו כללי אימות חלים, ומה קורה כאשר ביטחון החילוץ נמוך. תיאור המשימה של תת-הסוכן מגדיר את הסכמה הצפויה, והשלבים הבאים בתהליך העבודה מאמתים את הנתונים המחולצים מול כללי עסקים לפני שהם נכנסים לכל מערכת מורדת.

אוטומציה של דפדפן לאחזור מסמכים

תהליכי עבודה רבים של קליטת מסמכים מתחילים בקבלת המסמך מלכתחילה. EOBs של ביטוח חיים בפורטלי חברות תשלום. חשבוניות ספקים חיות בפלטפורמות ספקים. טפסי ממשלה חיים באתרי סוכנויות ממשלתיות. אוטומציה מסורתית משתמשת בסקריפטי Selenium או קריאות API כדי לאחזר מסמכים אלה, וסקריפטים אלה נשברים כאשר הפורטל משתנה.

אוטומציה הדפדפן של Triggerfish משתמשת ב-Chromium המבוקר ב-CDP עם LLM הקורא תמונות מצב של דפים לניווט. הסוכן רואה את הדף כפי שאדם רואה אותו ולוחץ, מקליד וגולל בהתבסס על מה שהוא רואה ולא על סלקטורים מקודדים של CSS. כאשר פורטל תשלום מעצב מחדש את דף הכניסה שלו, הסוכן מסתגל כי הוא עדיין יכול לזהות את שדה שם המשתמש, שדה הסיסמה, וכפתור ההגשה מהקשר ויזואלי. כאשר תפריט הניווט משתנה, הסוכן מוצא את הנתיב החדש לסעיף הורדת המסמכים.

זה לא אמין לחלוטין. CAPTCHAs, זרימות אימות רב-גורמי, ופורטלים התלויים מאוד ב-JavaScript עדיין גורמים לבעיות. אבל מצב הכשל שונה מהותית מסקריפטים מסורתיים. סקריפט Selenium נכשל בשקט כאשר סלקטור CSS מפסיק להתאים. סוכן Triggerfish מדווח על מה שהוא רואה, מה שניסה, והיכן נתקע, ומעניק למפעיל מספיק הקשר להתערב או להתאים את תהליך העבודה.

עיבוד מסווג-גדור

מסמכים נושאים רמות שונות של רגישות, ומערכת הסיווג מטפלת בכך אוטומטית. חשבונית המכילה תנאי תמחור עשויה להיות CONFIDENTIAL. תגובה ל-RFP ציבורי עשויה להיות INTERNAL. מסמך המכיל PHI הוא RESTRICTED. כאשר תת-הסוכן LLM קורא מסמך ומחלץ נתונים, ה-hook של POST_TOOL_RESPONSE מסווג את התוכן המחולץ, וה-taint של המפגש מוסלם בהתאם.

זה חשוב לניתוב מורד. נתוני חשבונית מחולצים המסווגים ב-CONFIDENTIAL לא ניתן לשלוח לערוץ Slack המסווג ב-PUBLIC. תהליך עבודה המעבד מסמכי ביטוח המכילים PHI מגביל אוטומטית לאן הנתונים המחולצים יכולים לזרום. כלל מניעת הכתיבה-כלפי-מטה מאכף זאת בכל גבול, ול-LLM אין שום סמכות לעקוף זאת.

עבור שירותי בריאות ושירותים פיננסיים בפרט, משמעות הדבר היא שעלות התקנת הציות של עיבוד מסמכים אוטומטי יורדת דרמטית. במקום לבנות בקרות גישה מותאמות בכל שלב של כל צינור, מערכת הסיווג מטפלת בכך באופן אחיד. מבקר יכול לעקוב בדיוק אחר אילו מסמכים עובדו, אילו נתונים חולצו, לאן הם נשלחו, ולאשר שאין נתונים שזרמו ליעד לא מתאים, הכל מרשומות השושלת שנוצרות אוטומטית בכל שלב.

הסתגלות פורמט ריפוי-עצמי

כאשר ספק משנה את תבנית החשבונית שלו, האוטומציה המסורתית נשברת ונשארת שבורה עד שמישהו מעדכן ידנית את כללי החילוץ. ב-Triggerfish, תת-הסוכן LLM מסתגל בהרצה הבאה. הוא עדיין מוצא את מספר החשבונית, פריטי השורה, והסכום הכולל, כי הוא קורא למשמעות ולא למיקום. החילוץ מצליח, הנתונים מאומתים מול אותם כללי עסקים, ותהליך העבודה מושלם.

לאורך זמן, הסוכן יכול להשתמש בזיכרון בין-מפגשי כדי ללמוד דפוסים. אם ספק A תמיד כולל עמלת ריסטוקינג שספקים אחרים לא כוללים, הסוכן זוכר זאת מחילוצים קודמים ויודע לחפש אותה. אם פורמט ה-EOB של חברת תשלום מסוימת תמיד שם את קודי ההתאמה במיקום יוצא דופן, זיכרון הסוכן של חילוצים מוצלחים קודמים הופך עתידיים לאמינים יותר.

כאשר שינוי פורמט מספיק משמעותי כך שביטחון החילוץ של ה-LLM נופל מתחת לסף המוגדר בתהליך העבודה, תהליך העבודה מנתב את המסמך לתור סקירה אנושית במקום לנחש. תיקוני הסקרן מוזנים חזרה דרך תהליך העבודה, וזיכרון הסוכן שומר את הדפוס החדש לעיון עתידי. המערכת הופכת לחכמה יותר לאורך זמן מבלי שמישהו מחדש את כללי החילוץ.

תזמור צינורות

קליטת מסמכים היא לעיתים נדירות רק "חלץ ושמור". צינור שלם מאחזר את המסמך, מחלץ נתונים מובנים, מאמת אותם מול רשומות קיימות, מועשר בנתונים ממערכות אחרות, מנתב חריגים לסקירה אנושית, וטוען את הנתונים המאומתים למערכת היעד. מנוע תהליכי העבודה מטפל בכל זאת בהגדרת YAML בודדת.

צינור אישור מראש לשירותי בריאות עשוי להיראות כך: אוטומציה הדפדפן מאחזרת את תמונת הפקס מפורטל הספק, תת-סוכן LLM מחלץ מזהי מטופל וקודי פרוצדורה, קריאת HTTP מאמתת את המטופל מול ה-EHR, תת-סוכן נוסף מעריך האם האישור עומד בקריטריונים של הכרח רפואי בהתבסס על התיעוד הקליני, והתוצאה מנותבת לאישור אוטומטי או לתור סקירה קלינית. כל שלב מסווג-נרדף. כל חתיכת PHI מתויגת ב-taint. מסלול הביקורת המלא קיים אוטומטית.

איך זה נראה בפועל

מערכת בריאות אזורית מעבדת בקשות אישור מראש מארבעים משרדי ספקים שונים, כל אחד משתמש בפריסת הטופס שלו, חלקם בפקס, חלקם בדואר אלקטרוני, חלקם מועלים לפורטל. הגישה המסורתית דרשה צוות של שמונה אנשים לסקור ולהזין כל בקשה ידנית, כי שום כלי אוטומציה לא יכול היה לטפל בשונות הפורמט באופן אמין.

עם Triggerfish, תהליך עבודה מטפל בצינור המלא. אוטומציה הדפדפן או פענוח דואר אלקטרוני מאחזר את המסמכים. תת-סוכני LLM מחלצים את הנתונים המובנים ללא קשר לפורמט. שלבי אימות בודקים את הנתונים המחולצים מול מסדי נתונים של EHR וספרי תרופות. תקרת סיווג של RESTRICTED מבטיחה ש-PHI לא יעזוב את גבול הצינור. מסמכים שה-LLM לא יכול לנתח עם ביטחון גבוה מנותבים לסוקר אנושי, אך נפח זה פוחת לאורך זמן כאשר זיכרון הסוכן בונה ספריה של דפוסי פורמט.

צוות שמונת האנשים הופך לשני אנשים המטפלים בחריגים שהמערכת מסמנת, בתוספת ביקורות איכות תקופתיות של החילוצים האוטומטיים. שינויי פורמט ממשרדי ספקים נספגים אוטומטית. פריסות טפסים חדשות מטופלות בפגישה הראשונה. עלות התחזוקה שצרכה את רוב תקציב האוטומציה המסורתית יורדת לאפס כמעט.