استخراج داده‌های ساختارنیافته و نیمه‌ساختاریافته

پردازش فاکتور باید تا حالا یک مشکل حل‌شده باشد. یک سند می‌رسد، فیلدها استخراج می‌شوند، داده‌ها در برابر رکوردهای موجود اعتبارسنجی می‌شوند، و نتیجه به سیستم مناسب هدایت می‌شود. واقعیت این است که پردازش فاکتور به تنهایی سالانه میلیاردها دلار نیروی کار دستی برای سازمان‌ها هزینه دارد، و پروژه‌های اتوماسیون که قرار است آن را برطرف کنند مدام خراب می‌شوند.

دلیل آن تغییرپذیری تنسیق است. فاکتورها به صورت PDF، پیوست ایمیل، تصاویر اسکن‌شده، صادرات صفحه گسترده، و گاهی فکس می‌رسند. هر فروشنده از یک چیدمان متفاوت استفاده می‌کند. اقلام سطری در جداول، در متن آزاد، یا ترکیبی از هر دو ظاهر می‌شوند. محاسبات مالیاتی از قواعد متفاوتی بر اساس حوزه قضایی پیروی می‌کنند. تنسیق‌های ارزی متفاوت هستند. تنسیق‌های تاریخ متفاوت هستند. حتی همان فروشنده الگوی فاکتور خود را بدون اطلاع قبلی تغییر می‌دهد.

RPA سنتی این را با تطبیق الگو مدیریت می‌کند. مختصاتی که شماره فاکتور در آن ظاهر می‌شود، جایی که اقلام سطری شروع می‌شوند، جایی که مجموع قرار دارد را تعریف کنید. برای الگوی فعلی یک فروشنده کار می‌کند. سپس فروشنده سیستم خود را به‌روز می‌کند، یک ستون را جابجا می‌کند، یک ردیف سرصفحه اضافه می‌کند، یا مولد PDF خود را تغییر می‌دهد، و ربات یا کاملاً شکست می‌خورد یا داده‌های اشتباهی استخراج می‌کند که تا زمانی که کسی آن را به صورت دستی پیدا کند در پایین‌دستی پخش می‌شود.

همین الگو در هر گردش کار داده ساختارنیافته تکرار می‌شود. پردازش EOB بیمه وقتی یک شرکت پرداخت چیدمان فرم خود را تغییر می‌دهد خراب می‌شود. دریافت پیش‌مجوز وقتی یک نوع سند جدید به فرآیند اضافه می‌شود خراب می‌شود. تجزیه ایمیل مشتری وقتی کسی از یک تنسیق موضوع کمی متفاوت استفاده می‌کند خراب می‌شود. هزینه نگهداری این اتوماسیون‌ها اغلب از هزینه انجام کار به صورت دستی بیشتر است.

چگونه Triggerfish این را حل می‌کند

Triggerfish استخراج فیلد مکانی را با درک سند مبتنی بر LLM جایگزین می‌کند. هوش مصنوعی سند را به روشی که انسان انجام می‌دهد می‌خواند: درک زمینه، استنتاج روابط بین فیلدها، و سازگاری خودکار با تغییرات چیدمان. ترکیب با موتور گردش کار برای هماهنگی خط لوله و سیستم طبقه‌بندی برای امنیت داده، خطوط لوله استخراجی ایجاد می‌کند که وقتی دنیا تغییر می‌کند خراب نمی‌شوند.

تجزیه سند با قدرت LLM

وقتی یک سند وارد یک گردش کار Triggerfish می‌شود، یک زیرعامل LLM کل سند را می‌خواند و داده‌های ساختاریافته را بر اساس معنای سند استخراج می‌کند، نه اینکه پیکسل‌های خاص کجا هستند. شماره فاکتور یک شماره فاکتور است، چه در گوشه بالای سمت راست با برچسب "Invoice #" باشد یا در وسط صفحه با برچسب "Factura No." یا در یک پاراگراف متنی تعبیه شده باشد. LLM می‌فهمد که "Net 30" به معنای شرایط پرداخت است، که "Qty" و "Quantity" و "Units" یک چیز را می‌گویند، و اینکه یک جدول با ستون‌هایی برای توضیحات، نرخ، و مبلغ فهرست اقلام سطری است، صرف نظر از ترتیب ستون.

این رویکرد "سند را به ChatGPT ارسال کن و امیدوار باش" عمومی نیست. تعریف گردش کار دقیقاً مشخص می‌کند که LLM باید چه خروجی ساختاریافته‌ای تولید کند، چه قواعد اعتبارسنجی اعمال می‌شوند، و چه اتفاقی می‌افتد وقتی اطمینان استخراج پایین است. توضیح وظیفه زیرعامل طرح مورد انتظار را تعریف می‌کند، و مراحل بعدی گردش کار داده‌های استخراج‌شده را در برابر قواعد کسب و کار قبل از ورود به هر سیستم پایین‌دستی اعتبارسنجی می‌کنند.

اتوماسیون مرورگر برای بازیابی سند

بسیاری از گردش‌های کاری استخراج سند با دریافت سند در وهله اول شروع می‌شوند. EOBهای بیمه در پورتال‌های شرکت پرداخت زندگی می‌کنند. فاکتورهای فروشنده در پلتفرم‌های تأمین‌کننده. فرم‌های دولتی در وب‌سایت‌های سازمان‌های دولتی. اتوماسیون سنتی از اسکریپت‌های Selenium یا فراخوانی‌های API برای بازیابی این اسناد استفاده می‌کند، و این اسکریپت‌ها وقتی پورتال تغییر می‌کند خراب می‌شوند.

اتوماسیون مرورگر Triggerfish از Chromium کنترل‌شده توسط CDP با یک LLM که اسناد تصویری صفحه را برای ناوبری می‌خواند استفاده می‌کند. عامل صفحه را به روشی که انسان انجام می‌دهد می‌بیند و بر اساس آنچه می‌بیند کلیک می‌کند، تایپ می‌کند، و اسکرول می‌کند نه انتخابگرهای CSS کدگذاری‌شده. وقتی یک پورتال پرداخت صفحه ورود خود را بازطراحی می‌کند، عامل سازگار می‌شود چون هنوز می‌تواند فیلد نام کاربری، فیلد رمز عبور، و دکمه ارسال را از زمینه بصری شناسایی کند. وقتی منوی ناوبری تغییر می‌کند، عامل مسیر جدید به بخش دانلود سند را پیدا می‌کند.

این کاملاً قابل اطمینان نیست. CAPTCHA، جریان‌های احراز هویت چندعاملی، و پورتال‌های وابسته شدید به JavaScript هنوز مشکل ایجاد می‌کنند. اما حالت شکست اساساً با اسکریپت‌های سنتی متفاوت است. یک اسکریپت Selenium وقتی انتخابگر CSS دیگر مطابقت نداشته باشد به‌آرامی شکست می‌خورد. یک عامل Triggerfish گزارش می‌دهد که چه دیده، چه امتحان کرده، و کجا گیر کرده، و به اپراتور زمینه کافی برای دخالت یا تنظیم گردش کار می‌دهد.

پردازش مبتنی بر طبقه‌بندی

اسناد سطوح مختلفی از حساسیت دارند، و سیستم طبقه‌بندی این را به‌طور خودکار مدیریت می‌کند. یک فاکتور حاوی شرایط قیمت‌گذاری ممکن است CONFIDENTIAL باشد. یک پاسخ RFP عمومی ممکن است INTERNAL باشد. سندی حاوی PHI سطح RESTRICTED دارد. وقتی زیرعامل LLM یک سند را می‌خواند و داده استخراج می‌کند، هوک POST_TOOL_RESPONSE محتوای استخراج‌شده را طبقه‌بندی می‌کند، و taint جلسه متناسب با آن تشدید می‌شود.

این برای مسیریابی پایین‌دستی اهمیت دارد. داده‌های فاکتور استخراج‌شده طبقه‌بندی‌شده در CONFIDENTIAL نمی‌توانند به یک کانال Slack طبقه‌بندی‌شده در PUBLIC ارسال شوند. یک گردش کار که اسناد بیمه حاوی PHI را پردازش می‌کند به‌طور خودکار محدود می‌کند که داده‌های استخراج‌شده به کجا جاری شوند. قانون جلوگیری از نوشتن به پایین این را در هر مرز اجرا می‌کند، و LLM هیچ اختیاری برای نادیده گرفتن آن ندارد.

به‌ویژه برای مراقبت بهداشتی و خدمات مالی، این به معنی کاهش چشمگیر سربار انطباق پردازش سند خودکار است. به‌جای ساختن کنترل‌های دسترسی سفارشی در هر مرحله از هر خط لوله، سیستم طبقه‌بندی آن را به‌طور یکسان مدیریت می‌کند. یک حسابرس می‌تواند دقیقاً ردیابی کند که کدام اسناد پردازش شدند، چه داده‌ای استخراج شد، به کجا ارسال شد، و تأیید کند که هیچ داده‌ای به مقصد نامناسبی نرفته است، همه اینها از رکوردهای نسب که در هر مرحله به‌طور خودکار ایجاد می‌شوند.

سازگاری خودکار با تنسیق

وقتی یک فروشنده الگوی فاکتور خود را تغییر می‌دهد، اتوماسیون سنتی خراب می‌شود و تا زمانی که کسی به‌صورت دستی قواعد استخراج را به‌روز کند خراب می‌ماند. در Triggerfish، زیرعامل LLM در اجرای بعدی سازگار می‌شود. هنوز شماره فاکتور، اقلام سطری، و مجموع را پیدا می‌کند، چون برای معنا می‌خواند نه موقعیت. استخراج موفق می‌شود، داده‌ها در برابر همان قواعد کسب و کار اعتبارسنجی می‌شوند، و گردش کار کامل می‌شود.

به‌مرور زمان، عامل می‌تواند از حافظه بین‌جلسه‌ای برای یادگیری الگوها استفاده کند. اگر فروشنده A همیشه یک هزینه موجودی اضافه می‌کند که سایر فروشندگان نمی‌کنند، عامل آن را از استخراج‌های قبلی به یاد می‌آورد و می‌داند که به دنبال آن بگردد. اگر تنسیق EOB یک شرکت پرداخت خاص همیشه کدهای تنظیم را در مکان غیرمعمولی قرار می‌دهد، حافظه عامل از استخراج‌های موفق گذشته استخراج‌های آینده را قابل اطمینان‌تر می‌کند.

وقتی تغییر تنسیق آنقدر قابل توجه است که اطمینان استخراج LLM زیر آستانه تعریف‌شده در گردش کار می‌افتد، گردش کار سند را به صف بررسی انسانی هدایت می‌کند به‌جای اینکه حدس بزند. تصحیح‌های انسانی از طریق گردش کار تغذیه می‌شوند، و حافظه عامل الگوی جدید را برای مرجع آینده ذخیره می‌کند. سیستم به‌مرور زمان هوشمندتر می‌شود بدون اینکه کسی قواعد استخراج را بازنویسی کند.

هماهنگی خط لوله

استخراج سند به‌ندرت فقط "استخراج و ذخیره" است. یک خط لوله کامل سند را بازیابی می‌کند، داده‌های ساختاریافته استخراج می‌کند، آن‌ها را در برابر رکوردهای موجود اعتبارسنجی می‌کند، با داده‌های سیستم‌های دیگر غنی می‌کند، استثناها را برای بررسی انسانی هدایت می‌کند، و داده‌های اعتبارسنجی‌شده را در سیستم هدف بارگذاری می‌کند. موتور گردش کار همه اینها را در یک تعریف YAML واحد مدیریت می‌کند.

یک خط لوله پیش‌مجوز مراقبت بهداشتی ممکن است اینگونه باشد: اتوماسیون مرورگر تصویر فکس را از پورتال ارائه‌دهنده می‌آورد، یک زیرعامل LLM شناسه‌های بیمار و کدهای روش را استخراج می‌کند، یک فراخوانی HTTP بیمار را در برابر EHR اعتبارسنجی می‌کند، زیرعامل دیگری ارزیابی می‌کند که آیا مجوز معیارهای ضرورت پزشکی را بر اساس مستندات بالینی برآورده می‌کند، و نتیجه به تأیید خودکار یا صف مرور بالینی هدایت می‌شود. هر مرحله طبقه‌بندی‌ردیابی‌شده است. هر قطعه PHI برچسب taint دارد. مسیر حسابرسی کامل به‌طور خودکار وجود دارد.

در عمل چگونه به نظر می‌رسد

یک سیستم بهداشتی منطقه‌ای درخواست‌های پیش‌مجوز را از چهل دفتر ارائه‌دهنده مختلف پردازش می‌کند، هر کدام از چیدمان فرم خودشان استفاده می‌کنند، برخی فکس‌شده، برخی ایمیل‌شده، برخی در پورتال آپلود‌شده. رویکرد سنتی یک تیم هشت نفره برای بررسی و وارد کردن دستی هر درخواست نیاز داشت، چون هیچ ابزار اتوماسیونی نمی‌توانست تغییرپذیری تنسیق را به‌طور قابل اطمینان مدیریت کند.

با Triggerfish، یک گردش کار خط لوله کامل را مدیریت می‌کند. اتوماسیون مرورگر یا تجزیه ایمیل اسناد را بازیابی می‌کند. زیرعامل‌های LLM داده‌های ساختاریافته را صرف نظر از تنسیق استخراج می‌کنند. مراحل اعتبارسنجی داده‌های استخراج‌شده را در برابر پایگاه داده‌های EHR و فارماکوپه بررسی می‌کنند. یک سقف طبقه‌بندی RESTRICTED تضمین می‌کند که PHI هرگز مرز خط لوله را ترک نکند. اسنادی که LLM نمی‌تواند با اطمینان بالا تجزیه کند به یک مرور انسانی هدایت می‌شوند، اما آن حجم به‌مرور زمان کاهش می‌یابد چون حافظه عامل کتابخانه‌ای از الگوهای تنسیق می‌سازد.

تیم هشت نفره به دو نفر تبدیل می‌شود که استثناهایی را که سیستم علامت‌گذاری می‌کند مدیریت می‌کنند، به علاوه ممیزی‌های دوره‌ای کیفیت استخراج‌های خودکار. تغییرات تنسیق از دفاتر ارائه‌دهنده به‌طور خودکار جذب می‌شوند. چیدمان‌های فرم جدید در اولین برخورد مدیریت می‌شوند. هزینه نگهداری که بیشتر بودجه اتوماسیون سنتی را مصرف می‌کرد به نزدیک صفر می‌رسد.