خطرات توهم هوش مصنوعی برای کسب‌وکار به پیامدهای عملیاتی، حقوقی، مالی و اعتباری اشاره دارد که زمانی پدید می‌آید که سیستم‌های هوش مصنوعی اطلاعاتی را با اعتمادبه‌نفس کامل اما به‌طور واقعی نادرست تولید می‌کنند و این اطلاعات در درون یک سازمان مورد عمل قرار می‌گیرد. ریسک این نیست که هوش مصنوعی گاهی اشتباه می‌کند؛ بلکه این است که اشتباهاتش به‌گونه‌ای ظاهر می‌شوند که از خروجی دقیق قابل تشخیص نیست.

هر رهبر کسب‌وکاری که به‌اندازه‌ی کافی از مدل‌های زبانی بزرگ استفاده کرده باشد، با یک توهم مواجه شده است، حتی اگر در آن لحظه آن را نشناخته باشد. یک آمار ظاهراً موجه که نمی‌توان منبعش را یافت. یک ارجاع حقوقی که وجود ندارد. یک مشخصات محصول که با اعتمادبه‌نفس کامل توصیف شده اما با مستندات واقعی در تضاد است. ویژگی نگران‌کننده‌ی توهمات هوش مصنوعی وجودشان نیست، بلکه نحوه‌ی ارائه‌ی آن‌هاست. یک متخصص انسانی که مردد است، با احتیاط صحبت می‌کند، شرط می‌گذارد و تردید را نشان می‌دهد. سیستم هوش مصنوعی‌ای که داستان‌سرایی می‌کند، آن را با همان لحن آمرانه‌ی واقعیت‌های تأیید شده تولید می‌کند، بدون هیچ نشانه‌ی قابل‌مشاهده‌ای از اینکه چیزی اشتباه است. برای کسب‌وکارهایی که تصمیم می‌گیرند، خروجی تولید می‌کنند و با مشتریان و نهادهای نظارتی بر اساس کار با کمک هوش مصنوعی ارتباط برقرار می‌کنند، این ویژگی دسته‌ای از ریسک را ایجاد می‌کند که کنترل‌های کیفیت سنتی برای شناسایی آن طراحی نشده‌اند. این راهنما توضیح می‌دهد که خطرات توهم هوش مصنوعی برای کسب‌وکار در کجا خطرناک‌ترند، چه عواملی آن‌ها را به‌وجود می‌آورند و سازمان‌ها برای کاهش ریسک خود بدون از دست دادن دستاوردهای واقعی بهره‌وری که هوش مصنوعی ارائه می‌دهد، چه کارهایی می‌توانند انجام دهند.

درک چرایی وقوع توهمات هوش مصنوعی

ماهیت آماری خروجی مدل‌های زبانی

برای مدیریت مؤثر خطرات توهم هوش مصنوعی برای کسب‌وکار، فهم آنچه واقعاً هنگام تولید اطلاعات نادرست توسط یک مدل اتفاق می‌افتد بسیار مفید است. مدل‌های زبانی بزرگ، حقایق را به‌شکلی که موتورهای جست‌وجو صفحات وب را بازیابی می‌کنند، از یک پایگاه داده استخراج نمی‌کنند. آن‌ها متن را توکن به توکن تولید می‌کنند و هر کلمه بر اساس الگوهای آماری آموخته‌شده در طی آموزش بر روی حجم عظیمی از متن انتخاب می‌شود. مدل همواره همین کار را می‌کند: تولید محتمل‌ترین ادامه‌ی آماری برای ورودی‌ای که دریافت کرده است.

این فرآیند به‌طور فوق‌العاده‌ای در تولید متن روان، منسجم و متناسب با زمینه عالی است. این فرآیندی نیست که برای راستی‌آزمایی دقت واقعی طراحی شده باشد. زمانی که یک مدل عددی، نامی، تاریخی یا ارجاعی تولید می‌کند، آنچه را که از نظر آماری با الگوی نمایش چنین اطلاعاتی در متن مطابقت دارد تولید می‌کند، نه آنکه یک واقعیت تأیید شده از منبعی موثق بازیابی کند. وقتی داده‌های آموزشی شامل نمونه‌های قابل‌اعتماد کافی از یک واقعیت خاص باشد، خروجی آماری معمولاً دقیق است. وقتی داده‌های آموزشی برای موضوعی خاص، کم، متناقض یا غایب باشد، مدل آنچه را که با الگو مطابقت دارد تولید می‌کند، صرف‌نظر از اینکه آن خروجی واقعیت را منعکس می‌کند یا نه.

به همین دلیل است که توهمات در حوزه‌های قابل پیش‌بینی متمرکز می‌شوند. داده‌های عددی خاص، رویدادهای اخیر، اسامی خاص ناشناخته، مشخصات فنی دقیق و ارجاعات حقوقی یا نظارتی همگی حوزه‌هایی هستند که داده‌های آموزشی یا کم است یا اشتباهات کوچک در مواد منبع در آن‌ها رایج است. این‌ها همچنین، نه به‌طور تصادفی، دقیقاً همان حوزه‌هایی هستند که کاربران تجاری بیشترین نیاز را به اطلاعات دقیق و خاص دارند.

چرا تحویل با اعتمادبه‌نفس مشکل را بدتر می‌کند

نرم‌افزارهای مصرف‌کننده‌ای که پاسخ‌های نادرست تولید می‌کنند، معمولاً عدم اطمینان را از طریق پیام‌های خطا، نشانگرهای اطمینان یا حالت‌های شکست آشکار نشان می‌دهند. یک فرمول صفحه‌گسترده که به یک سلول گمشده ارجاع می‌دهد، خطا تولید می‌کند. یک پرس‌وجوی پایگاه داده بدون نتیجه، چیزی برنمی‌گرداند. شکست قابل مشاهده است.

توهمات هوش مصنوعی به‌طور نامرئی شکست می‌خورند. مدل حالت داخلی ندارد که بین اطلاعاتی که از آن مطمئن است و اطلاعاتی که برای پر کردن یک خلأ تولید می‌کند، تمایز قائل شود. هر دو دسته همان خروجی روان و با اعتمادبه‌نفس را تولید می‌کنند. برخی از سیستم‌های هوش مصنوعی بهبود یافته‌اند تا هنگام عدم قطعیت صریح‌تر احتیاط کنند، اما ویژگی بنیادی همچنان باقی است: محتوای توهم‌شده برای هر کسی که خروجی را بدون راستی‌آزمایی مستقل می‌خواند، شبیه محتوای دقیق به نظر می‌رسد.

برای کاربران تجاری که ابزارهای هوش مصنوعی را دقیقاً به این دلیل می‌پذیرند که زمان صرف‌شده برای راستی‌آزمایی و تحقیق را کاهش می‌دهد، این یک پویایی خطرناک ایجاد می‌کند. سود کارایی کمک هوش مصنوعی تنها در صورتی محقق می‌شود که کاربران به اندازه‌ای به خروجی اعتماد کنند که بدون بررسی همه چیز بر اساس آن عمل کنند. اما عمل کردن بر اساس خروجی بدون بررسی همه چیز دقیقاً همان شرایطی است که در آن توهمات آسیب می‌رسانند.

جایی که خطرات توهم هوش مصنوعی بیشترین آسیب را به کسب‌وکار می‌زنند

کاربردهای حقوقی و انطباق

حوزه‌ی حقوقی جایی است که خطرات توهم هوش مصنوعی برای کسب‌وکار برخی از مستندترین و پرهزینه‌ترین پیامدهای واقعی را به‌وجود آورده است. مشکل جعل ارجاع، که در آن سیستم‌های هوش مصنوعی ارجاعات پرونده‌های حقوقی ظاهراً موجه اما ناموجود تولید می‌کنند، زمانی به توجه گسترده‌ی عموم رسید که وکلا لوایح تولیدشده توسط هوش مصنوعی حاوی ارجاعات جعلی را به دادگاه‌ها ارائه دادند. پیامدهای حرفه‌ای و اعتباری شدید بود و این پرونده‌ها به نمونه‌های پراستنادی از ریسک هوش مصنوعی در عمل حرفه‌ای تبدیل شدند.

این مشکل به‌خوبی از پرونده‌های دادگاه فراتر می‌رود. تیم‌های انطباق که از هوش مصنوعی برای تفسیر الزامات نظارتی استفاده می‌کنند، بخش‌های حقوقی که از هوش مصنوعی برای خلاصه‌سازی شرایط قرارداد استفاده می‌کنند و تیم‌های ریسک که از هوش مصنوعی برای ارزیابی ریسک نظارتی استفاده می‌کنند، همگی با همین آسیب‌پذیری بنیادی روبه‌رو هستند. خروجی هوش مصنوعی که با اطمینان یک الزام نظارتی، یک بند قرارداد یا یک استاندارد حقوقی را به‌نادرستی ارائه می‌دهد، می‌تواند تصمیماتی با پیامدهای حقوقی قابل‌توجه را قبل از آنکه کسی نادرستی زیربنایی را کشف کند، آگاه سازد.

بررسی نحوه‌ی اعمال چارچوب‌های امنیت هوش مصنوعی و حاکمیت بر گردش‌های کاری حقوقی و انطباقی با کمک هوش مصنوعی، به سازمان‌ها کمک می‌کند تا نقاط بازرسی راستی‌آزمایی را که این خطاها را قبل از پیامدساز شدن می‌گیرند، بسازند.

تحلیل و گزارش‌دهی مالی

کاربردهای مالی دسته‌ی دیگری با ریسک بالا برای خطرات توهم هوش مصنوعی برای کسب‌وکار هستند. سیستم‌های هوش مصنوعی که برای تحلیل داده‌های مالی، تولید پیش‌بینی‌ها، خلاصه‌سازی عملکرد مالی یا ارزیابی سناریوهای سرمایه‌گذاری درخواست می‌شوند، می‌توانند خروجی‌های عددی تولید کنند که از نظر تحلیلی دقیق به نظر می‌رسند اما حاوی ارقام جعلی، محاسبات نادرست یا روندهای تحریف‌شده هستند.

ارائه‌ی بصری تحلیل مالی تولیدشده توسط هوش مصنوعی اغلب اعتمادبه‌نفس کاذب را تقویت می‌کند. یک جدول ارقام با قالب‌بندی خوب، یک نمودار پیش‌بینی با برچسب‌گذاری واضح یا یک خلاصه‌ی مالی ساختاریافته، اعتبار تحلیلی را منتقل می‌کند، صرف‌نظر از اینکه اعداد زیربنایی واقعیت را منعکس می‌کنند یا نه. متخصصان مالی که تحت فشار مهلت زمانی از هوش مصنوعی برای تسریع کارهای گزارش‌دهی و تحلیل استفاده می‌کنند، در صورتی که گردش کار شامل راستی‌آزمایی عددی صریح در برابر داده‌های منبع نباشد، با ریسک واقعی روبه‌رو هستند.

مشکل تجمیعی در زمینه‌های مالی این است که یک رقم توهم‌شده می‌تواند از طریق محاسبات، تحلیل‌ها و تصمیمات بعدی که بر آن خروجی اولیه ساخته شده‌اند، گسترش یابد. یک رقم پایه‌ی نادرست استفاده‌شده در یک پیش‌بینی، یک آبشار از خطاهای جاری را تولید می‌کند که همگی از نظر داخلی با یکدیگر سازگارند در حالی که در مجموع نادرست هستند. تشخیص آن نوع خطای سیستمی نیازمند بررسی پایه است، نه فقط بررسی اینکه آیا تحلیل از نظر داخلی منسجم است.

ارتباطات با مشتری

ارتباطات با مشتری تولیدشده توسط هوش مصنوعی که حاوی مشخصات محصول، اطلاعات قیمت‌گذاری، شرایط خط‌مشی یا تعهدات خدماتی توهم‌شده است، در معرض قراردادی و اعتباری قرار می‌دهد که سازمان‌ها اغلب تنها پس از اینکه مشتریان به اطلاعات نادرست تکیه کرده و خواستار رعایت آن از سوی سازمان شده‌اند، آن را کشف می‌کنند.

یک هوش مصنوعی خدمات مشتری که با اعتمادبه‌نفس یک پنجره‌ی بازگشت را اعلام می‌کند که با خط‌مشی واقعی مطابقت ندارد، انتظاری در مشتری ایجاد کرده است که سازمان یا با هزینه آن را برآورده می‌سازد یا با ریسک اعتباری ناامیدش می‌کند. یک هوش مصنوعی دستیار فروش که قابلیت‌های محصولی را توصیف می‌کند که در محصول واقعی وجود ندارد، پایه‌ای برای مشتری ناراضی و احتمالاً یک ادعای تبلیغاتی گمراه‌کننده ایجاد کرده است.

حجمی که سیستم‌های هوش مصنوعی می‌توانند ارتباطات با مشتری را تولید کنند، این ریسک را تشدید می‌کند. یک نماینده‌ی انسانی که به‌طور مداوم خط‌مشی را به‌اشتباه نقل می‌کند، تعداد محدودی از مشتریان را تحت تأثیر قرار می‌دهد. یک سیستم هوش مصنوعی که همان کار را در مقیاس انجام می‌دهد، هر تعامل با مشتری را در دوره‌ای که خطا کشف نشده، تحت تأثیر قرار می‌دهد.

عملکرد کسب‌وکار	نوع ریسک توهم	پیامد بالقوه
حقوقی و انطباق	ارجاعات جعلی، تحریف مقررات	جریمه‌های نظارتی، تحریم‌های دادگاهی، مسئولیت حرفه‌ای
تحلیل مالی	ارقام نادرست، روندهای جعلی، محاسبات اشتباه	تصمیمات سرمایه‌گذاری معیوب، خطاهای گزارش‌دهی، یافته‌های ممیزی
ارتباطات با مشتری	جزئیات محصول نادرست، شرایط خط‌مشی اشتباه	اختلافات قراردادی، آسیب اعتباری، نظارت نظارتی
پزشکی و بالینی	اطلاعات بالینی نادرست، ارجاعات اشتباه دوز	ریسک ایمنی بیمار، قرار گرفتن در معرض سهل‌انگاری
مستندات فنی	مشخصات نادرست، ادعاهای سازگاری جعلی	شکست‌های محصول، حوادث ایمنی، ادعاهای گارانتی
تحقیق و استراتژی	داده‌های تحریف‌شده، منابع جعلی	تصمیمات استراتژیک معیوب، آسیب به اعتبار

تأثیر توهمات بر تصمیم‌گیری کسب‌وکار

مهم‌ترین پیامد تجاری توهمات هوش مصنوعی اغلب خود خطای فوری نیست، بلکه تصمیماتی است که در پایین‌دست آن خطا قبل از کشف آن گرفته می‌شود. یک توصیه‌ی استراتژیک که بر اساس تحقیقات بازار تولیدشده توسط هوش مصنوعی و حاوی داده‌های جعلی رقیب ساخته شده است، منجر به تصمیمات تخصیص منابع، انتخاب‌های نقشه‌ی راه محصول و استراتژی‌های موقعیت‌یابی رقابتی می‌شود که همگی برای واقعیت بازاری که وجود ندارد بهینه شده‌اند.

مشکل زنجیره‌ی تصمیم به این معنی است که هزینه‌ی یک توهم با میزانی که خطا قبل از تشخیص به پایین‌دست می‌رود، افزایش می‌یابد. خطایی که در مرحله‌ی بررسی خروجی هوش مصنوعی گرفته شود، فقط زمان لازم برای اصلاح آن را هزینه‌بر می‌کند. خطایی که قبل از کشف، یک تصمیم در سطح هیئت‌مدیره را آگاه می‌کند، از نظر گمراهی استراتژیک، آسیب اعتباری و منابع صرف‌شده برای بازگرداندن تصمیمات گرفته‌شده بر اساس مفروضات نادرست، هزینه‌ی بسیار بیشتری دارد.

به همین دلیل است که پرسش حاکمیت پیرامون خطرات توهم هوش مصنوعی برای کسب‌وکار صرفاً این نیست که آیا از هوش مصنوعی استفاده شود، بلکه این است که کجا باید نقاط بازرسی راستی‌آزمایی را قرار داد که زنجیره‌ی تصمیم را قبل از اینکه محتوای توهم‌شده به تصمیمات پیامدساز برسد، قطع کنند. اصل ۳۰٪ مستقیماً در اینجا اعمال می‌شود. هوش مصنوعی باید حدود ۳۰٪ از یک گردش کار تحلیلی یا تحقیقی را، یعنی کار ترکیب و پیش‌نویس‌نویسی که به‌طور کارآمد انجام می‌دهد، انجام دهد، در حالی که تخصص انسانی راستی‌آزمایی، قضاوت و پاسخگویی نتایج را پوشش می‌دهد که ۷۰٪ تشکیل می‌دهد جایی که مسئولیت واقعی تصمیم‌گیری زندگی می‌کند.

درک اینکه چگونه انتخاب‌های معماری هوش مصنوعی شامل سیستم‌های RAG، مکانیزم‌های زمینه‌سازی و الزامات ارجاع، نرخ توهم را تحت تأثیر قرار می‌دهد، به سازمان‌ها کمک می‌کند ابزارهای هوش مصنوعی را انتخاب و پیکربندی کنند که حالت‌های شکست آن‌ها برای موارد استفاده‌ی خاصشان کمترین خطر را دارد.

رویکردهای عملی برای کاهش ریسک توهم

گردش‌های کاری راستی‌آزمایی که واقعاً کار می‌کنند

مهم‌ترین پاسخ سازمانی به خطرات توهم هوش مصنوعی برای کسب‌وکار، گنجاندن راستی‌آزمایی در گردش‌های کاری قبل از رسیدن خروجی هوش مصنوعی به تصمیم‌گیری یا ارتباطات خارجی است، نه برخورد با راستی‌آزمایی به‌عنوان امری اختیاری یا واگذاری آن به قضاوت فردی.

گردش‌های کاری راستی‌آزمایی مؤثر حول پروفایل ریسک توهم خاص هر مورد استفاده طراحی شده‌اند. برای داده‌های عددی، راستی‌آزمایی به معنای بررسی ارقام در برابر سیستم‌های منبع معتبر است، نه پذیرش مقادیر محاسبه‌شده توسط هوش مصنوعی. برای محتوای حقوقی و نظارتی، راستی‌آزمایی به معنای بررسی ارجاعات در برابر قانون پرونده‌ها و متن نظارتی واقعی است. برای اطلاعات محصول و خط‌مشی، راستی‌آزمایی به معنای بررسی خروجی هوش مصنوعی در برابر مستندات رسمی جاری است، نه اعتماد به نمایش هوش مصنوعی از آن.

سرمایه‌گذاری راستی‌آزمایی باید با پیامد یک خطای کشف‌نشده متناسب باشد. یک توهم در یادداشت‌های طوفان فکری داخلی، ریسک سازمانی حداقلی دارد. یک توهم در یک ارائه‌ی نظارتی، یک قرارداد مشتری یا یک گزارش منتشرشده، ریسک قابل‌توجهی دارد. تخصیص تلاش راستی‌آزمایی به این ترتیب، کنترل کیفیت را روی جایی متمرکز می‌کند که بیشترین اهمیت را دارد، نه ایجاد بار بررسی غیرپایدار در تمام کارهای با کمک هوش مصنوعی.

انتخاب‌های معماری که توهم را در منبع کاهش می‌دهند

فراتر از گردش‌های کاری راستی‌آزمایی، سازمان‌ها می‌توانند نرخ توهم را به‌طور قابل‌توجهی از طریق انتخاب‌های معماری خود هنگام استقرار سیستم‌های هوش مصنوعی کاهش دهند. تولید تقویت‌شده با بازیابی (RAG)، که پاسخ‌های مدل را در اسناد بازیابی‌شده از منابع معتبر زمینه‌سازی می‌کند، نه اینکه به داده‌های آموزشی متکی باشد، توهم را در پرسش‌های مربوط به حوزه‌های خاص با ارائه‌ی محتوای دقیق به مدل برای استفاده، نه درخواست از آن برای تولید از حافظه، به‌طور قابل‌توجهی کاهش می‌دهد.

الزامات ارجاع صریح، یکی دیگر از کنترل‌های معماری قدرتمند است. پیکربندی سیستم‌های هوش مصنوعی برای ارجاع به منابع خاص برای ادعاهای واقعی در خروجی‌هایشان، هم نرخ تولید ادعاهای بدون منبع توسط مدل‌ها را کاهش می‌دهد و هم راستی‌آزمایی را برای انسان‌هایی که خروجی را بررسی می‌کنند ساده می‌کند. وقتی یک ادعا با منبعش همراه است، بررسی ادعا چند ثانیه طول می‌کشد. وقتی نیست، راستی‌آزمایی نیازمند شناسایی و مشورت مستقل با منابع است.

تنظیمات دما نیز نرخ توهم را تحت تأثیر قرار می‌دهند. مدل‌های هوش مصنوعی در تنظیمات دمای بالاتر خروجی‌های خلاقانه‌تر و متنوع‌تری تولید می‌کنند که هم تطبیق‌پذیری آن‌ها را برای وظایف خلاقانه‌ی باز افزایش می‌دهد و هم تمایل آن‌ها به تولید محتوایی که از زمینه‌سازی واقعی دور می‌شود را افزایش می‌دهد. تنظیمات دمای پایین‌تر خروجی‌های محافظه‌کارانه‌تر و قابل پیش‌بینی‌تری تولید می‌کنند که تمایل دارند به آنچه مدل سیگنال آموزشی قابل‌اعتمادی برای آن دارد، نزدیک‌تر بمانند. برای کاربردهای تجاری حساس به واقعیت، پیکربندی‌های دمای پایین‌تر ریسک توهم را به قیمت برخی از دامنه‌ی خلاقیت کاهش می‌دهند.

بررسی نحوه‌ی پیاده‌سازی ویژگی‌های هوش مصنوعی در پلتفرم‌های سازمانی برای کنترل‌های زمینه‌سازی، ارجاع و دما، به سازمان‌ها کمک می‌کند تا استقرارهای خود را برای پروفایل ریسک توهم مناسب موارد استفاده‌ی خود پیکربندی کنند، نه پذیرش تنظیمات پیش‌فرض طراحی‌شده برای استفاده‌ی عمومی.

ساخت سازمانی که از هوش مصنوعی استفاده می‌کند بدون اینکه به خطاهای آن وابسته شود

آموزش کارکنان که شک‌گرایی مناسب می‌سازد

عامل انسانی در مدیریت خطرات توهم هوش مصنوعی برای کسب‌وکار اغلب نسبت به کنترل‌های فنی دست‌کم گرفته می‌شود. کارمندانی که می‌فهمند چرا و چگونه سیستم‌های هوش مصنوعی توهم می‌زنند، شک‌گرایی مناسبی را توسعه می‌دهند که به‌عنوان یک بررسی کیفیت پیوسته در هر وظیفه‌ی با کمک هوش مصنوعی عمل می‌کند. کارمندانی که به آن‌ها گفته شده هوش مصنوعی قدرتمند است اما درباره‌ی حالت‌های شکست خاص آن به آن‌ها گفته نشده، تمایل دارند یا به خروجی‌ها بیش از حد اعتماد کنند یا یک بی‌اعتمادی کلی توسعه دهند که از استفاده‌ی مؤثر جلوگیری می‌کند.

آموزشی که نمونه‌های مشخصی از توهم در زمینه‌های تجاری را پوشش می‌دهد، مکانیزم را به اصطلاحات قابل‌فهم توضیح می‌دهد و به کارکنان شیوه‌های راستی‌آزمایی خاص برای موارد استفاده‌ی آن‌ها ارائه می‌دهد، نتایج به‌طور معناداری بهتری نسبت به آموزش عمومی سواد هوش مصنوعی تولید می‌کند. کارمندی که می‌فهمد سیستم‌های هوش مصنوعی به‌ویژه در داده‌های عددی خاص، اسامی خاص ناشناخته و رویدادهای اخیر غیرقابل اعتمادند، هر بار با این انواع محتوا در خروجی هوش مصنوعی روبه‌رو می‌شود، این دانش را به‌طور خودکار به کار می‌برد.

آموزش‌های خاص نقش اهمیت دارند زیرا ریسک‌های توهم در عملکردها یکنواخت نیستند. عادات راستی‌آزمایی حیاتی برای یک مأمور انطباق با عادات یک توسعه‌دهنده‌ی نرم‌افزار یا یک نویسنده‌ی بازاریابی متفاوت است. آموزشی که با پروفایل ریسک واقعی هر نقش صحبت می‌کند، تغییر رفتاری مفیدتری نسبت به آموزش سراسری سازمان که با همه‌ی استفاده‌های هوش مصنوعی به‌عنوان معادل برخورد می‌کند، تولید می‌کند.

ساختارهای حاکمیتی که پاسخگویی ایجاد می‌کنند

خطرات توهم هوش مصنوعی برای کسب‌وکار تا حدی یک مشکل فنی و تا حدی یک مشکل حاکمیتی است. کنترل‌های فنی نرخ و شدت توهمات را کاهش می‌دهند. ساختارهای حاکمیتی تعیین می‌کنند که آیا انسان‌هایی که با خروجی هوش مصنوعی تعامل دارند، پاسخگویی، زمان و منابع لازم برای گرفتن خطاهایی که کنترل‌های فنی جلوگیری نمی‌کنند را دارند یا نه.

مؤثرترین ساختارهای حاکمیتی پاسخگویی روشنی برای خروجی‌های با کمک هوش مصنوعی در نقطه‌ای ایجاد می‌کنند که این خروجی‌ها تصمیمات را آگاه می‌سازند یا به مخاطبان خارجی می‌رسند. حرفه‌ای که سندی با کمک هوش مصنوعی را به یک نهاد نظارتی ارائه می‌دهد، صرف‌نظر از اینکه هوش مصنوعی در پیش‌نویس آن مشارکت کرده یا نه، در قبال صحت آن پاسخگو است. مدیر اجرایی که استراتژی‌ای را بر اساس بخشی از تحلیل تولیدشده توسط هوش مصنوعی تأیید می‌کند، صرف‌نظر از ابزارهایی که مواد پشتیبان را تولید کرده‌اند، در قبال تصمیم پاسخگو است. صریح و پایدار کردن آن پاسخگویی از پراکندگی مسئولیت که در زمانی رخ می‌دهد که مشارکت هوش مصنوعی ابهامی درباره‌ی اینکه چه کسی مسئول راستی‌آزمایی چه چیزی است ایجاد می‌کند، جلوگیری می‌کند.

یک راهنمای جامع هوش مصنوعی درباره‌ی ساخت چارچوب‌های حاکمیتی برای کار با کمک هوش مصنوعی به سازمان‌ها کمک می‌کند ساختارهای پاسخگویی را تعریف کنند که انسان‌ها را به‌طور واقعی مسئول کیفیت خروجی‌های افزوده‌شده با هوش مصنوعی نگه می‌دارد، نه اینکه به‌طور اسمی در حلقه باشند در حالی که عملاً به قضاوت هوش مصنوعی واگذار می‌کنند.

چیزهایی که باید بدانید

چندین واقعیت مهم درباره‌ی خطرات توهم هوش مصنوعی برای کسب‌وکار وجود دارد که سازمان‌ها معمولاً از طریق تجربه کشف می‌کنند نه آمادگی:

نرخ توهم به‌طور قابل‌توجهی در انواع مدل، پیکربندی‌ها و موارد استفاده متفاوت است. مدلی که به‌طور قابل‌اعتمادی در پرسش‌های دانش عمومی عمل می‌کند ممکن است در پرسش‌های فنی خاص حوزه به‌طور گسترده توهم کند. ارزیابی نرخ توهم در موارد استفاده‌ی خاص شما به‌جای اتکا به معیارهای عمومی، تصویری بسیار دقیق‌تر از ریسک استقرار واقعی ارائه می‌دهد.

مدل‌های توانمندتر همچنان توهم می‌زنند. بزرگ‌ترین و توانمندترین مدل‌های زبانی موجود امروز کمتر از مدل‌های کوچک‌تر توهم می‌زنند اما مصون نیستند. بهبودهای قابلیت نرخ توهم را کاهش می‌دهد بدون اینکه آن را حذف کند، که به این معنی است که شیوه‌های حاکمیتی و راستی‌آزمایی مورد نیاز برای استفاده‌ی تجاری ایمن، صرف‌نظر از سطح مدل، ضروری باقی می‌مانند.

زبان با اعتمادبه‌نفس در خروجی هوش مصنوعی یک سیگنال قابلیت اطمینان نیست. مدل‌ها اعتمادبه‌نفس خود را در لحن بر اساس دقت خروجی‌هایشان به روشی پایدار تعدیل نمی‌کنند. زبان احتیاطی و ادعاهای با اعتمادبه‌نفس می‌توانند هر دو با محتوای دقیق یا توهم‌شده همراه باشند. لحن جایگزین راستی‌آزمایی نیست.

تطبیق حوزه از طریق تنظیم دقیق می‌تواند ریسک توهم را در صورت انجام نامناسب افزایش دهد. تنظیم دقیق یک مدل بر روی یک مجموعه‌داده‌ی کوچک، کم‌کیفیت یا غیرنماینده می‌تواند در واقع با معرفی سیگنال آموزشی متناقض، نرخ توهم را افزایش دهد. تنظیم دقیق نیازمند مدیریت دقیق کیفیت داده و ارزیابی پس از آموزش است تا از بدتر کردن مشکل جلوگیری شود.

ابزارهای تشخیص توهم در حال بهبود هستند اما به اندازه‌ی کافی قابل اعتماد نیستند تا جایگزین راستی‌آزمایی انسانی در زمینه‌های با ریسک بالا شوند. محصولات تشخیص خودکار توهم در دسترس هستند و می‌توانند بار راستی‌آزمایی دستی را کاهش دهند، اما محدودیت‌های دقت خود آن‌ها به این معنی است که آن‌ها بهترین عملکرد را به‌عنوان ابزارهای تشخیصی دارند که بررسی انسانی را اولویت‌بندی می‌کنند، نه به‌عنوان مکانیزم‌های نهایی راستی‌آزمایی.

پنج اثر منفی سازگارترین هوش مصنوعی در زمینه‌های تجاری عبارتند از خطاهای تصمیم‌گیری ناشی از توهم، ریسک‌های حریم خصوصی و امنیت داده، تداوم تعصب در مقیاس، اتکای بیش از حد که تخصص انسانی را در طول زمان تخریب می‌کند و اختلال نیروی کار که از ظرفیت تطبیق سازمانی پیشی می‌گیرد. درک اینکه توهم در این چشم‌انداز ریسک گسترده‌تر چگونه جای می‌گیرد، به سازمان‌ها کمک می‌کند برنامه‌های حاکمیت هوش مصنوعی بسازند که با کل دامنه‌ی ریسک تجاری مرتبط با هوش مصنوعی برخورد می‌کنند، نه برخورد با توهم به‌صورت منفرد.

طراحی پرامپت نرخ توهم را به روش‌هایی تحت تأثیر قرار می‌دهد که سازمان‌ها می‌توانند کنترل کنند. پرامپت‌هایی که از سیستم‌های هوش مصنوعی می‌خواهند گام‌به‌گام استدلال کنند، منابع خود را ذکر کنند، در صورت لزوم عدم قطعیت را بیان کنند و خروجی‌های خود را قبل از پاسخ از نظر سازگاری بررسی کنند، تمایل دارند نرخ توهم کمتری نسبت به پرامپت‌هایی که صرفاً پاسخ می‌خواهند، تولید کنند. ساختن این شیوه‌ها در قالب‌های پرامپت سازمانی و راهنمای استفاده‌ی هوش مصنوعی، یک مداخله‌ی کم‌هزینه با تأثیر معنادار است.

مدیریت خطرات توهم هوش مصنوعی به‌عنوان یک قابلیت رقابتی

سازمان‌هایی که خطرات توهم هوش مصنوعی برای کسب‌وکار را به‌طور مؤثر مدیریت می‌کنند، در نهایت چیزی به دست می‌آورند که رقبای کم‌سخت‌گیرشان ندارند: توانایی استقرار هوش مصنوعی با اعتمادبه‌نفس در زمینه‌های پر مخاطره، زیرا زیرساخت راستی‌آزمایی و ساختارهای حاکمیتی را ساخته‌اند که آن اعتمادبه‌نفس را موجه می‌کند. این یک مزیت رقابتی واقعی در محیطی است که بسیاری از سازمان‌ها یا از هوش مصنوعی در کاربردهای مهم اجتناب می‌کنند زیرا به آن اعتماد ندارند یا آن را بدون کنترل‌های کافی مستقر می‌کنند و مسئولیت‌هایی را که هنوز کشف نکرده‌اند، انباشت می‌کنند.

هدف از بین بردن استفاده از هوش مصنوعی در زمینه‌هایی که توهم در آن‌ها ممکن است نیست. آن استاندارد تقریباً تمام استقرار تجاری هوش مصنوعی را ممنوع می‌کرد. هدف، استقرار هوش مصنوعی با گردش‌های کاری راستی‌آزمایی متناسب با پیامد خطاهای کشف‌نشده، ساختارهای حاکمیتی است که انسان‌ها را در قبال خروجی‌های با کمک هوش مصنوعی پاسخگو نگه می‌دارد و انتخاب‌های معماری است که نرخ توهم را در منبع کاهش می‌دهد. سازمان‌هایی که این قابلیت را به‌طور سیستماتیک می‌سازند، توهم هوش مصنوعی را از یک مسئولیت غیرقابل پیش‌بینی به یک ریسک عملیاتی مدیریت‌شده تبدیل می‌کنند و این تحول است که به هوش مصنوعی اجازه می‌دهد پتانسیل بهره‌وری خود را بدون قرار گرفتن سازمانی در معرض ریسک ناشی از استقرار غیرمدیریت‌شده ارائه دهد.

سؤالات متداول

خطرات توهمات هوش مصنوعی چیست؟

خطرات توهمات هوش مصنوعی شامل تصمیمات تجاری معیوب گرفته‌شده بر اساس اطلاعات جعلی، مسئولیت حقوقی ناشی از ارجاعات یا راهنمایی انطباق توهم‌شده، آسیب اعتباری ناشی از ارتباطات نادرست با مشتری، خطاهای گزارش‌دهی مالی ناشی از ارقام جعلی و اثر تجمیعی محتوای توهم‌شده که از طریق تصمیمات جاری قبل از تشخیص گسترش می‌یابد، می‌شود. شدت هر ریسک مستقیماً با میزان پیامدساز بودن تصمیم یا ارتباط و فاصله‌ای که محتوای توهم‌شده قبل از اینکه کسی آن را بگیرد طی می‌کند، تشدید می‌شود.

یک ریسک رایج هوش مصنوعی در کسب‌وکار چیست؟

رایج‌ترین ریسک هوش مصنوعی در کسب‌وکار، عمل کردن بر اساس خروجی تولیدشده توسط هوش مصنوعی بدون راستی‌آزمایی کافی است، که در هر عملکردی که هوش مصنوعی استفاده می‌شود ریسک ایجاد می‌کند زیرا توهمات در همه‌ی سیستم‌های مدل زبان بزرگ با نرخی صرف‌نظر از کیفیت مدل یا شهرت فروشنده رخ می‌دهند. در کنار توهم، قرار گرفتن در معرض حریم خصوصی داده از پذیرش بدون کنترل ابزار هوش مصنوعی، تعصب در استخدام و تصمیمات مشتری با کمک هوش مصنوعی و اتکای بیش از حد که در طول زمان تخصص انسانی را فرسوده می‌کند، رایج‌ترین اثرات منفی مستندشده‌ی پذیرش هوش مصنوعی در زمینه‌های تجاری هستند.

چه ریسک‌هایی گاهی ممکن است هوش مصنوعی آن را توهم کند؟

هر مدل زبان بزرگ مورد استفاده در کسب‌وکار ریسک توهم دارد، با بالاترین نرخ‌ها در پرسش‌های مربوط به داده‌های عددی خاص، رویدادهای اخیر، اسامی خاص ناشناخته، مشخصات فنی دقیق و ارجاعات حقوقی یا نظارتی که داده‌های آموزشی در آن‌ها کم یا متناقض است. مدل‌های سطح سازمانی از ارائه‌دهندگان اصلی کمتر از مدل‌های کوچک‌تر یا کمتر توانمند توهم می‌زنند اما مصون نیستند، به این معنی که شیوه‌های راستی‌آزمایی صرف‌نظر از اینکه یک سازمان کدام سیستم هوش مصنوعی را مستقر می‌کند، ضروری باقی می‌مانند.

مشکل توهم در هوش مصنوعی تولیدی چگونه به‌طور بالقوه بر تصمیمات تجاری تأثیر می‌گذارد؟

توهمات هوش مصنوعی تولیدی با معرفی اطلاعات نادرست واقعی در مرحله‌ی تحقیق، تحلیل یا پیش‌نویس‌نویسی فرآیندهای تصمیم‌گیری، بر تصمیمات تجاری تأثیر می‌گذارند، جایی که می‌توانند توصیه‌های استراتژیک، پیش‌بینی‌های مالی، ارزیابی‌های انطباق و هوش رقابتی را قبل از اینکه کسی دقت زیربنایی را راستی‌آزمایی کند، آگاه سازند. مشکل زنجیره‌ی تصمیم به این معنی است که یک ورودی توهم‌شده می‌تواند از طریق چندین تصمیم بعدی که همگی از نظر داخلی با یکدیگر سازگارند در حالی که در مجموع بر اساس یک فرضیه‌ی نادرست ساخته شده‌اند، گسترش یابد، که هزینه‌ی نهایی کشف را بسیار بیشتر از خطای اولیه‌ای می‌کند که اگر در منبع گرفته می‌شد، می‌بود.

۵ اثر منفی استفاده از هوش مصنوعی چیست؟

پنج اثر منفی مهم‌ترین استفاده از هوش مصنوعی در کسب‌وکار عبارتند از خطاهای ناشی از توهم در تصمیمات و ارتباطات، قرار گرفتن در معرض حریم خصوصی و امنیت داده از پذیرش بدون کنترل ابزار هوش مصنوعی، تداوم و تقویت تعصب در مقیاس در استخدام، وام‌دهی و تصمیمات مشتری با کمک هوش مصنوعی، فرسایش تخصص انسانی از طریق اتکای بیش از حد به هوش مصنوعی برای وظایفی که قبلاً دانش سازمانی را می‌ساخت، و اختلال نیروی کار که هزینه‌ها و بی‌ثباتی عملیاتی را زمانی ایجاد می‌کند که از ظرفیت سازمان برای تطبیق پیشی می‌گیرد. هر یک از این اثرات با حاکمیت عمدی قابل مدیریت است اما زمانی به‌طور قابل‌توجهی آسیب‌رسان‌تر می‌شود که پذیرش هوش مصنوعی از چارچوب‌های سازمانی طراحی‌شده برای مسئولانه نگه‌داشتن آن پیشی بگیرد.