تعریف اصطلاحهوش مصنوعی سازمانی
پردازش هوشمند اسناد (IDP) چیست؟ فراتر از OCR در طبقهبندی نامه و سند
پردازش هوشمند اسناد (IDP) مجموعه فناوریهایی است که سند را میخواند، نوع آن را تشخیص میدهد، اطلاعات کلیدی را استخراج و اعتبارسنجی میکند و بهصورت داده ساختاریافته تحویل میدهد. OCR پیش‌نیاز IDP است و فقط تصویر را به متن تبدیل میکند. در کار اداری خروجی IDP پیشنهاد است و دبیرخانه یا مسئول بایگانی آن را تأیید یا اصلاح میکند.
خلاصه در چند نکته
- IDP سند را می‌فهمد و داده ساختاریافته استخراج میکند.
- OCR فقط تصویر را به متن تبدیل میکند و پیش‌نیاز IDP است.
- اجزای IDP: دریافت، OCR، طبقهبندی، استخراج، اعتبارسنجی، تأیید انسانی و خروجی.
- کیفیت اسکن روی همه مراحل بعد اثر دارد.
- خروجی IDP در کار اداری پیشنهاد است، نه ثبت نهایی.
- پیش از اجرا طرح طبقهبندی و معیار دقت را تعریف کنید.
- با یک نوع سند، مثل نامه وارده، شروع کنید.
فهرست مطالب
دبیرخانه یک سازمان متوسط ممکن است هر روز ده‌ها نامه کاغذی دریافت کند. هر نامه باید اسکن شود، موضوع، شماره و تاریخ نامه مبدأ و نام فرستنده ثبت شود، نوع نامه تعیین شود و به واحد درست ارجاع شود. OCR، یعنی تبدیل تصویر به متن، بخشی از این کار را ساده کرده است: متن اسکن قابل جستجو می‌شود. اما هنوز کسی باید متن را بخواند و بفهمد این نامه درباره چیست، از کجا آمده و به کجا باید برود. پردازش هوشمند اسناد (IDP) دقیقاً همین قدم بعدی را هدف گرفته است.
در این مقاله توضیح می‌دهیم IDP چیست، چه تفاوتی با OCR دارد، از چه اجزایی تشکیل می‌شود و در دبیرخانه و بایگانی چه کاربردی دارد. همچنین روشن می‌کنیم چرا در کار اداری، خروجی IDP باید پیشنهاد باشد و تأیید نهایی با انسان بماند.
تعریف IDP
پردازش هوشمند اسناد (Intelligent Document Processing) مجموعه‌ای از فناوری‌هاست که اسناد را میخواند، می‌فهمد و داده ساختاریافته از آن‌ها استخراج میکند. ورودی IDP معمولاً سند نیمه‌ساختاریافته یا بدون ساختار است: نامه، قرارداد، فاکتور، فرم پرشده یا گزارش. خروجی آن داده‌ای است که سامانه میتواند با آن کار کند: نوع سند، فیلدهای کلیدی، موجودیتها و خلاصه.
IDP معمولاً ترکیبی از این فناوری‌هاست:
- OCR برای تبدیل تصویر به متن؛
- پردازش زبان طبیعی برای فهم متن؛
- یادگیری ماشین برای طبقهبندی و استخراج؛
- قواعد کسب‌وکار برای اعتبارسنجی؛
- و در برخی پیاده‌سازی‌ها، مدل‌های زبانی برای خلاصه‌سازی و فهم عمیق‌تر.
تفاوت OCR و IDP
| ویژگی | OCR | IDP |
|---|---|---|
| کار اصلی | تبدیل تصویر به متن | فهم سند و استخراج داده |
| خروجی | متن خام قابل جستجو | نوع سند، فیلدها، موجودیتها، خلاصه |
| پرسش پاسخ‌داده‌شده | «چه چیزی نوشته شده؟» | «این سند چیست و چه اطلاعاتی دارد؟» |
| نیاز به انسان | برای خواندن و تفسیر | برای تأیید و اصلاح پیشنهادها |
| مثال | متن نامه اسکن‌شده قابل جستجو می‌شود | نامه به‌عنوان «درخواست تمدید قرارداد» از «شرکت الف» با مهلت «پایان آبان» شناسایی و به واحد قراردادها پیشنهاد می‌شود |
OCR پیش‌نیاز IDP است، نه رقیب آن. بدون متن دقیق، فهم سند ممکن نیست. به همین دلیل کیفیت اسکن و OCR، به‌ویژه برای متن فارسی، روی همه مراحل بعد اثر می‌گذارد.
اجزای اصلی IDP
۱. دریافت و پیش‌پردازش
سند از اسکنر، ایمیل یا بارگذاری وارد می‌شود. پیش‌پردازش شامل صاف کردن تصویر کج، حذف نویز و تشخیص صفحات است. کیفیت این مرحله تعیین‌کننده است: اسکن کج و کم‌وضوح، OCR ضعیف و استخراج اشتباه میدهد.
۲. استخراج متن (OCR)
تصویر به متن تبدیل می‌شود. برای اسناد فارسی، چالش‌هایی مثل نیم‌فاصله، اعداد فارسی و عربی، قلم‌های مختلف و مهر و امضای روی متن وجود دارد.
۳. طبقهبندی
سامانه تشخیص میدهد سند از چه نوعی است: نامه وارده، فاکتور، قرارداد، صورتجلسه، رزومه. در دبیرخانه، طبقهبندی ممکن است عمیق‌تر هم باشد: موضوع نامه یا واحد مرتبط.
۴. استخراج موجودیت و فیلد
اطلاعات کلیدی بیرون کشیده می‌شود: نام فرستنده، شماره و تاریخ نامه مبدأ، مبلغ، مهلت، طرف‌های قرارداد، شماره قرارداد.
۵. اعتبارسنجی
داده استخراج‌شده با قواعد بررسی می‌شود: آیا تاریخ معتبر است؟ آیا شماره قرارداد در سامانه وجود دارد؟ آیا مبلغ با جمع اقلام میخواند؟
۶. تأیید انسانی
پیشنهادها به کاربر نمایش داده می‌شوند. او تأیید یا اصلاح میکند. اصلاح‌ها در برخی سامانه‌ها برای بهبود دقت در آینده به کار می‌روند.
۷. خروجی به سامانه
داده تأییدشده در رکورد نامه یا سند ثبت می‌شود و مسیر بعدی، مثل ارجاع یا گردش‌کار، شروع می‌شود.
سه نوع سند از نگاه IDP
دشواری کار IDP به میزان ساختار سند بستگی دارد:
| نوع | ویژگی | مثال | دشواری |
|---|---|---|---|
| ساختاریافته | فیلدها همیشه در جای ثابت | فرم استاندارد چاپی، برگه درخواست با خانه‌های مشخص | کم |
| نیمه‌ساختاریافته | اطلاعات مشابه، اما چیدمان متفاوت | فاکتور فروشندگان مختلف، نامه‌های اداری با سربرگ‌های گوناگون | متوسط |
| بدون ساختار | متن آزاد | گزارش، قرارداد، نامه‌های توضیحی طولانی | زیاد |
نامه‌های اداری معمولاً نیمه‌ساختاریافته‌اند: شماره و تاریخ در سربرگ می‌آیند، اما جای دقیق آن‌ها در هر سازمان فرق دارد. به همین دلیل یک قالب ثابت استخراج برای همه نامه‌ها کار نمی‌کند و روش‌های مبتنی بر یادگیری یا مدل زبانی کاربرد پیدا می‌کنند.
چالش‌های IDP در اسناد فارسی
- نیم‌فاصله و اتصال حروف: خطای OCR در کلماتی مثل «می‌شود» یا «نامه‌ها» جستجو و استخراج را مختل میکند.
- اعداد فارسی، عربی و لاتین: یک شماره نامه ممکن است با ترکیبی از آن‌ها نوشته شود.
- تاریخ شمسی و قالب‌های مختلف: «۱۴۰۵/۰۸/۱۵»، «۱۵ آبان ۱۴۰۵» و «۱۵-۸-۰۵» باید یکسان فهمیده شوند.
- مهر، امضا و پاراف روی متن: بخشی از متن را می‌پوشانند.
- دست‌نوشته‌های حاشیه: دستور مدیر روی نامه که اغلب خوانا نیست.
- اسناد قدیمی و کم‌کیفیت: کاغذ زردشده یا کپی چندباره.
این چالش‌ها دلیل دیگری است که چرا پایلوت با نامه‌های واقعی همان سازمان، و نه نمونه‌های نمایشی، ضروری است.
کاربردهای IDP در کار اداری
| کاربرد | ورودی | خروجی پیشنهادی | تأییدکننده |
|---|---|---|---|
| ثبت نامه وارده | نامه اسکن‌شده | موضوع، فرستنده، شماره و تاریخ مبدأ، نوع نامه | دبیرخانه |
| پیشنهاد ارجاع | متن نامه | واحد یا شخص مرتبط | دبیرخانه |
| بایگانی سند | قرارداد یا گزارش | نوع سند، فراداده، برچسب | مسئول بایگانی |
| استخراج مهلت | نامه یا قرارداد | تاریخ‌ها و تعهدها | مسئول پرونده |
| خلاصه سند حجیم | گزارش یا قرارداد طولانی | خلاصه و نکات کلیدی | کاربر |
| ورود فاکتور | فاکتور یا پیش‌فاکتور | فروشنده، مبلغ، تاریخ، اقلام | کارشناس مالی |
مثال: نامه وارده در دبیرخانه
نامه‌ای از یک شرکت پیمانکار می‌رسد. پس از اسکن، سامانه متن را استخراج میکند و پیشنهاد میدهد:
- نوع: نامه وارده – عادی
- فرستنده: شرکت پیمانکار الف
- شماره و تاریخ مبدأ: استخراج‌شده از سربرگ
- موضوع: درخواست تمدید مهلت تحویل فاز دوم
- واحد پیشنهادی: مدیریت پروژه
- مهلت مطرح‌شده: پاسخ تا پایان هفته آینده
کارشناس دبیرخانه پیشنهادها را بررسی میکند، شماره مبدأ را که به‌خاطر مهر روی آن اشتباه خوانده شده اصلاح میکند، ثبت را تأیید و نامه را ارجاع میدهد. کاری که چند دقیقه طول می‌کشید، به یک بررسی کوتاه تبدیل شده، اما کنترل همچنان با دبیرخانه است.
چرا تأیید انسانی ضروری است؟
- دقت صددرصد نیست. مهر روی متن، دست‌نوشته، اسکن بی‌کیفیت و قالب‌های غیرمعمول خطا ایجاد می‌کنند.
- اثر خطا رسمی است. شماره یا تاریخ اشتباه در ثبت نامه، سابقه رسمی را خراب میکند.
- مسئولیت با انسان است. ارجاع اشتباه یک نامه محرمانه ممکن است اطلاعات را به فرد نامجاز برساند.
- سطح محرمانگی: سازمان باید تعیین کند کدام اسناد اصلاً توسط مدل پردازش شوند.
- یادگیری از اصلاح: هر اصلاحی که دبیرخانه انجام میدهد، داده ارزشمندی برای سنجش دقت است. اگر یک فیلد مدام اصلاح می‌شود، آن فیلد هنوز آماده خودکارسازی بیشتر نیست و باید علت، مثلاً قالب خاص سربرگ یک فرستنده پرتکرار، بررسی شود.
- پاسخ‌گویی در ممیزی: سابقه باید نشان دهد کدام فیلد پیشنهاد سامانه بود و چه کسی آن را تأیید یا اصلاح کرد.
پیش از اجرای IDP چه کنیم؟
- کیفیت اسکن را استاندارد کنید: وضوح، رنگ و جهت.
- طرح طبقهبندی را روشن کنید: IDP فقط وقتی درست طبقهبندی میکند که دسته‌ها مشخص باشند. قاعده نام‌گذاری و فراداده را در ساختار پوشه‌بندی و نام‌گذاری فایل ببینید.
- با یک نوع سند شروع کنید: مثلاً نامه وارده یا فاکتور.
- معیار دقت تعریف کنید: درصد فیلدهایی که بدون اصلاح پذیرفته می‌شوند.
- سطح محرمانگی را مشخص کنید: کدام اسناد پردازش نشوند.
- محل پردازش را بررسی کنید: داده سند نباید بی‌ضابطه به سرویس عمومی اینترنت برود.
IDP در آریا آی‌تی
طبق صفحه دستیار و جستجوی هوشمند آریا آی‌تی، بخش «هوش سند» برای OCR، طبقهبندی، استخراج موجودیت، خلاصه و جستجوی معنایی اسناد حجیم معرفی شده و در اسناد به «طبقهبندی و برچسب خودکار سند ورودی» اشاره شده است. همان صفحه توضیح میدهد اگر سازمان فعلاً مدل زبانی عملیاتی نخواهد، جستجوی سازمانی و پیشنهادهای قاعده‌محور همان لایه را می‌سازند و مدل زبانی وقتی آماده بهره‌برداری شد روی همان زیرساخت قرار می‌گیرد. در دبیرخانه، اسکن، OCR، QR و بارکد برای ثبت سریع وارده وجود دارد و بایگانی اسناد جستجوی تمام‌متن و OCR دارد. دامنه دقیق قابلیت‌های طبقهبندی و استخراج برای اسناد و نامه‌های سازمان شما، و وضعیت بهره‌برداری هر قابلیت را در جلسه مشاوره تأیید کنید. تحلیل و دستیار هوشمند در پلن سازمانی قرار دارد.
برای سایر کاربردهای هوش مصنوعی، مقاله ۱۰ کاربرد هوش مصنوعی در اتوماسیون اداری و برای ریسک‌های داده، استفاده کارکنان از ChatGPT در سازمان را ببینید.
جمع‌بندی
IDP فراتر از OCR است: سند را میخواند، نوع آن را تشخیص میدهد، اطلاعات کلیدی را استخراج و اعتبارسنجی میکند و بهصورت داده ساختاریافته به سامانه تحویل میدهد. در کار اداری، خروجی IDP پیشنهاد است و دبیرخانه یا مسئول بایگانی آن را تأیید یا اصلاح میکند. با استاندارد کردن اسکن، روشن کردن طرح طبقهبندی، شروع از یک نوع سند و تعریف معیار دقت، می‌توانید IDP را با ریسک کم آزمایش کنید.
از اسکن تا ثبت، سریع‌تر: برای بررسی قابلیت‌های هوش سند متناسب با دبیرخانه خود با آریا آی‌تی مشاوره رایگان بگیرید یا ۷ روز رایگان شروع کنید.
پرسش‌های متداول
پردازش هوشمند اسناد (IDP) چیست؟
+
مجموعه فناوریهایی شامل OCR، پردازش زبان طبیعی و یادگیری ماشین که سند را میخواند، نوع آن را تشخیص میدهد و اطلاعات کلیدی را بهصورت داده ساختاریافته استخراج میکند.
تفاوت OCR و IDP چیست؟
+
OCR تصویر را به متن تبدیل میکند. IDP علاوه بر آن نوع سند را تشخیص میدهد، فیلدها و موجودیتها را استخراج و اعتبارسنجی میکند و به سامانه تحویل میدهد.
آیا IDP میتواند نامه را بدون دخالت انسان ثبت کند؟
+
در کار اداری توصیه نمیشود. خروجی IDP باید پیشنهاد باشد و دبیرخانه آن را بررسی، اصلاح و تأیید کند، چون خطا در ثبت رسمی اثر دارد.
پیش از اجرای IDP چه باید کرد؟
+
کیفیت اسکن را استاندارد کنید، طرح طبقهبندی را روشن کنید، با یک نوع سند شروع کنید، معیار دقت تعریف کنید و سطح محرمانگی و محل پردازش داده را مشخص کنید.