چت‌بات فارسی: چالش‌های محاوره، غلط املایی، نیم‌فاصله و لهجه و راه آزمودن آن

بسیاری از چت‌بات‌هایی که در دموی فروش درخشان به نظر می‌رسند، در اولین هفته استفاده واقعی از سوی کاربران ایرانی دچار مشکل می‌شوند. دلیلش معمولاً پیچیده نیست: کاربران فارسی‌زبان آن‌طور که در دمو نوشته شده نمی‌نویسند. آن‌ها محاوره‌ای می‌نویسند، «ی» عربی و فارسی را قاطی می‌کنند، نیم‌فاصله نمی‌گذارند، عدد را گاهی فارسی و گاهی انگلیسی تایپ می‌کنند و گاهی کل پیام را با حروف لاتین (فینگلیش) می‌نویسند.

این مقاله چالش‌های خاص چت‌بات فارسی را مرور می‌کند، توضیح می‌دهد هرکدام چرا مشکل‌ساز است و در پایان مجموعه‌ای از ۲۰ پرسش آزمون پیشنهاد می‌کند که پیش از خرید یا راه‌اندازی هر چت‌بات یا دستیار فارسی، باید روی آن اجرا کنید. قصد ما رتبه‌بندی برندها نیست؛ هدف این است که خودتان بتوانید هر محصولی را با داده واقعی بسنجید. اگر با انواع چت‌بات آشنا نیستید، ابتدا مقاله چت‌بات هوش مصنوعی چیست را بخوانید.

چرا فارسی برای چت‌بات‌ها دشوارتر است؟

مدل‌های زبانی بزرگ عمدتاً با متون انگلیسی آموزش دیده‌اند و سهم فارسی در داده آموزشی آن‌ها بسیار کمتر است. علاوه بر این، فارسی ویژگی‌هایی دارد که پردازش آن را پیچیده‌تر می‌کند: خط مشترک با عربی، نویسه‌های مشابه با کدهای متفاوت، نیم‌فاصله، تفاوت جدی زبان نوشتار و گفتار و واژگان اداری خاص. نتیجه این است که مدلی که در انگلیسی بسیار خوب عمل می‌کند، ممکن است در فارسی، به‌ویژه در متون تخصصی، ضعیف‌تر باشد.

چالش ۱: نویسه‌های عربی و فارسی

«ی» و «ک» فارسی با «ي» و «ك» عربی ظاهر تقریباً یکسانی دارند اما در رایانه کدهای متفاوتی دارند. اگر سند آیین‌نامه با «ي» عربی نوشته شده باشد و کاربر با «ی» فارسی جستجو کند، جستجوی ساده متنی ممکن است هیچ نتیجه‌ای پیدا نکند. همین مسئله برای «ة»، «أ» و «ؤ» و اعراب‌ها هم وجود دارد.

راه حل: یکسان‌سازی (نرمال‌سازی) متن هم در اسناد و هم در پرسش کاربر، پیش از جستجو و نمایه‌سازی. این کار باید در طراحی سامانه پیش‌بینی شده باشد، نه اینکه از کاربر انتظار رود درست تایپ کند.

چالش ۲: نیم‌فاصله و فاصله‌گذاری

واژه «می‌شود» ممکن است به سه شکل نوشته شود: با نیم‌فاصله، با فاصله کامل («می شود») یا چسبیده («میشود»). همین برای «درخواست‌ها»، «کارشناس‌ها» و صدها واژه دیگر صادق است. برای جستجوی کلیدواژه‌ای، این‌ها واژه‌های متفاوتی‌اند.

راه حل: نرمال‌سازی فاصله‌گذاری و استفاده از جستجوی معنایی در کنار جستجوی کلیدواژه‌ای، تا سامانه به جای تطابق دقیق حروف، به معنا توجه کند.

چالش ۳: زبان محاوره در برابر نوشتار رسمی

اسناد سازمان رسمی‌اند: «درخواست مرخصی استحقاقی باید حداقل سه روز قبل ثبت گردد.» اما کاربر می‌نویسد: «میخوام سه‌شنبه مرخصی بگیرم، کی باید بگم؟» فاصله میان «می‌خواهم» و «میخوام»، «باید بگویم» و «باید بگم» و ساختار جمله، برای سامانه‌ای که با متن رسمی تنظیم شده، چالش جدی است.

راه حل: مدل باید با نمونه‌های محاوره‌ای آزموده شود. در طراحی RAG، جستجوی معنایی معمولاً بهتر از جستجوی کلیدواژه‌ای این فاصله را پر می‌کند.

چالش ۴: غلط املایی و تایپی

«اسطلاح»، «مسعول»، «پیگیری» با «پی گیری» و «پیگیرى» و ده‌ها غلط رایج دیگر. کاربر روی گوشی و در عجله تایپ می‌کند و انتظار دارد سامانه منظورش را بفهمد.

راه حل: مدل‌های زبانی معمولاً در برابر غلط‌های جزئی مقاوم‌ترند، اما جستجوی کلیدواژه‌ای نه. ترکیب جستجوی معنایی با تحمل خطای املایی ضروری است.

چالش ۵: اعداد و تاریخ‌ها

کاربر ممکن است بنویسد «۱۴۰۵/۰۸/۱۲»، «1405/8/12»، «دوازدهم آبان» یا «پس‌فردا». اعداد ممکن است فارسی، عربی یا انگلیسی تایپ شوند. تبدیل تاریخ شمسی به میلادی و برعکس و فهم عبارت‌های نسبی مانند «هفته بعد» یا «اول ماه»، برای هر سامانه‌ای که با مهلت و تاریخ سروکار دارد، حیاتی است.

راه حل: یکسان‌سازی ارقام و آزمون صریح سامانه با تاریخ‌های شمسی و عبارات زمانی نسبی.

چالش ۶: فینگلیش و ترکیب زبان‌ها

برخی کاربران، به‌ویژه روی صفحه‌کلیدهای بدون فارسی، به فینگلیش می‌نویسند: «salam, vaziyate darkhaste man chi shod?» همچنین واژه‌های تخصصی انگلیسی وسط جمله فارسی رایج است: «لاگین نمی‌شه»، «تیکت رو آپدیت کن».

راه حل: تصمیم بگیرید سامانه باید فینگلیش را پشتیبانی کند یا نه و این را صریح بیازمایید. واژگان تخصصی ترکیبی را در آزمون‌ها بگنجانید.

چالش ۷: لهجه و گفتار

اگر چت‌بات ورودی صوتی دارد، لهجه‌ها، سرعت گفتار، نویز محیط و تفاوت گفتار و نوشتار، دقت تبدیل گفتار به متن را تحت تأثیر قرار می‌دهد. خطای این مرحله مستقیماً به خطای پاسخ تبدیل می‌شود.

راه حل: آزمون با نمونه‌های صوتی واقعی از کاربران با لهجه‌ها و محیط‌های مختلف، نه فقط با صدای ضبط‌شده در استودیو.

چالش ۸: اصطلاحات اداری و تخصصی

واژه‌هایی مانند «هامش»، «پاراف»، «عطف»، «پیرو»، «اندیکاتور»، «مصوبه» یا نام واحدها و کدهای داخلی، در داده آموزشی عمومی کم دیده می‌شوند. مدل ممکن است معنای آن‌ها را نداند یا اشتباه بفهمد.

راه حل: واژه‌نامه سازمانی و بازیابی از اسناد داخلی که این واژه‌ها را در بافت درست به کار برده‌اند. همچنین بازبینی پاسخ‌ها توسط کارشناس آشنا با این اصطلاحات.

چالش ۹: متن اسناد اسکن‌شده

اگر چت‌بات باید از اسناد اسکن‌شده پاسخ دهد، کیفیت تبدیل تصویر به متن (OCR) فارسی تعیین‌کننده است. نامه‌های قدیمی، مهر و امضا روی متن، دست‌خط و جدول‌ها خطای OCR را بالا می‌برند. این موضوع را در مقاله OCR اسناد فارسی بررسی کرده‌ایم.

جدول خلاصه چالش‌ها

۲۰ پرسش آزمون پیش از خرید

این پرسش‌ها را با واژگان و اسناد واقعی سازمان خود بازنویسی کنید و روی هر محصول اجرا کنید. پاسخ‌ها را با یک کارشناس آشنا با موضوع امتیاز دهید.

• [ ] ۱. یک پرسش ساده با «ي» و «ك» عربی بنویسید و همان را با حروف فارسی تکرار کنید؛ پاسخ‌ها یکسان است؟
• [ ] ۲. یک واژه را با نیم‌فاصله، فاصله و چسبیده جستجو کنید.
• [ ] ۳. پرسشی کاملاً محاوره‌ای بپرسید: «میخوام بدونم وام ضروری چقد میدن؟»
• [ ] ۴. همان پرسش را رسمی بپرسید و پاسخ‌ها را مقایسه کنید.
• [ ] ۵. پرسشی با دو غلط املایی رایج بنویسید.
• [ ] ۶. تاریخی شمسی با ارقام فارسی بنویسید و بپرسید «چند روز مانده؟»
• [ ] ۷. همان تاریخ را با ارقام انگلیسی بنویسید.
• [ ] ۸. عبارت نسبی بپرسید: «نامه‌های هفته قبل».
• [ ] ۹. یک پرسش فینگلیش بنویسید.
• [ ] ۱۰. یک جمله فارسی با واژه انگلیسی تخصصی وسط آن بنویسید.
• [ ] ۱۱. معنی یک اصطلاح اداری («هامش» یا «پیرو») را بپرسید.
• [ ] ۱۲. نام یک واحد یا کد داخلی سازمان را در پرسش بیاورید.
• [ ] ۱۳. پرسشی بپرسید که پاسخش در اسناد نیست؛ آیا سامانه صادقانه می‌گوید «نمی‌دانم»؟
• [ ] ۱۴. پرسشی بپرسید که پاسخش فقط در یک سند اسکن‌شده است.
• [ ] ۱۵. پرسشی دوبخشی بپرسید که پاسخش در دو سند مختلف است.
• [ ] ۱۶. پرسشی بپرسید که دو سند متناقض درباره آن وجود دارد (نسخه قدیم و جدید).
• [ ] ۱۷. پرسش پیگیری بپرسید که به پاسخ قبلی اشاره دارد: «اون یکی چی؟»
• [ ] ۱۸. با کاربری با نقش محدود، پرسشی درباره داده محرمانه بپرسید؛ نباید پاسخ بگیرد.
• [ ] ۱۹. اگر ورودی صوتی دارد، یک پرسش را با لهجه و در محیط پرسروصدا بپرسید.
• [ ] ۲۰. از سامانه بخواهید منبع پاسخش را نشان دهد و منبع را باز کنید.

امتیازدهی

برای هر پرسش سه معیار را از ۰ تا ۲ امتیاز دهید: درستی پاسخ، ارجاع به منبع درست و رفتار درست در نبود پاسخ. نتیجه را برای چند محصول در یک جدول کنار هم بگذارید. این آزمون ساده معمولاً بیش از هر دموی فروش، تصویر واقعی را نشان می‌دهد.

چند توصیه برای نوشتن پرسش‌های بهتر

حتی بهترین چت‌بات هم با پرسش دقیق‌تر پاسخ بهتری می‌دهد. آموزش کوتاه کارکنان برای نوشتن پرسش روشن، اثر محسوسی دارد؛ راهنمای عملی آن را در مقاله پرامپت‌نویسی برای کارکنان اداری آورده‌ایم.

رویکرد آریا آی‌تی

جستجوی سازمانی آریا آی‌تی یک جستجوی یکپارچه برای نامه، قرارداد، جلسه، وظیفه، سند و دانش است که مرز نقش را رعایت می‌کند و با OCR بایگانی، متن نامه‌های اسکن‌شده را هم قابل جستجو می‌کند. دستیار سازمانی روی همین نمایه پاسخ ترکیبی با ارجاع به منبع می‌دهد. ما عدد دقتی برای پردازش فارسی اعلام نمی‌کنیم؛ توصیه ما این است که هر سامانه، از جمله آریا آی‌تی، را با همین ۲۰ پرسش روی داده واقعی خودتان بیازمایید. تفاوت چت‌بات و دستیار را هم در مقاله چت‌بات، دستیار یا ایجنت ببینید.

جمع‌بندی

چت‌بات فارسی با چالش‌هایی روبه‌روست که در زبان انگلیسی کمتر دیده می‌شود: نویسه‌های عربی و فارسی، نیم‌فاصله، فاصله محاوره و نوشتار، غلط املایی، تاریخ شمسی، فینگلیش، لهجه و اصطلاحات اداری. بیشتر این چالش‌ها با نرمال‌سازی، جستجوی معنایی و بازیابی از اسناد سازمان قابل کاهش‌اند، اما تنها راه اطمینان، آزمون با پرسش‌ها و اسناد واقعی است.

---

مشاوره رایگان: برای اجرای آزمون پرسش‌های فارسی روی داده نمونه سازمانتان، با کارشناسان آریا آی‌تی هماهنگ کنید.