تعریف اصطلاحهوش مصنوعی سازمانی
RAG چیست؟ تولید پاسخ با بازیابی از اسناد سازمان به زبان ساده
RAG (تولید افزوده با بازیابی): RAG یا تولید افزوده با بازیابی روشی است که پیش از تولید پاسخ، اسناد مرتبط را از مخزن دانش سازمان جستجو و همراه پرسش به مدل زبانی میدهد تا پاسخ بر پایه همان متن‌ها ساخته شود. چهار مرحله دارد: نمایه‌سازی (استخراج متن، قطعه‌بندی، بردار معنایی، فراداده دسترسی)، بازیابی با فیلتر مجوز، تولید و ارجاع به منبع. مزایا: دانش خصوصی و به‌روز، کاهش توهم، قابلیت بررسی و رعایت دسترسی. کیفیت آن به کیفیت اسناد و جستجو وابسته است.
خلاصه در چند نکته
- RAG پیش از پاسخ، اسناد مرتبط را بازیابی و به مدل میدهد.
- چهار مرحله: نمایه، بازیابی، تولید و ارجاع.
- در سامانه سازمانی، بازیابی فقط روی اسناد مجاز کاربر انجام می‌شود.
- ارجاع به منبع امکان بررسی پاسخ را فراهم میکند.
- کیفیت بازیابی اغلب از انتخاب مدل مهم‌تر است.
- RAG توهم را کم میکند، اما حذف نمیکند.
فهرست مطالب
اگر در یکی دو سال اخیر درباره هوش مصنوعی سازمانی مطلبی خوانده باشید، احتمالاً با سه حرف RAG روبه‌رو شده‌اید. تقریباً هر دستیار سازمانی، چت‌بات پشتیبانی یا ابزار «پرسش از اسناد» که امروز معرفی می‌شود، در پشت صحنه از این روش استفاده میکند. دلیلش ساده است: مدل‌های زبانی به‌تنهایی از اسناد و داده‌های سازمان شما خبر ندارند و RAG ساده‌ترین و قابل اعتمادترین راه برای پل زدن بین «مدل زبانی» و «دانش سازمان» است.
این مقاله RAG را به زبان ساده تعریف میکند، مراحل چهارگانه آن یعنی نمایه، بازیابی، تولید و ارجاع را توضیح میدهد و مزایا، محدودیت‌ها و اشتباه‌های رایج آن را مرور میکند. این مقاله نقطه شروع خوشه مقاله‌های RAG در پایگاه دانش آریا آی‌تی است و در مقاله‌های بعدی، هر بخش را عمیق‌تر بررسی می‌کنیم.
تعریف RAG
RAG مخفف Retrieval-Augmented Generation به معنای تولید افزوده با بازیابی است. در این روش، پیش از اینکه مدل زبانی پاسخی تولید کند، سامانه اسناد مرتبط با پرسش را از یک مخزن دانش جستجو و بازیابی میکند و متن آنها را همراه پرسش در اختیار مدل می‌گذارد. مدل سپس پاسخ را بر پایه همان متن‌ها میسازد.
به بیان دیگر، RAG به مدل می‌گوید: «از حافظه‌ات جواب نده؛ این اسناد را بخوان و بر اساس آنها پاسخ بده.» این ایده را Patrick Lewis و همکارانش در پژوهشی در سال ۲۰۲۰ با همین نام معرفی کردند و از آن زمان به یکی از الگوهای پایه برنامه‌های مبتنی بر مدل زبانی تبدیل شده است.
برای فهم بهتر، دو حالت را مقایسه کنید:
| حالت | پرسش | آنچه مدل در اختیار دارد | نتیجه محتمل |
|---|---|---|---|
| بدون RAG | «سقف تنخواه واحد تدارکات چقدر است؟» | فقط دانش عمومی آموزشی | حدس یا پاسخ ساختگی |
| با RAG | همان پرسش | متن بند مربوط از آیین‌نامه مالی سازمان | پاسخ دقیق با ارجاع به بند |
چرا به RAG نیاز داریم؟
مدل زبانی بزرگ روی حجم عظیمی از متن عمومی آموزش دیده است، اما سه محدودیت اساسی دارد که مبانی آن را در مقاله مدل زبانی بزرگ چیست توضیح داده‌ایم:
- از داده خصوصی سازمان خبر ندارد: نامه‌ها، قراردادها و آیین‌نامه‌های شما در داده آموزشی آن نبوده‌اند.
- دانشش تاریخ دارد: هر اتفاقی پس از پایان آموزش، برای مدل ناشناخته است.
- ممکن است سرهم‌بافی کند: وقتی اطلاعات کافی ندارد، پاسخی محتمل اما نادرست میسازد. این پدیده را در مقاله توهم هوش مصنوعی بررسی کرده‌ایم.
RAG هر سه مشکل را هدف می‌گیرد: داده خصوصی و به‌روز را در لحظه پاسخ به مدل می‌رساند و پاسخ را به متن واقعی متکی میکند.
چهار مرحله RAG
مرحله ۱: نمایه‌سازی (Indexing)
پیش از هر پرسشی، اسناد سازمان باید آماده جستجو شوند. این مرحله شامل چند کار است:
- جمع‌آوری: گردآوری نامه‌ها، اسناد، صورت‌جلسات و دیگر منابع.
- استخراج متن: تبدیل فایل‌های Word، PDF و تصاویر به متن. برای اسناد اسکن‌شده فارسی، متن‌خوانی نوری (OCR) لازم است؛ موضوعی که در مقاله OCR اسناد فارسی به آن پرداخته‌ایم.
- قطعه‌بندی (Chunking): تقسیم اسناد طولانی به قطعه‌های کوچک‌تر، مثلاً بند به بند.
- ساخت نمایه: ذخیره قطعه‌ها به‌گونه‌ای که جستجوی سریع ممکن باشد. معمولاً از ترکیب نمایه کلیدواژه‌ای و بردارهای معنایی (Embedding) استفاده می‌شود که شباهت معنایی متن را نشان می‌دهند.
- ثبت فراداده: تاریخ، نویسنده، نوع سند و به‌ویژه سطح دسترسی هر قطعه.
مرحله ۲: بازیابی (Retrieval)
وقتی کاربر پرسشی می‌پرسد، سامانه مرتبط‌ترین قطعه‌ها را از نمایه پیدا میکند. در یک سامانه سازمانی، این جستجو فقط روی قطعه‌هایی انجام می‌شود که کاربر اجازه دیدن آنها را دارد. بسیاری از سامانه‌ها پس از جستجوی اولیه، یک مرحله رتبه‌بندی مجدد دارند که دقیق‌ترین نتایج را بالا می‌آورد.
مرحله ۳: تولید (Generation)
قطعه‌های یافته‌شده همراه پرسش کاربر و دستورهای سامانه به مدل زبانی داده میشوند. دستورها معمولاً می‌گویند: «فقط بر اساس متن‌های زیر پاسخ بده و اگر پاسخ در آنها نیست، بگو.» مدل پاسخی روان و خلاصه میسازد.
مرحله ۴: ارجاع (Citation)
پاسخ همراه با اشاره به منابع نمایش داده می‌شود: کدام نامه، کدام سند، کدام بند. کاربر می‌تواند با یک کلیک منبع را باز کند و پاسخ را بررسی کند. این مرحله در کاربردهای سازمانی حیاتی است، چون اعتماد بدون امکان بررسی ممکن نیست.
RAG در عمل: یک نمونه
کارشناس منابع انسانی می‌پرسد: «برای مرخصی بدون حقوق بیش از یک ماه، تأیید چه کسی لازم است؟»
- سامانه پرسش را به نمایه می‌برد و در اسنادی که این کارشناس به آنها دسترسی دارد جستجو میکند.
- سه قطعه مرتبط پیدا می‌شود: بند ۱۲ آیین‌نامه مرخصی، یک بخشنامه اصلاحی سال گذشته و یک صورت‌جلسه هیئت‌مدیره.
- مدل با خواندن این سه قطعه پاسخ میدهد که طبق بخشنامه اصلاحی، علاوه بر مدیر واحد، تأیید معاونت منابع انسانی هم لازم است.
- پاسخ با پیوند به بخشنامه و بند آیین‌نامه نمایش داده می‌شود.
اگر بخشنامه اصلاحی در نمایه نبود، پاسخ بر اساس آیین‌نامه قدیمی داده می‌شد؛ نکته‌ای که اهمیت به‌روز نگه داشتن نمایه را نشان میدهد.
مزایای RAG
| مزیت | توضیح |
|---|---|
| دانش خصوصی و به‌روز | پاسخ از اسناد سازمان، حتی سند دیروز |
| کاهش توهم | پاسخ به متن واقعی متکی است |
| قابلیت بررسی | ارجاع به منبع |
| رعایت دسترسی | فقط اسناد مجاز هر کاربر بازیابی می‌شود |
| بدون تغییر مدل | نیازی به آموزش دوباره مدل نیست |
| حذف آسان | با حذف سند از نمایه، دیگر در پاسخ‌ها نمی‌آید |
مقایسه کامل RAG با رویکرد آموزش مدل را در مقاله RAG یا فاین‌تیون آورده‌ایم.
محدودیت‌ها و چالش‌ها
کیفیت پاسخ به کیفیت بازیابی وابسته است
اگر سند درست پیدا نشود، هیچ مدلی پاسخ درست نمی‌دهد. جستجوی ضعیف، قطعه‌بندی نامناسب یا نمایه ناقص، شایع‌ترین علت پاسخ‌های بد در RAG است.
کیفیت اسناد
اسناد قدیمی، تکراری، متناقض یا مبهم، پاسخ‌های قدیمی، تکراری، متناقض یا مبهم می‌سازند. نوشتن اسناد مناسب بازیابی را در مقاله نگارش پایگاه دانش آماده برای هوش مصنوعی بررسی کرده‌ایم.
توهم کاملاً حذف نمی‌شود
مدل ممکن است حتی با داشتن سند درست، آن را نادرست خلاصه کند یا نکته‌ای اضافه کند. ارجاع به منبع و بازبینی انسانی همچنان لازم است.
پرسش‌های نیازمند ترکیب گسترده
پرسش‌هایی مانند «روند کلی شکایت‌های مشتریان در سه سال اخیر چه بوده؟» به خواندن صدها سند نیاز دارند و RAG ساده برای آنها کافی نیست.
چالش‌های فارسی
نیم‌فاصله، املاهای متفاوت یک واژه، اعداد فارسی و عربی، و کیفیت OCR در اسناد اسکن‌شده، همگی بر بازیابی اثر می‌گذارند.
گونه‌های RAG
RAG یک روش واحد و ثابت نیست؛ در چند سال اخیر گونه‌های مختلفی از آن شکل گرفته است. شناخت کلی آنها به شما کمک میکند در گفت‌وگو با تیم فنی یا فروشندگان، زبان مشترکی داشته باشید:
RAG ساده
ساده‌ترین شکل: پرسش، جستجوی برداری، چند قطعه برتر، تولید پاسخ. برای شروع و نمونه‌سازی مناسب است، اما در اسناد متنوع و پرسش‌های دشوار، دقت آن محدود می‌شود.
RAG پیشرفته
در این گونه، مراحل اضافه‌ای برای بهبود کیفیت افزوده می‌شود: بازنویسی پرسش کاربر برای جستجوی بهتر، جستجوی ترکیبی کلیدواژه‌ای و معنایی، رتبه‌بندی مجدد نتایج و فیلتر بر اساس فراداده‌هایی مانند تاریخ یا نوع سند. بیشتر سامانه‌های سازمانی جدی در این دسته قرار می‌گیرند.
RAG مبتنی بر گراف
در این رویکرد، علاوه بر متن، روابط بین موجودیت‌ها (مثلاً «این قرارداد مربوط به این پیمانکار است و این نامه درباره همان قرارداد است») هم نگه‌داری می‌شود تا پرسش‌هایی که به ترکیب اطلاعات چند سند نیاز دارند، بهتر پاسخ بگیرند.
RAG عامل‌محور
در این گونه، مدل خود تصمیم می‌گیرد چند بار و در کدام منابع جستجو کند، نتایج را بسنجد و در صورت نیاز جستجوی دیگری انجام دهد. این رویکرد قدرتمندتر اما پیچیده‌تر، کندتر و نیازمند کنترل بیشتر است.
در مقاله‌های بعدی این خوشه، هر یک از این گونه‌ها و موضوعاتی مانند قطعه‌بندی، پایگاه داده برداری و ارزیابی کیفیت RAG را جداگانه بررسی می‌کنیم.
چک‌لیست آمادگی برای RAG
- [ ] منابع داده و مالک هر کدام مشخص است.
- [ ] اسناد اسکن‌شده متن‌خوانی شده‌اند یا برنامه آن وجود دارد.
- [ ] سطح دسترسی اسناد در سامانه منبع درست تعریف شده است.
- [ ] نسخه‌های قدیمی آیین‌نامه‌ها از نسخه معتبر قابل تشخیص‌اند.
- [ ] مجموعه پرسش آزمون با پاسخ درست آماده است.
- [ ] رابط کاربری ارجاع به منبع را الزامی نمایش میدهد.
اشتباه‌های رایج
- تمرکز فقط روی انتخاب مدل: در RAG، کیفیت بازیابی اغلب از انتخاب مدل مهم‌تر است.
- نمایه یکجا بدون فیلتر دسترسی: راه مستقیم به نشت اطلاعات محرمانه.
- نبود ارزیابی: بدون پرسش‌های آزمون، نمی‌دانید سامانه بهتر شده یا بدتر.
- فراموش کردن به‌روزرسانی نمایه: پاسخ از سند منسوخ.
RAG در آریا آی‌تی
دستیار هوش مصنوعی سازمانی آریا آی‌تی پاسخ را فقط از نامه‌ها، جلسات، کارها و اسناد مجاز سازمان میسازد و برای هر پاسخ ارجاع به منبع نشان میدهد. نقش‌ها و سطح دسترسی رعایت می‌شود، مشاهده‌ها در سابقه ممیزی ثبت می‌شود و جستجوی سازمانی برای اسناد اسکن‌شده از متن‌خوانی استفاده میکند. استقرار روی سرورهای مشتری یا آریا آی‌تی انجام می‌شود و داده به مدل‌های عمومی اینترنت فرستاده نمی‌شود.
جمع‌بندی
RAG یعنی پیش از تولید پاسخ، اسناد مرتبط را بازیابی کنیم و پاسخ را بر پایه آنها بسازیم. چهار مرحله نمایه، بازیابی، تولید و ارجاع، مدل زبانی عمومی را به ابزاری تبدیل می‌کنند که از دانش خصوصی و به‌روز سازمان، با رعایت دسترسی و امکان بررسی، پاسخ میدهد. موفقیت آن بیش از هر چیز به کیفیت اسناد و جستجو بستگی دارد.
مشاوره رایگان: برای بررسی آمادگی اسناد و نامه‌های سازمانتان برای پاسخ‌گویی هوشمند، با کارشناسان آریا آی‌تی گفت‌وگو کنید یا درخواست پایلوت دستیار (پلن سازمانی) را ثبت کنید.
پرسش‌های متداول
RAG مخفف چیست؟
+
Retrieval-Augmented Generation به معنای تولید افزوده با بازیابی؛ یعنی تولید پاسخ توسط مدل زبانی پس از بازیابی اسناد مرتبط.
تفاوت RAG با ChatGPT معمولی چیست؟
+
در استفاده معمولی، مدل از دانش آموزشی خود پاسخ میدهد. در RAG، سامانه ابتدا اسناد مرتبط سازمان را پیدا میکند و مدل پاسخ را بر پایه آنها و با ارجاع به منبع میسازد.
آیا RAG به آموزش مدل نیاز دارد؟
+
خیر. مدل تغییر نمیکند؛ اسناد نمایه میشوند و در لحظه پاسخ به مدل داده میشوند. به همین دلیل افزودن یا حذف سند ساده است.
مهم‌ترین عامل موفقیت RAG چیست؟
+
کیفیت بازیابی و کیفیت اسناد. اگر سند درست پیدا نشود یا سند قدیمی و متناقض باشد، پاسخ هم نادرست خواهد بود.