مقالههوش مصنوعی سازمانی
مدلهای زبانی فارسی: درنا، هامان و مدلهای باز چندزبانه؛ وضعیت ۱۴۰۵
مدلهای زبانی فارسی‌محور برای جبران سهم کم فارسی در داده آموزشی مدلهای جهانی ساخته شده‌اند. نمونه‌ها: درنا ۸ میلیارد پارامتری مرکز تحقیقات پارت (بر پایه Llama 3، متنباز، خرداد ۱۴۰۳)، هامان ۱۲۵ میلیونی شرکت آریا هامان مهر پارسه (تیر ۱۴۰۵، مخصوص تولید مقاله) و مدلهای سیلک، آهوران و آوای همراه اول. مدلهای باز چندزبانه مانند Llama، Qwen و Gemma هم در فارسی بهتر شده‌اند. انتخاب باید بر پایه آزمون با داده واقعی، تطبیق اندازه با کار، مجوز و محل اجرا باشد.
خلاصه در چند نکته
- سهم کم فارسی در داده آموزشی مدلهای جهانی، کیفیت متون تخصصی فارسی را کاهش می‌دهد.
- درنا ۸B پارت متنباز و بر پایه Llama 3 است.
- هامان ۱۲۵M مدلی کوچک و مخصوص تولید مقاله ساختاریافته فارسی است.
- لیدربورد باز مدلهای فارسی برای فهرست اولیه مفید است، نه تصمیم نهایی.
- آزمون با ۵۰ تا ۱۰۰ نمونه واقعی سازمان ضروری است.
- «متنباز» همیشه به معنای آزادی کامل استفاده تجاری نیست.
- کیفیت پاسخ سازمانی بیش از مدل به بازیابی و کنترل دسترسی وابسته است.
فهرست مطالب
تا چند سال پیش، کسی که می‌خواست با هوش مصنوعی به زبان فارسی کار کند، تقریباً هیچ گزینه‌ای جز مدلهای بزرگ خارجی نداشت؛ مدلهایی که فارسی را «هم» بلد بودند، اما زبان اصلی آن‌ها انگلیسی بود. امروز تصویر متفاوت است. چند مدل زبانی با تمرکز بر فارسی از سوی مراکز تحقیقاتی و شرکت‌های ایرانی منتشر شده، مدلهای باز چندزبانه در فارسی بهتر شده‌اند و ابزارهایی برای مقایسه عملکرد مدل‌ها در فارسی در دسترس قرار گرفته است.
این مقاله یک مرور بی‌طرف از وضعیت مدلهای زبانی فارسی در سال ۱۴۰۵ است: کدام مدل‌ها منتشر شده‌اند، مدلهای باز چندزبانه چه جایگاهی دارند و مهم‌تر از همه، یک سازمان چگونه باید این مدل‌ها را برای کار خود ارزیابی کند. هدف ما رتبه‌بندی قطعی نیست؛ رتبهها با هر نسخه تازه تغییر میکنند. اگر با مفهوم مدل زبانی آشنا نیستید، ابتدا مقاله مدل زبانی بزرگ چیست را بخوانید.
چرا مدل فارسی‌محور اهمیت دارد؟
مدلهای زبانی بزرگ جهانی عمدتاً روی متون انگلیسی آموزش دیده‌اند و سهم فارسی در داده آموزشی آن‌ها کوچک است. پیامدهای این موضوع برای کاربر فارسی‌زبان:
- کیفیت پایین‌تر در متون تخصصی و اداری: اصطلاحاتی مانند «هامش»، «عطف»، «پاراف» یا نام نهادهای ایرانی کمتر دیده شده‌اند.
- مصرف توکن بیشتر: توکنایزرهایی که برای انگلیسی بهینه شده‌اند، واژه فارسی را به قطعه‌های بیشتری می‌شکنند؛ این یعنی هزینه بیشتر و پر شدن سریع‌تر پنجره زمینه.
- بافت فرهنگی: مناسبت‌ها، تقویم شمسی، ساختار نامه‌نگاری و ارجاعات فرهنگی ممکن است درست فهمیده نشوند.
- دسترسی: مدلهای تجاری خارجی برای کاربران و سازمان‌های ایرانی در دسترس پایدار نیستند.
مدلهای فارسی‌محور می‌کوشند این شکاف‌ها را با آموزش روی داده فارسی بیشتر، توکنایزر فارسی یا تنظیم دقیق روی متون فارسی کم کنند.
مدلهای فارسی و ایرانی منتشرشده
فهرست زیر نمونه‌هایی از مدلهایی است که بهصورت عمومی معرفی شده‌اند. این فهرست جامع نیست و وضعیت هر مدل ممکن است تغییر کرده باشد؛ پیش از هر تصمیم، صفحه رسمی مدل و مجوز آن را بررسی کنید.
درنا (Dorna)
مرکز تحقیقات هوش مصنوعی پارت در خرداد ۱۴۰۳ یکی از مدلهای خانواده درنا را با ۸ میلیارد پارامتر بهصورت متنباز منتشر کرد. این مدل بر پایه Llama 3 ساخته و با دادههای فارسی آموزش داده شده است و با نام Dorna-Llama3-8B-Instruct در هاگینگ‌فیس در دسترس است. سازنده اعلام کرده که امکان تنظیم دقیق آن روی دادههای کسب‌وکارها وجود دارد. پارت مدلهای دیگری مانند توکا را هم برای پردازش زبان فارسی معرفی کرده است.
هامان (Haman)
در تیر ۱۴۰۵، شرکت دانش‌بنیان آریا هامان مهر پارسه مدل Haman Persian Article Graph-LLM 125M را معرفی کرد؛ مدلی حدود ۱۲۵ میلیون پارامتری که به گفته سازنده با معماری ترکیبی ترنسفورمر و گراف واژگانی و با توکنایزر فارسی از صفر آموزش دیده و برای تولید مقاله ساختاریافته فارسی طراحی شده است. اندازه کوچک این مدل نشان می‌دهد که هدف آن یک کار مشخص است، نه گفت‌وگوی عمومی یا استدلال پیچیده.
مدلهای همراه اول (MCINext)
گروه MCINext همراه اول در نمایشگاه الکامپ ۱۴۰۳ چند مدل زبانی شامل سیلک (۱٫۳ میلیارد پارامتر)، آهوران (۸ میلیارد پارامتر) و آوا (۱۳ میلیارد پارامتر) را رونمایی کرد.
جدول خلاصه
| مدل | سازنده | اندازه اعلام‌شده | نوع | نکته |
|---|---|---|---|---|
| درنا ۸B | مرکز تحقیقات هوش مصنوعی پارت | ۸ میلیارد | تنظیم‌شده بر پایه Llama 3 | متنباز، قابل تنظیم دقیق |
| هامان ۱۲۵M | آریا هامان مهر پارسه | ۱۲۵ میلیون | آموزش از صفر با توکنایزر فارسی | مخصوص تولید مقاله ساختاریافته |
| سیلک، آهوران، آوا | MCINext همراه اول | ۱٫۳، ۸ و ۱۳ میلیارد | معرفی‌شده در الکامپ ۱۴۰۳ | شرایط دسترسی را از سازنده بپرسید |
مدلهای باز چندزبانه
در کنار مدلهای فارسی‌محور، مدلهای باز چندزبانه‌ای مانند خانواده‌های Llama، Qwen، Gemma، Mistral و DeepSeek نیز وجود دارند که وزنهایشان منتشر شده و در نسخه‌های جدیدتر، عملکردشان در فارسی بهتر شده است. بسیاری از مدلهای فارسی‌محور هم در واقع نسخه تنظیم‌شده یکی از همین مدلهای پایه‌اند.
مزیت مدلهای چندزبانه بزرگ، توان استدلال، دانش عمومی و پشتیبانی جامعه گسترده است. عیب آن‌ها اندازه بزرگ‌تر، نیاز به سختافزار قوی‌تر و گاهی کیفیت متغیر در فارسی است. ملاحظات مجوز، امنیت و انتخاب این مدل‌ها را در مقاله‌ای جداگانه درباره مدلهای متنباز سازمانی بررسی می‌کنیم.
چگونه یک مدل فارسی را ارزیابی کنیم؟
۱. از لیدربوردها شروع کنید، اما به آن‌ها بسنده نکنید
مرکز تحقیقات پارت یک لیدربورد باز مدلهای زبانی فارسی (Open Persian LLM Leaderboard) در هاگینگ‌فیس منتشر کرده که عملکرد مدل‌ها را روی مجموعه‌ای از آزمون‌های فارسی مقایسه میکند. لیدربوردها برای فهرست کوتاه اولیه مفیدند، اما دو محدودیت دارند: آزمون‌ها ممکن است با کار واقعی شما متفاوت باشند و برخی مدل‌ها ممکن است برای همان آزمون‌ها بهینه شده باشند.
۲. آزمون با داده واقعی سازمان
هیچ لیدربوردی جای آزمون با نامه‌ها، اسناد و پرسش‌های واقعی سازمان را نمی‌گیرد. مجموعه‌ای از ۵۰ تا ۱۰۰ نمونه واقعی آماده کنید: خلاصه نامه، استخراج اطلاعات از سند، پاسخ به پرسش از آیین‌نامه، نوشتن پیش‌نویس با لحن اداری. چالش‌های رایج فارسی را در مقاله چالش‌های چت‌بات فارسی آورده‌ایم که می‌توانید در آزمون بگنجانید.
۳. معیارهای ارزیابی
| معیار | پرسش کلیدی |
|---|---|
| درستی | پاسخ از نظر محتوا درست است؟ |
| وفاداری به منبع | وقتی سند داده میشود، پاسخ فقط از سند می‌آید؟ |
| کیفیت زبان | فارسی روان، درست و با لحن مناسب است؟ |
| پیروی از دستور | قالب و محدودیت خواسته‌شده رعایت میشود؟ |
| رفتار در نبود پاسخ | به‌جای ساختن، می‌گوید «نمی‌دانم»؟ |
| سرعت و هزینه | روی سختافزار در دسترس، سرعت پاسخ قابل قبول است؟ |
| مجوز | استفاده تجاری و داخلی مجاز است؟ |
۴. اندازه را با کار تطبیق دهید
مدل ۱۲۵ میلیونی برای استدلال چندمرحله‌ای ساخته نشده و مدل ده‌ها میلیاردی برای دسته‌بندی ساده نامه‌ها احتمالاً هزینه بی‌دلیل است. الگوی رایج این است که کارهای ساده و پرحجم به مدل کوچک‌تر و کارهای پیچیده به مدل بزرگ‌تر سپرده شود.
۵. شرایط استفاده را دقیق بخوانید
«متنباز» همیشه به معنای «آزاد برای هر استفاده تجاری» نیست. برخی مدل‌ها مجوزهایی با محدودیت دارند. مجوز مدل پایه و مدل تنظیم‌شده را هر دو بررسی کنید.
نمونه طرح آزمون مقایسه‌ای در سازمان
برای اینکه ارزیابی منظم و قابل تکرار باشد، می‌توانید یک طرح ساده مانند این را اجرا کنید:
- سه تا پنج مدل نامزد را بر اساس اندازه مناسب، مجوز و امکان اجرا انتخاب کنید.
- مجموعه آزمون را در چهار دسته بچینید: خلاصه‌سازی (مثلاً ۲۰ نامه)، استخراج اطلاعات (۲۰ سند)، پاسخ از روی سند (۲۰ پرسش با سند مرتبط) و نگارش (۱۰ پیش‌نویس نامه).
- شرایط یکسان بگذارید: همان دستور، همان اسناد و همان تنظیمات برای همه مدل‌ها.
- ارزیاب‌های انسانی آشنا با کار، بدون دانستن نام مدل، هر خروجی را از ۱ تا ۵ امتیاز دهند.
- زمان پاسخ و منابع مصرفی را روی سختافزار واقعی ثبت کنید.
- نتیجه را در یک جدول کنار هم بگذارید و بر اساس اولویت‌های سازمان (دقت، سرعت، هزینه) تصمیم بگیرید.
این آزمون چند روز کار می‌برد، اما از تصمیمی که ماه‌ها هزینه و نارضایتی در پی دارد، جلوگیری میکند. نتیجه را مستند کنید تا با انتشار نسخه‌های تازه مدل‌ها، بتوانید همان آزمون را دوباره اجرا و مقایسه کنید.
ملاحظات سازمانی فراتر از کیفیت
- محل اجرا: مدل باز را میتوان روی سرور سازمان اجرا کرد تا داده از سازمان خارج نشود. این مزیت بزرگی در برابر سرویس‌های خارجی است که هم ریسک نشت دارند و هم ممکن است ناگهان قطع شوند؛ موضوعی که در مقاله تداوم کار در قطعی اینترنت هم به آن پرداخته‌ایم.
- نگهداری: اجرای مدل روی سرور خود یعنی مسئولیت به‌روزرسانی، پایش و امنیت آن با شماست.
- زنجیره تأمین: وزن‌های مدل را فقط از منبع رسمی دریافت کنید.
- مدل به‌تنهایی کافی نیست: کیفیت پاسخ سازمانی بیش از مدل، به بازیابی درست از اسناد، کنترل دسترسی و ارجاع به منبع بستگی دارد.
اشتباه‌های رایج در انتخاب
- انتخاب بر اساس یک دمو یا یک خبر: هر مدل در دموی سازنده خوب به نظر می‌رسد.
- مقایسه مدل‌ها با پرسش‌های عمومی: پرسش «پایتخت ایران کجاست؟» چیزی درباره توان مدل در خلاصه نامه اداری نمی‌گوید.
- نادیده‌گرفتن هزینه اجرا: مدل بزرگ‌تر یعنی سختافزار گران‌تر و پاسخ کندتر.
- فراموش‌کردن سیاست داده: اگر مدل را روی سرویس بیرونی اجرا می‌کنید، داده شما کجا می‌رود؟ سیاست استفاده امن را در مقاله ریسک ChatGPT در سازمان ببینید.
موضع آریا آیتی
آریا آیتی نام مدل زبانی، سختافزار یا عدد دقت فارسی دستیار خود را بهصورت عمومی اعلام نکرده است و در این مقاله هم ادعایی در این باره نمی‌کنیم. آنچه در سایت آریا آیتی تأیید شده این است که دستیار هوش مصنوعی سازمانی فقط از داده مجاز همان سازمان با ارجاع به منبع پاسخ می‌دهد، نقش کاربر را رعایت میکند، پردازش روی سرور سازمان یا سرورهای آریا آیتی انجام میشود و داده به مدلهای عمومی اینترنت فرستاده نمیشود. جزئیات فنی مدل و محل اجرا در مشاوره و قرارداد فنی مشخص میشود.
جمع‌بندی
اکوسیستم مدلهای زبانی فارسی در حال رشد است: از درنا ۸ میلیاردی پارت تا هامان ۱۲۵ میلیونی و مدلهای همراه اول، در کنار مدلهای باز چندزبانه که در فارسی بهتر شده‌اند. برای انتخاب، از لیدربوردها برای فهرست اولیه استفاده کنید، اما تصمیم نهایی را بر پایه آزمون با داده واقعی سازمان، تطبیق اندازه مدل با کار، بررسی مجوز و ملاحظات محل اجرا بگیرید.
مشاوره رایگان: برای بررسی نیاز سازمانتان به دستیار هوشمند روی داده داخلی و مدل استقرار مناسب، با کارشناسان آریا آیتی صحبت کنید.
پرسش‌های متداول
بهترین مدل زبانی فارسی کدام است؟
+
پاسخ ثابتی وجود ندارد؛ رتبهها با هر نسخه تغییر میکنند و بهترین مدل به کار شما بستگی دارد. از لیدربوردهای فارسی برای فهرست کوتاه استفاده کنید و تصمیم را با آزمون روی داده واقعی سازمان بگیرید.
درنا چیست؟
+
خانوادهای از مدلهای زبانی مرکز تحقیقات هوش مصنوعی پارت. نسخه ۸ میلیارد پارامتری آن در خرداد ۱۴۰۳ بر پایه Llama 3 و با دادههای فارسی بهصورت متنباز منتشر شد.
آیا مدلهای فارسی را میتوان روی سرور سازمان اجرا کرد؟
+
مدلهایی که وزنهایشان منتشر شده، با رعایت مجوز و سختافزار مناسب قابل اجرا روی سرور سازماناند. این کار داده را داخل سازمان نگه میدارد اما مسئولیت نگهداری و امنیت را هم به سازمان میسپارد.
آریا آیتی از کدام مدل زبانی استفاده میکند؟
+
آریا آیتی نام مدل زبانی دستیار خود را بهصورت عمومی اعلام نکرده است. جزئیات فنی مدل و محل اجرا در مشاوره و قرارداد فنی مشخص میشود؛ آنچه تأیید شده این است که پردازش روی سرور سازمان یا سرورهای آریا آیتی است و داده به مدلهای عمومی اینترنت فرستاده نمیشود.