راهنماهوش مصنوعی سازمانی
مدل زبانی محلی (On-Premise LLM): اجرای هوش مصنوعی روی سرور سازمان، مزایا و پیش‌نیازها
مدل زبانی محلی مدلی است که روی سختافزار تحت کنترل سازمان اجرا میشود تا پرسش‌ها و اسناد از زیرساخت توافق‌شده خارج نشوند. مزایا: کنترل و اقامت داده، استقلال از تحریم و قطعی، هزینه قابل پیش‌بینی در مقیاس و امکان سفارشی‌سازی. چالش‌ها: سختافزار GPU، کیفیت پایین‌تر مدلهای باز در فارسی، نگه‌داری و ظرفیت هم‌زمانی. مدل محلی به‌تنهایی کافی نیست و باید با نمایه، کنترل دسترسی، بازیابی، ارجاع و ثبت سابقه ترکیب شود.
خلاصه در چند نکته
- مدل محلی داده را در زیرساخت تحت کنترل سازمان نگه می‌دارد.
- در قطعی اینترنت بینالملل و تحریم هم کار میکند.
- حافظه لازم به تعداد پارامتر و دقت عددی بستگی دارد؛ کوانتیزهسازی آن را کم میکند.
- مدلهای باز معمولاً از بزرگترین مدلهای تجاری ضعیف‌ترند؛ آزمون با داده واقعی لازم است.
- مدل محلی بدون جستجو، کنترل دسترسی و ارجاع به پرسش سازمانی پاسخ درست نمی‌دهد.
- نگه‌داری، به‌روزرسانی و امنیت مسئولیت سازمان است.
فهرست مطالب
برای بسیاری از سازمان‌های ایرانی، به‌ویژه دستگاه‌های دولتی، بانک‌ها، شرکت‌های بیمه، صنایع حساس و هر سازمانی که با اطلاعات محرمانه کار میکند، پرسش اصلی درباره هوش مصنوعی این نیست که «کدام مدل باهوش‌تر است»، بلکه این است که «داده ما کجا می‌رود؟». فرستادن متن نامه‌ها، قراردادها یا اطلاعات مشتریان به سرویس‌های عمومی خارج از کشور برای این سازمان‌ها پذیرفتنی نیست؛ هم به دلیل ریسک امنیتی، هم به دلیل الزامات حقوقی و قراردادی و هم به این دلیل که دسترسی به این سرویس‌ها ممکن است هر لحظه قطع شود.
پاسخ رایج به این نگرانی، مدل زبانی محلی یا On-Premise LLM است: اجرای مدل روی سرورهای خود سازمان یا زیرساختی داخلی و قابل کنترل. این راهنما توضیح می‌دهد این رویکرد چه مزایا و هزینه‌هایی دارد، به چه پیش‌نیازهایی نیاز است و چگونه گام‌به‌گام آن را برنامه‌ریزی کنید.
مدل زبانی محلی یعنی چه؟
مدل زبانی محلی مدلی است که وزنهای آن روی سختافزار تحت کنترل سازمان بارگذاری و اجرا میشود، به‌طوری که پرسش‌ها و اسناد برای پردازش از شبکه سازمان یا زیرساخت توافق‌شده خارج نمی‌شوند. این کار معمولاً با مدلهای باز انجام میشود؛ یعنی مدل‌هایی که وزن‌هایشان منتشر شده و مجوز اجرای محلی دارند. مرور مدلهای فارسی و چندزبانه را در مقاله مدلهای زبانی فارسی آورده‌ایم و مفاهیم پایه را در مقاله مدل زبانی بزرگ چیست.
سه حالت رایج استقرار:
| حالت | توضیح | مناسب برای |
|---|---|---|
| روی سرور سازمان | سختافزار و مدل در مرکز داده خود سازمان | سازمان‌های حساس با تیم فنی و شبکه ایزوله |
| روی زیرساخت داخلی ارائه‌دهنده | مدل روی سرورهای یک ارائه‌دهنده داخلی با قرارداد مشخص | سازمان‌هایی که نمی‌خواهند سختافزار نگه‌داری کنند |
| ترکیبی | کارهای حساس محلی، کارهای عمومی روی زیرساخت دیگر | سازمان‌های بزرگ با کاربردهای متنوع |
مزایا
۱. اقامت و کنترل داده
مهم‌ترین مزیت، کنترل کامل بر داده است. پرسش‌ها، اسناد و پاسخ‌ها در زیرساخت سازمان می‌مانند و سازمان می‌داند چه چیزی، کجا و تا چه مدت نگه‌داری میشود.
۲. استقلال از تحریم و قطعی
سرویس‌های خارجی ممکن است به دلیل تحریم، تغییر سیاست یا اختلال اینترنت در دسترس نباشند. مدل محلی حتی در قطعی اینترنت بینالملل کار میکند؛ موضوعی که در مقاله تداوم اتوماسیون اداری در قطعی اینترنت اهمیت آن را بررسی کرده‌ایم.
۳. هزینه قابل پیش‌بینی در مقیاس
در استفاده پرحجم، هزینه ثابت سختافزار ممکن است از هزینه متغیر سرویس‌های مبتنی بر توکن قابل پیش‌بینی‌تر باشد؛ هرچند سرمایه‌گذاری اولیه بالاست.
۴. امکان سفارشی‌سازی
مدل محلی را می‌توان با واژگان، دستورهای سامانه و جریان‌های بازیابی خاص سازمان تنظیم کرد، بدون وابستگی به محدودیت‌های یک ارائه‌دهنده بیرونی.
هزینه‌ها و چالش‌ها
۱. سختافزار
مدلهای زبانی برای اجرای روان به پردازنده گرافیکی (GPU) با حافظه کافی نیاز دارند. یک قاعده تقریبی: حافظه لازم برای وزنها به تعداد پارامترها و دقت عددی بستگی دارد. برای مثال، مدلی با ۸ میلیارد پارامتر با دقت ۱۶ بیتی حدود ۱۶ گیگابایت حافظه فقط برای وزنها میخواهد و با کوانتیزهسازی ۴ بیتی به حدود یکچهارم آن کاهش می‌یابد. به این باید حافظه لازم برای پنجره زمینه و کاربران همزمان را افزود. مدلهای ده‌ها میلیاردی به چند GPU قدرتمند نیاز دارند. تأمین سختافزار در شرایط تحریم هم خود چالشی جداگانه است.
۲. کیفیت، به‌ویژه در فارسی
مدلهای بازی که روی سختافزار معمولی اجرا می‌شوند، معمولاً از بزرگترین مدلهای تجاری ضعیف‌ترند. کوانتیزهسازی هم ممکن است کیفیت را اندکی کاهش دهد. این فاصله در فارسی و متون تخصصی می‌تواند محسوس‌تر باشد. تنها راه اطمینان، آزمون با داده واقعی است.
۳. نگه‌داری و تخصص
اجرای مدل محلی یعنی سازمان مسئول نصب، به‌روزرسانی، پایش، امنیت، پشتیبان‌گیری و رفع اشکال است. بدون تیم فنی یا شریک پشتیبانی، سامانه پس از چند ماه کهنه و ناپایدار میشود.
۴. هم‌زمانی و سرعت
ده کاربر همزمان با یک کاربر بسیار متفاوت است. ابزارهای اجرای مدل از نظر توان رسیدگی به درخواست‌های همزمان تفاوت دارند و ظرفیت باید بر اساس الگوی واقعی استفاده برنامه‌ریزی شود.
ابزارهای رایج اجرا
چند دسته ابزار برای اجرای مدلهای باز وجود دارد:
- ابزارهای ساده برای شروع و آزمایش: ابزارهایی مانند Ollama یا llama.cpp که دریافت و اجرای مدل را روی یک سرور یا حتی رایانه شخصی ساده می‌کنند و برای پایلوت و آزمون مناسب‌اند.
- موتورهای سرویس‌دهی برای بهره‌برداری: موتورهایی مانند vLLM که برای سرویس‌دهی به کاربران همزمان و بهره‌وری بیشتر از GPU طراحی شده‌اند.
- لایه‌های پیرامونی: درگاه API، احراز هویت، ثبت درخواست‌ها، محدودیت نرخ و پایش.
انتخاب ابزار به مقیاس، تخصص تیم و الزامات امنیتی بستگی دارد.
مدل محلی به‌تنهایی کافی نیست
یک اشتباه رایج این است که سازمان مدل را روی سرور نصب میکند و انتظار دارد به پرسش‌های سازمانی پاسخ دهد. مدل محلی هم مانند هر مدل دیگری از اسناد و نامه‌های سازمان خبر ندارد. برای پاسخ‌گویی سازمانی به این اجزا نیاز است:
| جزء | نقش |
|---|---|
| نمایه و جستجو | یافتن اسناد مرتبط با پرسش |
| کنترل دسترسی | نمایش فقط اسناد مجاز هر کاربر |
| بازیابی و ساخت پاسخ (RAG) | ساخت پاسخ بر پایه اسناد یافته‌شده |
| ارجاع به منبع | امکان بررسی پاسخ |
| ثبت سابقه | ردیابی استفاده برای ممیزی |
| رابط کاربری | دسترسی کارکنان در محیط کار روزانه |
گام‌به‌گام برنامه‌ریزی استقرار
گام ۱: کاربردها را مشخص کنید
بنویسید مدل دقیقاً برای چه کارهایی است: خلاصه نامه، پاسخ از آیین‌نامه، استخراج اطلاعات، پیش‌نویس. کاربرد، اندازه مدل و سختافزار را تعیین میکند.
گام ۲: طبقه‌بندی داده
مشخص کنید کدام داده‌ها حساس‌اند و نباید از سازمان خارج شوند. ممکن است برای برخی کاربردهای عمومی، الزام محلی بودن وجود نداشته باشد.
گام ۳: مدلهای نامزد را انتخاب و آزمون کنید
دو تا چهار مدل باز را بر اساس مجوز، اندازه و کیفیت فارسی انتخاب کنید و با نمونههای واقعی بیازمایید.
گام ۴: ظرفیت را برآورد کنید
تعداد کاربران همزمان، طول متوسط اسناد و زمان پاسخ قابل قبول را تخمین بزنید و سختافزار را بر اساس آن انتخاب کنید.
گام ۵: معماری کامل را طراحی کنید
مدل را با نمایه، کنترل دسترسی، بازیابی، ارجاع، ثبت سابقه و رابط کاربری ترکیب کنید.
گام ۶: امنیت
شبکه را تفکیک کنید، دسترسی به API مدل را با احراز هویت محدود کنید، وزنها را فقط از منبع رسمی بگیرید و درخواست‌ها را ثبت کنید.
گام ۷: پایلوت محدود
برای یک واحد و یک کاربرد فعال کنید و دقت، سرعت و رضایت را بسنجید.
گام ۸: نگه‌داری و به‌روزرسانی
برای به‌روزرسانی مدل، آزمون پیش از جایگزینی، پایش منابع و پشتیبان‌گیری برنامه داشته باشید.
چک‌لیست تصمیم
- [ ] داده‌های ما واقعاً الزام اقامت داخلی دارند؟
- [ ] تیم فنی یا شریک پشتیبانی برای نگه‌داری داریم؟
- [ ] سختافزار مناسب در دسترس و قابل تأمین است؟
- [ ] کیفیت مدلهای باز در آزمون با داده ما قابل قبول بود؟
- [ ] برای نمایه، دسترسی، ارجاع و ممیزی برنامه داریم؟
- [ ] هزینه کل مالکیت در چند سال را برآورد کرده‌ایم؟
برای مقایسه کلی‌تر استقرار ابری و داخلی سامانه‌های سازمانی، مقاله اتوماسیون اداری ابری یا نصب روی سرور را ببینید.
اشتباه‌های رایج در پروژه‌های مدل محلی
خرید سختافزار پیش از آزمون
برخی سازمان‌ها ابتدا سرور گران‌قیمت می‌خرند و بعد به دنبال کاربرد می‌گردند. ترتیب درست برعکس است: کاربرد، آزمون مدل روی سختافزار موقت یا اجاره‌ای، و سپس خرید بر اساس نتیجه.
انتخاب بزرگترین مدل ممکن
مدل بزرگ‌تر لزوماً بهتر نیست. برای خلاصه‌سازی نامه یا طبقه‌بندی، مدل کوچک‌تر و سریع‌تر ممکن است کاملاً کافی باشد و هزینه سختافزار را چند برابر کم کند.
نادیده گرفتن مجوز مدل
همه مدلهای «باز» برای هر استفاده‌ای آزاد نیستند. برخی مجوزها برای استفاده تجاری یا مقیاس بالا شرط دارند. پیش از استقرار، مجوز را با واحد حقوقی بررسی کنید.
فراموش کردن امنیت درون‌سازمانی
محلی بودن مدل به معنای امن بودن آن نیست. اگر API مدل بدون احراز هویت در شبکه باز باشد یا مدل به همه اسناد بدون رعایت نقش کاربران دسترسی داشته باشد، ریسک نشت داخلی همچنان وجود دارد. ریسک‌های نشت داده در استفاده از ابزارهای عمومی را در مقاله ریسک داده در استفاده از ChatGPT در محل کار بررسی کرده‌ایم؛ بسیاری از همان اصول درون سازمان هم صادق است.
نبود برنامه پایش
مدلی که بدون پایش اجرا شود، ممکن است به‌تدریج کند شود، حافظه را پر کند یا پاسخ‌های نادرست بدهد و کسی متوجه نشود. شاخص‌هایی مانند زمان پاسخ، خطاها، مصرف منابع و بازخورد کاربران را از روز اول ثبت کنید.
رویکرد آریا آیتی
در سایت آریا آیتی تأیید شده که قابلیت‌های هوش مصنوعی روی سرورهای مشتری یا سرورهای آریا آیتی قابل استقرار است و داده سازمان به مدلهای عمومی اینترنت فرستاده نمیشود؛ سازمانی با شبکه ایزوله هم می‌تواند پردازش را داخل سایت خود داشته باشد اگر زیرساخت مدل توافق شود. دستیار هوش مصنوعی سازمانی پاسخ را فقط از داده مجاز سازمان با ارجاع به منبع و رعایت نقش می‌دهد. نام مدل، سختافزار مورد نیاز و جزئیات فنی استقرار به‌صورت عمومی اعلام نشده و در مشاوره و قرارداد فنی مشخص میشود. آریا آیتی سرویس جداگانه‌ای برای آموزش یا تنظیم دقیق مدل ارائه نمی‌کند. برای برنامه‌ریزی استقرار، خدمات پیاده‌سازی آریا آیتی را ببینید.
جمع‌بندی
مدل زبانی محلی برای سازمان‌هایی که داده حساس دارند یا نمی‌خواهند به سرویس‌های خارجی وابسته باشند، گزینه‌ای جدی است: کنترل داده و استقلال از قطعی را می‌دهد، اما هزینه سختافزار، چالش کیفیت و مسئولیت نگه‌داری دارد. موفقیت آن به انتخاب مدل با آزمون واقعی، برآورد درست ظرفیت و ترکیب مدل با جستجو، کنترل دسترسی، ارجاع و ممیزی بستگی دارد.
مشاوره رایگان: برای بررسی مدل استقرار مناسب هوش مصنوعی در سازمانتان، با کارشناسان آریا آیتی گفت‌وگو کنید یا درخواست پایلوت دستیار (در پلن سازمانی) را ثبت کنید.
مراحل انجام کار
تعیین کاربردها
کارهایی را که مدل باید انجام دهد مشخص کنید؛ کاربرد اندازه مدل و سختافزار را تعیین میکند.
طبقه‌بندی داده
داده‌هایی را که نباید از سازمان خارج شوند مشخص کنید.
انتخاب و آزمون مدل
دو تا چهار مدل باز را بر اساس مجوز، اندازه و کیفیت فارسی با نمونه واقعی بیازمایید.
برآورد ظرفیت
کاربران همزمان، طول اسناد و زمان پاسخ قابل قبول را تخمین بزنید.
طراحی معماری
مدل را با نمایه، کنترل دسترسی، بازیابی، ارجاع، ثبت سابقه و رابط کاربری ترکیب کنید.
امنیت
شبکه را تفکیک، API را با احراز هویت محدود و وزنها را از منبع رسمی دریافت کنید.
پایلوت محدود
برای یک واحد و یک کاربرد فعال و دقت و سرعت را بسنجید.
نگه‌داری
برای به‌روزرسانی، آزمون، پایش و پشتیبان‌گیری برنامه داشته باشید.
پرسش‌های متداول
آیا مدل زبانی محلی بدون اینترنت کار میکند؟
+
بله. وقتی وزنهای مدل روی سرور سازمان بارگذاری شده باشد، اجرای آن به اینترنت بینالملل نیاز ندارد؛ فقط به شبکه داخلی و سختافزار مناسب.
برای اجرای مدل محلی چه سختافزاری لازم است؟
+
به اندازه مدل، دقت عددی و تعداد کاربران همزمان بستگی دارد. بهطور تقریبی، مدل ۸ میلیاردی با دقت ۱۶ بیتی حدود ۱۶ گیگابایت حافظه GPU برای وزنها میخواهد و با کوانتیزهسازی ۴ بیتی حدود یکچهارم آن.
کیفیت مدل محلی در فارسی چگونه است؟
+
معمولاً از بزرگترین مدلهای تجاری ضعیفتر است و در متون تخصصی فارسی ممکن است فاصله محسوس باشد. تنها راه اطمینان، آزمون با نمونههای واقعی سازمان است.
آیا هوش مصنوعی آریا آیتی روی سرور سازمان نصب میشود؟
+
طبق سایت آریا آیتی، استقرار روی سرورهای مشتری یا سرورهای آریا آیتی ممکن است و داده به مدلهای عمومی اینترنت فرستاده نمیشود. جزئیات مدل و سختافزار در مشاوره و قرارداد فنی مشخص میشود.