معرفی مدل‌های AI21 Jamba 1.5

اخیرا دو مدل جدید و اپن سورس به نام‌های AI21 Jamba 1.5 Large و AI21 Jamba 1.5 Mini در کاتالوگ مدل Azure AI در دسترس قرار گرفتن. این اتفاق به دنبال همکاری بین مایکروسافت و AI21 Labs رخ داده. جالبه بدونید که قبل از این، در ماه ژوئن، مدل AI21 Jamba-Instruct از همین شرکت، برای اولین بار روی پلتفرم Azure عرضه شده بود.

این مدل‌های جدید بر اساس معماری جامبا (Jamba) ساخته شدن که یک معماری ترکیبی از لایه‌های Mamba و Transformer به حساب میاد. هدف از این ترکیب، رسیدن به عملکرد و کارایی بالا، مخصوصا برای وظایفیه که نیاز به پردازش متن‌های طولانی (long-context) دارن. توسعه‌دهنده‌ها میتونن کار با این مدل‌ها رو در Azure AI Studio Hub شروع کنن و از طریق نمونه‌های کلاینت مختلفی مثل LangChain، LiteLLM، درخواست‌های وب (web requests) و کلاینت Azure خود شرکت AI21 به این مدل‌ها متصل بشن.

ما از تعمیق همکاری خود با مایکروسافت و ارائه نوآوری‌های پیشرفته خانواده مدل جامبا به کاربران Azure AI هیجان‌زده هستیم. خانواده مدل‌های اپن سورس جامبا به عنوان یک مجموعه مدل پیشرفته هیبریدی SSM-Transformer، دسترسی به مدل‌های زبان بزرگ (LLM) رو دموکراتیزه میکنه؛ مدل‌هایی که کارایی، تاخیر کم، کیفیت بالا و قابلیت پردازش متن‌های طولانی رو ارائه میدن. این مدل‌ها عملکرد سازمانی رو ارتقا میدن و به صورت یکپارچه با پلتفرم Azure AI ادغام شدن.
در همین رابطه، پانکاج دوگار (Pankaj Dugar)، که سمت معاون ارشد و مدیر کل آمریکای شمالی در AI21 رو به عهده داره، در یک اظهار نظر گفته:

کاتالوگ مدل Azure AI یک مجموعه خیلی گسترده با بیش از ۱۶۰۰ مدل پایه‌ایه که تنوع و راحتی استفاده رو برای کاربرا فراهم میکنه. این مجموعه شامل مدل‌هایی از شرکت‌های پیشرو در صنعت هوش مصنوعی مثل AI21 Labs، Cohere، NVIDIA، OpenAI، G42، Mistral و شرکت‌های دیگه‌ست تا پوشش کاملی برای نیازهای مختلف وجود داشته باشه. همکاری با این تامین‌کنندگان برتر هوش مصنوعی و همچنین عرضه مدل Phi-3 از طرف بخش تحقیقاتی مایکروسافت (Microsoft Research) باعث شده که گزینه‌های موجود خیلی گسترده‌تر بشن و مشتری‌ها بتونن راحت‌تر مدل مناسب برای کاربردهای خاص خودشون رو پیدا و انتخاب کنن.

چه چیزی مدل‌های Jamba 1.5 رو منحصر به فرد میکنه؟

بر اساس اطلاعاتی که خود AI21 Labs منتشر کرده، مدل‌های Jamba 1.5 Large و Jamba 1.5 Mini قدرتمندترین مدل‌هایی هستن که تا به امروز با معماری جامبا ساخته شدن. این مدل‌ها از معماری هیبریدی Mamba-Transformer استفاده میکنن. این معماری با به کارگیری لایه‌های Mamba برای وابستگی‌های کوتاه‌برد (short-range dependencies) و لایه‌های Transformer برای وابستگی‌های دور-برد (long-range dependencies)، یک تعادل بهینه بین سرعت، حافظه و کیفیت ایجاد میکنه. نتیجه این رویکرد، خانواده‌ای از مدل‌هاست که میتونن متن‌های طولانی رو با کارایی بالا و تاخیر کم پردازش کنن.

برای اینکه درک بهتری از مقیاس این مدل‌ها داشته باشیم، بهتره به اعداد و ارقامشون نگاهی بندازیم:

Jamba 1.5 Mini: این مدل ۱۲ میلیارد پارامتر فعال و در مجموع ۵۲ میلیارد پارامتر داره.
Jamba 1.5 Large: این مدل ۹۴ میلیارد پارامتر فعال و در مجموع ۳۹۸ میلیارد پارامتر داره.

هر دوی این مدل‌ها از یک پنجره محتوای (context window) ۲۵۶ هزار توکنی پشتیبانی میکنن. این یعنی میتونن تا ۲۵۶ هزار توکن یا کاراکتر رو در یک لحظه پردازش کنن. این یک پیشرفت خیلی بزرگ در مقایسه با پنجره محتوای استاندارد اکثر مدل‌های زبان بزرگ به حساب میاد و امکانات جدیدی رو برای کاربردهای هوش مصنوعی مولد که به متن‌های طولانی‌تری نیاز دارن، فراهم میکنه. کاربردهایی مثل خلاصه‌سازی اسناد، تولید متن یا استخراج اطلاعات.

این مدل‌ها با چند تا ویژگی ارائه میشن که استفاده و ادغامشون رو راحت‌تر میکنه. ویژگی‌هایی مثل:

Function Calling: قابلیت فراخوانی توابع
RAG Optimizations: بهینه‌سازی‌ها برای معماری RAG (Retrieval-Augmented Generation)
JSON Mode: حالت خروجی JSON

این ویژگی‌ها به کاربرا اجازه میدن که عملیات پیچیده‌ای مثل جستجو در منابع دانش خارجی، ترکیب چند تابع با هم یا فرمت‌بندی خروجی رو با دستورات ساده زبان طبیعی انجام بدن.

AI21 Labs به چند مورد از کاربردهای این مدل‌ها در صنایع مختلف اشاره کرده که در ادامه لیست شدن:

خدمات مالی
تولید برگه شرایط وام (Loan Term Sheet Generation)
عامل‌های خدمات مشتری (پرسش و پاسخ مبتنی بر منبع یا Grounded Q&A)
تحقیقات سرمایه‌گذاری (پرسش و پاسخ مبتنی بر منبع)
مراقبت‌های بهداشتی / علوم زیستی
دستیار سلامت دیجیتال (Digital Health Assistant)
دستیار پژوهشی (Research Assistant)
خرده‌فروشی / کالاهای مصرفی (CPG)
تولیدکننده توضیحات محصول (Product Description Generator)
تولیدکننده سوالات متداول محصول (Product FAQ Generator)
دستیار خرید (Shopping Assistant)

چرا خانواده مدل Jamba رو روی Azure استفاده کنیم؟

استفاده از خانواده مدل Jamba 1.5 روی پلتفرم Azure به سازمان‌ها این امکان رو میده که از هوش مصنوعی با ایمنی، قابلیت اطمینان و امنیت کامل بهره‌مند بشن. علاوه بر این، این پیشنهاد به توسعه‌دهنده‌ها اجازه میده که به راحتی با ابزارهای Azure AI Studio ادغام بشن. ابزارهایی مثل Azure AI Content Safety برای تقویت شیوه‌های هوش مصنوعی مسئولانه، Azure AI Search و prompt flow برای ارزیابی خروجی‌های مدل‌های زبان بزرگ از طریق محاسبه معیارهایی مثل groundedness (میزان اتکای پاسخ به منابع ارائه شده).

مشتری‌ها میتونن از API این مدل‌ها با کلاینت‌های مختلفی استفاده کنن. این کلاینت‌ها شامل prompt flow، OpenAI، LangChain، LiteLLM، رابط خط فرمان (CLI) با curl و درخواست‌های وب پایتون، و همچنین کلاینت Azure خود شرکت AI21 Lab’s هستن. از اونجایی که مدل‌های Jamba 1.5 Large و Jamba 1.5 Mini به صورت مدل به عنوان سرویس (Models-as-a-Service یا MaaS) در Azure AI ارائه میشن، میشه اونها رو به راحتی به عنوان API های استنتاج (inference) با مدل پرداخت به ازای مصرف (pay-as-you-go) مستقر کرد، بدون اینکه نیازی به مدیریت زیرساخت‌های اصلی باشه.

توسعه‌دهنده‌ها همچنین میتونن با اطمینان خاطر کار کنن، چون میدونن که داده‌هاشون امنه. برای شروع استفاده از Jamba 1.5 Large و Jamba 1.5 Mini، کافیه به کاتالوگ مدل Azure AI Studio دسترسی پیدا کنید، مدل‌های Jamba 1.5 رو انتخاب کرده و اون رو با استفاده از گزینه پرداخت به ازای مصرف (pay-go) مستقر کنید.

نحوه استفاده از Jamba 1.5 Large و Jamba 1.5 Mini در Azure AI

برای شروع ساخت و ساز، باید وارد کاتالوگ مدل Azure AI Studio بشید و از مدل‌های Jamba 1.5 استفاده کنید. برای مشاهده مستندات مربوط به نحوه شروع کار، میتونید به لینکی که در این زمینه ارائه شده مراجعه کنید. استقرار مدل‌های Jamba 1.5 فقط چند دقیقه طول میکشه و مراحل زیر رو باید دنبال کنید:

آشنایی اولیه: اگه با Azure AI Studio آشنا نیستید، بهتره اول مستندات مربوط به اون رو مطالعه کنید تا با اصول اولیه آشنا بشید و اولین پروژه خودتون رو راه‌اندازی کنید.
دسترسی به کاتالوگ مدل: کاتالوگ مدل رو در AI Studio باز کنید.
پیدا کردن مدل: از فیلتر برای انتخاب مجموعه AI21 Labs استفاده کنید یا روی دکمه «View models» در کارت اعلان MaaS کلیک کنید.
انتخاب مدل: مدل‌های Jamba 1.5 رو از لیست باز کنید.
استقرار مدل: روی «Deploy» کلیک کنید و گزینه استقرار Pay-as-you-go (PAYG) رو انتخاب کنید.
اشتراک و دسترسی: برای دسترسی به مدل، در پیشنهاد (offer) مشترک بشید (هزینه‌های استفاده اعمال میشه) و بعد به مرحله استقرار برید.
کاوش در Playground: بعد از استقرار، به طور خودکار به محیط Playground هدایت میشید. در اینجا میتونید قابلیت‌های مدل رو بررسی کنید.
سفارشی‌سازی تنظیمات: پارامترهای محتوا یا استنتاج رو برای تنظیم دقیق پیش‌بینی‌های مدل بر اساس نیازهای خودتون تغییر بدید.
دسترسی برنامه‌نویسی: روی دکمه «View code» کلیک کنید تا API، کلیدها و یک قطعه کد رو به دست بیارید. این کار به شما امکان میده تا به صورت برنامه‌نویسی به مدل دسترسی پیدا کرده و اون رو ادغام کنید.
ادغام با ابزارها: از API ارائه شده در ابزارهای مدل زبان بزرگ (LLM) مثل prompt flow، Semantic Kernel، LangChain یا هر ابزار دیگه‌ای که از REST API با احراز هویت مبتنی بر کلید برای انجام استنتاج پشتیبانی میکنه، استفاده کنید.

سوالات متداول (FAQ)

در ادامه به برخی از سوالات متداول در مورد استفاده از این مدل‌ها پاسخ داده شده.

هزینه استفاده از مدل‌های Jamba 1.5 Large یا Jamba 1.5 Mini در Azure چقدره؟

شما بر اساس تعداد توکن‌های پرامپت (prompt) و تکمیل (completions) هزینه پرداخت میکنید. میتونید قیمت‌گذاری رو در تب جزئیات پیشنهاد Marketplace هنگام استقرار مدل بررسی کنید. همچنین میتونید قیمت‌ها رو در Azure Marketplace پیدا کنید. به طور خلاصه هزینه‌ها به این صورته:

مدل	هزینه توکن ورودی (به ازای ۱۰۰۰ توکن)	هزینه توکن خروجی (به ازای ۱۰۰۰ توکن)
Jamba 1.5 Large	۰.۰۰۲ دلار	۰.۰۰۸ دلار
Jamba 1.5 Mini	۰.۰۰۰۲ دلار	۰.۰۰۰۴ دلار

آیا برای استفاده از مدل‌های Jamba 1.5 به ظرفیت GPU در اشتراک Azure خودم نیاز دارم؟

نه، شما به ظرفیت GPU نیازی ندارید. مدل‌های Jamba 1.5 Large و Jamba 1.5 Mini به صورت یک API از طریق سرویس Models as a Service ارائه میشن.

آیا مدل‌های Jamba 1.5 Large یا Jamba 1.5 Mini در Azure Machine Learning Studio هم موجود هستن؟

بله، مدل‌های Jamba 1.5 در کاتالوگ مدل هر دو پلتفرم Azure AI Studio و Azure Machine Learning Studio در دسترس هستن.

مدل‌های Jamba 1.5 Large و Jamba 1.5 Mini در Azure Marketplace لیست شدن. آیا میتونم این مدل‌ها رو مستقیما از Azure Marketplace خریداری و استفاده کنم؟

Azure Marketplace پایه و اساس تراکنش‌های تجاری برای مدل‌هایی هست که بر روی Azure ساخته شدن یا برای Azure ساخته شدن. Azure Marketplace امکان خرید و صورتحساب مدل‌های Jamba 1.5 رو فراهم میکنه. با این حال، کشف مدل هم در Azure Marketplace و هم در کاتالوگ مدل Azure AI اتفاق میفته. این یعنی شما میتونید مدل‌های Jamba 1.5 رو هم در Azure Marketplace و هم در کاتالوگ مدل Azure AI جستجو و پیدا کنید.
اگه مدل‌های Jamba 1.5 رو در Azure Marketplace جستجو کنید، میتونید در پیشنهاد (offer) مشترک بشید و بعد به کاتالوگ مدل Azure AI در Azure AI Studio هدایت میشید تا اشتراک رو تکمیل و مدل رو مستقر کنید.
اگه مدل‌های Jamba 1.5 رو در کاتالوگ مدل Azure AI جستجو کنید، میتونید بدون شروع از Azure Marketplace، مستقیما از همونجا مشترک شده و مدل رو مستقر کنید. Azure Marketplace همچنان جریان تجاری زیربنایی رو ردیابی میکنه.

با توجه به اینکه صورتحساب مدل‌های Jamba 1.5 از طریق Azure Marketplace صادر میشه، آیا این هزینه از تعهد مصرف Azure من (MACC) کم میکنه؟

بله، مدل‌های Jamba 1.5 یک پیشنهاد Marketplace «واجد شرایط مزایای Azure» هستن که نشون‌دهنده واجد شرایط بودن برای MACC است.

آیا داده‌های استنتاج من با AI21 Labs به اشتراک گذاشته میشه؟

نه، مایکروسافت محتوای پرامپت‌ها یا خروجی‌ها رو با AI21 Labs به اشتراک نمیذاره. اطلاعات بیشتر در مورد استفاده از داده‌ها از طریق کاتالوگ مدل در بخش «Data, privacy, and security for use of models through the Model Catalog in Azure AI Studio» موجوده.

آیا برای مدل Jamba 1.5 Large یا Jamba 1.5 Mini در Azure محدودیت نرخ (rate limits) وجود داره؟

بله، برای این مدل‌ها در Azure محدودیت نرخ وجود داره. هر استقرار (deployment) دارای محدودیت نرخ ۴۰۰ هزار توکن در دقیقه و ۱۰۰۰ درخواست API در دقیقه است. اگه سوالات بیشتری دارید، میتونید با پشتیبانی مشتریان Azure تماس بگیرید.

آیا مدل‌های Jamba 1.5 به منطقه خاصی محدود هستن؟

اندپوینت‌های API مدل Jamba 1.5 Large یا Jamba 1.5 Mini رو میشه در پروژه‌های AI Studio به فضاهای کاری Azure Machine Learning در مناطق زیر ایجاد کرد:

مناطق Jamba 1.5 Mini: East US 2, Sweden Central
مناطق Jamba 1.5 Large: East US, Sweden Central

اگه میخواید از این مدل در prompt flow در پروژه‌ها یا فضاهای کاری در مناطق دیگه استفاده کنید، میتونید از API و کلید به عنوان یک اتصال دستی به prompt flow استفاده کنید. به طور کلی، شما میتونید از API از هر منطقه Azure استفاده کنید، به شرطی که اون رو در یکی از مناطق ذکر شده ایجاد کرده باشید.

آیا میتونم مدل‌های Jamba 1.5 Large و Jamba 1.5 Mini رو در Azure فاین-تیون (fine-tune) کنم؟

در حال حاضر شما نمیتونید این مدل‌ها رو از طریق Azure AI Studio فاین-تیون کنید.

آیا میتونم از مدل‌های MaaS در هر نوع اشتراک Azure استفاده کنم؟

مشتری‌ها میتونن از مدل‌های MaaS در تمام انواع اشتراک Azure که روش پرداخت معتبری دارن، استفاده کنن، به جز برنامه CSP (Cloud Solution Provider). اشتراک‌های رایگان یا آزمایشی Azure پشتیبانی نمیشن.

واکنش‌ها و دیدگاه‌های بیشتر در صنعت

انتشار این مدل‌ها در پلتفرم‌های مختلف، بازتاب‌های زیادی در شبکه‌های اجتماعی و وبسایت‌های خبری داشته.

دیدگاه NVIDIA و همکاران

شرکت NVIDIA AI در صفحه لینکدین خودش با بیش از ۱.۳ میلیون دنبال‌کننده، به این موضوع پرداخت. اونها به کاربران پیشنهاد کردن که مدل Jamba 1.5 از AI21 Labs رو که برای وظایف مختلف هوش مصنوعی مثل تولید محتوا و استخراج بینش از داده‌ها طراحی شده، بررسی کنن. در پست اونها ذکر شده که این مدل با استفاده از معماری‌های ترنسفورمر و مامبا، کارایی بالا و مدیریت متن‌های طولانی رو تضمین میکنه. همچنین اشاره شده که میشه API مدل Jamba 1.5 رو به عنوان یک میکروسرویس NVIDIA NIM از کاتالوگ API انویدیا تجربه کرد.
این پست توسط افراد زیادی در انویدیا و حوزه‌های مرتبط به اشتراک گذاشته شد، از جمله:

Dr. Jochen Papenbrock (Head of Financial Technology and Lead DevRel Banking @ NVIDIA)
ZhiHong Wen (NVIDIA Marketing Director)
Claudio Polla (NVIDIA Telco Solutions)
Gareth Douglas (Director & Site Leader @ NVIDIA)
(social media manager در انویدیا)
Lisa Pistacchio (Senior Manager, Partner Marketing Communications at NVIDIA)
Rob Kemp (NVIDIA Software Talent Sourcer)

شرکت WEKA هم در یک پست لینکدین اعلام کرد که با انویدیا برای ادغام پلتفرم مرجع WEKA AI RAG (WARRP) با NVIDIA NIM و NeMo Retriever همکاری کرده. هدف از این همکاری، ارائه راه‌حل‌های هوش مصنوعی چندوجهی و مقیاس‌پذیره که قابلیت‌های RAG رو برای اپلیکیشن‌های هوش مصنوعی افزایش میده.

Liqid هم در یک پست به همکاری مشترک خودش با انویدیا و Supermicro اشاره کرد و از نمایش Inference-as-a-Service روی کوبرنتیس (Kubernetes) ترکیبی در رویداد SuperCompute 24 خبر داد.

کریس پورتر (Chris Porter)، مدیرعامل Viral Wave Studio، هم در یک پست وبلاگی به معرفی مدل زبان Hymba 1.5B توسط انویدیا پرداخت و اشاره کرد که این مدل زبان کوچک هیبریدی عملکردی بهتر از Llama 3.2 و SmolLM v2 داشته.

پوشش خبری در Neowin

وبسایت خبری Neowin در مقاله‌ای به قلم پرادیپ ویسواناتان (Pradeep Viswanathan) در تاریخ ۲۲ آگوست ۲۰۲۴، به معرفی خانواده مدل‌های Jamba 1.5 پرداخت. در این مقاله به نکات جالبی اشاره شده:

این مدل‌ها با معماری SSM-Transformer ساخته شدن تا کارایی، سرعت و کیفیت بالایی در پردازش متن‌های طولانی داشته باشن.
پنجره محتوای موثر ۲۵۶ هزار توکنی این مدل‌ها، طولانی‌ترین پنجره در بازار معرفی شده.
این اولین باریه که یک مدل غیر-ترنسفورمر (non-Transformer) به عملکرد و کارایی مدل‌های مبتنی بر ترنسفورمر امروزی رسیده.
AI21 Labs ادعا میکنه که مدل‌های Jamba 1.5 تا ۲.۵ برابر سریع‌تر در پردازش متن‌های طولانی هستن و در کلاس اندازه‌ای خودشون، در تمام طول‌های محتوا سریع‌ترین به حساب میان.
در بنچمارک Arena Hard AI، مدل Jamba 1.5 Mini امتیاز ۴۶.۱ و مدل Jamba 1.5 Large امتیاز ۶۵.۴ کسب کرده که هر دو رو به بهترین مدل‌های اپن سورس موجود در بازار تبدیل میکنه.
این مدل‌ها علاوه بر انگلیسی، از زبان‌های دیگه‌ای مثل اسپانیایی، فرانسوی، پرتغالی، ایتالیایی، هلندی، آلمانی، عربی و عبری هم پشتیبانی میکنن.
ویژگی‌های دوستدار توسعه‌دهنده مثل خروجی ساختاریافته JSON، فراخوانی تابع، هضم اشیای سند و تولید استناد هم در این مدل‌ها پشتیبانی میشه.
این مدل‌ها ردپای حافظه کمتری نسبت به مدل‌های رقیب دارن. برای مثال، مدل Jamba Mini میتونه طول محتوای تا ۱۴۰ هزار توکن رو روی یک GPU واحد مدیریت کنه.
این مدل‌ها تحت لایسنس Jamba Open Model License منتشر شدن که قدم مهمی در جهت دموکراتیزه کردن حوزه هوش مصنوعیه.

بحثی در مورد پنجره محتوا (Context Window)

در بخش نظرات وبلاگ مایکروسافت، یک گفتگوی جالب بین کاربری به نام MattGohmann و ThasmikaGokal از مایکروسافت شکل گرفت. MattGohmann سوالی در مورد پنجره محتوای ۲۵۶ هزار توکنی و پارامتری به نام max_tokens پرسیده بود.

ThasmikaGokal در پاسخ توضیح داد که این دو مفهوم با هم فرق دارن:

پنجره محتوای ۲۵۶ هزار توکنی (256K context window) مربوط به حداکثر توکن‌های ورودی (input) است. به همین دلیله که این مدل برای کاربردهای RAG با متن‌های طولانی عالیه.
max_tokens مربوط به حداکثر تعداد توکن‌های مجاز برای هر پیام پاسخ تولید شده (output) است. این مقدار در کانتینر AI21 روی ۴۰۹۶ تنظیم شده.

او همچنین اشاره کرد که این تمایز ممکنه در مستندات مایکروسافت یا AI21 به وضوح بیان نشده باشه و این بازخورد باعث میشه که تغییرات لازم در مستندات هر دو سایت اعمال بشه.

حضور در شبکه‌های اجتماعی دیگر

این خبر در پلتفرم‌های دیگه هم بازتاب داشت. برای مثال، حساب کاربری Azure Weekly در پلتفرم X (توییتر سابق) در تاریخ ۲۸ آگوست ۲۰۲۴، پستی در مورد معرفی این مدل‌ها در Azure AI منتشر کرد. همچنین یک پست از طرف Amazon Web Services در فیسبوک به مدل‌های پایه‌ای اشاره کرد که میتونن کارهای سنگین مرتبط با داده رو برای کسب‌وکارها راحت کنن، که به طور کلی به موضوع مدل‌های جدید و قدرتمند اشاره داره.