ورک‌استیشن هوش مصنوعی H3C LinSeer MegaCube

بررسی ورک‌استیشن هوش مصنوعی H3C LinSeer MegaCube

H3C LinSeer MegaCube یک ورک‌استیشن کوچک برای توسعه و اجرای محلی مدل‌های هوش مصنوعی است که پردازنده NVIDIA GB10 Grace Blackwell را با ۱۲۸ گیگابایت حافظه یکپارچه ترکیب می‌کند. هدف این دستگاه فراهم کردن محیطی شخصی برای آزمایش، نمونه‌سازی، استنتاج و برخی روش‌های تنظیم مدل است؛ کاربردی که معمولاً به منابع GPU و حافظه قابل توجه نیاز دارد. ابعاد کوچک و اتصال شبکه پرسرعت آن، استفاده روی میز کار یا در آزمایشگاه را امکان‌پذیر می‌کند.

در ارزیابی این محصول باید به تفاوت ظرفیت تئوری و کارایی واقعی توجه کرد. H3C برای تراشه GB10 توان حداکثر یک پتافلاپس را در محاسبات FP4 اعلام می‌کند. این عدد برای عملیات هوش مصنوعی با دقت پایین است و نباید آن را با سرعت FP32، عملکرد پردازنده مرکزی یا سرعت تولید توکن در همه مدل‌ها یکی دانست. سرعت واقعی به مدل، دقت، طول متن، اندازه دسته، نرم‌افزار و تنظیمات اجرا بستگی دارد.

پردازنده GB10 و معماری Grace Blackwell

قلب دستگاه NVIDIA GB10 Grace Blackwell Superchip است؛ ترکیبی از CPU مبتنی بر Arm و GPU مبتنی بر معماری Blackwell. طبق مشخصات H3C، CPU بیست هسته دارد که از ۱۰ هسته Cortex-X925 و ۱۰ هسته Cortex-A725 تشکیل شده‌اند. این بخش وظایفی مانند آماده‌سازی داده، اجرای برنامه، مدیریت درخواست‌ها و هماهنگی پردازش‌ها را بر عهده می‌گیرد، در حالی که GPU برای عملیات موازی و محاسبات مورد استفاده در شبکه‌های عصبی طراحی شده است.

GPU مجتمع این تراشه ۶۱۴۴ هسته CUDA و هسته‌های Tensor نسل پنجم دارد و از دقت‌های FP4 و FP8 پشتیبانی می‌کند. H3C همچنین به هسته‌های RT نسل چهارم اشاره می‌کند. هسته‌های CUDA در بسیاری از عملیات موازی به کار می‌روند و هسته‌های Tensor برای ضرب ماتریس و محاسبات مورد استفاده در یادگیری عمیق اهمیت دارند. تعداد هسته به تنهایی معیار مناسبی برای مقایسه مستقیم با هر GPU دیگر نیست؛ معماری، پهنای باند، محدودیت توان و نرم‌افزار نیز در نتیجه دخالت دارند.

دقت FP4 می‌تواند با کاهش حجم داده‌های مدل و استفاده از مسیرهای سخت‌افزاری مناسب، اجرای بعضی مدل‌ها را عملی‌تر کند. با این حال انتخاب دقت پایین همیشه بدون هزینه نیست: کیفیت خروجی باید روی داده‌ها و وظیفه واقعی سنجیده شود. عدد یک پتافلاپس سقف نظری اعلام‌شده برای FP4 است، نه تضمین سرعت در بارهای کاری دلخواه یا معادل یک پتافلاپس FP32.

حافظه یکپارچه ۱۲۸ گیگابایتی؛ مزیت و محدودیت

این دستگاه از ۱۲۸ گیگابایت حافظه LPDDR5x یکپارچه با پهنای باند اعلام‌شده ۲۷۳ گیگابایت بر ثانیه استفاده می‌کند. CPU و GPU به یک فضای حافظه مشترک دسترسی دارند؛ بنابراین برای نگهداری مدل‌ها و داده‌ها، الزام به جابه‌جایی همانند دو فضای حافظه کاملاً جدا کاهش پیدا می‌کند. ارتباط NVLink-C2C میان CPU و GPU نیز برای اتصال پرسرعت این دو بخش در نظر گرفته شده است.

۱۲۸ گیگابایت حافظه یکپارچه به معنی ۱۲۸ گیگابایت VRAM اختصاصی و اضافه بر رم سیستم نیست. سیستم‌عامل، برنامه‌ها، بافرها، حافظه مورد نیاز پردازش و خود مدل از منابع مشترک استفاده می‌کنند. در نتیجه تمام ظرفیت اسمی در اختیار وزن‌های مدل قرار نمی‌گیرد. پهنای باند نیز به‌ویژه در تولید تک‌کاربره توکن می‌تواند محدودکننده باشد و ظرفیت بیشتر به تنهایی تضمین‌کننده پاسخ سریع نیست.

H3C اجرای استنتاج مدل‌های تا ۲۰۰ میلیارد پارامتر روی یک دستگاه و تنظیم مدل‌های تا ۷۰ میلیارد پارامتر را مطرح می‌کند. این اعداد سقف‌های معرفی‌شده توسط سازنده‌اند و تحقق آن‌ها به روش فشرده‌سازی، نوع مدل، روش تنظیم، حافظه موقت و ابزار اجرا بستگی دارد. برای مثال تنظیم کامل تمام پارامترها به حافظه‌ای بسیار بیشتر از نگهداری وزن‌ها نیاز دارد؛ روش‌های کم‌هزینه‌تر مانند تنظیم پارامترهای محدود ممکن است مناسب‌تر باشند. بدون آزمون روی مدل هدف، نمی‌توان زمان پاسخ یا امکان اجرای هر مدل با این اندازه را تضمین کرد.

استنتاج محلی و توسعه مدل‌های زبانی

MegaCube برای تیمی مناسب است که می‌خواهد نمونه اولیه یک دستیار هوشمند، ابزار تحلیل متن یا برنامه مبتنی بر مدل زبانی را در محیط خود اجرا و ارزیابی کند. نگهداری مدل و داده در محیط محلی می‌تواند کنترل بیشتری بر مسیر داده و نسخه نرم‌افزار ایجاد کند و برای آزمایش‌های تکراری نیاز به ارسال هر درخواست به یک سرویس ابری را کاهش دهد.

کاربردهای عملی می‌توانند شامل استخراج اطلاعات از اسناد، خلاصه‌سازی، طبقه‌بندی متن، جست‌وجوی معنایی و آزمایش تولید کد باشند. در سامانه بازیابی و تولید پاسخ یا RAG، کیفیت نتیجه فقط به قدرت سخت‌افزار وابسته نیست؛ کیفیت داده، راهبرد تقسیم اسناد، مدل بردارسازی، جست‌وجو و شیوه ارزیابی نیز نقش مهمی دارند. مدل و ابزار مناسب را باید متناسب با زبان، حساسیت اطلاعات و نیاز سازمان انتخاب کرد.

اجرای محلی به خودی خود تضمین امنیت یا انطباق قانونی نیست. کنترل دسترسی، رمزگذاری، تنظیم شبکه، به‌روزرسانی سیستم و بررسی اجزایی که ممکن است به سرویس بیرونی متصل شوند همچنان ضروری‌اند. همچنین بعضی مدل‌ها برای دانلود، دریافت مجوز یا امکانات اختیاری به ارتباط شبکه نیاز دارند؛ آفلاین بودن کل راهکار باید در طراحی آن بررسی شود.

تنظیم مدل و انتخاب روش آموزش

برای شخصی‌سازی مدل، علاوه بر اندازه مدل باید روش تنظیم را بررسی کرد. آموزش از ابتدا، تنظیم کامل و روش‌های کم‌هزینه از نظر حافظه و زمان تفاوت زیادی دارند. H3C از تنظیم مدل‌های تا ۷۰ میلیارد پارامتر صحبت می‌کند، اما مشخصات عمومی محصول جزئیات لازم برای تعمیم آن به همه الگوریتم‌ها و مجموعه‌داده‌ها را ارائه نمی‌دهد. اندازه دنباله، فرمت وزن‌ها، وضعیت بهینه‌ساز، اندازه دسته و حافظه فعال هرکدام می‌توانند نیاز نهایی را تغییر دهند.

به همین دلیل بهتر است پروژه با مجموعه نمونه و معیار مشخص آغاز شود: دقت مورد انتظار، زمان پردازش، میزان استفاده هم‌زمان و حداکثر حافظه مصرفی را اندازه بگیرید. این دستگاه برای تحقیق و توسعه، تست و تنظیم متناسب با منابعش ارزشمند است؛ برای آموزش گسترده مدل‌های بزرگ از ابتدا یا سرویس‌دهی سنگین چندکاربره ممکن است به زیرساخت قدرتمندتر نیاز باشد.

اتصال دو دستگاه برای مدل‌های بزرگ‌تر

بر اساس اطلاعات سازنده، شبکه NVIDIA ConnectX امکان اتصال دو دستگاه MegaCube را فراهم می‌کند و می‌تواند برای اجرای مدل‌هایی تا ۴۰۵ میلیارد پارامتر، از جمله Llama 3.1 405B، به کار رود. در مشخصات دستگاه، کارت شبکه ConnectX-7 با دو رابط ۲۰۰ گیگابیتی QSFP و پشتیبانی RoCE ذکر شده است. این قابلیت برای تقسیم بار میان دو سیستم مطرح است و به وجود دستگاه دوم، اتصال مناسب و پیکربندی نرم‌افزاری سازگار نیاز دارد.

دو دستگاه متصل لزوماً مانند یک حافظه ساده و بدون سربار رفتار نمی‌کنند. شیوه تقسیم مدل، سرعت ارتباط، نسخه ابزارها و الگوی درخواست بر کارایی تأثیر می‌گذارند. عدد ۴۰۵ میلیارد پارامتر به معنای امکان اجرای همه مدل‌ها با هر دقت و طول متن نیست. در تصمیم‌گیری باید هزینه دستگاه دوم و تجهیزات ارتباطی و همچنین پیچیدگی مدیریت دو گره در نظر گرفته شود.

ذخیره‌سازی و درگاه‌های ارتباطی

H3C برای این خانواده حافظه NVMe M.2 با قابلیت خودرمزگذاری و گزینه‌های ۱، ۲ یا ۴ ترابایت را معرفی کرده است. ظرفیت دقیق SSD دستگاه عرضه‌شده باید به‌صورت جداگانه مشخص شود؛ نباید همه گزینه‌ها را به‌عنوان ظرفیت هم‌زمان یا ظرفیت قطعی یک دستگاه برداشت کرد. فضای ذخیره‌سازی برای فایل مدل‌ها، مجموعه‌داده‌ها، کانتینرها و خروجی آزمایش‌ها اهمیت دارد و با حافظه یکپارچه ۱۲۸ گیگابایتی کارکرد متفاوتی دارد.

در فهرست رسمی اتصالات، چهار درگاه USB 4 Type-C با سرعت حداکثر ۴۰ گیگابیت بر ثانیه، یک HDMI 2.1a، یک اتصال اترنت ۱۰ گیگابیتی RJ-45، شبکه بی‌سیم Wi-Fi 7 و Bluetooth 5.4 دیده می‌شود. دو رابط ۲۰۰ گیگابیتی QSFP به کارت شبکه ConnectX-7 مربوط هستند. سرعت واقعی انتقال به دستگاه متصل، کابل و شرایط شبکه بستگی دارد. سازنده یک موتور رمزگذاری و یک موتور رمزگشایی سخت‌افزاری ویدئو نیز معرفی کرده است.

سیستم‌عامل و محیط توسعه

سازنده از NVIDIA DGX OS مبتنی بر Ubuntu به‌عنوان سیستم‌عامل از پیش نصب‌شده نام می‌برد و سازگاری با اکوسیستم NVIDIA و ابزارهایی مانند CUDA، CUDA-X، PyTorch و TensorFlow را مطرح می‌کند. این ترکیب برای توسعه‌دهندگانی که با لینوکس، کانتینرها و چارچوب‌های رایج هوش مصنوعی کار می‌کنند، نقطه شروع مناسبی است. سازگاری دقیق هر کتابخانه و بسته باید با نسخه سیستم‌عامل، درایور و معماری Arm بررسی شود.

معماری Arm یک نکته مهم در انتخاب دستگاه است. نرم‌افزارها، افزونه‌های باینری یا گردش‌های کاری که صرفاً برای x86 ساخته شده‌اند ممکن است به نسخه سازگار، بازسازی یا تغییر نیاز داشته باشند. پیش از انتقال یک پروژه بهتر است وابستگی‌های حیاتی و ابزارهای اختصاصی آن بررسی شوند. H3C همچنین یادآور می‌شود که استفاده از NVIDIA AI Enterprise در محیط عملیاتی به مجوز جداگانه نیاز دارد؛ نصب سیستم‌عامل را نباید معادل داشتن همه مجوزهای نرم‌افزاری دانست.

طراحی، ابعاد و محل استقرار

بدنه دستگاه ابعادی برابر ۱۵۰ در ۱۵۰ در ۵۰٫۵ میلی‌متر و وزنی در حدود ۱٫۲ کیلوگرم دارد. این ابعاد برای میز توسعه، آزمایشگاه یا استقرار در محیط‌های کوچک مناسب است و جابه‌جایی دستگاه را آسان‌تر از یک ورک‌استیشن بزرگ می‌کند. البته در طراحی محل نصب باید فضای کافی برای گردش هوا، کابل‌ها و دسترسی به درگاه‌ها در نظر گرفته شود.

در منابع رسمی H3C درباره توان مصرفی اعداد متفاوتی دیده می‌شود؛ بنابراین برای انتخاب منبع برق و برآورد مصرف باید مشخصات درج‌شده روی دستگاه و آداپتور نسخه عرضه‌شده بررسی شود. مصرف واقعی نیز با بار پردازشی تغییر می‌کند. کوچک بودن دستگاه به معنی بی‌نیازی از تهویه مناسب یا نامحدود بودن عملکرد تحت بار طولانی نیست.

این دستگاه برای چه کسانی مناسب است؟

پژوهشگران، توسعه‌دهندگان مدل، تیم‌های نرم‌افزاری و سازمان‌هایی که به اجرای محلی مدل و نمونه‌سازی سریع نیاز دارند می‌توانند از ترکیب حافظه یکپارچه و شتاب‌دهنده NVIDIA بهره ببرند. برای آزمایشگاه‌هایی که با مدل‌های چند ده میلیارد پارامتری کار می‌کنند، امکان بررسی مدل در محیط شخصی مزیت مهمی است. شبکه پرسرعت نیز در پروژه‌هایی که گسترش به دو دستگاه را در نظر دارند قابل توجه است.

در مقابل، اگر هدف اصلی اجرای نرم‌افزارهای ویندوزی وابسته به x86، بازی یا استفاده از کارت‌های گرافیک قابل تعویض باشد، ماهیت تخصصی این پلتفرم باید با نیاز واقعی مقایسه شود. همچنین خرید بر اساس یک عدد تبلیغاتی بدون آزمون مدل هدف ریسک انتخاب نامناسب را بالا می‌برد. معیار بهتر، اجرای نمونه‌ای از همان مدل با دقت و طول متن مورد استفاده و سنجش سرعت، کیفیت و مصرف حافظه است.

جمع‌بندی بررسی

H3C LinSeer MegaCube یک سامانه فشرده هوش مصنوعی با GB10، حافظه یکپارچه ۱۲۸ گیگابایتی، توان نظری حداکثر یک پتافلاپس FP4 و امکانات ارتباطی پرسرعت است. نقطه قوت آن فراهم کردن بستری محلی برای توسعه و استنتاج مدل‌های نسبتاً بزرگ در فضای کوچک است. در مقابل، حافظه مشترک، وابستگی عملکرد به نوع مدل و دقت، سازگاری نرم‌افزار با Arm و نیاز احتمالی به مجوز یا تجهیزات اضافی برای پروژه‌های بزرگ‌تر، مواردی هستند که باید پیش از انتخاب بررسی شوند.

منبع مشخصات: صفحه رسمی H3C LinSeer MegaCube. عملکردهای اعلام‌شده از سوی سازنده‌اند و نتایج عملی به پیکربندی و بار کاری بستگی دارند.