به گزارش ساوت چاینا مورنینگ پست، این سیستم که Aegaeon نام دارد، بیش از سه ماه در بازار مدل‌های هوش مصنوعی علی‌باباکلاود به‌صورت آزمایشی اجرا شد و توانست تعداد GPUهای انویدیا H20 مورد نیاز برای اجرای ده‌ها مدل تا سقف ۷۲ میلیارد پارامتر را از ۱۱۹۲ عدد به تنها ۲۱۳ عدد کاهش دهد.
ارائه‌دهندگان خدمات ابری مانند علی‌باباکلاود و Volcano Engine (متعلق به بایت‌دنس) هم‌زمان هزاران مدل هوش مصنوعی را برای کاربران اجرا می‌کنند؛ به این معنا که تماس‌های API متعددی به‌صورت هم‌زمان پردازش می‌شوند. با این حال، تنها تعداد محدودی از مدل‌ها مانندQwen (مدل اختصاصی علی‌بابا) و دیپ‌سیک بیشترین سهم را از درخواست‌های استنتاج (inference) دارند، در حالی که سایر مدل‌ها تنها به‌صورت پراکنده فراخوانی می‌شوند.
پژوهشگران دریافتند که در بازار مدل علی‌بابا کلاود، ۱۷.۷ درصد از GPUها تنها برای پاسخ‌گویی به ۱.۳۵ درصد از درخواست‌ها اختصاص یافته‌اند، که بیانگر ناکارآمدی شدید در تخصیص منابع است.
در سطح جهانی نیز، پژوهش‌های مختلفی با هدف افزایش کارایی از طریق تجمیع توان GPUها صورت گرفته است تا هر GPU بتواند به‌طور هم‌زمان چندین مدل را سرویس دهد.
در چارچوب Aegaeon، پژوهشگران سیستمی طراحی کردند که مقیاس‌گذاری خودکار در سطح توکن (token-level auto-scaling) انجام می‌دهد؛ به این معنا که یک GPU می‌تواند در حین تولید توکن‌ها بین مدل‌های مختلف جابه‌جا شود.
این راهکار باعث شد هر GPU بتواند تا ۷ مدل را پشتیبانی کند (در مقایسه با حداکثر ۲ تا ۳ مدل در سامانه‌های دیگر) و در عین حال تأخیر (latency) ناشی از جابه‌جایی بین مدل‌ها را تا ۹۷ درصد کاهش دهد.
علی‌بابا کلاود اعلام کرد این راهکار هم‌اکنون در بازار مدل‌هایش موسوم به Bailian پیاده‌سازی شده است؛ بازاری که مدل‌های اختصاصی Qwen شرکت را برای کاربران سازمانی ارائه می‌دهد.
مدل GPU انویدیا H20 تراشه‌ای است که توسط غول تراشه‌سازی آمریکایی برای بازار چین و با هدف انجام استنتاج مدل‌های هوش مصنوعی طراحی شده بود؛ این تراشه پاسخی به محدودیت‌های صادراتی دولت بایدن محسوب می‌شود.
با این حال، اخیراً مقام‌های نظارتی چین این تراشه را به دلیل شائبه وجود «در پشتی» امنیتی (security backdoor) مورد بررسی قرار داده‌اند.
در همین حال، شرکت‌های بزرگ چینی مانند هوآوی و کمبریکن تلاش‌های خود را برای توسعه GPUهای بومی در راستای راهبرد خودکفایی فناورانه پکن افزایش داده‌اند.
جنسن هوانگ، بنیان‌گذار و مدیرعامل انویدیا به تازگی گفت که سهم این شرکت در بازار تراشه‌های پیشرفته چین به «صفر» رسیده است.
منبع: scmp
