چالش اجرای مدل های ۱۰۰ میلیارد پارامتری روی موبایل

کریستیانو آمون، مدیرعامل کوالکام، گفت برخی شرکت‌های هوش مصنوعی در حال ساخت گوشی‌های هوشمندی هستند که تا سال ۲۰۲۸ می‌توانند مدل‌های زبانی ۱۰۰ میلیارد پارامتری را به صورت پیوسته اجرا کنند.

آمون این موضوع را در مصاحبه‌ای با فایرساید آلفا در ۱۰ اکتبر ۲۰۲۶ مطرح کرد و از نام بردن شرکت‌های درگیر در این پروژه خودداری کرد.

اجرای یک مدل ۱۰۰ میلیارد پارامتری روی گوشی با محدودیت‌های جدی حافظه روبه‌رو است. یک مدل ۱۰۰ میلیارد پارامتری کوانتیزه‌شده ۴ بیتی حدود ۵۰ گیگابایت رم نیاز دارد و حتی نسخه ۲ بیتی آن نیز، پیش از در نظر گرفتن سیستم‌عامل، برنامه‌ها و کش زمینه، تنها برای خود مدل به حدود ۲۵ گیگابایت حافظه نیاز خواهد داشت.

کوالکام و دیگر فعالان صنعت، عرضه و هزینه حافظه دی‌رم را بزرگ‌ترین مانع می‌دانند. این شرکت اعلام کرده که بعید است صنعت به این زودی‌ها از آستانه رایج ۱۶ گیگابایت حافظه عبور کند. در همین حال، با وجود اینکه حدود یک سال پیش برخی گوشی‌های اندرویدی تا ۲۴ گیگابایت حافظه ال‌پی‌دی‌دی‌آر۵ایکس ارائه می‌کردند، تولیدکنندگان به دلیل فشار بازار دی‌رم، نسخه‌های دارای رم بالاتر را کاهش داده‌اند.

استنتاج پیوسته روی مدل‌های فشرده‌تر و سنگین‌تر، گرمای بیشتری تولید می‌کند و خطر کاهش عملکرد به دلیل محدودیت حرارتی را بالا می‌برد؛ موضوعی که حتی در صورت فراهم بودن حافظه خام کافی، همچنان یک محدودیت عملی مهم باقی می‌ماند.

تغییرات در بسته‌بندی تراشه‌ها، از جمله ای۲۰ پرو اپل و اسنپدراگون ۸ الیت اکستریم نسل ۶ کوالکام، بخشی از مشکلات یکپارچه‌سازی را برطرف می‌کند، اما گلوگاه حافظه را از میان برنمی‌دارد.

راهکارهای فنی شامل کوانتیزه‌سازی تهاجمی است که نیاز حافظه را به شدت کاهش می‌دهد. نسخه‌های ۱ بیتی می‌توانند در دی‌رم جا بگیرند، اما بر اساس ارزیابی‌های صنعتی، کیفیت مدل، به‌ویژه در استدلال، فراتر از کوانتیزه‌سازی ۴ بیتی به شکل محسوسی افت می‌کند.

رویکرد دیگر، استفاده از معماری ترکیب متخصصان همراه با بارگذاری خارج از حافظه متخصصان است؛ در این روش، برای هر توکن فقط بخشی از متخصصان در رم فعال می‌شود و باقی آن‌ها روی حافظه فلش می‌مانند. اپل اجرای مدل‌ها از طریق حافظه فلش داخلی را بررسی کرده است، اما ذخیره‌سازی یو‌اف‌اس و ان‌وی‌ام‌ای همچنان از دی‌رم کندتر است و می‌تواند سرعت استنتاج را کاهش دهد.

در حال حاضر، تقطیر مدل مسیر قابل‌عرضه‌تری برای بازار است: مدل‌های تقطیرشده ۲۰ تا ۳۰ میلیارد پارامتری می‌توانند روی دستگاه عملکردی نزدیک به برخی مدل‌های ۱۰۰ میلیارد پارامتری ارائه دهند، در حالی که نیازهای حافظه و حرارت را در سطحی قابل مدیریت نگه می‌دارند.

آمون نقشه راه فنی مشخصی ارائه نکرد و نامی از شرکای احتمالی نبرد. عرضه دی‌رم، هزینه و محدودیت‌های حرارتی همچنان مهم‌ترین موانع اجرای بومی مدل‌های ۱۰۰ میلیارد پارامتری روی گوشی‌های هوشمند تا سال ۲۰۲۸ هستند.