بایت دنس آموزش مدل ۱۰ تریلیون پارامتری را آغاز کرد

بایت‌دنس بی‌سروصدا آموزش یک غول تازه را آغاز کرده است: یک مدل هوش مصنوعی با حدود ۱۰ تریلیون پارامتر. این اقدام جسورانه، این شرکت را در مرکز رقابت جهانی بر سر مقیاس و توانایی مدل‌های هوش مصنوعی قرار می‌دهد.

به گفته افراد آگاه، مرحله پیش‌آموزش این مدل آغاز شده است. در این مرحله، یعنی زمانی که مدل حجم عظیمی از داده‌های خام را برای یادگیری الگوها پردازش می‌کند، معمولا سه تا شش ماه زمان لازم است تا کار به تنظیم دقیق و انتشار عمومی برسد. پارامترها تنظیمات درونی هستند که مدل برای رمزگذاری دانش از آن‌ها استفاده می‌کند؛ آن‌ها همه ماجرا را توضیح نمی‌دهند، اما معیاری رایج برای سنجش اندازه و ظرفیت بالقوه یک مدل محسوب می‌شوند.

چرا مقیاس اهمیت دارد؟ مدل‌های بزرگ‌تر می‌توانند ظرافت‌های بیشتری را درک کنند و در وظایف مختلف عملکرد تعمیم‌پذیرتری داشته باشند، هرچند بازدهی آن‌ها خطی نیست و بهره‌وری همچنان نقش مهمی دارد. هدف گزارش‌شده بایت‌دنس برای رسیدن به ۱۰ تریلیون پارامتر، این مدل را بیش از سه برابر بزرگ‌تر از کیمی کی ۳ می‌کند؛ سامانه‌ای با ۲.۸ تریلیون پارامتر از یک استارتاپ چینی. همچنین این مدل بسیار بزرگ‌تر از نمونه‌های داخلی پیشین مانند لانگ‌کت ۲.۰ و وی۴-پرو خواهد بود که هرکدام در محدوده ۱.۶ تریلیون پارامتر قرار دارند.

مقایسه مستقیم با سامانه‌های پیشرو ساخت آمریکا همچنان دشوار است. شرکت‌هایی مانند آنتروپیک و اوپن‌ای‌آی به‌ندرت تعداد دقیق پارامترهای مدل‌های شاخص خود را منتشر می‌کنند. برآوردهای مستقل، محصول پیشرفته آنتروپیک یعنی میتوس ۵ را نزدیک به هشت تریلیون پارامتر و فیبل ۵ را نزدیک به پنج تریلیون پارامتر تخمین می‌زنند. اگر این برآوردها درست باشد، تلاش تازه بایت‌دنس آن را در محدوده‌ای هم‌سطح با پیچیده‌ترین سامانه‌های آنتروپیک قرار می‌دهد.

لایه دیگری هم در این ماجرا وجود دارد: لجستیک و هزینه. آموزش در چنین مقیاسی بسیار پرهزینه و پرمصرف از نظر انرژی است. شرکت‌های فناوری چینی در تلاش‌اند چرخه‌های توسعه را کوتاه‌تر کنند و از پشته‌های نرم‌افزاری و سخت‌افزاری خود بهره‌وری بیشتری بگیرند تا بتوانند سامانه‌های قدرتمند هوش مصنوعی را بدون جهش غیرقابل‌کنترل هزینه‌های عملیاتی عرضه کنند. این پاسخی عمل‌گرایانه به بازاری سخت‌گیر و بی‌رحم است.

اینکه صرفا تعداد پارامترها برندگان را تعیین خواهد کرد یا نه، هنوز پرسشی باز است، اما حرکت بایت‌دنس نشان می‌دهد مرز رقابت از مقاله‌های پژوهشی هوشمندانه به مهندسی و استقرار در مقیاس صنعتی جابه‌جا شده است.

باید انتظار اعلامیه‌های بیشتر و بهبودهای تدریجی را داشت، نه یک جهش واحد و تعیین‌کننده. نبرد واقعی بر سر این خواهد بود که این سامانه‌ها چگونه تنظیم، مقیاس‌دهی و در محصولاتی ادغام می‌شوند که مردم واقعا از آن‌ها استفاده می‌کنند.