جمینای ۴ کربن گوگل هزینه اجرای هر وظیفه را به کمی بیش از ۱۶ دلار کاهش می‌دهد؛ رقمی که کمتر از یک‌سوم هزینه کلود اوپوس ۵.۵ از آنتروپیک است، مدلی که طبق بنچمارک جی‌دی‌پی‌ایکس سمی‌آنالیس، اجرای هر وظیفه با آن حدود ۵۱ دلار هزینه دارد.
جدول رتبه‌بندی جی‌دی‌پی‌ایکس، اوپوس ۵.۵ را در جایگاه نخست قرار می‌دهد و جمینای ۴ کربن را با فاصله‌ای اندک از نظر امتیاز خام پشت سر آن نشان می‌دهد. جمینای ۴ کربن صدرنشین نشده است، اما عملکردی نزدیک به رهبر بازار را با هزینه بسیار پایین‌تر برای هر وظیفه ترکیب می‌کند و همین موضوع برای مدل جدید گوگل جایگاه ارزشی متمایزی ایجاد کرده است.
جی‌دی‌پی‌ایکس مدل‌های پیشروی گوگل، اوپن‌ای‌آی، آنتروپیک و متا را با سنجش امتیاز مدل و هزینه اجرای هر وظیفه مقایسه می‌کند. این معیار از ۲۰۶ وظیفه در حوزه‌هایی مانند امور مالی، علم مواد، امنیت سایبری، مهندسی نرم‌افزار، حقوق و زیست‌شناسی استفاده می‌کند؛ بنابراین نتایج آن به تولید متن عمومی یا پاسخ‌گویی به پرسش‌های رایج محدود نیست.
در رتبه‌بندی کامل جی‌دی‌پی‌ایکس، اوپوس ۵.۵ بالاترین امتیاز کلی را در اختیار دارد و جمینای ۴ کربن با فاصله امتیازی نسبتا کمی پس از آن قرار می‌گیرد. اما تفاوت هزینه بسیار چشمگیرتر است: سمی‌آنالیس هزینه هر وظیفه برای اوپوس ۵.۵ را حدود ۵۱ دلار و برای جمینای ۴ کربن را کمی بیش از ۱۶ دلار گزارش کرده است. طبق این گزارش، جی‌پی‌تی ۶ آسترا از اوپن‌ای‌آی در جایگاه بعدی جدول دیده می‌شود، اما نسبت به جمینای ۴ کربن امتیاز پایین‌تر و میانگین هزینه بالاتری دارد؛ حدود ۵۴ دلار برای هر وظیفه.
این مقایسه سه‌جانبه فاصله میان رهبر عملکرد و رهبر ارزش اقتصادی را برجسته می‌کند: اوپوس ۵.۵ از نظر امتیاز خام پیشتاز است، جمینای ۴ کربن با هزینه‌ای به‌مراتب کمتر به آن سطح عملکرد نزدیک می‌شود و جی‌پی‌تی ۶ آسترا با وجود هزینه اجرای بالاتر برای هر وظیفه، از هر دو عقب‌تر قرار می‌گیرد.
رتبه‌بندی تعدیل‌شده و فیلترهای ایمنی
سمی‌آنالیس همچنین رتبه‌بندی تعدیل‌شده‌ای منتشر کرده است که وظایف مربوط به امنیت سایبری، زیست‌شناسی و هم‌راستاسازی را حذف می‌کند. حذف این سه حوزه جایگاه‌های برتر را جابه‌جا کرد و جی‌پی‌تی ۶ آسترا را در رتبه نخست نشاند. جی‌پی‌تی ۶.۱ سول و اوپوس ۵.۵ نیز در فهرست تعدیل‌شده بالاتر از جمینای ۴ کربن قرار گرفتند. پژوهشگران گفته‌اند این چینش دوم با برداشت‌های ذهنی آن‌ها از توانایی مدل‌های هوش مصنوعی همخوانی بیشتری دارد.
این گزارش اشاره می‌کند که حفاظ‌های ایمنی در مدل‌هایی مانند کلود و برخی نسخه‌های جی‌پی‌تی می‌توانند مانع تکمیل بعضی وظایف مرتبط با امنیت سایبری، زیست‌شناسی یا هم‌راستاسازی شوند. این محدودیت‌ها ممکن است بر امتیاز خام جی‌دی‌پی‌ایکس اثر بگذارند؛ بنابراین امتیاز یک مدل گاهی هم توان فنی آن را نشان می‌دهد و هم میزان مجاز بودن آن برای پاسخ‌گویی به درخواست‌های حساس را بازتاب می‌دهد.
مدل پیشروی قبلی گوگل، جمینای ۴ آرگون، در هر دو رتبه‌بندی کامل و تعدیل‌شده جایگاه هشتم را در اختیار داشت و بالاتر از میوز واندر متا و پایین‌تر از واندر فول قرار گرفت. هزینه هر وظیفه آرگون در جی‌دی‌پی‌ایکس فقط اندکی کمتر از جمینای ۴ کربن بود؛ فاصله هزینه‌ای کوچکی که همراه با جایگاه بالاتر کربن، از بهبود توازن امتیاز به هزینه در مدل جدیدتر گوگل خبر می‌دهد.
اگر فقط وظایف امنیت سایبری را در نظر بگیریم، سلسله‌مراتب تغییر می‌کند: هر دو مدل گوگل در این حوزه امتیازی بالاتر از اوپن‌ای‌آی و آنتروپیک کسب کردند، اما از خانواده میوز متا عقب ماندند؛ خانواده‌ای که طبق گزارش جی‌دی‌پی‌ایکس با اختلافی قابل توجه، قوی‌ترین عملکرد را در امنیت سایبری دارد. سمی‌آنالیس اضافه می‌کند که تفاوت‌های هزینه‌ای گزارش‌شده می‌تواند در آزمون‌های پرتکرار، مقیاس بالا و استقرارهای سازمانی اثر مالی محسوسی داشته باشد.
نظر بگذارید
نظرات (2)
آیا این مقایسه، تاثیر فیلترهای ایمنی و محدودیت‌ها رو هم حساب کرده؟ بنچمارک‌ها گاهی گمراه‌کننده‌ن، شک دارم.
وای، هزینه‌اش اینقدر پایین؟! یعنی نزدیک به اوپوس از نظر عملکرد با یه سوم هزینه... غیرقابل‌باور، ولی دلم می‌خواد روش آزمایش رو ببینم