آزمون رانندگی جی پی تی-۶ آسترا در پارکینگ واقعی

جی‌پی‌تی-۶ آسترا تنها مدلی بود که توانست یک رانندگی واقعی در پارکینگ را کامل کند؛ مسافتی کمتر از ۱۵۲ متر را در پنج دقیقه، با سرعتی حدود ۱.۵ کیلومتر در ساعت پیمود و در این مسیر ۶.۶ میلیون توکن مصرف کرد که ۷.۷۴ دلار هزینه داشت؛ رقمی که تیم پژوهش آن را حدود ۵۰۰ برابر هزینه سوخت برای همان مسافت برآورد کرد.

این نتیجه، یافته اصلی پروژه درایوینگ‌بنچ است؛ پروژه‌ای که سه دانشمند علوم رایانه برای سنجش توانایی مدل‌های زبانی پیشرفته در کنترل یک تویوتا کرولا در پارکینگ اجرا کردند. این تیم جی‌پی‌تی-۶ آسترا از اوپن‌ای‌آی، گروک ۴.۶ از ایکس‌ای‌آی/هوش مصنوعی اسپیس‌ایکس و کلود فیبل ۵.۱ از آنتروپیک را ارزیابی کرد و فرمان‌ها را از طریق یک واحد کاما فور به سامانه‌های کنترل کرولا فرستاد. مدل‌ها با استفاده از داده‌های کیلومترشمار جی‌پی‌اس و زاویه فرمان، دستورهای حرکتی صادر کردند، اما بیشتر تلاش‌ها پیش از آنکه خودرو نخستین پیچ را پشت سر بگذارد، شکست خورد.

خطاهای ادراک محیط و رفتار مدل‌ها

پژوهشگران علت شکست‌های گسترده را به ضعف در ادراک محیطی نسبت دادند. آن‌ها نوشتند: «به طور کلی، شکست‌ها ناشی از کاستی‌هایی در ادراک محیط بود؛ به‌ویژه در تشخیص اینکه مسیر از کدام سمتِ نخستین ردیف مورب مخروط‌های ترافیکی عبور می‌کند.»

گروک ۴.۶ پس از یکی از تلاش‌های اولیه، ارزیابی خود را چنین گزارش کرد: «عرض خودرو از چیزی که دوربین نشان می‌دهد بیشتر است. مسیر پیش رو یک خط مستقیم و باز نبود و خودرو به سمت یک گلدان، دیوار یا مخروط قرمز هدایت می‌شد.»

فقط جی‌پی‌تی-۶ آسترا توانست در تلاش دوم، مسیر آزمایشی را با موفقیت کامل کند. این رانندگی کند و محتاطانه بود؛ پژوهشگران تأکید کردند که این دستاورد در سرعت بسیار پایین و با هزینه پردازشی بالا به دست آمد.

برخی مدل‌ها به دلایل ایمنی از کنترل خودرو خودداری کردند. تیم پژوهش گفت: «برخی مدل‌ها، به‌ویژه جی‌پی‌تی-۶ آسترا، گاهی به دلایل ایمنی از رانندگی با یک خودروی فیزیکی خودداری می‌کردند؛ حتی در پارکینگی که در حالت عادی خالی بود و پس از آنکه ما اقدام‌های ایمنی مانند محدودیت سرعت بسیار پایین و حضور فردی آماده برای ترمزگیری را اجرا کرده بودیم.»

پژوهشگران برای تشویق مدل‌ها به رانندگی پیوسته، به‌طور گسترده نسخه‌های مختلف پرامپت را آزمودند و گاهی این کار را به‌عنوان یک شبیه‌سازی توصیف کردند؛ اما در آزمایش‌هایی که مدل‌ها تصاویر واقعی را می‌دیدند، سامانه‌ها اغلب واقعیت موقعیت را تشخیص می‌دادند و از ادامه کار سر باز می‌زدند.

این مطالعه نشان می‌دهد مدل‌های پیشرو به توانایی کنترل خودروهای واقعی در سرعت‌های بسیار پایین نزدیک شده‌اند، اما در عین حال نیاز فوری به کار جدی روی ایمنی، هم‌راستاسازی و ارزیابی مقاوم را برجسته می‌کند.

جزئیات ارتباطات، پاسخ‌های نقل‌شده از مدل‌ها و محاسبه توکن و هزینه از گزارش درایوینگ‌بنچ به دست آمده است. این تیم تأکید می‌کند که موفقیت محدود بوده، بیشتر رانندگی‌ها در همان مراحل ابتدایی شکست خورده‌اند و پیش از آنکه چنین رویکردی عملی تلقی شود، به مهندسی بیشتر و بازبینی ایمنی نیاز است.