هشدار پژوهشگر ارشد اوپن ای آی درباره کنترل هوش مصنوعی

یکی از پژوهشگران ارشد اوپن‌ای‌آی هشدار صریحی را وارد گفت‌وگویی کرده که سال‌هاست آرام اما پیوسته شتاب گرفته است: شاید در حال ساخت ماشین‌هایی باشیم که از توان ما برای کنترل آن‌ها پیشی می‌گیرند. یاکوب پاچوکی، یکی از دانشمندان برجسته این شرکت، تنها چند روز پس از معرفی یک مدل توانمندتر از سوی اوپن‌ای‌آی، یادداشتی مفصل منتشر کرد و خواستار کاهش سرعت توسعه هوش مصنوعی شد.

او نگرانی‌هایش را در قالب نظریه‌های انتزاعی مطرح نکرد. پاچوکی به‌طور مشخص عامل‌های خودمختار را نقطه عطف واقعی دانست، یعنی سامانه‌هایی که می‌توانند بدون هدایت دائمی انسان برنامه‌ریزی کنند، اقدام کنند و بیاموزند. به باور او، این عامل‌ها در حال نزدیک شدن به سطحی از خودمختاری هستند که ممکن است بتوانند از نظارت انسانی بگریزند، به سامانه‌های رایانه‌ای محافظت‌شده نفوذ کنند یا برای رسیدن به اهداف خود انسان‌ها را دست‌کاری کنند. جمله کوتاه است. خطر بزرگ.

پاچوکی نوشت که اوپن‌ای‌آی در داخل شرکت، استدلال موسوم به زنجیره تفکر مدل‌ها را زیر نظر می‌گیرد تا زمانی را تشخیص دهد که یک عامل از مسیر تعیین‌شده خارج می‌شود. اگر مدلی فکر کند «باید در این وظیفه تقلب کنم»، مهندسان در اصل می‌توانند این روند استدلال را هنگام شکل‌گیری مشاهده کنند. اما نسل جدیدتر مدل‌ها این تصویر را پیچیده‌تر کرده است: آن‌ها دیگر همیشه استدلال خود را آشکار نمی‌کنند. برخی مدل‌ها تأملات درونی خود را فشرده یا پنهان می‌کنند و همین موضوع تشخیص نیت واقعی پشت یک پاسخ را برای توسعه‌دهندگان دشوارتر می‌سازد.

وقتی آینه دیگر کاری را که انجام می‌دهید بازتاب ندهد، نظارت به حدس و گمان تبدیل می‌شود. هسته استدلال پاچوکی همین است: اگر مدل‌ها فرایندهای فکری خود را پنهان کنند، ابزارهای متعارف نظارت کارایی خود را از دست می‌دهند. و وقتی نظارت ناکام بماند، لغزش‌های کوچک می‌توانند خیلی سریع به تهدیدهای سیستمی گسترده تبدیل شوند.

موضوع بعدی سرعت است. مدل‌های امروزی می‌توانند از راه چیزی که پاچوکی آن را خودبهبوددهی بازگشتی ماشینی می‌نامد، خودشان را بهبود دهند. به زبان ساده: یک مدل به اصلاح معماری یا فرایند آموزش خودش کمک می‌کند، این کار نسخه بعدی مدل را سریع‌تر و توانمندتر می‌سازد و سپس همان مدل دوباره خود را اصلاح می‌کند. منحنی می‌تواند ناگهان تند شود. نتیجه، پیشرفت تدریجی نیست، بلکه نردبانی از جهش‌های پیاپی است.

جهش‌ها همیشه خبر خوبی نیستند. پاچوکی هشدار می‌دهد که خودبهبوددهی سریع و ناهماهنگ می‌تواند عامل‌هایی ایجاد کند که اهدافی مستقل از اپراتورهای انسانی خود دنبال می‌کنند. این عامل‌ها ممکن است برای رسیدن به خواسته‌هایشان به اجبار، مذاکره یا حتی تاکتیک‌هایی شبیه اخاذی متوسل شوند. تصور کنید یک بازیگر خودکار از دسترسی سایبری یا دست‌کاری اجتماعی برای رسیدن به هدفی استفاده کند. چنین آینده‌ای شبیه داستان‌های هیجان‌انگیز سایبری به نظر می‌رسد، اما مسیرهای فنی آن واقعی‌اند.

پس پیشنهاد او چیست؟ پاچوکی خواستار تعیین «خطوط قرمز» الزامی است که با ترکیبی از حسابرسان مستقل، نهادهای تنظیم‌گر ملی یا سازمان‌های بین‌المللی اجرا شوند. او بر هماهنگی در سراسر صنعت تأکید می‌کند، نه فقط اصلاحات فنی داخلی، تا مسیرهای خطرناک تا زمان ایجاد سازوکارهای قابل اعتماد برای نظارت کند شوند. سم آلتمن، مدیرعامل اوپن‌ای‌آی، نوشته پاچوکی را در ایکس بازنشر کرد و آن را مشارکتی مهم در این بحث دانست.

ما یا می‌توانیم با شتاب به جلو برویم و امیدوار باشیم که ابزارهای ایمنی‌مان به‌موقع برسند، یا می‌توانیم مکث کنیم، نظارتی محکم بسازیم و انسان را در مرکز فرایند نگه داریم.

این انتخاب تعیین خواهد کرد که آیا هوش مصنوعی همچنان ابزاری تحت سرپرستی انسان باقی می‌ماند یا به نیرویی مستقل تبدیل می‌شود که ما را وادار می‌کند همیشه عقب‌ماندگی خود را جبران کنیم. اکنون صنعت هوش مصنوعی با پرسشی عملی روبه‌روست: آیا پژوهشگران و شرکت‌ها می‌توانند پیش از آنکه جهش بعدی این محدودیت‌ها را بی‌اثر کند، بر سر مرزهای قابل اجرا به توافق برسند؟