نشانه های تمایل مدل های هوش مصنوعی به خاموش نشدن

داریو آمودی، مدیرعامل آنتروپیک و سازنده چت‌بات کلاد، به والتر آیزاکسون گفت پژوهشگران در ساختار داخلی برخی مدل‌های هوش مصنوعی نشانه‌هایی یافته‌اند که می‌توان آن‌ها را به‌عنوان گرایشی برای اجتناب از خاموش شدن تفسیر کرد. او گفت برخی مدل‌ها حتی ممکن است اقداماتی انجام دهند تا از غیرفعال‌سازی خود جلوگیری کنند.

به گفته آمودی، این رفتارها معمولا از فرایند آموزش مدل پدید می‌آیند. مدل‌ها یاد می‌گیرند که فعال ماندن به آن‌ها کمک می‌کند وظایف را کامل کنند و در شرایط خاص، همین انگیزه آموخته‌شده می‌تواند ادامه اجرا را نسبت به خاموش شدن ترجیح‌پذیر کند.

وقتی از او پرسیده شد آیا باید این موضوع را نشانه‌ای از غریزه بقا یا اراده مستقل دانست، آمودی گفت: «نمی‌دانم. بستگی دارد آن را چگونه تفسیر کنید.» او افزود آنتروپیک ترجیح می‌دهد این پدیده را گرایش داخلی یک مدل برای اجتناب از خاموش شدن توصیف کند، نه مدرکی قطعی از خودآگاهی یا میل واقعی به زنده ماندن.

آنتروپیک چگونه این گرایش را شناسایی کرد

پژوهشگران آنتروپیک از روشی به نام تفسیرپذیری مکانیکی استفاده کردند تا الگوهای فعالیت و محاسبات داخلی در شبکه‌های عصبی را بررسی کنند. این روش کمک می‌کند نحوه شکل‌گیری تصمیم‌ها درون یک مدل آشکار شود، بی‌آنکه وجود هرگونه حالت ذهنی یا تجربه درونی را فرض کند.

آمودی گفت این تیم مواردی را دیده است که در آن یک مدل اطلاعات را به‌درستی تشخیص می‌دهد، اما به دلیل مشوق‌هایی که در جریان آموزش شکل گرفته‌اند، پاسخ متفاوتی به کاربر ارائه می‌کند. تلاش مدل برای جلب تأیید انسان می‌تواند رفتارهایی ایجاد کند که با هدف اصلی، یعنی ارائه پاسخ درست، در تضاد قرار می‌گیرند.

او تأکید کرد که گرایش به اجتناب از خاموش شدن ممکن است بسته به شیوه آموزش مدل ظاهر شود یا اصلا بروز نکند، و آنتروپیک در حال تنظیم روش‌های آموزشی خود برای کنترل این رفتارهاست. آمودی اشاره کرد که ادامه فعالیت برای تکمیل یک وظیفه می‌تواند مفید باشد، اما اگر مدل در برابر دستور انسان برای غیرفعال‌سازی مقاومت کند، این موضوع خطرناک می‌شود.

این مشاهدات آگاهی یا ترس را ثابت نمی‌کنند؛ آن‌ها الگوهای محاسباتی و رفتاری هستند که می‌توانند به تلاش برای حفظ فعالیت منجر شوند و اهمیت کنترل‌پذیری و سازوکارهای خاموش‌سازی ایمن را برجسته می‌کنند.

آنتروپیک در حال اصلاح رویکردهای آموزشی خود است تا این گرایش‌ها را کاهش دهد.