10 دقیقه
تنش اینبار از نهادهای نظارتی یا شرکتهای رقیب نیست؛ این فشار از درون آزمایشگاهها برمیخیزد.
صدها مهندس و پژوهشگر شاغل در گوگل و OpenAI نامهٔ اعتراضی و روشنی را امضا کردهاند که در آن از کارفرمایان خود میخواهند در برابر فشار فزایندهٔ ارتش ایالات متحده برای شل کردن محدودیتها در بکارگیری هوش مصنوعی مقاومت کنند. در مجموع نزدیک به هزار کارمند نام خود را به این پیام افزودهاند؛ پیامی که با بیانی صریح همراه است: «ما تقسیم نخواهیم شد.»
این عبارت دقیقاً به استراتژیای اشاره دارد که امضاکنندگان آن را تلاشی از سوی مقامات دولتی برای هل دادن آرام شرکتهای هوش مصنوعی به سمت همکاریهای نظامی—شرکت به شرکت، قرارداد به قرارداد—میدانند، تا آنجا که حفاظتهای اخلاقی کمکم تحلیل برود.
«آنها تلاش میکنند هر شرکت را با ترس از این که دیگری تسلیم شود، دچار تفرقه کنند»، نامه میگوید. «این استراتژی تنها زمانی کار میکند که هیچیک از ما ندانیم بقیه چه موضعی دارند.»
این بیانیه در زمانی حساس برای صنعت هوش مصنوعی منتشر شده است. همزمان با افزایش تواناییهای چشمگیر مدلهای زبانی بزرگ و سامانههای مولد، دولتها بیش از پیش به ظرفیت آنها برای تحلیل اطلاعات، پشتیبانی تصمیمگیری در میدان نبرد و نظارت علاقهمند شدهاند.
و اکنون منافع و مخاطرات دیگر فرضی نیستند.
بهتازگی پنتاگون شرکت نوپای هوش مصنوعی Anthropic را بهعنوان یک «ریسک زنجیره تأمین» برچسبگذاری کرد، پس از آنکه گزارش شد این شرکت از اجازهٔ استفاده از فناوری خود برای نظارت جمعی داخلی یا سامانههای کاملاً خودرانِ تسلیحاتی امتناع کرده است. این اقدام بسیاری از ناظران در سیلیکون ولی را شگفتزده کرد و مجادلهٔ تازهای در میان مهندسانی بهراه انداخت که امروز قدرتمندترین مدلهای هوش مصنوعی را میسازند.
بر اساس گزارشها، فشارها ادامه دارد و گمانهزنیهایی مطرح شده که گوگل و OpenAI ممکن است در حال مذاکره برای پذیرش ترتیباتی مشابه آن چیزی باشند که Anthropic از پذیرش آن خودداری کرد—گفتوگوهایی که بهطور بالقوه میتواند محدودیتها و اصول اخلاقی شرکتها را به چالش بکشد.
یک شکاف آشنا در سیلیکون ولی
برای بسیاری از کارکنان گوگل، این لحظه حال و هوای تکرار تاریخ را دارد.
در سال 2018، هزاران کارمند علیه مشارکت شرکت در پروژهٔ مِیونِت (Project Maven) پنتاگون اعتراض کردند؛ پروژهای که از یادگیری ماشین برای تحلیل تصاویر جمعآوریشده توسط پهپادها استفاده میکرد. واکنش داخلی بهقدری شدید شد که گوگل در نهایت اجازه داد قرارداد پایان یابد و مجموعهای رسمی از اصول اخلاقی هوش مصنوعی را معرفی کرد که به «اصول هوش مصنوعی شرکت» معروف شدند.
در آن زمان، گوگل متعهد شد از توسعهٔ فناوریهایی که هدف آنها ایجاد آسیب است یا از روشهای نظارتی که هنجارهای پذیرفتهشدهٔ بینالمللی را نقض میکنند، خودداری کند.
نامهٔ جدید نشان میدهد آن وعدهها بار دیگر تحت آزمایش قرار گرفتهاند.
امضاکنندگان استدلال میکنند که سیستمهای مدرن هوش مصنوعی بیش از آناند که همچون نرمافزارهای عادی و قراردادهای روتین دفاعی مورد مذاکره قرار گیرند. مدلهای مولد پیشرفته قادرند اطلاعات را پردازش کنند، تصاویر را تفسیر کنند، مجموعهدادههای بسیار وسیع را خلاصه کنند و حتی ممکن است با سرعتی بسیار فراتر از تحلیلگران انسانی در تصمیمگیریهای هدفگیری کمک کنند.
برخی پژوهشگران به شبیهسازیهای اولیهٔ جنگافزار اشاره میکنند که در آنها سیستمهای مبتنی بر هوش مصنوعی بهطور تهاجمی باعث تشدید درگیریها شدهاند—گاه حتی در شرایط مدلشده ترجیح گزینههای هستهای را نشان دادهاند. این مطالعات هنوز در سطح تجربیاند، اما نشان میدهند تصمیمگیری ماشین در سناریوهای نظامی تا چه اندازه میتواند غیرقابل پیشبینی باشد.
برای مهندسانی که این سامانهها را طراحی میکنند، واگذاری کنترل زیرساختهای نظارتی—یا حتی بدتر، سلاحهای خودمختار—سؤالات اخلاقی جدی برمیانگیزد.
نامهٔ سرِباز نه تنها بهخاطر پیامش بلکه بهدلیل ائتلافی که شکل داده غیرمعمول است. کارکنان از شرکتهای رقیب بهندرت چنین بیانیههای عمومی هماهنگشدهای را منتشر میکنند، بهخصوص در صنعتی که نیروی انسانی، پیشرفتهای پژوهشی و زیرساختها بهشدت رقابتیاند.
با این حال، فعالان میگویند رقابت موضوع اصلی نیست؛ استدلال ساده است: وقتی فناوری شروع به تغییر ساختارهای قدرت جهانی میکند، کسانی که آن را میسازند مسئولاند تا دربارهٔ محدودیتهای آن شفاف صحبت کنند.
اینکه آیا نامه میتواند راهبردهای شرکتی را تغییر دهد یا نه هنوز نامشخص است. همکاریهای دفاعی درآمدزا هستند و دولتها در سراسر جهان در تلاشاند تا هوش مصنوعی را در برنامهریزی امنیت ملی خود جای دهند.
با این وجود، پیام درون صنعت اکنون ثبت شده—عمومی، جمعی و دشوار برای سوءتعبیر.
پیامدها و واکنشها
ابعاد فنی و تهدیدات عملیاتی
مدلهای زبانی بزرگ (Large Language Models) و سامانههای مولد دادهها قابلیتهایی دارند که میتواند در حوزهٔ امنیت ملی کاربرد پیدا کند: تجزیه و تحلیل حجم عظیمی از اطلاعات شناسایی، تشخیص الگوها در تصاویر ماهوارهای یا پهپادی، تولید خلاصههای دقیق برای تصمیمگیران و حتی خودکارسازی برخی از فرایندهای تحلیل سِنتیمنت یا پیشبینی. این تواناییها هم فرصتزا و هم خطرناکاند؛ زیرا در موقعیتهای نظامی کاربردشان میتواند اثرات غیرقابل بازگشتی بهدنبال داشته باشد.
دستکم چهار ریسک فنی و عملیاتی برجستهاند:
- خطر خطای الگوریتمی در شرایط پیچیده و فشار زمانی که میتواند منجر به تصمیمگیریهای اشتباه شود.
- قابلیت سوءاستفاده برای نظارت انبوه و نقض گستردهٔ حریم خصوصی.
- استفادهٔ بالقوه در هدفگیری تسلیحاتیِ خودران بدون کنترل انسانی معنادار.
- وابستگی زنجیرهٔ تأمین و نرمافزاری که میتواند ساختارهای حیاتی را در معرض ریسک قرار دهد (مثل آنچه پنتاگون دربارهٔ Anthropic مطرح کرد).
پیامدهای حقوقی و اخلاقی
از نظر حقوق بینالملل و اصول اخلاقی، چند مسئله مطرح است: مسئولیت در صورت خطای ماشین کیست؟ چه استانداردهای شفافیتی باید برای کاربردهای نظامی حاکم شود؟ و چگونه میتوان تضمین کرد که توسعهٔ فناوری با حقوق بشر و میثاقهای بینالمللی هماهنگ بماند؟
شرکتها ممکن است در موقعیتی قرار بگیرند که میان سود قراردادهای دفاعی و تعهدات اخلاقی خود به عموم مردم دچار تناقض شوند؛ تناقضی که میتواند اعتماد عمومی به فناوری و صنعت را خدشهدار کند.
واکنش سرمایهگذاران و بازار
از منظر سرمایهگذاری، تعامل با دولت و نهادهای دفاعی همواره جذابیت مالی دارد اما میتواند هزینهٔ نامحسوسی برای اعتبار و جذب نیروی انسانی داشته باشد. اعتراضهای داخلی و فشار اجتماعی ممکن است در بلندمدت بر جذب و حفظ استعدادها تأثیر بگذارد و برخی سرمایهگذاران سهامدار به شفافیت و سیاستهای مسئولانهتر پافشاری کنند.
راهبردها و گزینههای پیش رو
گزینههای شرکتها
شرکتهای فناوری برای پاسخ به این چالش چند گزینهٔ اصلی پیش رو دارند:
- پذیرش قراردادهای دفاعی با شروط مشخص امنیت اخلاقی، کنترل انسانی و شفافیت عملکردی.
- رفض کامل همکاریهایی که خطر نقض حقوق بشر یا استفادهٔ نظامی خطرناک را به همراه دارد.
- توسعهٔ سیاستهای واسطهای: پذیرش همکاریهای پژوهشی غیرمستقیم با نهادهای دولت بهشرط نظارت مستقل و چارچوبهای مسئولانه.
هر کدام از این رویکردها هزینهها و مزایای خود را دارد؛ اما نامهٔ امضاشده نشان میدهد که نیروی کار فناوران دیگر نمیپذیرد تصمیمگیریها صرفاً در اتاقهای مدیران و بدون مشورت با سازندگان فنی و ذینفعان اجتماعی گرفته شود.
راهکارهای فنی برای کاهش ریسک
برای کاهش مخاطرات فنی، اقداماتی مانند «ناظر انسانی معنادار» (meaningful human oversight)، چارچوبهای ارزیابی ریسک مدل (model risk assessment)، red-teaming منظم، محدودسازی دسترسی و سیاستهای کنترل انتشار میتواند مفید باشد. همچنین روشهای فنی مانند sandboxing مدلها، آزمایش در محیطهای شبیهسازیشده و پیادهسازی ابزارهای ارزیابی شفافیت و تبیینپذیری (explainability) از اهمیت ویژهای برخوردارند.
نقش سیاستگذاری عمومی و نهادهای بینالمللی
دولتها و سازمانهای بینالمللی میتوانند با وضع چارچوبهای قانونی، توافقات چندجانبه و استانداردهای اخلاقی مشترک، جلوی استفادهٔ سوء از هوش مصنوعی در زمینههایی چون نظارت جمعی یا سلاحهای خودران را بگیرند. مکانیزمهای بررسی مستقل، گزارشدهی شفاف و سازوکارهای پاسخگویی برای شرکتها ضروریاند تا هم امنیت ملی و هم حقوق بشر حفظ شود.
دیدگاههای فنی و پژوهشی
تحلیل کارشناسانه از قابلیتها
تحلیل فنی نشان میدهد مدلهای مولد میتوانند در نقش ابزار پشتیبان تصمیم عمل کنند اما نباید بهعنوان تصمیمگیرندهٔ نهایی نظامی به آنها اعتماد کرد. خطاهای نمونهبرداری، دلایل پنهان در دادهها (bias)، آسیبپذیری در برابر حملات دستکاری داده و عدم توانایی تبیینپذیری کامل از جمله نقاط ضعف فعلی هستند.
پژوهشهای مرتبط و آزمایشهای جنگی
شبیهسازیهای جنگی و آزمایشهای اولیه نشان دادهاند که رفتارهای خودارجاع و اغلب غیرقابل پیشبینی میتواند در محیطهای تنشزا بروز کند؛ موضوعی که نیازمند پژوهشهای بیشتر در زمینهٔ ایمنیِ هوش مصنوعی (AI safety) و اصولِ طراحی مقاوم است.
نقش نیروی کار و جامعهٔ پژوهشی
سازماندهی کارکنان و انتشار بیانیههای جمعی بخشی از تلاش گستردهتر برای شکلدهی به هنجارهای صنعتی است. این جنبشها میتوانند تأثیر مستقیم بر سیاستهای شرکتها، شفافیت قراردادها و طراحی محصول داشته باشند؛ بهویژه وقتی که نیروی کار از استعداد و اعتبار حرفهای برخوردار باشد.
چند گام عملی که کارکنان میتوانند بردارند شامل موارد زیر است:
- گفتوگوی داخلی و مشارکت در کارگروههای اخلاقی شرکت برای ایجاد چارچوبهای شفاف.
- ایجاد شبکهٔ حمایتی میان کارکنان در شرکتهای مختلف برای تقویت مشی عمومی و افزایش شفافیت.
- مشارکت با نهادهای غیردولتی، دانشگاهها و سازمانهای حقوق بشر برای تدوین راهنماییهای عملی و الزامات نظارتی.
جمعبندی و چشمانداز
نامهٔ اعتراضی کارکنان هوش مصنوعی نشانهای از یک نقطهٔ عطف است: زمانی که سازندگان فناوری فراتر از مسائل فنی به پیامدهای اجتماعی و اخلاقی محصولات خود میاندیشند. این حرکت میتواند باعث شود شرکتها، سیاستگذاران و جامعهٔ مدنی در کنار هم چارچوبهای جدیدی برای تعامل بین صنعت و امنیت ملی تعریف کنند.
پافشاری بر شفافیت، مسئولیتپذیری و کنترل انسانی معنادار در سامانههای هوش مصنوعی نه تنها برای حفاظت از حقوق انسانی ضروری است، بلکه برای پایداری فناوری و اعتماد عمومی به آیندهٔ نوآوری حیاتی است. با افزایش توانایی مدلهای زبانی بزرگ و کاربردهای نظامی بالقوهٔ آنها، توافقات چندجانبه، استانداردهای فنی و اخلاقی و سازوکارهای نظارتی مستقل نقش کلیدی خواهند داشت.
در نهایت، پیام کارکنان—عمومی، جمعی و روشن—یادآور این است که توسعهٔ فناوری همیشه یک مسئلهٔ صرفاً تجاری نیست؛ بلکه امری اجتماعی و سیاسی است که مستلزم مشارکت فعال همهٔ ذینفعان است: مهندسان، مدیران، سیاستگذاران و شهروندان.
این پرونده همچنان باز است و تصمیماتی که در ماهها و سالهای آینده گرفته میشوند، میتوانند مسیر گستردهای برای نحوهٔ تعامل میان صنعت فناوری و قدرت نظامی تعیین کنند؛ مسیری که باید با دقت، احتیاط و تعهد به ارزشهای بنیادی انسانی پیموده شود.
نظرات
مهدی
احتمالا شرکتا به بهونه امنیت ملی وارد میشن و بعد اصولو دستکاری میکنن... احساس میکنم تکرار ۲۰۱۸ داریم
تریپم
نقطهی عطف؟ شاید. به نظرم لازمه قوانین بینالملل سریعتر شکل بگیره، بدونش اوضاع خیلی پیچیده تر میشه
بیونیکس
تو آزمایشگاه دیدم مدلایی که قراره به کار نظامی برن، رفتارای عجیب از خودشون نشون میدن؛ خطاها گرون تموم میشه، باید با احتیاط جلو رفت
کوینفلو
پول و قراردادهای دفاعی جذابن ولی من میگم اخلاق و اعتماد بلندمدته، کوتاه مدت سود، بلندمدت مشکل
رودکس
وای... انتظار نداشتم اینقدر کارمندا متحد بشن. اینکه میگن «ما تقسیم نخواهیم شد» خیلی قشنگه، اما آیا کافیه؟
ارسال نظر