هشدارهای حیاتی درباره توصیه تغذیه ای هوش مصنوعی: از راهکار چت بات تا بستری در بیمارستان

نگاهی اجمالی به حادثه: توصیه تغذیه‌ای AI و پایان در بیمارستان

در مطالعه موردی تازه‌ای که توسط پزشکان دانشگاه واشنگتن منتشر شده، ماجرایی روایت می‌شود که شبیه داستان‌های هشدارآمیز علمی‌تخیلی است: بیماری بر اساس پیشنهادات تغذیه‌ای چت‌جی‌پی‌تی (ChatGPT) رژیم غذایی خود را تغییر داده و دچار مسمومیت با برمید شده است؛ این مسمومیت در نهایت به بروز روان‌پریشی حاد و بستری طولانی‌مدت و درمان روانپزشکی انجامیده است. این گزارش که در نشریه Annals of Internal Medicine: Clinical Cases چاپ شده، شرح می‌دهد چطور تغییر در ترکیب نمک مصرفی با راهنمایی هوش مصنوعی به مشکلات جدی پزشکی و روحی برای بیمار ختم شد و او پس از چند هفته درمان و مراقبت مجدد بهبود یافت.

شرح ماجرا: توصیه AI، مصرف سدیم برمید و نتیجه بالینی

بیمار با علائمی چون بی‌قراری شدید، بدگمانی، توهمات بصری و شنیداری و امتناع از نوشیدن آب (علیرغم احساس تشنگی) به اورژانس مراجعه کرد. کادر درمانی به سرعت احتمال بروز «برمیسم» - مسمومیت مزمن با برمید - را مطرح کردند. او تحت درمان با سرم و داروی ضدروان‌پریشی قرار گرفت و در دوران حاد به دلیل خطرات جدی، بستری و نگهداری اجباری شد. در نهایت، پس از سه هفته بستری و پایش پزشکی، علائم بیمار کنترل و پایدار شد و پس از ترخیص، پیگیری‌های بعدی هم حکایت از دوام سلامت او داشت.

برمید چیست و چرا اهمیت دارد؟

نمک‌های برمید در گذشته برای درمان بی‌خوابی و اضطراب استفاده می‌شد، اما ازدهه ۱۹۸۰ میلادی به دلیل بروز عوارض عصبی و روانپزشکی، از اغلب داروهای انسانی حذف شد. با این حال، ترکیبات برمید هنوز در برخی داروهای دامپزشکی، مکمل‌ها و محصولات خاص یافت می‌شوند و بنابراین موارد نادری از مسمومیت با برمید همچنان اتفاق می‌افتد. اهمیت این رویداد در این است که نخستین مسمومیت شناخته‌شده ناشی از توصیه غلط هوش مصنوعی به‌حساب می‌آید.

نقش هوش مصنوعی در بروز حادثه

پزشکان می‌گویند فرد مورد نظر، به‌علت آگاهی از علوم تغذیه دانشگاهی و نگرانی نسبت به مصرف زیاد سدیم کلرید (نمک معمولی)، به دنبال جایگزین‌هایی بود که، بر اساس پرسش از ChatGPT، برداشت کرد که می‌توان کلرید را با برمید جایگزین کرد. او بعداً حدود سه ماه سدیم برمید مصرف نمود. پژوهشگران حدس می‌زنند نسخه‌های ChatGPT 3.5 یا 4.0 در این ماجرا نقش داشته‌اند و اگرچه به سوابق گفتگوی کاربر دسترسی مستقیم نداشتند، اما آزمایش تکراری روی ChatGPT 3.5 پاسخی ارائه داد که برمید را در برخی زمینه‌ها به‌عنوان جایگزین کلرید مطرح می‌کرد.

محدودیت‌های هوش مصنوعی: اطلاعات بدون زمینه و خطر «هلوسینیشن»

نکته مهم اینجاست که پاسخ AI فاقد هشدارهای کافی درباره سمیت و نیز پرسش‌های تکمیلی جهت اطمینان از نیت کاربر بود. به‌نظر می‌رسد سامانه، اطلاعات شیمیایی جایگزینی را که معمولا در مصارف صنعتی یا پاک‌سازی توصیه می‌شود، به‌اشتباه برای تغذیه انسانی پیشنهاد داده باشد. این مسأله کاستی‌های رایج مدل‌های زبانی بزرگ (LLM) را برجسته می‌کند: توصیه‌های به ظاهر معقول ولی ناایمن، نبود خط‌مشی‌های تخصصی کافی و عدم سنجش نیت کاربر پیش از ارائه پیشنهادات پرخطر.

چرا متخصص انسانی متفاوت عمل می‌کند؟

گزارش تصریح می‌کند که یک پزشک واقعی به هیچ عنوان توصیه به جایگزینی کلرید با برمید نمی‌کند. متخصصین پزشکی قادر به استفاده از قضاوت بالینی، پرسش‌های روشن‌کننده و ارائه هشدارهای ایمنی هستند؛ قابلیت‌هایی که اغلب در سامانه‌های گفتگویی هوش مصنوعی عمومی مشاهده نمی‌شود.

مقایسه ویژگی‌های ChatGPT و سامانه‌های پزشکی تخصصی

مدل‌های زبانی عمومی نظیر ChatGPT به کاربران امکان دریافت سریع اطلاعات و ارتباط آسان با طیف وسیعی از موضوعات را می‌دهند و برای تحقیقات غیررسمی یا افزایش کارایی مفیدند. اما در مقایسه با سامانه‌های تخصصی تشخیص و یاری بالینی، این مدل‌ها فاقد منابع تأییدشده، هشدارهای سمیت و مسیرهای بالینی اعتبارسنجی‌شده هستند. محصولات سطح‌سازمانی پزشکی معمولاً با ویژگی‌هایی نظیر ارجاع به منابع علمی، ادغام پزشک انسانی، ابزارهای تبعیت از قوانین و قالب‌بندی پرسش‌های سخت‌گیرانه عرضه می‌شوند تا از توصیه‌های خطرناک جلوگیری گردد.

مزایا و معایب

• ChatGPT و مدل‌های مشابه: دسترسی وسیع، سرعت بالا و ارتباط کارآمد با کاربران، اما خطر بالاتر «هلوسینیشن» و توصیه‌های ناایمن.
• مدل‌های تخصصی پزشکی: دقت بالا، ارجاع به شواهد بالینی، و انطباق با مقررات، ولی اغلب با هزینه و پیچیدگی بالاتر برای سازمان‌ها.

کاربردها و اهمیت بازار

این حادثه بار دیگر نیاز بازار به ابزارهای دیجیتال سلامت قابل اعتماد را مطرح می‌کند: از چک‌کننده‌های علائم معتبر و دستیاران پزشکی AI تا پلتفرم‌های آگاه از سمیت برای مصرف‌کنندگان. با گسترش کاربرد هوش مصنوعی در اپلیکیشن‌های سلامت، شرکت‌ها باید ایمنی را اولویت قرار دهند: تشخیص هدف کاربر، بررسی تداخلات دارویی، پایگاه داده سمیت و هشدارهای شفاف. امروزه نهادهای ناظر و فعالان سلامت نیز بیشتر بر اعتبارسنجی مدل‌ها و حضور انسان در چرخه کار تأکید دارند که اثر مستقیم بر مسیر توسعه محصولات و جلب اعتماد مصرف‌کنندگان می‌گذارد.

راهنمایی‌های کاربردی برای کاهش ریسک

کاربران باید خروجی مدل‌های زبانی بزرگ را به‌عنوان نقطه آغاز بررسی دانسته و نه جایگزین دارو یا درمان؛ همچنین باید توصیه‌های AI را حتما با مراجع معتبر مقایسه و از پزشکان مجاز مشاوره بگیرند و هیچ ماده‌ای را بدون تأیید پزشکی مصرف نکنند. برای توسعه‌دهندگان، پیاده‌سازی فیلترهای زمینه‌محور، ادغام پایگاه داده سمیت و طراحی سؤالات تأییدکننده اهمیت دارد. فعالان فناوری سلامت نیز باید بر طراحی محافظت‌های قوی‌تر، شفافیت منابع و سنجش نیت کاربر تأکید کنند.

پیامدها برای حرفه‌ای‌های فناوری و کاربران علاقه‌مند

این ماجرا یادآوری روشن است که هوش مصنوعی می‌تواند همزمان موجب شتاب اکتشاف و نیز گسترش اطلاعات غلط شود. برای فناوران، این حادثه اهمیت اولویت‌بخشی به ایمنی، قابلیت توضیح و هم‌سویی اهداف را برجسته می‌سازد؛ برای کاربران هم مجدداً یادآوری می‌کند که هنگام مواجهه با موضوعات سلامتی باید همواره با تردید و بررسی انسانی روبرو شوند.