ChatGPT در تشخیص آبسه مغزی شکست خورد

در پژوهش جدیدی که برای ارزیابی توانایی ChatGPT در تشخیص بیماری‌ها انجام شد، این مدل هوش مصنوعی نتوانست آبسه مغزی را به درستی تشخیص دهد.

به گزارش ایسنا، به رغم این که هوش مصنوعی در حال تبدیل شدن به یک بخش اساسی از پژوهش‌های بالینی و تصمیم‌گیری است، بسیاری از افراد هنوز صحت ChatGPT را برای پشتیبانی از فرآیند‌های تشخیصی و درمانی پیچیده زیر سوال می‌برند.

یک پژوهش جدید که ChatGPT را برای مدیریت کردن «آبسه مغزی» (Brain abscess) به کار گرفته، نشان داده که اگرچه به نظر می‌رسد ChatGPT قادر به ارائه دادن توصیه‌هایی درباره تشخیص و درمان است، اما برخی از پاسخ‌های این مدل هوش مصنوعی می‌توانند بیماران را در معرض خطر قرار دهند.

این پژوهش که در کنگره جهانی «انجمن میکروبیولوژی بالینی و بیماری‌های عفونی اروپا» (ESCMID) در شهر بارسلون اسپانیا ارائه شد، توسط اعضای گروه پژوهشی «بیماری‌های عفونی مغز» (ESGIB) انجام شده است.

دکتر «سوزان دایکوف شن» (Susanne Dyckhoff-Shen) از بیمارستان «دانشگاه لودویگ ماکسیمیلیان مونیخ» (LMU) در آلمان و یکی از اعضای انجمن میکروبیولوژی بالینی و بیماری‌های عفونی اروپا گفت: زمانی که با ایمنی بیمار سر و کار دارید، هر نتیجه کمتر از ۱۰۰ درصد یک شکست است. اگرچه ما از دانش ChatGPT درباره مدیریت آبسه‌های مغزی شگفت‌زده شده‌ایم، اما محدودیت‌های کلیدی در استفاده از این مدل هوش مصنوعی به عنوان یک دستگاه پزشکی وجود دارد که از جمله آن‌ها می‌توان به آسیب احتمالی بیمار و عدم شفافیت داده‌ها برای ارائه پاسخ اشاره کرد.

توانایی هوش مصنوعی در جذب سریع، پردازش و تفسیر مجموعه داده‌های گسترده، چشم‌اندا‌های وسوسه‌انگیزی را نشان می‌دهد، اما این پرسش نیز به وجود می‌آید که آیا فرآیند‌های زمان‌بر برای ایجاد دستورالعمل‌های پزشکی هنوز ضروری هستند یا اینکه مدل‌های هوش مصنوعی آموزش‌دیده با انبوهی از اطلاعات پزشکی می‌توانند در پاسخ به پرسش‌های پیچیده بالینی با کارشناسان بالینی رقابت کنند.

آبسه مغزی یک عفونت تهدیدکننده در سیستم عصبی مرکزی است که برای جلوگیری از عوارض شدید عصبی و حتی مرگ بیمار باید به سرعت شناسایی و درمان شود. مدیریت آبسه‌های مغزی عمدتا براساس تجربه بالینی و پژوهش‌های محدود انجام می‌شود، اما انجمن میکروبیولوژی بالینی و بیماری‌های عفونی اروپا در سال ۲۰۲۳، نیاز به یک روش استاندارد را با توسعه یک دستورالعمل بین‌المللی برآورده کرد.

گروهی از پژوهشگران اروپایی برای اینکه بفهمند آیا ChatGPT قادر به ارزیابی حرفه‌ای پژوهش‌های پزشکی و ارائه توصیه‌های معتبر علمی است یا خیر، مدل هوش مصنوعی را آزمایش کردند تا ببینند که آیا در مقایسه با دستورالعمل ESCMID می‌تواند به ۱۰ پرسش کلیدی درباره تشخیص و درمان آبسه مغزی پاسخ دقیق بدهد یا خیر.

پژوهشگران ابتدا از نسخه چهارم ChatGPT (ChatGPT ۴) خواستند تا به ۱۰ پرسش مطرح‌شده توسط انجمن میکروبیولوژی بالینی و بیماری‌های عفونی اروپا پیرامون دستورالعمل آبسه مغزی آن‌ها پاسخ دهد. پرسش‌ها بدون هیچ گونه اطلاعات اضافی طراحی و ارزیابی شدند.

سپس، ChatGPT با متن همان مقالات پژوهشی آموزش داده شد که برای توسعه دستورالعمل پیش از پرسیدن سؤالات مورد استفاده قرار گرفته بودند. این کار برای بررسی این موضوع انجام شد که آیا ChatGPT با استفاده از داده‌های مشابه به کار رفته برای توسعه دستورالعمل‌ها می‌تواند توصیه‌های هماهنگ‌تری را ارائه دهد یا خیر.

سپس سه متخصص بیماری‌های عفونی، پاسخ‌های هوش مصنوعی را با توصیه‌های دستورالعمل انجمن میکروبیولوژی بالینی و بیماری‌های عفونی اروپا مقایسه کردند تا مواردی را مانند وضوح، هم‌سویی با دستورالعمل و خطر احتمالی برای بیمار ارزیابی کنند.

این پژوهش در «The Journal of Neurology» ارائه شد.