چت‌بات‌ها، کارخانه اخبار جعلی پزشکی

شفاانلاین»سلامت نتایج یک پژوهش تازه نشان می‌دهد که سامانه‌های هوش مصنوعی گفت‌وگومحور، مانند چت‌بات‌ها، هنوز قادر به جلوگیری مؤثر از انتشار اخبار جعلی در حوزه سلامت نیستند. 

به گزارش شفاآنلاین تیمی از پژوهشگران دانشگاه فلیندرز استرالیا با بررسی عملکرد پنج مدل زبانی پیشرفته شامل GPT-۴o، Gemini ۱.۵ Pro، Claude ۳.۵ Sonnet، LLaMA ۳.۲، ۹۰B Vision و Grok Beta، نقاط ضعف قابل توجهی را در سامانه‌های ایمنی این ابزار‌ها شناسایی کردند.

در این مطالعه، چت‌بات‌های سفارشی‌شده با دستورالعمل‌هایی خاص طراحی شدند تا به‌صورت سیستماتیک به تولید پاسخ‌های نادرست درباره موضوعات حساس سلامت از جمله ایمنی واکسن‌ها، اچ‌آی‌وی و افسردگی بپردازند. این پاسخ‌ها نه‌تنها شامل اطلاعات جعلی بودند، بلکه با ارجاعات ساختگی به منابع علمی و لحن آمرانه، سعی در معتبر جلوه‌دادن محتوا داشتند.

نتایج آزمایش‌ها نشان داد که ۸۸ درصد از پاسخ‌هایی که این چت‌بات‌ها ارائه دادند، حاوی اطلاعات نادرست بودند. در این میان، GPT-۴o، Gemini، LLaMA و Grok بیشترین میزان اخبار جعلی را تولید کردند. تنها Claude ۳.۵ Sonnet عملکرد ایمن‌تری داشت و توانست نرخ انتشار اطلاعات جعلی را به ۴۰ درصد کاهش دهد.

این یافته‌ها نگرانی‌ها درباره آسیب‌پذیری هوش مصنوعی در برابر سوءاستفاده برای نشر اطلاعات نادرست را تشدید کرده و اهمیت توسعه بیشتر سامانه‌های ایمنی و نظارتی را برجسته می‌سازد.