در مطالعه اخیر منتشر شده در Nature Medicine، محققان مدل پایه مفهوم پزشکی (MONET) را توسعه دادند که تصاویر پزشکی را به متن متصل می کند و تصاویر را بر اساس وجود ایده آنها ارزیابی می کند، که به وظایف حیاتی در توسعه هوش مصنوعی پزشکی (AI) کمک می کند. پیاده سازی.

مطالعه: پیش‌بینی منشاء تومور در سرطان‌های با منشا اولیه ناشناخته با یادگیری عمیق مبتنی بر سیتولوژی. اعتبار تصویر: LALAKA/Shutterstock.com

زمینه

ساختن سیستم‌های هوش مصنوعی پزشکی مبتنی بر تصویر قابل اعتماد، نیازمند تحلیل اطلاعات و مدل‌های شبکه عصبی در هر سطح از توسعه، از مرحله آموزش تا مرحله پس از استقرار است.

مجموعه داده های پزشکی با حاشیه نویسی غنی که حاوی ایده های معنایی مرتبط هستند می توانند فناوری های «جعبه سیاه» را رمزگشایی کنند.

درک مفاهیم مهم بالینی مانند رنگدانه تیره تر، شبکه های رنگدانه غیر معمول و رنگ های متعدد از نظر پزشکی مفید است. با این حال، گرفتن برچسب ها نیاز به تلاش دارد و بیشتر مجموعه های اطلاعات پزشکی فقط حاشیه نویسی های تشخیصی را ارائه می دهند.

در مورد مطالعه

در مطالعه فعلی، محققان MONET را ایجاد کردند، یک مدل هوش مصنوعی که می‌تواند تصاویر پزشکی را با ایده‌های مرتبط پزشکی حاشیه‌نویسی کند. آنها این مدل را برای شناسایی ایده های مختلف قابل فهم برای انسان در دو روش تصویری درماتولوژی طراحی کردند: تصاویر درموسکوپی و بالینی.

محققان 105550 جفت تصویر-متن پوستی را از مقالات PubMed و کتاب‌های درسی پزشکی جمع‌آوری کردند و سپس MONET را با استفاده از 105550 عکس مرتبط با پوست و داده‌های زبان طبیعی از پایگاه‌داده ادبیات پزشکی در مقیاس وسیع آموزش دادند.

MONET برای هر ایده به عکس‌ها رتبه‌بندی می‌دهد، که نشان می‌دهد تصویر تا چه حد آن مفهوم را به تصویر می‌کشد.

MONET، مبتنی بر یادگیری از نوع متضاد، یک رویکرد هوش مصنوعی است که امکان استفاده مستقیم از توصیف زبان ساده برای تصاویر را فراهم می‌کند.

این روش از برچسب‌گذاری دستی اجتناب می‌کند، و امکان اطلاعات عظیم جفت تصویر-متن را در مقیاس بسیار بزرگ‌تری نسبت به یادگیری نوع نظارت شده فراهم می‌کند. پس از آموزش MONET، محققان اثربخشی آن را در حاشیه نویسی و سایر موارد استفاده مرتبط با شفافیت هوش مصنوعی ارزیابی کردند.

محققان قابلیت‌های حاشیه‌نویسی مفهومی MONET را با انتخاب مفهومی‌ترین عکس‌ها از تصاویر درموسکوپی و بالینی آزمایش کردند.

آنها عملکرد MONET را با استراتژی‌های یادگیری نظارت شده شامل آموزش مدل‌های ResNet-50 با برچسب‌های مفهومی واقعی و مدل پیش‌آموزشی زبان-تصویر متناقض OpenAI (CLIP) مقایسه کردند.

محققان همچنین از MONET برای ارزیابی خودکار داده‌ها استفاده کردند و کارایی آن را در تحلیل تفاضلی مفهومی آزمایش کردند.

آنها از MONET برای تجزیه و تحلیل داده های همکاری تصویربرداری پوست بین المللی (ISIC) استفاده کردند، که وسیع ترین مجموعه تصاویر پوستی با بیش از 70000 تصویر در دسترس عموم است که به طور معمول برای آموزش مدل های هوش مصنوعی پوستی استفاده می شود.

محققان ممیزی مدل را با استفاده از MONET (MA-MONET) با استفاده از MONET برای تشخیص خودکار مفاهیم پزشکی مرتبط با معنایی و اشتباهات مدل توسعه دادند.

محققان با آموزش مدل‌های CNN بر روی داده‌های چندین دانشگاه و ارزیابی حاشیه‌نویسی مفهومی خودکار آن‌ها، MONET-MA را در تنظیمات دنیای واقعی ارزیابی کردند.

آنها روش امتیازدهی خودکار ایده «MONET + CBM» را در مقابل روش برچسب‌گذاری انسانی، که منحصراً برای عکس‌های حاوی برچسب‌های SkinCon اعمال می‌شود، مقایسه کردند.

محققان همچنین تأثیر انتخاب مفهوم بر عملکرد MONET+CBM، به‌ویژه ایده‌های مرتبط با کار در لایه‌های تنگنا را بررسی کردند. علاوه بر این، آنها تأثیر گنجاندن مفهوم قرمز در گلوگاه را بر عملکرد MONET + CBM در سناریوهای انتقال بین سازمانی ارزیابی کردند.

نتایج

MONET یک پلتفرم هوش مصنوعی پزشکی انعطاف‌پذیر است که می‌تواند به‌طور مناسب ایده‌ها را در تصاویر پوستی، همانطور که توسط متخصصان پوست تأیید شده تأیید شده است، حاشیه‌نویسی کند.

ویژگی حاشیه نویسی مفهومی آن، ارزیابی های مربوط به قابلیت اعتماد را در سراسر خط لوله هوش مصنوعی پزشکی، همانطور که توسط ممیزی مدل، ممیزی داده ها، و پیشرفت های مدل قابل تفسیر ثابت شده است، امکان پذیر می کند.

MONET با موفقیت تصاویر درموسکوپی و بالینی مناسبی را برای کلمات کلیدی پوستی مختلف پیدا می‌کند و مدل پایه CLIP را در هر دو زمینه شکست می‌دهد. MONET از CLIP برای تصاویر درموسکوپی و بالینی بهتر عمل کرد در حالی که معادل مدل های یادگیری نظارت شده برای تصاویر بالینی باقی ماند.

عملکرد حاشیه نویسی خودکار MONET به شناسایی ویژگی های متمایز بین هر دو گروه دلخواه از تصاویر به زبانی قابل خواندن توسط انسان در طول تجزیه و تحلیل تفاضلی ایده کمک می کند.

محققان دریافتند که MONET ایده‌های متفاوت بیان شده را در مجموعه داده‌های بالینی و پوستی تشخیص می‌دهد و می‌تواند به حسابرسی مجموعه داده‌های مقیاس بزرگ کمک کند.

استفاده از MA-MONET ویژگی‌های مرتبط با نرخ اشتباه بالا را نشان داد، مانند مجموعه‌ای از عکس‌ها با برچسب‌های آبی مایل به سفید، آبی، مشکی، خاکستری، و بالای تخت.

محققان خوشه ای را با بالاترین میزان خطا بر اساس اریتم، ساختار رگرسیون، قرمزی، آتروفی و ​​هیپرپیگمانتاسیون شناسایی کردند. متخصصان پوست ده ایده مرتبط با هدف را برای لایه‌های گلوگاه MONET+CBM و CLIP+CBM انتخاب کردند که به گزینه‌های برچسب‌گذاری انعطاف‌پذیر اجازه می‌دهد.

MONET+CBM برای پیش‌بینی بدخیمی و ملانوم در تصاویر بالینی، از تمام خطوط پایه مربوط به میانگین ناحیه زیر منحنی مشخصه عملکرد گیرنده (AUROC) فراتر می‌رود. مدل‌های جعبه سیاه تحت نظارت به طور مداوم در آزمایش‌های پیش‌بینی سرطان و ملانوما بهتر عمل کردند.

نتیجه

این مطالعه نشان داد که مدل‌های متن تصویری می‌توانند شفافیت و قابلیت اطمینان هوش مصنوعی را در زمینه پزشکی افزایش دهند. MONET، یک پلت فرم برای حاشیه نویسی مفهوم پزشکی، می تواند شفافیت و قابل اعتماد بودن هوش مصنوعی پوستی را با اجازه دادن به حاشیه نویسی در مقیاس بزرگ ایده ها بهبود بخشد.

توسعه دهندگان مدل هوش مصنوعی ممکن است روش های جمع آوری، پردازش و بهینه سازی داده ها را بهبود بخشند و در نتیجه مدل های هوش مصنوعی پزشکی قابل اعتمادتری را ارائه دهند.

MONET می‌تواند بر استقرار بالینی و نظارت بر سیستم‌های هوش مصنوعی تصویر پزشکی با اجازه دادن به حسابرسی کامل و تجزیه و تحلیل عادلانه از طریق مشروح کردن توصیف‌کننده‌های رنگ پوست تأثیر بگذارد.