مقایسه مدل‌ها
اندازه‌گیری‌شده روی مطالعات خودمان، در مقایسه با گزارش پزشک
هر سطر همان ارزیابی یکسان است: 108 مطالعه کولونوسکوپی از این آرشیو، سنجیده‌شده در برابر گزارش پزشک. 31 مطالعه در گزارش پولیپ دارند و 77 مطالعه ندارند.
امتیازهای محک‌های منتشرشده نمایش داده نمی‌شوند. مدلی که روی Kvasir آموزش دیده دقتش را روی همان Kvasir گزارش می‌کند و این چیز زیادی درباره تصاویر این بیمارستان نمی‌گوید — مدل مستقرشده آنجا mAP50 برابر ۰٫۹۳ می‌گیرد و اینجا 77٪ مطالعات را می‌یابد.
تنظیمات
مدل
اندازه ورودی
برش حاشیه
YOLOv5m · 320px · cropped
این همان چیزی است که امروز اجرا میشودمستقرشده. آموزش‌دیده روی Kvasir-SEG در همان اندازه‌ای که مرورگر می‌فرستد، با حذف حاشیه سیاه پیش از استنتاج.
حساسیت
77.4%
24 از 31 یافت شد
دقت
82.8%
5 هشدار نادرست
F1
0.800
سطح زیر منحنی ROC (مطالعه)
0.870
بدون آستانه
pytorch
64 ms
15.7 فریم بر ثانیه · صدک ۹۰: 68 میلی‌ثانیه
onnx
88 ms
11.3 فریم بر ثانیه · صدک ۹۰: 96 میلی‌ثانیه
openvino-cpu
49 ms
20.4 فریم بر ثانیه · صدک ۹۰: 59 میلی‌ثانیه
openvino-igpu
15 ms
66.9 فریم بر ثانیه · صدک ۹۰: 17 میلی‌ثانیه
اندازه‌گیری‌شده روی لپ‌تاپ توسعه، هر بار یک فریم. سرور مستقرشده ماشین دیگری است و کندتر — برای آنچه در کلینیک دیده می‌شود به لاگ‌های خودِ سرور استناد کنید، نه به این اعداد.
در این آستانه روی 3.8٪ از 339 فریم نویزیِ برچسب‌خورده توسط بازبین هشدار می‌دهد — هر کدام یک هشدار نادرست است.
همه پیکربندی‌ها با آستانه 0.70 و 3 فریم
| پیکربندی | مطالعات یافت‌شده | از هشدارها، درست | سالم‌های بدون هشدار | بدون آستانه | بهترین بک‌اند | کمتر بهتر است | |
|---|---|---|---|---|---|---|---|
| YOLOv5m · 320px · croppedدر حال استفاده | 77.4% | 82.8% | 93.5% | 0.800 | 0.870 | 15 ms | 3.8% |
| YOLOv5m · 640px | 77.4% | 82.8% | 93.5% | 0.800 | 0.862 -0.008 | سنجش نشده | 2.9% -0.9 |
| YOLO11m (6-dataset) · 640px | 77.4% | 77.4% -5.4 | 90.9% | 0.774 -0.026 | 0.912 +0.042 | سنجش نشده | 0.9% -2.9 |
| YOLO11n (nano) · 640px | 71.0% -6.4 | 66.7% -16.1 | 85.7% | 0.688 -0.112 | 0.846 -0.024 | سنجش نشده | اجرا نشده |
| YOLOv5m · 320px | 58.1% -19.3 | 85.7% +2.9 | 96.1% | 0.692 -0.108 | 0.855 -0.015 | 15 ms | 3.8% |
| YOLO11m (6-dataset) · 320px · cropped | 45.2% -32.2 | 93.3% +10.5 | 98.7% | 0.609 -0.191 | 0.908 +0.038 | 15 ms | اجرا نشده |
| YOLO11m (6-dataset) · 320px | 32.3% -45.1 | 90.9% +8.1 | 98.7% | 0.476 -0.324 | 0.840 -0.030 | 15 ms | اجرا نشده |
| YOLO11n (nano) · 320px | 19.4% -58.0 | 100.0% +17.2 | 100.0% | 0.324 -0.476 | 0.882 +0.012 | سنجش نشده | اجرا نشده |
| RT-DETR-R18 · 640px | 9.7% -67.7 | 42.9% -39.9 | 94.8% | 0.158 -0.642 | 0.739 -0.131 | سنجش نشده | اجرا نشده |
برای انتخاب روی یک سطر و برای مرتب‌سازی روی عنوان ستون کلیک کنید. اختلاف‌ها نسبت به پیکربندی مستقرشده در همان نقطه کاری محاسبه می‌شوند.
تفکیک — YOLOv5m · 320px · cropped
حساسیت بر اساس اندازه پولیپ
حساسیت بر اساس ریخت‌شناسی
این دو تفکیک در نقطه کاری مستقرشده (۰٫۷۰ و ۳ فریم) محاسبه شده‌اند و از لغزنده‌ها پیروی نمی‌کنند.
حساسیت در برابر بار هشدارهای نادرست
| آستانه اطمینان | حساسیت | فریم نادرست در هر مطالعه سالم | مطالعات سالم دارای هشدار | فریم‌های نویزی دارای هشدار |
|---|---|---|---|---|
| 0.30 | 100.0% | 5.58 | 76/77 | 15.3% (52/339) |
| 0.40 | 96.8% | 3.86 | 74/77 | 11.5% (39/339) |
| 0.50 | 96.8% | 2.65 | 67/77 | 8.8% (30/339) |
| 0.60 | 93.5% | 1.62 | 58/77 | 6.2% (21/339) |
| 0.70 | 93.5% | 0.82 | 39/77 | 3.8% (13/339) |
| 0.80 | 80.6% | 0.29 | 18/77 | 1.2% (4/339) |
| 0.90 | 45.2% | 0.03 | 2/77 | 0.3% (1/339) |
| 0.95 | 9.7% | 0.00 | 0/77 | 0.0% (0/339) |
اندازه‌گیری‌شده روی 7,166 فریم در 108 مطالعه. با تنها 31 مطالعه دارای پولیپ در گزارش، هر مطالعه حدود 3 واحد حساسیت ارزش دارد — تفاوت‌های کوچک را نویز بدانید و مقایسه مدل‌ها را بر پایه ROC AUC انجام دهید که همه مطالعات را به کار می‌گیرد و به آستانه نیاز ندارد.