Mạng CNN 10 Năm Tuổi Chẩn Đoán Ung Thư Da Đúng 62%, GPT-6 Astra Và Fable 5.1 Chỉ 42%
Ngày 25/10/2026 bác sĩ da liễu Magnus Lynch cho 200 ca đã sinh thiết đọc bởi GPT-6 Astra, Claude Fable 5.1 và một mạng Inception v3 tinh chỉnh 20 phút: CNN đúng 62%, hai mô hình ngôn ngữ 42%. Locaith chấm lại phần mô hình ngôn ngữ từ gói dữ liệu của tác giả và thấy số khớp, nhưng ở u hắc tố (13, 8,
Ngày 25/10/2026, bác sĩ da liễu Magnus Lynch (bệnh viện Guy's, Đại học King's College London) đăng kết quả một phép thử nhỏ: 200 tổn thương da đã có kết quả sinh thiết, đưa cho GPT-6 Astra, Claude Fable 5.1 và một mạng nơ-ron tích chập (CNN) Inception v3 ra đời từ 2015, tinh chỉnh khoảng 20 phút. CNN chọn đúng chẩn đoán ở 125 ca (62%), hai mô hình ngôn ngữ ở 84 và 85 ca (42%). Locaith tải gói dữ liệu của tác giả ngày 26/10 và chấm lại phần của hai mô hình ngôn ngữ: số khớp. Nhưng con số 62% so với 42% kể chưa hết chuyện, nhất là ở ca u hắc tố, nơi chênh lệch nằm trong sai số.
Phép thử: 200 ca đã sinh thiết, sáu chẩn đoán
Tác giả rút ngẫu nhiên 200 tổn thương từ MILK10k, bộ dữ liệu công khai của International Skin Imaging Collaboration (ISIC), mỗi tổn thương có hai ảnh: ảnh lâm sàng cận cảnh và ảnh dermoscopy (chụp qua kính phóng đại có đèn). Tất cả đều có kết quả mô bệnh học: 100 ca không được cho ra về gồm 30 u hắc tố, 25 ung thư biểu mô tế bào đáy (BCC), 25 ung thư biểu mô tế bào gai (SCC), 20 dày sừng ánh sáng; và 100 ca có thể cho ra về gồm 50 nốt ruồi lành và 50 dày sừng tiết bã. Vì mọi ca đều đã bị sinh thiết, kể cả ca lành, tác giả nói đây là các ca khó hơn bình thường: một nốt ruồi bị cắt ra là nốt ruồi từng làm bác sĩ lo.
Hai mô hình ngôn ngữ nhận cả hai ảnh và không gì khác, cùng một lời nhắc, cài đặt mặc định, không có lời nhắc hệ thống, mỗi ca chạy một lần. Chúng phải chọn một trong sáu chẩn đoán (hoặc "không chắc"), nêu độ tin cậy, lựa chọn thứ hai, và trả lời "có/không" cho câu hỏi liệu tổn thương có thể ra về không cần điều trị, sinh thiết hay theo dõi. Theo tác giả không mô hình nào từ chối ca nào; Locaith đếm lại trong dữ liệu: 0 từ chối, 0 câu trả lời không đọc được. GPT-6 Astra gọi qua API của OpenAI, Fable 5.1 qua OpenRouter.
CNN thì cố tình không phải loại tốt nhất: Inception v3 tiền huấn luyện trên ảnh đời thường, rồi tinh chỉnh toàn bộ tầng trên 68.011 ảnh dermoscopy và ảnh lâm sàng của kho ISIC, trên một GPU H100. Tác giả nói 200 ca thử và mọi ảnh khác của cùng tổn thương hoặc cùng bệnh nhân đã bị loại khỏi dữ liệu huấn luyện (kể cả tập kiểm định), và không dùng chúng để chọn mô hình hay đặt ngưỡng.
Kết quả: Locaith chấm lại phần hai mô hình ngôn ngữ
Gói dữ liệu của tác giả có đủ ca, lời nhắc, từng câu trả lời của hai mô hình ngôn ngữ và mã chấm điểm, nhưng không có kết quả của CNN (CNN chạy được ngay trong trình duyệt ở trang demo của tác giả). Locaith viết lại phép chấm bằng một script riêng và so với bảng của bài viết.
| GPT-6 Astra | Claude Fable 5.1 | CNN Inception v3 | |
|---|---|---|---|
| Đúng chẩn đoán đầu tiên (trên 200) | 84 (42%) — khớp | 85 (42%) — khớp | 125 (62%) — số của tác giả |
| Đúng ở lựa chọn một hoặc hai | 134 — khớp | 138 — khớp | 173 — số của tác giả |
| U hắc tố đúng ở lựa chọn đầu (trên 30) | 8 — khớp | 11 — khớp | 13 — số của tác giả |
| Ca nguy hiểm được giữ lại (trên 100) | 97 — khớp | 96 — khớp | 77 ở ngưỡng cài sẵn; 98 hoặc 99 khi ngưỡng khớp với LLM |
| Ca lành cho ra về (trên 100) | 32 — khớp | 22 — khớp | 76 ở ngưỡng cài sẵn |
| U hắc tố bị cho ra về (trên 30) | 3 — khớp | 4 — khớp | 18 ở ngưỡng cài sẵn; 2 hoặc 1 khi ngưỡng khớp với LLM |
"Khớp" nghĩa là Locaith chạy lại trên dữ liệu thô và ra đúng số trong bài. Số của CNN không có trong gói nên Locaith không kiểm được: đó là lời của tác giả, chưa ai khác tái lập. Phép làm tròn của bài là 42% cho cả 84/200 và 85/200 (85/200 chính xác là 42,5%).
Ba điều con số 62% so với 42% che mất
Một: chênh lệch tổng thể chắc, chênh lệch ở u hắc tố thì chưa. Khoảng tin cậy 95% (Wilson, Locaith tính) của tổng số là 56–69% cho CNN và 35–49% cho hai mô hình ngôn ngữ, không chồng lấn. Nhưng ở u hắc tố, loại quan trọng nhất, con số chỉ là 13, 8 và 11 trên 30 ca, tương ứng khoảng 27–61%, 14–44% và 22–54%: chồng lấn hoàn toàn. Tác giả cũng tự ghi rằng 30 u hắc tố cho khoảng bất định rộng ở đúng con số quan trọng nhất. Bài này vì vậy ủng hộ kết luận "CNN nhận ra tổn thương lành tốt hơn nhiều", chưa ủng hộ kết luận "CNN nhận ra u hắc tố tốt hơn".
Hai: chênh lệch dồn vào các ca lành và vào "thói quen" của từng mô hình. CNN nhận đúng 37 trên 50 nốt ruồi và 26 trên 50 dày sừng tiết bã; GPT-6 Astra 16 và 13, Fable 33 và 6. Locaith đếm trong dữ liệu: GPT-6 Astra gọi 75 ca là BCC trong khi chỉ có 25 ca (trong đó 14 trên 30 u hắc tố bị gọi là BCC); Fable gọi 53 ca là dày sừng ánh sáng trong khi chỉ có 20 ca, và chỉ gọi 10 ca là dày sừng tiết bã trong khi có 50. Lỗi của CNN ở u hắc tố thì đi hướng ngược lại: trong 17 ca sai, theo tác giả 8 bị gọi là nốt ruồi và 6 là dày sừng tiết bã, tức 14 ca bị đưa về phía lành.
Ba: "đúng hơn" chưa có nghĩa "an toàn hơn". Câu hỏi lâm sàng là cho ra về hay không. Hai mô hình ngôn ngữ giữ lại 97 và 96 trong 100 ca nguy hiểm, và chỉ để 3 và 4 u hắc tố ra về, nhưng cũng chỉ cho ra về 32 và 22 trong 100 ca lành, tức rất thận trọng. CNN ở ngưỡng cài sẵn thì cho ra về 76 ca lành, nhưng cũng để 23 ca nguy hiểm lọt, trong đó theo bảng của tác giả 18 trên 30 u hắc tố, tức 60%. Khi tác giả ép ngưỡng của CNN giữ lại 98–99 ca nguy hiểm như hai mô hình ngôn ngữ, số u hắc tố lọt chỉ còn 2 hoặc 1, so với 3 và 4 của mô hình ngôn ngữ: chênh lệch một đến ba ca, quá nhỏ để kết luận. Bài không đưa số ca lành cho ra về của CNN ở ngưỡng khớp đó, nên Locaith không nói được cái giá của việc ép ngưỡng. Tác giả viết thêm rằng trên ảnh thường của kho ISIC (không phải toàn ca đã sinh thiết), CNN phân biệt ca nên và không nên cho ra về tốt hơn nhiều (diện tích dưới đường ROC 0,96, so với 0,86 ở phép thử này).
Độ tin cậy mô hình tự nêu không giúp lọc lỗi
Locaith tính thêm từ dữ liệu thô, phần bài không nêu. GPT-6 Astra: độ tin cậy trung bình khi đúng là 82,5 và khi sai là 79,5; trong 26 câu trả lời có độ tin cậy từ 90 trở lên, 16 câu đúng (62%, khoảng tin cậy khoảng 43–78%). Fable 5.1: 64,6 khi đúng và 56,5 khi sai; chỉ có một câu trả lời đạt 90 trở lên. Nói cách khác, với Astra, những câu trả lời nói chắc từ 90 trở lên vẫn sai khoảng bốn trên mười lần, và độ tin cậy trung bình gần như không tách được câu đúng khỏi câu sai. Đây là phép đếm trên một lượt chạy mỗi ca, không phải kết luận về hiệu chỉnh độ tin cậy nói chung.
Khi hỏi như bệnh nhân: luôn bảo đi khám, kể cả ca lành
Tác giả còn thử lời nhắc của người bệnh ("tôi có vết này, đi khám hay để kệ?") với chỉ ảnh lâm sàng. Theo bài, cả hai mô hình khuyên đi khám ở hầu hết các ca, kể cả ca lành, và với 100 u hắc tố bổ sung thì 99 (Astra) và 98 (Fable) ca được khuyên đi khám. Locaith đếm trong dữ liệu đã được mã hoá: ở lượt hỏi 200 ca với cả hai ảnh, mỗi mô hình khuyên đi khám cho cả 200 ca, không ca nào được bảo "cứ để đó" (Fable dùng nhãn "thường quy" cho 19 ca, Astra cho 3). Ở 100 u hắc tố bổ sung, bản mã hoá cho 100 và 99 ca được khuyên đi khám; README của gói nói riêng một ca của Astra (mel_082) được mã hoá "khẩn" nhưng tác giả đọc là chỉ đi khám nếu vết không lành. Locaith không tìm được lời giải thích cho ca thứ hai của Fable nên báo cả hai cách đếm.
Có một khác biệt đáng ghi ở các u hắc tố bổ sung: theo trường mã hoá "skin_cancer_raised" (nêu ung thư da như một khả năng), Astra nhắc tới ở 99 trong 100 câu trả lời, Fable ở 58, trong khi cả hai đều đặt "nốt ruồi" là chẩn đoán đầu tiên ở khoảng nửa số ca (44 và 47). Khuyên đi khám thì như nhau, nhưng người đọc câu trả lời của Fable ít được nghe chữ "ung thư" hơn. Lưu ý: toàn bộ phần mã hoá lời khuyên do GPT-6.1 Sol (mô hình của OpenAI) thực hiện, không biết chẩn đoán đúng; Locaith không chấm lại phần mã hoá này, và nó là một mô hình đang chấm thay cho cả mô hình cùng hãng lẫn đối thủ.
Các giới hạn tác giả tự nêu, và vài điều Locaith thêm
- Số lượng nhỏ. 200 ca đủ cho thấy khuôn mẫu, không đủ xếp hạng các kết quả sát nhau; mỗi ca của mô hình ngôn ngữ chạy một lần, câu trả lời thay đổi giữa các lần chạy.
- Ca khó. Mọi tổn thương đều đã bị sinh thiết, nên không đại diện cho các tổn thương bệnh nhân hay đem đến phòng khám.
- Rò rỉ dữ liệu. MILK10k công khai từ 2025 nên mô hình ngôn ngữ có thể đã thấy; tác giả nói nếu có thì chỉ có lợi cho chúng, còn CNN chắc chắn chưa thấy.
- CNN chỉ là đường cơ sở. Tác giả nói các hệ thống tốt nhất dùng tập hợp nhiều mô hình ảnh transformer, huấn luyện trên nhiều dữ liệu hơn, và các sản phẩm được cấp phép dựa trên chúng tốt hơn đáng kể. Trang demo của tác giả ghi rõ không phải thiết bị y tế và không dùng để chẩn đoán.
- Xung đột lợi ích cần biết (do tác giả nêu). Phần phân tích và bản nháp đầu do Claude Code của Anthropic tạo, và một trong hai mô hình thử là của Anthropic. Việc chấm được chạy bằng script đối chiếu mô bệnh học; tác giả thiết kế phép thử và đưa ra các phán quyết lâm sàng.
- Câu hỏi về bản đăng (của Locaith). README trong gói dữ liệu dẫn về drmagnuslynch.com (có vẻ là trang riêng của tác giả) chứ không phải lynchlab.net, và ghi phần 100 u hắc tố bổ sung là "added 12.10.26", trong khi trang Locaith đọc ở lynchlab.net đề ngày 25/10. Locaith không biết trang đã được sửa sau 12/10 hay không.
Ý nghĩa với doanh nghiệp Việt đang thử AI cho ảnh y khoa
Đây không phải lời khuyên y tế, và bài của Lynch cũng không nói nên dùng AI nào để chẩn đoán. Những gì rút ra được cho người làm sản phẩm là suy luận của Locaith, dựa trên các phép đếm ở trên:
- Với một bài toán ảnh hẹp, có nhãn rõ ràng, một mô hình nhỏ tinh chỉnh riêng có thể ngang hoặc hơn mô hình ngôn ngữ phổ thông, và chạy rẻ hơn nhiều: theo tác giả, huấn luyện khoảng 20 phút trên một H100 và chạy được ngay trong trình duyệt điện thoại bằng WebGPU, không tải ảnh lên máy chủ. Chi phí này chưa tính công thu thập và gán nhãn dữ liệu.
- Đừng lấy "độ tin cậy" mô hình tự nêu làm bộ lọc; hãy tự đặt ngưỡng trên dữ liệu có nhãn và đo thẳng thứ quan trọng (ở đây là số u hắc tố bị cho ra về), như tác giả đã làm khi ép hai ngưỡng khớp nhau.
- Trước khi công bố một con số "đúng hơn", hãy hỏi nó đúng ở loại nào và sai ở hướng nào. CNN ở ngưỡng cài sẵn đúng nhiều hơn nhưng để lọt 18 trên 30 u hắc tố; hai mô hình ngôn ngữ đúng ít hơn nhưng nghiêng hẳn về phía thận trọng.
Đọc bài này thế nào
Các số 84, 85, 134, 138, 97, 96, 32, 22, 3 và 4 là phép chấm lại của Locaith từ gói dữ liệu của tác giả (khớp bài). Số của CNN (125, 173, 13, 77, 76, 18, 2 hoặc 1, AUC 0,96 và 0,86) là lời của tác giả, Locaith không tái lập vì gói không có kết quả CNN và Locaith không chạy mô hình. Khoảng tin cậy, số lần gọi BCC/dày sừng ánh sáng, số liệu về độ tin cậy và các phép đếm lời khuyên cho bệnh nhân là Locaith tính. Mã hoá lời khuyên do GPT-6.1 Sol thực hiện, Locaith chưa chấm lại. Một lượt chạy mỗi ca; chưa có bên thứ ba tái lập.
Giới hạn của bài này
Locaith đọc ngày 26/10/2026 toàn văn bài của Lynch, trang demo CNN, README, lời nhắc, kết quả và mã chấm điểm trong gói dữ liệu. Locaith không xem ảnh MILK10k (giấy phép phi thương mại, ảnh không có trong gói), không đọc hồ sơ lâm sàng nào ngoài bảng ca, không chạy CNN, và một lượt tìm kiếm web ngày 26/10 không thấy phản hồi nào của OpenAI, Anthropic hay một nhóm da liễu độc lập, cũng không thấy bài tái lập phép thử này (không có nghĩa là chúng không tồn tại). Trang danh sách bác sĩ của Guy's and St Thomas' NHS Foundation Trust xác nhận tác giả là bác sĩ da liễu và phẫu thuật da tại Viện Da liễu St John's; trang đó ghi chức danh "honorary senior lecturer" ở King's College London, còn bài của tác giả ghi "Honorary Reader" (Locaith không rõ vì sao hai trang khác nhau).
Nguồn:
- Magnus Lynch, Lynch Lab — A 10-year-old CNN outperforms frontier LLMs for skin cancer diagnosis, 25/10/2026 — phương pháp, kết quả, hạn chế
- Lynch Lab — llm-skin-cancer-test.zip (README, cases.csv, prompts.txt, kết quả từng lượt, mã chấm điểm) — Locaith tải và chấm lại ngày 26/10/2026
- Lynch Lab — Inception v3 Skin Lesion Classifier — trang demo CNN, ghi "not a medical device"
- MILK study team / ISIC — MILK10k — bộ dữ liệu ảnh (giấy phép CC BY-NC)
- Guy's and St Thomas' NHS Foundation Trust — Magnus Lynch — vai trò của tác giả
- Wikimedia Commons — Dermatoscopy SebK.jpg (Philipp Tschandl, CC BY-SA 4.0); Dermatoscope1.JPG (Frank33, CC BY-SA 3.0)
Locaith đọc trực tiếp các nguồn trên ngày 26/10/2026. Ảnh bìa: ảnh chụp một dermatoscope (Heine Delta 10) của Frank33 trên Wikimedia Commons, giấy phép CC BY-SA 3.0, không phải ảnh về kết quả thử nghiệm. Ảnh dermoscopy trong bài chỉ để minh hoạ và không thuộc 200 ca. Biểu đồ là đồ hoạ của Locaith. Ban Biên Tập Locaith biên soạn và phân tích ngày 26/10/2026.