Giải mã độ tin cậy của AI trong y tế: Giảm mơ hồ, tăng chính xác

Một ví dụ về sự mơ hồ trong hình ảnh y khoa: Trên phim X-quang phổi, tràn dịch màng phổi (sự tích tụ bất thường của dịch trong phổi) có thể trông rất giống với thâm nhiễm phổi (sự tích tụ mủ hoặc máu).

Một mô hình trí tuệ nhân tạo có thể hỗ trợ bác sĩ phân tích X-quang bằng cách phát hiện các chi tiết nhỏ và giúp tăng hiệu quả trong quá trình chẩn đoán. Tuy nhiên, vì có quá nhiều khả năng bệnh lý có thể xuất hiện trong một hình ảnh, nên bác sĩ thường muốn xem xét một tập hợp các khả năng thay vì chỉ dựa vào một dự đoán duy nhất của AI.

AI hỗ trợ chuẩn đoán hình ảnh y khoa. Ảnh: Midjourney

Một cách tiếp cận đầy hứa hẹn để tạo ra tập hợp các khả năng, gọi là phân loại chuẩn hóa (conformal classification), rất tiện lợi vì có thể dễ dàng áp dụng lên các mô hình học máy sẵn có. Tuy nhiên, phương pháp này có thể tạo ra tập hợp dự đoán quá lớn, gây bất tiện khi sử dụng.

Các nhà nghiên cứu tại MIT đã phát triển một cải tiến đơn giản nhưng hiệu quả, giúp giảm kích thước của tập hợp dự đoán đến 30% đồng thời nâng cao độ tin cậy của các dự đoán.

Việc rút gọn tập hợp dự đoán có thể giúp bác sĩ nhanh chóng khoanh vùng chẩn đoán đúng, từ đó cải thiện và rút ngắn thời gian điều trị cho bệnh nhân. Phương pháp này có thể hữu ích trong nhiều bài toán phân loại - ví dụ như xác định loài động vật trong một bức ảnh tại công viên hoang dã - nhờ cung cấp tập hợp lựa chọn nhỏ hơn nhưng chính xác hơn.

“Với ít lựa chọn hơn, tập hợp dự đoán trở nên có ý nghĩa hơn vì bạn đang chọn trong một phạm vi hẹp hơn. Theo một nghĩa nào đó, bạn không thực sự đánh đổi độ chính xác mà lại có được thông tin hữu ích hơn”, TS. Divya Shanmugam, hiện là nghiên cứu sau tiến sĩ tại Cornell Tech, người thực hiện nghiên cứu này khi còn là nghiên cứu sinh tại MIT, chia sẻ.

Cam kết về dự đoán

Các trợ lý AI được triển khai trong các nhiệm vụ quan trọng như phân loại bệnh từ hình ảnh y khoa thường được thiết kế để đưa ra một điểm xác suất cho mỗi dự đoán, giúp người dùng đánh giá mức độ tự tin của mô hình. Ví dụ, mô hình có thể dự đoán rằng có 20% khả năng một hình ảnh là do viêm màng phổi.

Tuy nhiên, rất khó để tin tưởng vào độ tự tin đó, vì nhiều nghiên cứu trước đây đã cho thấy rằng các xác suất này có thể không chính xác. Phân loại chuẩn hóa thay thế dự đoán bằng một tập hợp các chẩn đoán có xác suất cao nhất, kèm theo cam kết rằng chẩn đoán đúng nằm trong tập hợp đó.

Tuy nhiên, vì sự bất định cố hữu trong các dự đoán AI, mô hình thường tạo ra tập hợp quá lớn, mất đi tính hữu dụng.

Chẳng hạn, nếu một mô hình phân loại loài động vật trong một hình ảnh có thể là một trong 10.000 loài, nó có thể xuất ra một tập hợp 200 dự đoán để đảm bảo độ chính xác cao.

“Việc phải rà soát hàng trăm lớp (nhãn) như vậy khiến người dùng gặp khó khăn trong việc xác định đâu là lớp đúng”, TS. Shanmugam nói.

Kỹ thuật này cũng có thể không ổn định vì chỉ một thay đổi nhỏ trong dữ liệu đầu vào (ví dụ xoay nhẹ hình ảnh) cũng có thể dẫn đến tập hợp dự đoán hoàn toàn khác.

Tăng độ chính xác bằng cách tạo nhiều phiên bản ảnh

Để làm cho phân loại chuẩn hóa trở nên hữu ích hơn, các nhà nghiên cứu đã áp dụng một kỹ thuật có tên là tăng cường tại thời điểm kiểm thử (Test-Time Augmentation - TTA), vốn được phát triển để cải thiện độ chính xác trong thị giác máy tính.

TTA tạo ra nhiều phiên bản khác nhau của cùng một ảnh (ví dụ: cắt xén, lật, phóng to...), sau đó áp dụng mô hình thị giác máy tính lên từng phiên bản và tổng hợp các dự đoán lại.

“Theo cách này, bạn nhận được nhiều dự đoán từ một ví dụ. Việc tổng hợp như vậy giúp tăng độ chính xác và khả năng kháng nhiễu của dự đoán”, TS. Shanmugam giải thích.

Tối đa hóa độ chính xác

Để áp dụng TTA, các nhà nghiên cứu giữ lại một phần dữ liệu hình ảnh đã gán nhãn, vốn sẽ được dùng trong quy trình phân loại chuẩn hóa. Họ học cách tổng hợp các phiên bản tăng cường dựa trên dữ liệu này, tự động chọn cách tăng cường nào giúp tối đa hóa độ chính xác của mô hình.

Sau đó, họ chạy phân loại chuẩn hóa trên các dự đoán đã qua TTA của mô hình. Kết quả là một tập hợp dự đoán nhỏ hơn nhưng vẫn đảm bảo độ tin cậy như cũ.

“Việc kết hợp TTA với phân loại chuẩn hóa rất dễ triển khai, hiệu quả trong thực tế và không cần huấn luyện lại mô hình,” Shanmugam nói.

So với các nghiên cứu trước đây về phân loại chuẩn hóa trên nhiều bộ dữ liệu hình ảnh tiêu chuẩn, phương pháp kết hợp TTA đã giúp giảm kích thước tập hợp dự đoán từ 10 đến 30%.

Quan trọng hơn, kỹ thuật này vẫn duy trì được cam kết xác suất như ban đầu.

Các nhà nghiên cứu cũng nhận thấy rằng, mặc dù họ phải hy sinh một phần dữ liệu đã gán nhãn (đáng lẽ dùng cho bước phân loại chuẩn hóa), nhưng TTA cải thiện độ chính xác đến mức lợi ích này vượt trội so với chi phí của phần dữ liệu bị mất.

Trong tương lai, nhóm nghiên cứu muốn kiểm nghiệm hiệu quả của phương pháp này trên các mô hình phân loại văn bản thay vì hình ảnh. Họ cũng đang xem xét các cách để giảm lượng tính toán cần thiết cho TTA.

(Nguồn: MIT)