Bài báo: “UIT-2Q2T at ImageCLEFmedical2024 Caption: Multimodal medical image captioning using Bootstrapping Language-Image Pre-training”
Sinh viên thực hiện:
- Phan Văn Thiện - 21522628 - Khoa học máy tính - Tác giả chính
- Phan Tiến Quân - 21522502 - Khoa học máy tính - Đồng tác giả
- Nguyễn Khánh Trình - 21522717 - Khoa học máy tính - Đồng tác giả
- Hoàng Anh Đức Đăng Quang - 21522509 - Khoa học máy tính - Đồng tác giả
Giáo viên hướng dẫn:
- TS. Nguyễn Tất Bảo Thiện
Tóm tắt:
Trong cuộc thi ImageCLEFmedical2024 Caption, chúng em trình bày phương pháp cải tiến chú thích cho hình ảnh y khoa bằng cách tích hợp phát hiện khái niệm vào các cơ chế chú ý. Phương pháp này sử dụng các mô hình để xác định các khái niệm quan trọng trong hình ảnh y khoa, sau đó tinh chỉnh và tích hợp chúng vào quá trình tạo chú thích. Phương pháp của chúng em nhắm đến mục đích cải thiện chất lượng của các chú thích hình ảnh y khoa. Các kết quả thực nghiệm cho thấy, trong nhiệm vụ phát hiện khái niệm, mô hình Swin-v2 đạt điểm F1 là 0.58944 trên tập kiểm định và 0.61998 trên tập kiểm tra riêng, giúp chúng em đạt vị trí thứ ba trên bảng xếp hạng. Đối với nhiệm vụ dự đoán chú thích, mô hình BEiT+BioBart của chúng em, được cải tiến bằng cách tích hợp khái niệm và kỹ thuật hậu xử lý, đạt điểm BERTScore là 0.60589 trên tập kiểm định và 0.5794 trên tập kiểm tra riêng, xếp ở vị trí thứ chín trên bảng xếp hạng.
“Chúng em muốn bày tỏ lòng biết ơn sâu sắc đến Thầy Nguyễn Tất Bảo Thiện vì đã dành thời gian và tâm huyết để hướng dẫn và chỉ ra những hạn chế trong quá trình tham gia cuộc thi, nghiên cứu và công bố bài báo khoa học quốc tế này”.
Thông tin chung:
ImageCLEFmedical là một phần của cuộc thi ImageCLEF, một sáng kiến quốc tế nhằm đánh giá các hệ thống xử lý và truy xuất thông tin hình ảnh y tế. Cuộc thi này tập trung vào các thách thức liên quan đến việc phân tích và hiểu dữ liệu hình ảnh y tế, bao gồm hình ảnh X-quang, CT, MRI và các dạng hình ảnh y tế khác.
Mỗi năm, ImageCLEFmedical tổ chức các chiến dịch đánh giá với nhiều nhiệm vụ khác nhau, nhằm khuyến khích sự phát triển của các thuật toán tiên tiến và công cụ hỗ trợ y tế. Các nhiệm vụ thường bao gồm tạo ra các chú thích tự động cho hình ảnh y tế để hỗ trợ bác sĩ trong việc chẩn đoán và báo cáo, phân loại hình ảnh y tế theo các loại bệnh lý hoặc điều kiện y tế cụ thể, tìm kiếm và truy xuất hình ảnh y tế từ cơ sở dữ liệu lớn dựa trên các đặc điểm hình ảnh và ngữ cảnh, và phát hiện các vùng bất thường trong hình ảnh y tế để hỗ trợ phát hiện sớm các bệnh lý.
Với những nỗ lực này, ImageCLEFmedical đã trở thành một nền tảng quan trọng cho các nghiên cứu và phát triển trong lĩnh vực hình ảnh y tế, góp phần nâng cao hiệu quả và độ chính xác của các quy trình chẩn đoán và điều trị y tế.
Mọi thông tin chi tiết xem tại: https://www.facebook.com/UIT.Fanpage/posts/pfbid0DcKxq367xgeV2AYLv7fxmCAGmu4Yiy24rx4xC9L5XEDbJ4dSPNH3awzLd9rkNthrl
Đông Xanh - Cộng tác viên truyền thông Trường Đại học Công nghệ Thông tin
