MeddeX: Hệ thống LLaMA-3 RAG với Gemini Vision phân tích báo cáo y tế dựa trên bằng chứng

Y tế hiện đại tạo ra các báo cáo y tế ngày càng phức tạp, thách thức thời gian và khả năng giải thích của các chuyên gia lâm sàng. Quy trình kiểm tra thủ công chậm, dễ sai và khó mở rộng. Bài báo này trình bày MeddeX, một Medical Report Analyzer kết hợp mô hình LLaMA-3 (8B) được fine-tune bằng QLoRA với RAG và một lớp Gemini Vision đa dạng thức để cung cấp tóm tắt chính xác, ngắn gọn và dựa trên bằng chứng của các tài liệu y tế. Hệ thống xử lý PDFs dạng văn bản, PDFs dạng hình ảnh quét và hình ảnh xạ ảnh trực tiếp thông qua một đường ống trích xuất lai thông minh bao gồm cơ chế phát hiện văn bản rác mới cho các tài liệu bị lỗi và mã hóa UTF-16. Ngoài Q&A báo cáo đơn, MeddeX giới thiệu truy xuất theo phạm vi báo cáo để định vị ngữ cảnh chính xác, công cụ so sánh báo cáo dài hạn tự động và đường ống bổ sung tự phục hồi để xử lý tài liệu lịch sử khi cần. Backend FastAPI, kho lưu trữ vector Supabase và giao diện Next.js hoàn thiện kiến trúc từ đầu đến cuối.