--- format: "aidr-story-markdown/v1" id: "ce7d68cc7819c7557461de59308a7980aa191640565851ddd3ae29d45608014e" canonical_url: "https://aidr.today/ce7d68cc?lang=vi" title: "OncoNoteBERT: Mô hình foundation representation phục vụ xử lý ngôn ngữ tự nhiên các ghi chú ung thư ngoại trú thực tế" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-10-06T04:00:00.000Z" category: "Research" topics: ["llm"] source_urls: ["https://arxiv.org/abs/2610.03829"] summary: "Các ghi chú ung thư ngoại trú thực tế chứa thuật ngữ chuyên ngành, cách diễn đạt giai đoạn khối u, tên phương pháp điều trị, mô tả độc tính và các dấu hiệu ẩn danh hóa theo từng cơ sở mà các language model y sinh tổng quát hoặc tương đương khó biểu diễn hiệu quả. Nhóm nghiên cứu đã phát triển và đánh giá các encoder theo phong cách BERT chuyên biệt cho ung thư, sử dụng một bộ dữ liệu ung thư ngoại trú tại Anh được quản lý chặt chẽ gồm 290.026 ghi chú từ 21.564 bệnh nhân điều trị ung thư phổi và ung thư đầu cổ. Họ so sánh RadBERT và PathologyBERT với hai chiến lược nội bộ gồm OncoNote-RadBERT, được tạo ra thông qua quá trình huấn luyện trước masked language model liên tục và OncoNoteBERT, được huấn luyện từ đầu với tokenizer WordPiece chuyên biệt về ung thư. Các mô hình được đánh giá dựa trên loss khi huấn luyện masked language modelling và độ perplexity trên tập validation, các chỉ số phân mảnh token, cách tokenize thuật ngữ lâm sàng, các probe token bị che và phân tích biểu diễn thăm dò. Cả hai encoder bên ngoài đều khớp kém với bộ dữ liệu ung thư trong đánh giá zero-shot (độ perplexity là 113,04 đối với RadBERT và 2035,03 đối với PathologyBERT), trong khi việc huấn luyện trước l…" --- # OncoNoteBERT: Mô hình foundation representation phục vụ xử lý ngôn ngữ tự nhiên các ghi chú ung thư ngoại trú thực tế > [Open the canonical story]() **Published:** 2026-10-06T04:00:00.000Z **Category:** Research **Topics:** llm ## Summary Các ghi chú ung thư ngoại trú thực tế chứa thuật ngữ chuyên ngành, cách diễn đạt giai đoạn khối u, tên phương pháp điều trị, mô tả độc tính và các dấu hiệu ẩn danh hóa theo từng cơ sở mà các language model y sinh tổng quát hoặc tương đương khó biểu diễn hiệu quả\. Nhóm nghiên cứu đã phát triển và đánh giá các encoder theo phong cách BERT chuyên biệt cho ung thư, sử dụng một bộ dữ liệu ung thư ngoại trú tại Anh được quản lý chặt chẽ gồm 290\.026 ghi chú từ 21\.564 bệnh nhân điều trị ung thư phổi và ung thư đầu cổ\. Họ so sánh RadBERT và PathologyBERT với hai chiến lược nội bộ gồm OncoNote\-RadBERT, được tạo ra thông qua quá trình huấn luyện trước masked language model liên tục và OncoNoteBERT, được huấn luyện từ đầu với tokenizer WordPiece chuyên biệt về ung thư\. Các mô hình được đánh giá dựa trên loss khi huấn luyện masked language modelling và độ perplexity trên tập validation, các chỉ số phân mảnh token, cách tokenize thuật ngữ lâm sàng, các probe token bị che và phân tích biểu diễn thăm dò\. Cả hai encoder bên ngoài đều khớp kém với bộ dữ liệu ung thư trong đánh giá zero\-shot \(độ perplexity là 113,04 đối với RadBERT và 2035,03 đối với PathologyBERT\), trong khi việc huấn luyện trước l… ## Sources - [Story source]()