Wieszcz-XIX: Bộ ngữ liệu 3,1 tỷ từ tiếng Ba Lan trước năm 1918 và các ngôn ngữ mô hình giới hạn thời gian được huấn luyện từ đầu

Tiếng Ba Lan lịch sử được ghi chép rõ ràng như một ngôn ngữ nhưng chỉ được chú thích dưới dạng máy đọc được với khoảng một triệu từ cho giai đoạn bài báo này đề cập; phần còn lại nằm sau lớp nhận dạng ký tự quang học với chất lượng thay đổi. Chúng tôi trình bày Wieszcz-XIX, một bộ ngữ liệu gồm 6,75 tỷ token (khoảng 3,1 tỷ từ) trong 294.369 tài liệu, phần lớn là các ấn phẩm định kỳ bằng tiếng Ba Lan xuất bản từ năm 1800 đến năm 1918, được tổng hợp từ Wolne Lektury và Internet Archive thông qua một đường ống lọc, loại bỏ trùng lặp, kiểm toán rò rỉ sau năm 1918 và tách ở cấp độ tài liệu. Nó lớn hơn hơn ba bậc độ lớn so với bộ ngữ liệu được chú thích cùng thời kỳ, và chúng tôi định lượng các khiếm khuyết của nó: lỗi nhận dạng so với ngưỡng dương tính giả, trùng lặp gần như giống hệt nhau bị loại bỏ và rò rỉ sau năm 1918 bị loại khỏi chính bộ ngữ liệu huấn luyện xuống đến mức dư lượng đã biết từ 0,04 đến 0,38% byte của nó, được tìm thấy trong nguồn được phiên mã, vì vậy bộ ngữ liệu được công bố trùng khớp với tài liệu huấn luyện. Trên mẫu được chỉnh sửa thủ công, tỷ lệ lỗi ký tự là 0,68% ở những đoạn văn bản đọc được và 45% các đoạn mẫu không thể sửa chữa được.