ResearchNov 18, 2026 · 12:001 source

Literary Language Mashup: Curating Fictions with Large Language Models

From arxiv.org

AI;DR

In this paper, we propose an alternative approach to human evaluation of literary fictions by employing LLMs themselves as evaluators within the GrAImes framework. We apply this methodology to assess human-written and AI-generated microfictions in Spanish, to five PhD professors in literature and sixteen literary enthusiasts, and to short stories in both Spanish and English. By comparing the evaluations performed by LLMs with those of human judges, we examine the degree of alignment and divergence between both perspectives, thereby assessing the feasibility of LLMs as auxiliary literary evaluators. Our analysis focuses on the alignment of responses from LLMs with those of human evaluators, providing insights into the potential of LLMs in literary assessment. The conducted experiments reveal that while LLMs cannot be regarded as substitutes for human judges in the evaluation of literary microfictions and short stories, with a Krippendorff's alpha reliability coefficient less than 0.66, they can serve as a valuable tool that offers an initial perspective on the editorial quality of the texts in question.

Read the sourceSign in to suggest

Sources

#llmMarkdown
Content history (4)
  • 2026-11-18 · Summary · vi · Replaced stored text
    Nghiên cứu này khám phá khả năng sử dụng các LLM để biên soạn và tạo ra các tác phẩm hư c…
    Trong bài báo này, nhóm tác giả đề xuất một cách tiếp cận thay thế cho việc đánh giá con …
  • 2026-11-18 · Title · vi · Replaced stored text
    Sự kết hợp ngôn ngữ văn học: Biên soạn các tác phẩm hư cấu với LLM
    Sự kết hợp ngôn ngữ văn học: Biên soạn các tác phẩm hư cấu bằng các mô hình ngôn ngữ lớn
  • 2026-11-18 · Summary · vi · Replaced stored text
    Nghiên cứu này khám phá cách dùng các LLM để biên soạn và tạo ra các tác phẩm hư cấu thôn…
    Nghiên cứu này khám phá khả năng sử dụng các LLM để biên soạn và tạo ra các tác phẩm hư c…
  • 2026-11-18 · Title · vi · Replaced stored text
    Kết hợp ngôn ngữ văn học: Biên soạn các tác phẩm hư cấu với LLM
    Sự kết hợp ngôn ngữ văn học: Biên soạn các tác phẩm hư cấu với LLM

One ranked edition, every morning

The stories that matter today. Free, cancel anytime.

Telegram @aidr_today