ResearchSep 1, 2026 · 16:52

I trained a small transformer in 1.5hrs and it beats many LLMs

From mvakde.github.io

AI;DR

A developer trained a small transformer from scratch in 1.5 hours on a 5090, claiming it outperforms many LLMs and matches the scores of TRM/HRM. The model is part of a series of works on ARC-AGI and is described as faster, better, and cheaper than the previous version while remaining open source.

Read the sourceSign in to suggest

Sources

+ 1 more
  1. DISCUSSIONporridgeraisinnews.ycombinator.com
#llm#transformer#trainingMarkdown
Content history (2)
  • 2026-10-16 · Summary · vi · Replaced stored text
    Tôi huấn luyện một transformer nhỏ từ đầu trong 1,5 giờ trên một 5090, và nó vượt nhiều L…
  • 2026-10-16 · Title · vi · Replaced stored text
    Tôi huấn luyện một transformer nhỏ chỉ trong 1,5 giờ mà vẫn vượt mặt nhiều LLM
    Tôi huấn luyện một transformer nhỏ trong 1,5 giờ và nó vượt nhiều LLMs

One ranked edition, every morning

The stories that matter today. Free, cancel anytime.

Telegram @aidr_today