ResearchSep 1, 2026 · 16:52
I trained a small transformer in 1.5hrs and it beats many LLMs
From mvakde.github.io
A developer trained a small transformer from scratch in 1.5 hours on a 5090, claiming it outperforms many LLMs and matches the scores of TRM/HRM. The model is part of a series of works on ARC-AGI and is described as faster, better, and cheaper than the previous version while remaining open source.
Read the sourceSign in to suggest
Sources
+ 1 more
- DISCUSSIONporridgeraisinnews.ycombinator.com
#llm#transformer#trainingMarkdown
Content history (2)
- 2026-10-16 · Summary · vi · Replaced stored textTôi huấn luyện một transformer nhỏ từ đầu trong 1,5 giờ trên một 5090, và nó vượt nhiều L…
- 2026-10-16 · Title · vi · Replaced stored textTôi huấn luyện một transformer nhỏ chỉ trong 1,5 giờ mà vẫn vượt mặt nhiều LLMTôi huấn luyện một transformer nhỏ trong 1,5 giờ và nó vượt nhiều LLMs
One ranked edition, every morning
The stories that matter today. Free, cancel anytime.
Telegram @aidr_today