Hugging Face Transformers v5.23.0

Hugging Face ra mắt v5.23.0 với các bổ sung model mới bao gồm Inkling2. Inkling Small là một multimodal model từ Thinking Machines Lab, nhận đầu vào text và image để tạo đầu ra text, dùng được bằng tiếng Anh và các ngôn ngữ khác cùng nhiều ngôn ngữ lập trình. Backbone ngôn ngữ của nó có 48 decoder layer mixture-of-experts, mỗi layer định tuyến token đến 8 trong số 384 experts, với tổng cộng 594B và 17B active parameters. Nó giữ lại Inkling decoder (learned relative attention, short causal convolutions, mixture-of-experts layers) và bổ sung block attention residuals, gated attention với learned sink, và dynamic key/value convolutions. Hình ảnh được mã hóa bằng vision transformer dựa trên Perception Encoder và chiếu vào embedding của language model, một embedding cho mỗi patch 40x40. Các liên kết bao gồm Documentation và Blog Post. inkling2 (50682) được @guarin thêm vào 50682. JEV là một decision head chấm điểm nhãn single-token bằng linear layer tại token cuối cùng của prompt, được soft-capped giống như logits của language model head.