GroundingPI: Một grounding foundation model hướng tới trí tuệ vật lý với các thực thể thị giác cơ bản

Khả năng grounding chính xác đóng vai trò quan trọng trong việc xác định mục tiêu và vị trí vật thể, ngay cả trong môi trường lộn xộn hay với các vật thể nhỏ, đồng thời phải đủ nhanh để điều khiển vòng lặp kín. Tuy nhiên, các mô hình VLA và WAMs hiện nay vẫn thất bại khi dùng các backbone thị giác-ngôn ngữ và tạo video đa dụng. Chúng tôi giới thiệu GroundingPI, một grounding foundation model 4B có khả năng tạo điểm và khung bao dưới dạng tọa độ lượng tử hóa trong một từ điển chung. Quá trình huấn luyện kết hợp pretraining đa phương thức và không gian, supervised fine-tune, và reinforcement learning với GRPO, sử dụng dữ liệu từ các bộ dữ liệu công khai và công cụ dữ liệu chuyên dụng. So với 44 phương pháp cơ sở trên 34 benchmark grounding thuộc 11 khả năng tri giác, GroundingPI thiết lập tiêu chuẩn mới với trung bình 73,68%, cao hơn cả GPT-6 Astra (71,54%). Khi dùng làm backbone thị giác hạ nguồn, GroundingPI giúp cải thiện hiệu suất điều khiển robot và lái xe tự động. Trên RoboTwin 2.0, mô hình này vượt qua mọi backbone phổ biến trong cả bốn thiết lập ngoài phân phối, với hiệu suất cao hơn tới 24,8% so với backbone mạnh nhất.