--- format: "aidr-story-markdown/v1" id: "bf4a65336756ec180abd53f7578dd4f22002161c2146662095833d17c804c6e9" canonical_url: "https://aidr.today/bf4a6533?lang=vi" title: "Here the World in Stereo: Học Dynamic Spatial Correspondence cho việc sinh video âm thanh gia nhập miền hình ảnh" lang: "vi" requested_lang: "vi" available_langs: ["en","vi"] translation_fallback: null fallback_fields: [] published_at: "2026-10-12T00:00:00.000Z" category: "Frameworks" topics: ["framework"] source_urls: ["https://huggingface.co/papers/2609.38748"] summary: "Các mô hình sinh video âm thanh gia nhập gần đây đã đạt được sự tương ứng ngữ nghĩa mạnh mẽ và đồng bộ thời gian. Tuy nhiên, các ứng dụng như AR/VR và trò chơi tương tác còn yêu cầu thêm âm thanh stereo để cung cấp cảm giác sống động, điều này vẫn chưa được chú ý đáng kể. Âm thanh stereo hiệu quả đòi hỏi vị trí âm thanh nhận được phải thay đổi nhất quán với chuyển động của nguồn hình ảnh tương ứng. Chúng tôi gọi tính chất này là Dynamic Spatial Correspondence và đề xuất StereoBind, một khung kết nối chuyển động nguồn hình ảnh với sinh âm thanh stereo. StereoBind sử dụng các đường mô phỏng chuyển động để phối hợp giữa chuyển động hình ảnh và âm thanh stereo thông qua ba cơ chế bổ trợ. Visual Motion Binding thiết lập sự tương ứng âm thanh hình ảnh nhận biết nguồn, Spatial Track Encoder bắt giữ vị trí tuyệt đối của nguồn, và Residual Track RoPE mô hình hóa chuyển động tương đối. Để giám sát và đánh giá, chúng tôi xây dựng StereoWorld-29K, một bộ dữ liệu âm thanh video stereo quy mô lớn với các đường mô phỏng chuyển động ghép nối, cùng với StereoWorldBench để đo lường sự nhất quán không gian âm thanh hình ảnh." --- # Here the World in Stereo: Học Dynamic Spatial Correspondence cho việc sinh video âm thanh gia nhập miền hình ảnh > [Open the canonical story]() **Published:** 2026-10-12T00:00:00.000Z **Category:** Frameworks **Topics:** framework ## Summary Các mô hình sinh video âm thanh gia nhập gần đây đã đạt được sự tương ứng ngữ nghĩa mạnh mẽ và đồng bộ thời gian\. Tuy nhiên, các ứng dụng như AR/VR và trò chơi tương tác còn yêu cầu thêm âm thanh stereo để cung cấp cảm giác sống động, điều này vẫn chưa được chú ý đáng kể\. Âm thanh stereo hiệu quả đòi hỏi vị trí âm thanh nhận được phải thay đổi nhất quán với chuyển động của nguồn hình ảnh tương ứng\. Chúng tôi gọi tính chất này là Dynamic Spatial Correspondence và đề xuất StereoBind, một khung kết nối chuyển động nguồn hình ảnh với sinh âm thanh stereo\. StereoBind sử dụng các đường mô phỏng chuyển động để phối hợp giữa chuyển động hình ảnh và âm thanh stereo thông qua ba cơ chế bổ trợ\. Visual Motion Binding thiết lập sự tương ứng âm thanh hình ảnh nhận biết nguồn, Spatial Track Encoder bắt giữ vị trí tuyệt đối của nguồn, và Residual Track RoPE mô hình hóa chuyển động tương đối\. Để giám sát và đánh giá, chúng tôi xây dựng StereoWorld\-29K, một bộ dữ liệu âm thanh video stereo quy mô lớn với các đường mô phỏng chuyển động ghép nối, cùng với StereoWorldBench để đo lường sự nhất quán không gian âm thanh hình ảnh\. ## Sources - [Story source]()