Đóng băng trong thời gian: cách foundation model vật lý quên khi thích ứng sim-to-real

Các scientific foundation models SciFM đã đạt hiệu suất đáng kể trên nhiều PDEs, bao gồm khả năng thích ứng hiệu quả với các phân phối dữ liệu chưa thấy bằng việc fine-tune bổ sung. Giống như mọi kiến trúc neural, fine-tune các model này đi kèm rủi ro quên thảm khốc, khi thích ứng với nhiệm vụ mới làm suy giảm kiến thức trước đó của model. Chúng tôi nghiên cứu quên thảm khốc trong Walrus-1.3B, một SciFM cho động lực học liên tục, trong quá trình thích ứng sim-to-real hai giai đoạn: trước tiên fine-tune trên dòng chảy mô phỏng quanh một hình trụ và sau đó thích ứng với dữ liệu thực nghiệm của cùng hệ thống. Chúng tôi nhận thấy fine-tune trên mô phỏng làm suy giảm nhanh chóng hiệu suất rollout trên các bộ dữ liệu pretraining ban đầu, với lỗi một bước tăng tới 35 lần chỉ sau 20 epochs. Việc thích ứng tiếp theo với dữ liệu thực càng làm xói mòn hiệu suất trên nhiệm vụ mô phỏng. Chúng tôi mô tả các nguyên nhân tiềm tàng của việc quên, như sự phụ thuộc vào bộ dữ liệu và sự tương đồng biểu diễn nhiệm vụ.