EgoMimic: Học bắt chước từ video góc nhìn thứ nhất
Cách dữ liệu bàn tay ở góc nhìn thứ nhất trở thành nguồn thao tác mẫu để huấn luyện chung, ý nghĩa của xu hướng mở rộng quy mô và giới hạn bằng chứng đằng sau con số 400% được lan truyền.
Cách trí thông minh được học chuyển thành hành động vật lý, vì sao chuyển trạng thái khiến dữ liệu robot trở nên phức tạp, và cách hành vi robot dịch chuyển từ mã được thiết kế sang dữ liệu cùng tham số học.
AI Vật Lý mô tả các hệ thống thông minh có khả năng nhận biết, suy luận và hành động thông qua máy móc trong thế giới vật lý. Lĩnh vực này kết nối các mô hình học máy với cảm biến, hệ thống điều khiển và cơ cấu chấp hành trong robot, phương tiện, thiết bị công nghiệp và các máy tự hành khác. Khác với AI kỹ thuật số, AI Vật Lý tạo ra những hành động làm thay đổi chính trạng thái mà hệ thống phải dựa vào để đưa ra quyết định tiếp theo. Vì vậy, thách thức cốt lõi không chỉ nằm ở năng lực mô hình, mà còn ở việc dữ liệu có bảo toàn được thời điểm, bối cảnh và kết quả vật lý cần thiết cho hành động đáng tin cậy hay không. Đây cũng là lớp vấn đề mà bài viết này tập trung theo sát nhất.
AI Vật Lý là việc ứng dụng trí tuệ nhân tạo vào các hệ thống mà quyết định của chúng tạo ra hành động vật lý. Một hệ thống hoàn chỉnh kết hợp ba lớp chức năng. Lớp nhận biết thu nhận thế giới qua camera và các cảm biến khác. Lớp suy luận diễn giải những quan sát đó rồi lựa chọn hoặc lập kế hoạch hành động. Lớp chấp hành thực hiện hành động thông qua động cơ, bộ gắp, bánh xe hoặc các cơ cấu khác.
Điểm khác biệt của AI Vật Lý không hẳn nằm ở việc thay thế ngăn xếp robot cổ điển, mà ở việc gia tăng vai trò của các thành phần được học từ dữ liệu trong ngăn xếp đó. Khâu nhận biết, suy luận, tạo chính sách hành động hoặc nhiều chức năng trong số này có thể được học từ dữ liệu. Lập kế hoạch chuyển động, ước lượng trạng thái, lý thuyết điều khiển và các cơ chế an toàn vẫn cung cấp cấu trúc thiết yếu trong nhiều hệ thống đã được triển khai. [[Robotics]] là ngành kỹ thuật; AI Vật Lý là một hướng phát triển hiện nay trong ngành đó.
Thuật ngữ này có phần giao thoa với [[Embodied AI]], nhưng trọng tâm khác nhau. AI Hiện Thân là khung học thuật rộng hơn, cho rằng trí thông minh phát triển thông qua cơ thể của tác nhân và sự tương tác với môi trường. AI Vật Lý thường được dùng như một khung ngành và kỹ thuật để triển khai trí thông minh được học trong máy móc. Tại CES ngày 6 tháng 1 năm 2025, CEO NVIDIA Jensen Huang trình bày AI Vật Lý như giai đoạn tiếp theo sau AI nhận biết và AI tạo sinh, mô tả các hệ thống có thể suy luận, lập kế hoạch và hành động trong thế giới vật lý. Điều này góp phần xác lập cách dùng hiện nay của thuật ngữ trong ngành thông qua các nền tảng robot, xe tự hành và AI công nghiệp của NVIDIA.
AI Vật Lý bao gồm học robot, xe tự hành, tự động hóa công nghiệp và thiết bị bay không người lái. Nó không bao gồm phần mềm chỉ tạo ra đầu ra kỹ thuật số, trừ khi các đầu ra đó tham gia vào một vòng lặp nhận biết và hành động trong thế giới vật lý.
| Giai đoạn | Cột mốc | Ý nghĩa |
|---|---|---|
| 1961 | Unimate bắt đầu làm việc tại nhà máy General Motors | Robot công nghiệp chứng minh khả năng tự động hóa vật lý có tính lặp lại thông qua chuyển động được lập trình. |
| 1986 | Rodney Brooks công bố kiến trúc phân tầng hành vi | Trí thông minh được nhìn nhận là thứ nảy sinh từ tương tác với môi trường, thay vì chỉ từ một mô hình nội tại về thế giới. |
| Thập niên 1990 đến 2000 | Robot học xác suất và SLAM trưởng thành | Ước lượng trạng thái và lập bản đồ bằng phương pháp thống kê cải thiện khả năng vận hành trong điều kiện cảm biến bất định, trong khi phần lớn kỹ năng vẫn do kỹ sư thiết kế. |
| 2016 đến 2018 | Tìm kiếm chính sách có hướng dẫn và QT-Opt | Các chính sách thao tác ngày càng được học từ trải nghiệm vật lý thay vì hoàn toàn do kỹ sư quy định. |
| Tháng 12 năm 2022 | RT-1 | Một chính sách dựa trên transformer được huấn luyện trên nhiều tác vụ robot thực bằng một biểu diễn hành động dùng chung. |
| Tháng 7 năm 2023 | RT-2 | Một mô hình Thị Giác-Ngôn Ngữ-Hành Động chuyển giao kiến thức ngữ nghĩa từ quá trình tiền huấn luyện trên web sang điều khiển robot. |
| Tháng 10 năm 2023 | Open X-Embodiment | Một hợp tác giữa 21 tổ chức và 22 robot tập hợp dữ liệu bao phủ 527 kỹ năng và 160.266 tác vụ. |
| Tháng 6 năm 2024 | OpenVLA | Một VLA mở với 7 tỷ tham số, được huấn luyện trên 970.000 lượt trình diễn robot, giúp mở rộng khả năng tiếp cận nghiên cứu thích nghi mô hình. |
| Tháng 3 năm 2025 | GR00T N1 và Gemini Robotics | Các phương pháp mô hình nền tảng vươn tới điều khiển robot hình người, với một mô hình robot hình người mở và một hệ thống suy luận hiện thân được phát hành trong cùng quý. |
| Tháng 6 năm 2026 | Cosmos 3 | NVIDIA phát hành một mô hình thế giới đa phương thức toàn diện dạng mở, kết hợp suy luận vật lý, tạo thế giới và tạo hành động. |
| Tháng 7 năm 2026 | Isaac GR00T N1.7 | NVIDIA công bố một nền tảng suy luận được cập nhật, cùng quy trình phân rã tác vụ, đánh giá chính sách và hỗ trợ triển khai cho chính sách robot hình người. |
Mẫu hình xuyên suốt là tỷ trọng hành vi robot được biểu diễn trong tập dữ liệu và tham số học ngày càng tăng. Sự thay đổi này chuyển thêm gánh nặng kỹ thuật sang việc thu thập, căn chỉnh, đánh giá và duy trì dữ liệu, nhưng không loại bỏ các hệ thống robot cổ điển bao quanh chính sách được học.
AI Vật Lý không trở nên khả thi nhờ một đột phá duy nhất. Nhiều năng lực đã trưởng thành gần như cùng lúc.
Mô hình nền tảng cung cấp tri thức tiên nghiệm có thể tái sử dụng. Robot không còn phải học lại mọi khái niệm về vật thể từ cùng một tập dữ liệu tương tác nhỏ dùng để dạy điều khiển. RT-2 cho thấy kiến thức thị giác và ngôn ngữ thu được qua tiền huấn luyện trên web có thể hỗ trợ hành động robot, nhờ đó dữ liệu robot có thể tập trung nhiều hơn vào tương tác vật lý.
Một giao diện mô hình dùng chung đã xuất hiện. [[Vision-Language-Action Models]] đem đến cho nhiều nhóm một cách biểu diễn chung để điều kiện hóa hành động dựa trên quan sát thị giác và ngôn ngữ. Chúng không loại bỏ các lớp lập kế hoạch, điều khiển hoặc an toàn trong mọi hệ thống triển khai, nhưng cho phép nhiều phần hơn trong quy trình từ nhận biết đến hành động được huấn luyện chung.
Phần cứng thu thập trở nên dễ tái tạo hơn. ALOHA công bố một thiết kế điều khiển từ xa hai tay dễ tiếp cận, còn ALOHA 2 cải thiện độ bền và công thái học. Thiết kế mở và linh kiện phổ thông cho phép nhiều phòng thí nghiệm tái tạo quy trình thu thập dữ liệu trình diễn hơn, dù thời gian của người vận hành, công tác bảo trì và việc thiết lập môi trường vẫn giới hạn thông lượng.
Mô phỏng và mô hình thế giới tạo sinh trở nên hữu ích hơn với vai trò hạ tầng dữ liệu. Các hệ thống như Cosmos 3 có thể mở rộng độ bao phủ kịch bản và hỗ trợ huấn luyện hoặc đánh giá. Tính nhất quán vật lý của chúng vẫn phụ thuộc vào từng mô hình và tác vụ. Động lực học tiếp xúc, hành vi cảm biến, tác động của hiệu chuẩn và các lỗi đặc thù phần cứng vẫn cần được xác thực trong thế giới thực.
Các tập dữ liệu hợp nhất đã chứng minh khả năng chuyển giao giữa các robot. Open X-Embodiment cho thấy sự chuyển giao tích cực giữa các nền tảng robot, khiến việc thu thập chung và chuẩn hóa biểu diễn trở nên có ý nghĩa về mặt kinh tế.
Những phát triển này đã mở rộng khả năng tiếp cận, quy mô và tái sử dụng. Chúng không loại bỏ lỗi đồng bộ, độ bao phủ không đầy đủ, ngữ nghĩa hành động thiếu nhất quán, giới hạn phần cứng, yêu cầu an toàn hay khoảng cách giữa điểm số ngoại tuyến và hành vi vòng kín.
| Khía cạnh | AI kỹ thuật số | AI Vật Lý |
|---|---|---|
| Mục tiêu dự đoán điển hình | Một token, pixel, điểm số hoặc thao tác kỹ thuật số | Một hành động tác động đến môi trường |
| Nguồn dữ liệu | Các kho dữ liệu kỹ thuật số hiện có thường có thể tái sử dụng | Dữ liệu tương tác gắn với tác vụ thường phải được thu thập hoặc mô phỏng |
| Chi phí biên của trải nghiệm mới | Thường thấp sau khi nguồn dữ liệu đã tồn tại | Bị giới hạn bởi thời gian người vận hành, thời gian phần cứng và quyền tiếp cận môi trường |
| Phương thức dữ liệu | Đôi khi có thể xử lý các luồng độc lập | Thị giác, độ sâu, trạng thái, lực, hành động và thời gian thường cần được căn chỉnh |
| Đánh giá | Các bộ chuẩn cố định hỗ trợ chấm điểm lặp lại | Kết quả vòng kín phụ thuộc vào phần cứng và môi trường |
| Chi phí khi xảy ra lỗi | Nhiều đầu ra có thể được tạo lại hoặc hoàn tác | Lỗi có thể gây hư hại phần cứng, hàng hóa hoặc con người |
| Chuyển trạng thái | Đầu ra thường không làm thay đổi thế giới đang được đánh giá | Mỗi hành động làm thay đổi trạng thái dùng cho quyết định tiếp theo |
Chuyển trạng thái vật lý là hàng có ảnh hưởng lan sang các hàng còn lại. Khi một hành động làm thay đổi thế giới, những quan sát sau đó sẽ phụ thuộc vào hành động ấy. Vì vậy, tính toàn vẹn của chuỗi, thời điểm và nhãn kết quả trở thành các thuộc tính chịu tải của mẫu huấn luyện thay vì chỉ là siêu dữ liệu thứ cấp. Đây là điểm khác biệt mang tính điển hình chứ không tuyệt đối, vì một số hệ thống kỹ thuật số cũng kích hoạt những thao tác không thể đảo ngược.
Các quỹ đạo robot gắn với tác vụ, chứa quan sát, trạng thái, hành động và kết quả đã đồng bộ, không tồn tại ở quy mô web và nhìn chung không thể thu được bằng cách thu thập dữ liệu web thông thường. Hãy xét một robot đang học cách nhấc một chiếc cốc và đặt vào khay. Ở mỗi mốc thời gian, một lượt trình diễn hữu ích có thể cần:
Video RGB từ một hoặc nhiều góc nhìn
Dữ liệu độ sâu hoặc đám mây điểm
Vị trí khớp trên mọi bậc tự do
Tư thế của đầu công tác
Lực bộ gắp hoặc số đo xúc giác
Chỉ dẫn tác vụ bằng ngôn ngữ tự nhiên
Một cơ sở thời gian dùng chung và có thể truy vết
Nhãn thành công hoặc thất bại, lý tưởng nhất là kèm nguyên nhân thất bại
Đơn vị huấn luyện hữu ích là quỹ đạo đã đồng bộ, không phải một khung hình riêng lẻ. Thách thức chính là bảo toàn quan hệ giữa các luồng dữ liệu này.
Hãy xét một lỗi phổ biến. Luồng camera bị lệch vài khung hình so với lệnh đóng bộ gắp, khiến quá trình huấn luyện liên kết thao tác đóng bộ gắp với sai thời điểm thị giác. Các tệp vẫn có vẻ đầy đủ, hàm mất mát huấn luyện vẫn giảm và việc rà soát từng khung hình không phát hiện lỗi rõ ràng. Nhưng khi thực thi vòng kín, chính sách lại đóng quá sớm hoặc quá muộn. Một khung hình bị mất sẽ dạy sai độ lệch giữa trạng thái thị giác và hành động. Nhãn không nhất quán giữa những người vận hành sẽ dạy mô hình rằng cùng một cảnh lại đòi hỏi những hành vi khác nhau.
Đây là những sai hỏng âm thầm chứ không phải lỗi chú thích mang tính hình thức, nên kiểm soát chất lượng phải được thực hiện ở cấp quỹ đạo thay vì cấp khung hình. Tập hợp các phép kiểm tra này tạo thành một cổng kiểm định tính toàn vẹn quỹ đạo: xác thực dấu thời gian tăng đơn điệu, kiểm tra tần số lấy mẫu, phát hiện khung hình bị mất, ước lượng độ lệch giữa các luồng, so sánh hành động được ra lệnh với chuyển trạng thái quan sát được và phát lại toàn bộ quỹ đạo đối chiếu với nhãn kết quả. Cổng này đưa ra quyết định chứ không chỉ tạo một điểm số. Một quỹ đạo vượt qua bước xác thực dấu thời gian nhưng thất bại khi phát lại sẽ được cách ly thay vì chuyển giao, sau đó được sửa bằng cách khôi phục độ lệch chính xác hoặc bị loại nếu dữ liệu ghi nhận gốc không thể phục hồi. Vì các lỗi này có thể không thể hiện trên đường cong mất mát và không lộ ra khi kiểm tra từng khung hình, cổng kiểm định tính toàn vẹn được đặt trước lượt huấn luyện để phát hiện lỗi đồng bộ và lỗi quỹ đạo trước khi chúng đi vào quá trình huấn luyện.
Liên đoàn Robot Quốc tế báo cáo ngày 25 tháng 9 năm 2025 rằng tổng số robot công nghiệp đang vận hành trên toàn cầu đạt 4.663.698 thiết bị trong năm 2024, tăng 9 phần trăm so với năm trước. Luận điểm này chưa được xác lập.
Đầu tư cũng tăng tốc. Crunchbase báo cáo ngày 22 tháng 6 năm 2026 rằng các công ty khởi nghiệp robot đã huy động 18,8 tỷ USD trong năm 2026 tính đến thời điểm đó, so với 15 tỷ USD trong toàn bộ năm 2025. Các số liệu này bao quát các công ty khởi nghiệp robot nói chung và không cho thấy mọi chương trình robot đều có đủ vốn. Các số liệu này chưa xác lập được liệu đầu tư tăng lên đã loại bỏ giới hạn về thông lượng hay chưa. Mỗi trải nghiệm robot mới vẫn tiêu tốn thời gian phần cứng, thời gian người vận hành, môi trường được kiểm soát và công tác bảo đảm chất lượng sau đó.
Đối với một nhóm đang quyết định nên tự xây dựng năng lực dữ liệu này hay thuê ngoài, các yếu tố chi phí và rủi ro rất cụ thể. Chi phí được quyết định bởi thời gian người vận hành, thời gian phần cứng và quyền tiếp cận môi trường được kiểm soát thay vì bởi lưu trữ hay tính toán. Vì thế, tập dữ liệu đắt đỏ chính ở những khâu mà nó cũng dễ bị sai hỏng. Rủi ro tập trung trong khoảng cách từ ngoại tuyến đến vòng kín, nơi dữ liệu đạt điểm tốt trên các bộ chuẩn cố định vẫn có thể làm giảm hiệu năng trên phần cứng thực. Trước khi tin tưởng một tập dữ liệu, những câu hỏi cần đặt ra là liệu mọi quỹ đạo có cơ sở thời gian dùng chung và nhãn kết quả hay không, ngữ nghĩa hành động có nhất quán giữa những người vận hành và các phiên thu thập hay không, và nguồn gốc cùng lịch sử phiên bản có đủ đầy để kiểm tra khi một chính sách về sau gặp lỗi hay không.
Các tổ chức hàng đầu có quan điểm rất khác nhau về kiến trúc và triển khai. Dòng GR00T của NVIDIA ghép một thành phần suy luận bằng thị giác và ngôn ngữ với một chính sách hành động tần số cao. Google DeepMind mở rộng các mô hình đa phương thức bằng suy luận hiện thân. Physical Intelligence phát triển các chính sách đa dụng từ dữ liệu trình diễn đa dạng. OpenVLA nhấn mạnh các checkpoint mở và khả năng thích nghi hiệu quả. Đây là những cách tiếp cận khác biệt đáng kể đối với việc robot nên biểu diễn và tạo hành động như thế nào.
Bất chấp những khác biệt đó, khoản đầu tư của họ hội tụ vào một ưu tiên vận hành: mở rộng, chuẩn hóa hoặc tạo ra dữ liệu dùng để huấn luyện và đánh giá các hệ thống vật lý.
Google DeepMind góp phần tổ chức Open X-Embodiment để hợp nhất dữ liệu giữa nhiều tổ chức và nền tảng robot.
NVIDIA phát triển Cosmos nhằm hỗ trợ suy luận vật lý, mô phỏng, tạo dữ liệu tổng hợp và phát triển chính sách.
Hugging Face phát triển LeRobot như một bộ công cụ dùng chung với các định dạng tập dữ liệu tái sử dụng và quy trình học robot.
Physical Intelligence cho biết họ huấn luyện các chính sách đa dụng trên dữ liệu robot đa dạng trong báo cáo kỹ thuật π0.
Những hoạt động này không chứng minh rằng dữ liệu là giới hạn ràng buộc duy nhất. Năng lực tính toán, độ tin cậy phần cứng, độ trễ suy luận, an toàn, tần số điều khiển và tính kinh tế của triển khai vẫn là những yếu tố quan trọng. Tuy nhiên, chúng cho thấy những cải tiến về kiến trúc mô hình chưa làm giảm nhu cầu về dữ liệu trình diễn có thể tái sử dụng, các luồng cảm biến đã hiệu chuẩn, lược đồ hành động nhất quán và hồ sơ đánh giá có thể truy vết. Sự hội tụ nằm ở phương diện vận hành chứ không phải kiến trúc.
Kotwel là đối tác về chất lượng và vận hành dữ liệu cho AI Vật lý (Physical AI). Chúng tôi chuyển đổi dữ liệu đa phương thức từ thế giới thực và dữ liệu tổng hợp thành các bộ dữ liệu được đồng bộ, cấu trúc hóa, kiểm định chất lượng và có khả năng truy xuất nguồn gốc, phục vụ việc huấn luyện, đánh giá và cải tiến liên tục. Chúng tôi xác định rõ các quy ước và lựa chọn có ảnh hưởng đến chất lượng dữ liệu, đồng thời xây dựng các tiêu chí chất lượng có thể đo lường, làm cơ sở để các tổ chức đánh giá và cải thiện dữ liệu cho các hệ thống AI Vật lý.
Kotwel tập trung vào tầng dữ liệu, không phụ thuộc vào một nền tảng phần cứng, hệ thống cảm biến hay dòng mô hình AI cụ thể nào. Chúng tôi xây dựng tiêu chí chất lượng, kiểm tra dữ liệu và đánh giá mức độ đáp ứng các yêu cầu đã thống nhất. Khách hàng quyết định các quy ước riêng của dự án, hành vi mong muốn của mô hình và yêu cầu vận hành, miễn là các yêu cầu này được ghi rõ và áp dụng nhất quán. Kotwel không chế tạo robot, phát triển hệ thống tự hành hoặc điều khiển, hay huấn luyện mô hình nền tảng. Các quyết định về an toàn, pháp lý và triển khai hệ thống thuộc trách nhiệm của khách hàng.
Cổng kiểm định tính toàn vẹn quỹ đạo ở trên để ngỏ một quyết định: thế nào là một quỹ đạo có thể phục hồi. Điều kiện kích hoạt khá cụ thể. Một quỹ đạo vượt qua bước xác thực dấu thời gian, thất bại khi phát lại đối chiếu với nhãn kết quả, và ước lượng độ lệch giữa các luồng cho thấy luồng camera chậm hơn lệnh bộ gắp vài khung hình. Có hai cách đọc đều bảo vệ được. Nếu sửa quỹ đạo bằng cách áp dụng độ lệch ước lượng, tập dữ liệu giữ được lượt thu thập đó cùng độ bao phủ mà nó mang theo, nhưng luồng đã căn chỉnh giờ là một suy luận được ghi vào một bản ghi trông như dữ liệu đo, nên chính sách sẽ học theo ý niệm của bộ ước lượng về thời điểm tiếp xúc. Nếu loại bỏ nó, các dấu thời gian còn lại đều là dữ liệu đo, nhưng tập dữ liệu thu hẹp về phía những giàn thiết bị và phiên có đồng hồ hoạt động ổn định, điều có thể làm lệch độ bao phủ mà đường cong mất mát không hề thay đổi. Cả hai đều không phải là lỗi, và không có gì trong quỹ đạo tự phân xử được: ranh giới giữa có thể phục hồi và không thể phục hồi là một lựa chọn đặc tả về mức độ suy luận mà một chương trình chấp nhận coi là dữ liệu.
Kotwel không đặt ngưỡng dung sai độ lệch này. Nhóm sở hữu chính sách và hệ thống quyết định mức suy luận nào là chấp nhận được, cùng với đó là sự cân bằng giữa độ bao phủ và độ thuần khiết. Công việc của Kotwel là chính thức hóa ngưỡng dung sai đã thống nhất thành một quy tắc tường minh trong đặc tả nghiệm thu trước khi việc thu thập mở rộng, áp dụng nhất quán qua các phiên, ghi lại trên từng quỹ đạo việc căn chỉnh là được đo hay được ước lượng, và kiểm tra rằng quy tắc được áp dụng như nhau, dựa trên [[Multimodal Dataset Synchronization]] và [[Dataset Provenance and Versioning]].
[[Embodied AI]] là khung học thuật về trí thông minh phát triển thông qua nhận biết, hành động và phản hồi trong một cơ thể nằm trong môi trường.
[[Robotics]] là ngành kỹ thuật thiết kế và vận hành máy móc vật lý, bao gồm các thành phần cơ khí, điều khiển, an toàn và các thành phần được học bao quanh một chính sách.
[[Multimodal AI]] suy luận trên nhiều loại dữ liệu. Các hệ thống AI Vật Lý thường kết hợp thị giác, độ sâu, xúc giác, cảm nhận bản thể và ngôn ngữ.
[[Autonomous Systems]] vận hành trong môi trường động với mức can thiệp trực tiếp hạn chế.
[[Spatial AI]] biểu diễn không gian ba chiều và các quan hệ vật lý cần thiết cho điều hướng và thao tác.
[[Vision-Language-Action Models]] điều kiện hóa hành động robot dựa trên quan sát thị giác và chỉ dẫn ngôn ngữ.
[[Closed-Loop Policy Evaluation]] kiểm thử một chính sách thông qua nhận biết, hành động và phản hồi lặp lại trên phần cứng thực hoặc một môi trường đủ tính đại diện, qua đó phát hiện các lỗi tích lũy và lỗi phụ thuộc trạng thái mà chỉ số ngoại tuyến có thể bỏ sót.
[[Robot Demonstration Data]] ghi lại các tác vụ được thực hiện thông qua điều khiển từ xa hoặc những phương pháp dạy khác trong không gian quan sát và hành động của robot.
[[Multimodal Dataset Synchronization]] căn chỉnh các luồng cảm biến, trạng thái, hành động và chú thích trên một cơ sở thời gian dùng chung.
[[Synthetic Data for Robotics]] sử dụng trải nghiệm mô phỏng hoặc được tạo sinh để mở rộng độ bao phủ kịch bản vượt ra ngoài phạm vi thu thập vật lý.
[[World Models for Robotics]] học các biểu diễn về trạng thái vật lý và sự thay đổi nhằm phục vụ dự đoán, tạo sinh, huấn luyện hoặc đánh giá.
[[Sim2Real]] nghiên cứu cách năng lực được học trong mô phỏng chuyển sang phần cứng vật lý và những điểm mà khoảng cách thực tế gây ra thất bại.
[[Human Video Data]] cung cấp bằng chứng hành vi trên phạm vi rộng nhưng thường thiếu nhãn trạng thái và hành động robot trực tiếp.
[[Data Flywheel]] là vòng lặp trong đó các sự kiện triển khai trở thành dữ liệu đã được rà soát cho những lần huấn luyện và đánh giá sau.
Nguồn sơ cấp
Open X-Embodiment: Robotic Learning Datasets and RT-X Models, 2023.
RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control, 2023.
GR00T N1: An Open Foundation Model for Generalist Humanoid Robots, 2025.
Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware, 2023.
World Robotics 2025, Liên đoàn Robot Quốc tế.
RT-1: Robotics Transformer for Real-World Control at Scale, 2022
LeRobot: State-of-the-art Machine Learning for Real-World Robotics, Hugging Face, 2024
π0: A Vision-Language-Action Flow Model for General Robot Control, Physical Intelligence, 2024
Ngành và chiến lược
NVIDIA Launches Cosmos 3, tháng 6 năm 2026.
Develop Humanoid Robot Policies End-to-End with NVIDIA Isaac GR00T, tháng 7 năm 2026.
Robotics Startups On Fire As Venture Funding Surges, tháng 6 năm 2026.
Scaling up learning across many different robot types, Google DeepMind, 2023.
AI Vật Lý làm tăng vai trò của nhận biết, suy luận và hành động được học trong một ngăn xếp robot rộng hơn; nó không khiến kỹ thuật lập kế hoạch, điều khiển hay an toàn biến mất.
Một hành động vật lý làm thay đổi trạng thái được dùng cho quyết định tiếp theo, khiến thời điểm trong quỹ đạo, tính toàn vẹn của chuỗi và nhãn kết quả trở thành những thuộc tính cốt lõi của dữ liệu huấn luyện.
Tri thức tiên nghiệm từ mô hình nền tảng, giao diện VLA dùng chung, phần cứng thu thập dễ tái tạo, mô hình thế giới tạo sinh và tập dữ liệu hợp nhất đã mở rộng lĩnh vực này mà không loại bỏ các giới hạn về phần cứng, an toàn, dữ liệu và đánh giá.
Các tổ chức hàng đầu sử dụng những kiến trúc khác nhau nhưng đều đầu tư vào việc mở rộng, chuẩn hóa hoặc tạo dữ liệu robot. Điều này cho thấy hạ tầng dữ liệu vẫn là một ưu tiên vận hành, chứ không chứng minh dữ liệu là nút thắt duy nhất.
Dữ liệu AI Vật Lý đáng tin cậy đòi hỏi một cổng kiểm định tính toàn vẹn quỹ đạo và các hoạt động dữ liệu có thể truy vết từ khâu thu thập đến chuyển giao.
Robot là ngành kỹ thuật, AI Hiện Thân là khung nghiên cứu, còn AI Vật Lý là khung ngành cho việc triển khai các mô hình được học trong máy móc. Robot bao gồm thiết kế cơ khí, điện tử, ước lượng trạng thái, lập kế hoạch, điều khiển và an toàn, đồng thời vẫn tồn tại dù có hay không bất kỳ thành phần nào được học. AI Hiện Thân nghiên cứu cách trí thông minh phát triển thông qua một cơ thể hành động trong môi trường, tức là một luận điểm về cách quá trình học diễn ra. AI Vật Lý mô tả hướng kỹ thuật hiện nay, trong đó các thành phần được học đảm nhiệm nhiều hơn trong quy trình nhận biết, suy luận và hành động, bên trong một ngăn xếp robot vẫn cần các lớp lập kế hoạch, điều khiển và an toàn bao quanh.
Mô hình nền tảng tốt hơn có thể làm giảm lượng dữ liệu robot chuyên biệt cho tác vụ cần thiết để học khái niệm, nhưng các chính sách triển khai vẫn cần bằng chứng về tương tác vật lý, dù được thu thập trên phần cứng hay bổ sung bằng mô phỏng, vì hành vi tiếp xúc, thời điểm và kết quả phải được biểu diễn ở đâu đó trong quy trình huấn luyện và xác thực. Tiền huấn luyện trên web cung cấp tri thức tiên nghiệm về vật thể và ngôn ngữ, nhờ đó RT-2 có thể chuyển giao kiến thức ngữ nghĩa sang điều khiển robot. Nó không cung cấp quan hệ thời gian giữa một lệnh bộ gắp và khoảnh khắc thị giác mà lệnh đó tác động. Cải tiến kiến trúc làm thay đổi tỷ trọng năng lực robot phải đến từ dữ liệu robot, chứ không loại bỏ yêu cầu dữ liệu đó phải chính xác.
Dữ liệu tổng hợp không thể thay thế hoàn toàn dữ liệu robot thực. Mô phỏng và mô hình thế giới tạo sinh mở rộng độ bao phủ kịch bản với chi phí thấp, đồng thời có thể tạo ra những sự kiện hiếm mà việc dàn dựng trong thế giới vật lý sẽ không an toàn hoặc không thực tế, khiến chúng rất phù hợp để tạo độ rộng. Phần cứng thực vẫn cần thiết để đo động lực học tiếp xúc, nhiễu cảm biến, tác động của hiệu chuẩn và hành vi vòng kín, vì đó chính là những thuộc tính mà trình mô phỏng chỉ xấp xỉ. Mẫu hình vận hành là dùng dữ liệu tổng hợp để mở rộng độ bao phủ và dữ liệu thực để xác thực, thay vì để loại này thay thế loại kia.
Không có một con số áp dụng cho mọi trường hợp, vì yêu cầu phụ thuộc vào độ phức tạp của tác vụ, biến thiên môi trường, phần cứng và mức độ khái quát mà chính sách được kỳ vọng đạt được. ACT đã trình diễn các tác vụ riêng lẻ bằng 50 lượt trình diễn cho mỗi tác vụ, tương đương khoảng 10 phút dữ liệu, và đạt tỷ lệ thành công từ 80 đến 90 phần trăm theo báo cáo năm 2023. Ở quy mô rộng hơn, RT-1 sử dụng hơn 130.000 phiên bao phủ hơn 700 tác vụ, được thu thập bằng 13 robot trong 17 tháng theo báo cáo năm 2022. Vì vậy, câu hỏi thực tế không chỉ là một tác vụ cần bao nhiêu lượt trình diễn, mà còn là liệu tập dữ liệu có bao phủ các vật thể, điều kiện, thất bại và trường hợp phục hồi mà robot sẽ gặp hay không.
Mô hình vận hành có chi phí thấp hơn phụ thuộc vào khối lượng thu thập, độ phức tạp của tác vụ, phần cứng sẵn có, chuyên môn nội bộ và các biện pháp kiểm soát chất lượng mà chương trình yêu cầu. Một nhóm nhỏ có giàn thiết bị ổn định và tác vụ hẹp có thể thấy việc tự thu thập là thực tế vì tránh được chi phí tiếp nhận và phối hợp với bên ngoài. Khi hoạt động thu thập mở rộng qua nhiều người vận hành, phiên làm việc, môi trường hoặc cấu hình phần cứng, việc đồng bộ, rà soát, duy trì tính nhất quán của hành động, quản lý phiên bản và truy xuất nguồn gốc sẽ trở thành những yêu cầu vận hành đáng kể. Vì vậy, các nhóm nên so sánh toàn bộ chi phí để tạo ra một tập dữ liệu huấn luyện có thể kiểm tra, chứ không chỉ chi phí theo giờ để vận hành giàn điều khiển từ xa.
Một tập dữ liệu AI Vật Lý đáng tin cậy bảo toàn sự đồng bộ, bối cảnh hiệu chuẩn, ngữ nghĩa hành động, nhãn kết quả, nguồn gốc và lịch sử phiên bản trên mọi quỹ đạo. Nó cũng phải bao phủ những điều kiện robot sẽ gặp khi triển khai, bao gồm cả thất bại và phục hồi, chứ không chỉ những lượt chạy thành công sạch sẽ. Độ tin cậy được xác minh ở cấp quỹ đạo thay vì cấp khung hình, bởi những sai hỏng quan trọng như luồng camera bị lệch hoặc nhãn hành động thiếu nhất quán vẫn có thể khiến từng khung hình riêng lẻ trông hoàn toàn đúng.