2026.07.22 - #75 - ARDY, GPC, VLK

No description provided.

오랜만에 character control, humanoid 입니다. 큰 개요 자료는 여기에 있습니다: Human Characters to Humanoid

ARDY: Autoregressive Diffusion for Interactive Motion Generation

https://research.nvidia.com/labs/sil/projects/ardy/
online text prompt와 sparse kinematic constraint를 동시에 받으며
실시간으로 다음 motion chunk를 생성하는 autoregressive diffusion model
기존 offline motion diffusion은 controllability가 좋지만 느리고
online model은 빠르지만 text semantics나 long-horizon constraint가 약한 경우가 많음
ARDY는 이 둘 사이의 경계를 줄여줌.
ARDY가 kinematic reference motion을 만들고 SONIC physical tracking policy가 이를 휴머노이드에서 추적

https://yi-shi94.github.io/gpc-page/
600시간 이상의 human motion을 대상으로 motion-tracking controller가 사용할 discrete skill token을
FSQ(Finite Scalar Quantization)으로 학습
이 token은 kinematic reconstruction만으로 얻는 것이 아니라 PPO 기반 end-to-end RL로 물리적 실행 가능성에 맞춰 최적화
autoregressive transformer가 character state로부터 다음 skill token 예측
downstream task에서는 CoLA(Conditional Low-rank Adaptation)을 붙임
physics-based character control에도 pretrain -> adapt 패러다임을 적용
motion tracking policy가 아니라, sampling 통해 다양한 skill transition과 recovery behavior를 생성하는 motor prior
motor control도 이제 "motion 따라하기"에서 "skill token을 pretrain하고 조합하기"로

https://vision-language-kinematics.github.io/
실제공간을 3DGS로 복원하고 그 안에서 vision-language-kinematics supervision을 합성해서
real-world demonstration 없이 휴머노이드의 perception-based loco-manipulation policy를 학습
loco-manipulation policy에서는 egocentric RGB observation, language instruction, robot state, whole-body kinematic trajectory 이 세 요소가 synchronized된 데이터가 필요한데 대량 수집하기 어려움
빠진 tuple을 reconstructed scene 안에서 합성하는 것이 VLK의 핵심 (data collection -> data generation)
scene-grounded human-object motion synthesis를 휴머노이드의 supervision으로 쓸 수 있는가? + 3DGS egocentric rendering 연결한 작업
sim-to-real 문제를 아래와 같이 세가지로 나눔
- perception(RGB sim) -> real: lighting,camera domain randomization과 motion-blur 대응
- embodiment(kinematics) -> dynamics: real-time chunking과 SceneBot tracking
- environment(real world) -> synthetic: scene reconstruction과 interaction synthesis
더 큰 VLA가 필요한 게 아니라, reconstructed world에서 vision, language, robot, kinematics를 synchronized supervision으로 만드는 data engine. (reconstructed scene-based data generation)