Activity

1. james-joobs commented on Sep 2, 2026

   

   james-joobs

   on Sep 2, 2026

   Last edited by james-joobs

   CollaboratorAuthor

   More actions

   🤖 Weekly Spatial AI 리뷰 (2026.09.02)

   ---

   🍎 CoreML × YOLO26 (Ultralytics) — Apple Neural Engine 활용법

   

   • 역할: Ultralytics YOLO26을 Apple .mlpackage로 export해 iPhone/iPad/Mac의 Apple Neural Engine(ANE) 에서 네이티브 속도로 추론
   • 한 줄: yolo export model=yolo26n.pt format=coreml quantize=8 imgsz=640 — 이 한 줄이 CPU 대비 ~3× 속도를 뽑아냄

   🤔 왜 이게 지금 화제인가

   Ultralytics가 최근 YOLO26을 릴리즈하면서 CoreML export를 NMS까지 embedded된 end-to-end 그래프로 만들었어요. 이전엔:

   • PyTorch → CoreML 변환 후 NMS는 Swift에서 CPU 처리 → CPU 왕복
   • ANE에서 inference → 다시 CPU → 다시 GPU (preview 합성) → 프레임 지터

   이번 리비전은 NMS까지 ML Program 안으로 넣어서 전체 파이프라인이 ANE 위에서만 돌아요. 이게 실질적인 실시간(30 FPS 720p 라이브)를 가능하게 한 열쇠.

   🔧 메커니즘

   1. Ultralytics가 Apple coremltools를 감쌈 (자동 설치, macOS/x86 Linux만)
   2. PyTorch 그래프를 ML Program format (NeuralNetwork protobuf의 현대판)으로 lower
   3. 양자화는 export 시점에 baked in → INT8 weight가 이미 .mlpackage에 packed
   4. YOLO26은 NMS-embedded end-to-end — post-processing까지 CoreML 안
   5. Dispatch는 MLModelConfiguration.computeUnits — iOS 16+ 기본값은 .cpuAndNeuralEngine

   ⚠️ 실전 팁 — 왜 .all이 아니라 .cpuAndNeuralEngine인가

   카메라 앱에서 .all 또는 .cpuAndGpu를 쓰면 GPU가 preview 합성으로 이미 바쁨 → 추론이 GPU를 공유하면 프레임 지터 발생. Ultralytics는 명시적으로 .cpuAndNeuralEngine을 권장.

   📊 iPhone 17 Pro (A19 Pro) 벤치마크 — 단일 이미지 latency (ms)

   모델	Task	CPU only	CPU + ANE	배수
   YOLO26n	Detect	9.2	3.2	2.9×
   YOLO26n-seg	Segment	12.6	4.8	2.6×
   YOLO26n-sem	Semantic	9.7	4.6	2.1×
   YOLO26n-depth	Depth	25.0	5.3	4.7×
   YOLO26n-pose	Pose	11.9	3.9	3.1×
   YOLO26n-obb	OBB	10.6	3.4	3.1×

   YOLO26은 semantic segmentation + monocular depth가 CoreML pipeline에 처음 통합된 버전.

   🎛️ 양자화 옵션 트레이드오프

   플래그	설명	권장
   quantize=8 (INT8)	최소 크기, ANE에서 최고 속도 — 공식 앱 배포용	Deployment 기본
   quantize="w8a16"	INT8 weight + FP16 activation	정확도 균형
   quantize=16 (FP16)	정확도 손실 거의 없음	호환성/Xcode preview
   unset (FP32)	원본	Reference

   💡 한 줄 요약

   "NMS까지 ANE에 태워버린 게 이번 리비전의 핵심. CPU 왕복이 없어지니 라이브 카메라에서도 30 FPS가 나오고, .all 대신 .cpuAndNeuralEngine을 써야 지터가 안 생긴다."

   🔗 Ultralytics CoreML Docs | YOLO iOS App | YOLO26 arXiv

   ---

   🕺 4DAnyone (Ant × Zhejiang × HKUST × CUHK) — 스마트폰 하나로 4D 사람 만들기 (SIGGRAPH Asia 2026)

   

   • 논문: "4DAnyone: Create Anyone in 4D from a Casual Monocular Video" (arXiv:2608.20335, SIGGRAPH Asia 2026)
   • 저자: Yudong Jin, Tao Xie, Qihang Zhang, Zehong Shen, Zhen Xu, Yujun Shen, Hujun Bao, Xiaowei Zhou, Yinghao Xu — Zhejiang × Ant × HKUST × CUHK × Robbyant

   🤔 왜 만들어졌나 — 4D 인간 캡처의 진짜 병목

   지금까지 4DGS 인간 재구성은:

   • 다중 카메라 세팅 필요 (Rig 6~8대) — 스튜디오 없이는 불가
   • 모노큘러 → 4DGS 직접은 under-constrained: parallax가 없어 3D 앞뒤가 결정 불가
   • 결과: 스마트폰으로 찍은 casual 영상에서 free-viewpoint를 못 만듦

   4DAnyone의 답: "parallax가 없으면 만들어내라" — 즉 monocular 영상을 먼저 multi-view video로 hallucinate한 후, 그 hallucinated multi-view에 기존 4DGS optimizer를 돌리기.

   🔧 메커니즘 — 2-stage 파이프라인

   Stage 1: Motion Recovery (GVHMR 서브모듈)

   • 입력 비디오에서 SMPL-X body pose + global trajectory 복원
   • 사용 체크포인트: gvhmr_siga24_release.ckpt, vitpose-h-multi-coco.pth, yolov8x.pt
   • 결과: 프레임별 skeleton conditioning 확보

   Stage 2: Skeleton-Conditioned Video Diffusion

   • Wan2.2 기반 image-to-video 모델이 다음 셋을 조건으로 novel view 비디오 생성:
     • (a) reference frame
     • (b) target-view camera pose
     • (c) target view에서 렌더링한 SMPL-X skeleton
   • T5-XXL 임베딩은 pre-computed (prompt_context.safetensors) → T5 encoder를 안 로드해도 됨 → VRAM 절약의 핵심 트릭

   Stage 3: Multi-View Fanout

   

   • 같은 seed/skeleton으로 N개 target rig (6 / 24 / 48+ views) 에서 diffusion 반복 호출
   • temporal + cross-view consistency 자동 확보 (같은 skeleton conditioning 덕분)

   Stage 4: 4DGS Training

   • 합성된 multi-view video → 표준 4D Gaussian Splatting optimizer 투입
   • nerfstudio integration 제공 (/docs/nerfstudio.md)

   🌟 핵심 통찰 — Under-constrained 문제 vs Well-posed 문제로 변환

   Monocular → 4DGS는 정보 부족으로 풀 수 없음. 그러나:

   • Monocular → multi-view video는 diffusion prior + skeleton conditioning으로 풀리는 문제
   • Multi-view video → 4DGS는 이미 잘 풀린 문제 (표준 optimizer)

   4DAnyone은 어려운 문제를 두 개의 잘 풀리는 문제로 분해했어요. 이게 스마트폰 영상에서 free-viewpoint 인간 캡처를 가능하게 한 핵심.

   📦 의존성 (⚠️ 실제 사용 전 확인)

   카테고리	필요 체크포인트
   Diffusion	Wan2.2 TI2V-5B Turbo LoRA (fp16), Wan2.2 VAE, T5-XXL 사전임베딩
   Pose/detection	GVHMR, ViTPose, YOLOv8x
   Perceptual loss	VGG-19

   ⚠️ VRAM 팩트체크

   사용자 노트에는 "12GB local runnable"이라 되어 있지만, 실제 릴리즈는 peak 25.4 GiB (RTX 3090/4090/A6000급) — 12GB는 아직 로드맵(distillation) 단계.

   🚀 성능

   • 최근 최적화로 24-view 생성 1.42× speedup
   • Peak GPU memory 25.4 GiB

   💡 한 줄 요약

   "Monocular → 4DGS는 원래 안 풀리는 문제인데, 중간에 Wan2.2 + SMPL-X skeleton으로 multi-view video를 hallucinate하는 단계를 끼워 넣으니 well-posed 문제로 변신. 스마트폰 하나로 4D 사람 캡처가 실현."

   🔗 GitHub | Project Page | arXiv | HF Model

   ---

   🖐️ T-Rex (UC Berkeley 등) — 로봇의 손에 촉각을 되찾아주기

   

   • 논문: "T-Rex: Tactile-Reactive Dexterous Manipulation" (arXiv:2606.17055)
   • 저자: Dantong Niu, Zhuoyang Liu, Zekai Wang (UC Berkeley, 동등 기여) + Fei-Fei Li, Ken Goldberg, Jitendra Malik, Pieter Abbeel, Yuke Zhu, Jim Fan, Trevor Darrell (시니어)

   🤔 왜 만들어졌나 — 로봇에게 촉각이 없다는 것의 의미

   "오븐 미트를 낀 채로 마술을 하려고 상상해보세요. 오늘날 로봇이 살아있다면 정확히 그 느낌일 겁니다."

   카메라로는 보이지 않는 것들:

   • 자석 조각이 딱 하고 결합되는 순간
   • 종이컵이 스택에서 분리되는 감각
   • USB가 포트에 미묘하게 자리잡는 접촉

   Pixel은 싸고 어디에나 있지만, 접촉 순간에서 힘을 잃음. Tactile이 그 마지막 mile을 이어줌.

   🔧 메커니즘 — Two-Clock 비동기 캐스케이드

   핵심 통찰: 시각/언어는 ~6 Hz면 충분하지만, 힘 제어는 수십 Hz 이상 필요. T-Rex는 이 두 주기를 하나의 mixture-of-transformer 안에서 분리:

   🐢 Slow Clock — Action Expert (~6 Hz)

   • Vision + Language → coarse action chunk (flow-matching diffusion)
   • Denoising의 위쪽 절반 (τ: 1 → 0.4) 을 6 step 수행
   • Vision-Language context를 캐시

   🐇 Fast Clock — Tactile Expert (~24 Hz = 4×)

   • Slow branch가 만든 VL cache를 frozen 상태로 재사용
   • Denoising의 아래쪽 절반 (τ: 0.4 → 0) 을 4 step 수행
   • Live tactile token으로 조건화
   • 1 visuomotor tick당 4 tactile tick — {0, 4, 8, 12} 오프셋

   왜 τ=0.4에서 나누나

   • 궤적의 coarse 구조는 denoising 초반에 결정됨 → VL-conditioned 비싼 부분이라 amortize
   • fine 마지막 부분이 접촉 피드백이 진짜 필요한 곳 → tactile-only 저렴한 branch에 넘김
   • 이게 fast branch가 4× 빠르게 fire할 수 있는 이유

   Temporal Tactile VQ-VAE

   • 손가락별 6-axis wrench + deformation depth를 16프레임 창으로 압축
   • 64-token discrete codebook, magnitude-weighted reconstruction loss
   • 고주파 아날로그 힘 신호를 transformer-friendly 토큰으로 변환

   🤖 하드웨어

   • Bimanual 22-DoF Sharpa Wave hand + Dexmate Vega-1
   • 손가락 끝당 6-axis wrench + deformation depth
   • Tactile control loop 300 Hz, observation 30 Hz
   • Perception: ZED X Mini stereo + 양쪽 손목 wide-view RGB

   📊 데이터셋 — 50시간 오픈 코퍼스 (역대 최대)

   • 100시간 수집 / 50시간 공개 (~5,500 에피소드)
   • 207 objects × 22 motor primitives = 502 feasible combinations (~17 demos each)
   • 22 primitives: wrap, lift-and-place, fold, cut, insert, press, wipe, peel, twist, shake, pour, screw, ...
   • 시간정렬 @30hz: 3× RGB + bimanual proprioception + SE(3) wrist pose + 손가락별 tactile (raw force + deformation + VQ tokens) + language

   📈 결과 — EgoScale 대비 +30% 절대치

   태스크 (16 trials)	T-Rex	EgoScale	π0.5	Tactile-VLA
   Flip Page	96	68	36	38
   Transfer Egg	75	44	17	14
   Wipe Plate	69	34	28	24
   Open Lock	47	19	5	8
   Extract Card	70	41	8	4
   Refill Tablet	41	12	1	0
   평균 (12 tasks)	65	35	~14	~13

   🌟 논문의 핵심 negative result

   "Tactile을 pretrained VLA에 그냥 붙이면 오히려 성능이 떨어진다" (π0.5 + tactile = 6%). 이기려면 두 가지가 필요:

   1. Tactile mid-training stage — 50시간 dataset으로 접촉 사전지식 주입
   2. Architectural separation — planning stream (slow) vs reactive stream (fast) 분리

   

   💡 한 줄 요약

   "VLM은 6 Hz면 충분하지만 접촉 제어는 24 Hz가 필요. 이 두 시계를 하나의 mixture-of-transformer에 비동기로 캐스케이드하면 접촉 순간의 '마지막 mile'이 풀린다. 다음 scaling curve는 pixel이 아니라 hours of touch로 측정될 것."

   🔗 Project Page | HF Dataset (50h) | arXiv | GitHub

   ---

   🦅 Fast Weight Attention — Attention을 Continual Learning으로 재해석하기

   

   • 논문: "Fast Weight Attention for Continual Learning" (arXiv:2608.27763, 2026.03)
   • 저자: Yifan Zhang, Steve Ta 외 + Mengdi Wang (Princeton), Quanquan Gu (UCLA), Andrew Chi-Chih Yao (Tsinghua IIIS, Turing Award)

   🤔 왜 만들어졌나 — RNN·SSM·Attention을 하나의 렌즈로

   현대 recurrent 시퀀스 모델들:

   • SSM (Mamba, RWKV)
   • Linear Attention
   • Gated Retention (RetNet)
   • DeltaNet

   이들의 공통점: 모두 bounded state를 유지하며 매 스텝 업데이트. 이 state update 규칙이 사실은 온라인 continual learning의 한 스텝이라는 게 이 논문의 근본 통찰. → Schmidhuber의 1991년 Fast Weights 아이디어의 현대적 재정식화.

   🔧 메커니즘 — Attention = "Test-time에서 계속 학습하는 Fast Weights"

   핵심 재해석:

   • Recurrent state의 매 스텝 업데이트는 어떤 inner objective의 online learning 한 스텝
   • 이 업데이트를 read-after-write autoregressive 연산으로 정식화 (prefix-aligned target)
   • 두 가지 objective에 대해 normalized first-order update 도출:
     • Squared-error regression → 고전 Hebbian / delta-rule fast weights
     • Negative inner-product → 검색 스타일, softmax attention의 dot-product와 정합
   • 이 도출로부터 Falcon-{1, 2, 3} 및 inner-product 대응체가 나옴

   🔧 세 가지 등가 형태 (같은 계산의 다른 표현)

   1. Recurrent form — inference 시 사용
   2. Masked-parallel form — 짧은 시퀀스 학습용
   3. Chunk-parallel form — 긴 시퀀스 학습 (FlashAttention 스타일 blocking)

   🌟 결정적 엔지니어링 트릭

   Positive-decay renormalization — fast-weight norm이 매우 긴 context에서도 폭발하거나 붕괴하지 않도록 numerically stable하게 유지. 이게 없으면 이론이 아름다워도 실제로는 발산.

   🎛️ 4개의 독립 knob

   Falcon의 설계 공간을 4개 축으로 분해 — 각각을 서로 영향 없이 튜닝 가능:

   • Temporal alignment (시간 정렬)
   • Plasticity (가소성)
   • Forgetting (망각)
   • Bounded rehearsal (제한적 재현)

   🌟 왜 이게 Continual Learning의 판을 바꾸나

   전통적 continual learning: 태스크 간 weight update를 잘 관리 (EWC, replay, LoRA merging …)

   Falcon의 접근: "모델은 매 토큰마다 이미 자기 recurrent state 안에서 continual learning을 하고 있다." 그러니:

   • 외부 훈련 루프를 안 바꾸고
   • state update 규칙의 plasticity/forgetting knob만 조작해도
   • Test-time adaptation이 아키텍처의 first-class property로 얻어짐

   📊 벤치마크

   • Language modeling: 기존 linear attention/SSM 계열과 경쟁
   • Variable-digit addition: 길이 외삽(length extrapolation) stress test — Transformer의 고전적 실패 모드에서 개선. 이게 healthy online update rule의 empirical signature

   💡 한 줄 요약

   "Attention은 사실 test-time에서 fast weights를 계속 학습하는 것이다. 이 렌즈로 다시 보면 SSM·linear attention·gated retention의 state update 규칙이 모두 online learning의 한 스텝이고, 그 규칙의 plasticity/forgetting knob을 잘 짜면 continual learning은 아키텍처 자체의 성질이 된다 — 외부 훈련 루프 없이."

   🔗 Project Page | arXiv | GitHub | HF Paper

   ---

   📌 요약

   분야	프로젝트	한 줄 통찰
   Edge 추론	CoreML × YOLO26	NMS까지 ANE에 태워 CPU 왕복 제거 → iPhone에서 30 FPS 라이브
   4D 인간 캡처	4DAnyone (SIGGRAPH Asia)	Monocular → multi-view diffusion → 4DGS의 2-stage 분해로 under-constrained 문제를 well-posed로
   로봇 손	T-Rex (Berkeley 등)	Slow(6Hz VL) + Fast(24Hz tactile) 비동기 mixture-of-transformer로 접촉의 "마지막 mile"
   Attention 이론	Fast Weight Attention (Falcon)	Attention = test-time online continual learning. State update 규칙 자체를 새 알고리즘 계보로