블로그 글 추가: 2026-08-10-fast-ondevice-agentic-ai-with-executorch, ExecuTorch에서 Muse Glimmer로 구현하는 빠른 온디바이스 에이전틱 AI - #115
Merged
Conversation
PR Preview
|
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
1 participant
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
번역 글 소개
ExecuTorch에서 Muse Glimmer로 구현하는 빠른 온디바이스 에이전틱 AI 번역 글을 추가합니다.
Meta가 온디바이스 에이전틱 워크플로우용으로 공개한 매개변수 300억 개 규모의 오픈 웨이트 모델 Muse Glimmer를, ExecuTorch가 NVIDIA GPU와 Apple 실리콘 Mac에서 엔드투엔드로 실행할 수 있게 지원한다는 소식입니다. 모델과 디코딩 전략을 PyTorch로 구현한 뒤 익스포트하면 백엔드별 저수준화는 프레임워크가 처리한다는 접근을 설명하고, 미리 빌드된 PTE를 내려받아 실행하는 방법과 러너 빌드·에이전트 서버 구동 예시를 담고 있습니다.
후반부에서는 DFlash 추측 디코딩(M5 Pro에서 21.6 → 33.0 tok/s), GGUF 직접 익스포트와 K-quant 실행, 세션별 가변 상태 재바인딩을 통한 LLM 서빙, CUDA·MLX 백엔드별 최적화, 52개 계층 중 39개가 슬라이딩 윈도우인 구조를 활용한 128K+ 컨텍스트 지원 등 내부 구현을 다룹니다.