oMLX 0.3.9 dev2 버전에서 테스트했습니다. 아직 정식버전은 아닙니다.
llama에비해서 oMLX가 조금 더 좋은 결과를 보여줍니다.
다만 oMLX에서 MTP를 활성화 하면 TurboQuant 옵션을 사용할 수 없어서 메모리 사용량이 늘어납니다.
llama는 kv캐시 사용에 문제 없는건가? 하는 의문도 들었지만 일단 오류없이 동작합니다.
메모리가 여유롭다면 맥 환경에서는 역시 MLX가 좋은 퍼포먼스를 보여주네요.
backend | MTP사용 | 모델 | 초당 토큰 생성 수 | 증감 |
|---|
oMLX | X | unsloth/Qwen3.6-27B-UD-MLX-4bit | 8 | 0% |
llama.cpp | O | unsloth/Qwen3.6-27B-GGUF-MTP:UD-Q4_K_XL | 14 | +75% |
oMLX | O | Jundot/Qwen3.6-27B-oQ4-fp16-mtp | 24 | +200% |
oMLX | O | Jundot/Qwen3.6-27B-oQ6-fp16-mtp | 17 | +112% |
llama의 설정
llama-server \
-hf "unsloth/Qwen3.6-27B-GGUF-MTP:UD-Q4_K_XL" \
--host 0.0.0.0 \
--port 8000 \
--temp 0.6 \
--top-p 0.95 \
--top-k 20 \
--min-p 0.05 \
--kv-unified \
--cache-type-k q4_0 \
--cache-type-v q4_0 \
--flash-attn on \
--ctx-size 102400 \
--n-gpu-layers 99 \
--batch-size 2048 \
--ubatch-size 512 \
--parallel 1 \
--spec-type draft-mtp \
--spec-draft-n-max 6
oMLX의 설정
ctx_window: 102400
max_token:8192
temp: 0.6
top_p: 0.95
top_k: 20
min_p: 0.05
rep_penalty: 1
presence_penalty: 0
