DFlash가 빠르긴 빠르네요

61.188.***.***
31

llamacpp에 DFlash가 통합 되서,

잘 돌아간다는 Qwen 3.6으로 한번 돌려봤습니다.

느려터진 Strix Halo에서 Q6KL기준

27B : 15-16tps -> 15-23tps 오락가락

35BA3B: 60tps -> 60-90tps 오락가락

어차피 메모리는 남아도니까 DFlash올리면 되는데, 이걸로 써보니 디퓨전 계열이라

뭔가 엉성하고 멍청해지는거 같네요 ;;

MoE모델 같은 경우는 말귀도 제대로 못알아 듣는 듯

로그인한 회원만 댓글 등록이 가능합니다.

개발한당

KR | ID | EN
  • IDR
  • KOR
8.28 0.01

2026.07.21 KEB 하나은행 고시회차 656회

다가오는 한인 행사일정

  • 등록 된 일정이 없어요!