최근에 일때문에, claude 를 맘껏 쓸수 있게 되는 바람에... 두어달 .llm 이 잠깐 손을 놓고 있었습니다.
그 사이에도 계속 llm 은 계속 발전 하고 있었더군요.
아래쪽에 qwen3.6 27b MTP 사용기를 보고, llamacpp 로
rtx3090 에 올려 봤는데... 220w 제한 걸고(풀로 돌리면, 팬소리가 시크러워서..),
30 tok/s 나오길래 ... 놀랐습니다. 30tok 정도면, 로컬로 잘써먹을만 하거든요.
하는김에... qwen3.6 27b DFlash 도 빌드해서 돌려봤는데.. 40-50tok/s 정도 나옵니다.
MTP 는 꾸준하게 평속 30tok 을 뽑는 반면,
Dflash 는 속도가 들쭉 날쭉 입니다. 대체로 , 코딩을 길게 뽑을 때는 50 tok/s 나오고 , 않좋을때는 20tok/s
정도 나옵니다.
기술이 좀더 안정화 되면, 좀더 속도가 나올지도 모르겠습니다.
관심있으신분은 DFlash 가 llamacpp 에 완전 병합된 상태가 아닌것 같아서,
아래 링크 따라 가면, 빌드 해서 테스트 가능합니다.
https://github.com/Anbeeld/beellama.cpp/blob/main/docs/quickstart-qwen36-dflash.md
좀있으면.. qwen3.8 이 나온다고 하죠? 로컬에서 맘껏 ai 사용할수 있는 날이 왔으면 좋겠네요.
