dgx spark에서 테스트 해 봤슴미다
허깅페이스에서는 vllm사용이 있어서 그것으로 세팅해서 사용해 보니 19~20토큰 나옴미다
오류도 뿜뿜 함미다
그러다 오늘 올라마 홈페이지 가니 어제 올라왔다고 되어 있어서 다운받고 작동 테스트 해 봤슴미다
스파크에 램에 올리는데 시간이 좀 걸리고 예열 시키는데 초반 토큰이 9개 나오길래 이건 못 써 먹겠다 라는 생각이 있었지만 혹시나 하고 여러번 시도 해 보니 점점 토큰생성 속도가 올라옴미다
20~22개 정도 나오는걸 보면 나중에 vllm이나 다른 최적화 툴이 나온다면 30개 이상은 나와줄 것 같슴미다
20개면 자기 전에 작업 맏기고 다음날 결과물 받기 딱 좋은 생성 속도 같슴미다
qwen3.6-27b도 최적화 된 버전으로 했을때 22개 정도 나왔었슴미다 라구나의 발전을 기원함미다????
