https://forums.developer.nvidia.com/t/dflash-for-qwen3-5-122b-a10b-80-tok-s-on-1x-spark/374328
이 글을 보고 에이전트에게 해 달라고 했슴미다
뭔가를 다운받고 개조하는데 30~1시간 걸리다고 해서 기다렸고
vllm으로 도커 서버 만들어 줬슴미다
이제 이걸 헤르메스에 연결 해야 하는데
아무리 해도 연결이 안 되서 클로드코드나 코덱스에 연결하려 하니 제 에이전트가 그렇게 하면 토큰생성 속도가 개조하기 전이랑 비슷하게 나올거라고 말려서 다른거 있나 물어보니
오픈코드를 연결하면 된다고 함미다
그래서 연결 해 달라고 해서 연결했고 위의 포럼글을 보고 최적화가 되면 토큰생성이 59개 정도 나온다고 하긴 하는데...
일단 오픈코드로 연결해서 토큰생성 속도부터 측정해 봤슴미다
대충 36개정도 나와서 포럼글과 차이가 많이나서 여러번 측정해 보라고 시켰슴미다
대충 편균 40개 가까이 나오는데
포럼글은 짧은 작업이나 글에서는 적가 나오고 좀 길게 해야 최대 토큰생성이 나온다고 에이전트가 해석해 줬슴미다
아니면 제 에이전트가 엉망으로 만들어 줬을지도 모르지만 일단 36~40 토큰이면 그냥저냥 사용할만 할 거 같슴미다
래딧보니 스파크 * 2 해서 딥식4 이걸 최적화 해서 70개 이상 토큰생성에 성공했다는 글도 있는걸 보면 인기있는 모델은 점점 더 최적화가 잘 되고 발달되서 로컬에서 운용하기 괜찮은 속도까지 나올거 같슴미다
m5max맥스튜디오 128g를 노리고 있었는데 이러다 1000만원 넘을거 같아서 그냥 중고 스파크를 노려봐야 하나... 찾아 보니 중고 스파크가 다 사라졌네요 ㄷㄷㄷㄷ
