처음 1스파크로 했을땐 벤치상으로 24~26정도 나왔었고 실사용으로 16~20정도 나왔었슴미다
그리고
2스파크로 했을때 거의 2배 가까이 올랐었슴미다
하지만 실사용시 25~33토큰 정도 나와서 벤치와 차이가 있었슴미다
그리고 오늘 sglang으로 세팅을 해 봤슴미다
vLLM과 sglang 차이가 있슴미다
지금은 sglang이 10~20%정도 차이가 나는듯 함미다
그런데 실 사용시 딥시크가 더 빠른거 같은 느낌적인 느낌임미다 토큰숫자보다 더 크게 차이가 나요
