00시 딱 되자 여러 업체들의 양자화 버전이 올라 왔는데 unsloth의 4비트 버전 다운받아서 테스트 해 봤을땐 11토큰 조금 넘게 나왔슴미다
512, 1024, 2048 토큰 10회씩 테스트 해 봤을때 10~11.6토큰 나왔는데 평균 11토큰정도로 나왔슴미다
혹시나 하고 mtp 버전 있는지 찾아 봤는데
올라마에 여러 버전으로 나와 있어서 바로 다운 받고 테스트 해 봤슴미다
1024, 2048 포함 30토큰 가까이 나오는걸 확인했슴미다
그래서 혹시나 하고 오픈코드에 연동해서 테스트 해 봤씀미다
하나 물려 있으니 속도가 살짝 느려지지만 그래도 나름 괜찮게 나옴미다
요즘 mtp도 많이 좋아 졌다고 하는데 일단 실사용으로 하려면 4비트가 좋을거 같고 신뢰도는 8비트 인듯 한데 nvfp4가 mtp적용된 버전이 나오면 그걸 사용해 보고 싶슴미다
