며칠을 Gemma4 26B A4B를 가지고 놀았습니다.
Gemma4는 본격적으로 reasoning(thinking 모드라고도 하죠)을 지원합니다.
이걸 켜면 대답의 신뢰성이 많이 올라갑니다.
대신 속도와 토큰을 소비합니다.
저는 제 시스템이 26B 모델을 돌릴정도가 아니라서 많은 layer를 CPU에 할당을 해야
그나만 Gemma4 26B 모델이 돌아갑니다. 그래서 조금 느립니다. 그런데 이 reasoning 을 켜면
엄청 느려져요. 간단한 답변도 20초 기달려야 화면에 뿌리고 조금 생각해 봐야 하는 질문은 40 ~ 50초 후에
답변을 보여주기 시작합니다. 답변 자체는 똑똑해요. 그런데 너무 기다립니다. 거기다가 하드웨어가 후달리다 보니 컨텍스트도 길게 가져 가지 못하고요.
resoning을 끄면 굳이 Gemma4 26B를 쓸 필요가 없다고 보고요.
Gemma4 26B는 컨택스트 256k를 지원하는데, 시스템이 받쳐주질 못하니 그림의 떡입니다.
냉정하게 생각해 보고, 이건 정말 어쩌다 복잡한거나 한번씩 물어보는 용도로나 써야 겠다라는 결론을 내렸습니다.
그전까진 Qwen3.5 9B 모델을 썼었는데, Gemma4-E4B 모델도 쓸만한거 같아서 평소에는 그냥 Gemma4-E4B를 쓸려고 합니다.
