작년에 local LLM 에 빠지면서, 비디오 카드도 바꾸고, 이것저것 즐겁게 보냈습니다만,
좀 덩치가 있는 것을 시도하다 보니, 20~30B 급으로는 너무 효율이 나쁘더라고요.
안되는건 아닌데, 너무 느리고, 결과도 부실하고.
거기다가 최근에 DeepSeek을 선두로 해서 중국 LLM 의 가격이 아주 착해져서,
금전적인 부담도 훨씬 약해 졌고 해서,
제 시스템에 local LLM을 구동하기 위해 설치했던 몇가지를 제거했습니다.
원래는 2대 있던 PC를 local LLM을 구동하기위 해 한대로 합쳐서 사용했었거든요.
GPU도 2개, 메모리도 2배.. 재미는 있었지만 딱히 쓸때는 없더라고요.
곰곰히 생각해보니, 그냥 돈내고 편히 쓰는게 여러모로 좋겠다고 생각이 들어
다시 PC 2대로 환원 됐습니다.
거기다가 전에는 이미지 제작을 위해 ComfyUI 도 설치해서 이미지를 생성하곤 했었는데,
이것도 그냥 FAL.ai 에 돈내고 이미지를 만들게 바꿨어요.
이것 저것 모두 유료를 쓰는게 정신건강에 도움이 되더라고요.
저는 hermes agent를 쓰고 있는데 이 hermes agent 는 무료 모델을 제공합니다.
요즘은 Step3.7-flash를 무료로 제공하더군요. 그래도 저는 Deepseek-v4 를 씁니다만...
Gemma-4-26B-A4B 나 Gemma-4-31B 같은 경우는
google AI Studio에서 무료로 제공하고 있고요.
여러모로 제가 재미로 놀고 있는 분야에서는 local LLM을 쓸 필요가 없어서,
이번에 과감히 정리했습니다.
Belum ada terjemahan (AI sedang memproses...)
No translation available yet (AI is processing...)
