로컬 llm을 돌려보고 싶어서 Ollama를 깔았지만, sac(smart app control)가 자꾸 block해서 포기하고 LM studio를 써서 로컬 llm을 맛보기 시작했습니다. 처음엔 3070ti 하나로 써보다가 좀 큰 모델을 돌려보고 싶어서 놀고 있는 1660ti를 제 컴에 추가 했습니다. LM studio는 상이한 multi GPU를 잘 콘트롤하진 못하더라구요. 그래서 llama.cpp를 직접 쓰기 시작했습니다. 작은 모델을 쓸때는 거의 문제가 없는데, 멀티 모달(이미지나 음성 인식)은 에러를 뿜네요. 여러 옵션을 test했지만, 3070+1660의 형태에선 안정적으로 사용 불가능 했습니다. 3070ti단독 구동시에는 안정적으로 구동 되고요.
다른 문제로 Gemma4-26B-A4B같은 좀 큰 모델을 사용할때도 안정적이지 못합니다. 로그를 제미나이나 코덱스에게 분석시켜보면, 3070은 CUDA+tensor core로 빠르게 구동되는데, 1660은 CUDA가 있는데 tensor core가 없어서 llama.cpp가 이 둘을 동시에 다루는데 좀 문제가 있습니다. 이건 이리 저리 테스트 해보다가 과감하게 CUDA/tensor core연산을 포기하고 Vulkan으로 구동시켜서 드디어 안정적으로 동작시키는데 성공했습니다. 대신 처리속도는 좀 느려졌고요.(여담으로 vulkan구동전에 chatGPT가 vulkan으로 해결 안된다. 하드웨어 문제라서 어쩔수 없으니 3070 하나만 쓰기를 강력히 권고한다고 했습니다. You know nothing.)
그리고 Vulkan을 쓰더라도 멀티 모달 지원은 안됩니다. 이미지나 오디오 인식은 무조건 single GPU로만 됩니다. 이것은 llama.cpp가 지원을 못하는것인지 제가 옵션을 잘못 선택한것 인지는 아직 모르겠습니다.
요즘은 매일 고민 하는게, 비디오 카드를 업그레이드 할까 말까입니다. 그냥 재미로 돌려보는 상황이라 참고 있지만 어찌될지는 저도 모르겠습니다.
