5080이 설치된 매인 PC와 9070xt가 egpu로 장착된 Allyx 를 로컬 llm 용으로 각각 별도로 사용하고 있는중, 문득 이런 생각이 들더군요 "이거 같이 붙여서 사용하면 메모리가 더블이잖아!!"
즉시 Claude를 켜서 가능 여부를 타진했죠
웹검색도 안하고 즉답으로 "안됩니다" 라고 하더군요
최근 Claude답변을 신뢰하기 어려워 "확인해 봤어" 라고 하니 검색하고 오더군요
성공한사례가 좀 있는거 같으나 CUDA + ROCm 조합은 어렵다 라고
해보지 않으면 믿지 않는 사람이라 이것 저것 확인해보니 llama.cpp를 소스로 받아서 빌드할때 ROCm 그래픽카드를 같이 넣어놓으면 같이 빌드 되는 구조더군요
AMD는 WSL환경을 제대로 지원을 안하다보니 Windows에서 설치하고 빌드하고 해야되는데 익숙하지 않은 환경이니 엄청 해매게 되더군요
중간에 에러메시지 나오면 Claude, ChatGPT한테 물어보고, Claude가 답을 알려주긴 하나 자꾸 포기 시키려고 하니 오기가 생기더라구요
어찌어찌 그래픽 카드 두장을 동시에 띄우는데는 성공했으나, 속도가 9070xt 단독(80toks) 보다도 안나옵니다!
충격받고 뭐가 문제지 하면서 lmstudio를 켜봤는데,
ROCm 런타임이 아닌 Vulkan 런타임으로 바꾸니 5080 + 9070xt를 인식해서 잘 돌아가더군요. 내가했던 삽질은 뭔가 싶어 LMStuio를 써야되나 라는 생각이들었죠
그래도 할 수 있는건 다 해보자라는 마음으로 llama 를 다시 Vulkan으로 다시 빌드
llama-server 설정을 CUDA0,Vulkan0 로 설정 후 다시 테스트 해보니 5080만큼은 안나왔지만 9070xt와 5080의 중간 정도(100~110toks, Qwen3.6-35B-Q5,ctx 130k ) 정도 가 나오더군요
이제 설정을 조여보자 하면서 터보퀀트 옵션을 넣고 curl로 테스트를 하는데 쓰레기값이 우르르르.....
뭐가 문젠가 봤더니 vulkan에서는 터보퀀트가 문제가 좀 있는것 같더군요, 다시 q4_0로 수정해서 해당 사항은 클리어
가장 큰 목적인 기존 IQ3_S로 쓰던 모델을 상위 양자화 버전을 쓰겠다는 목적은 달성했습니다
처음 Locall LLM 구축은 맥미니로 시작 했지만 전기를 적게 먹는것 빼면 24gb에서 할 수 있는게 너무나 한정적이더라구요, toks도 안나오고 메인장비로 쓰고 있다보니 local llm에게만 메모리를 할당할 수도 없고...
가장 큰 문제는 전기료이긴 한데... 9950x3d + 9070xt + 5080이니 이정도면 claude max 100구독료정도는 나오는거 아니야? 라는 생각이 들지만, 뭐 어쩌겠습니까 ㅎㅎ 재미있는 경험했다고 생각하면 되는거죠
이번 구축하면서 부수적으로 깨닳은건 AI는 자기가 안된다고 생각하거나 어렵다고 생각하는 일은 사용자의 포기를 유도하는 경향이 강하다는거였어요
특히 ChatGPT가 심하더군요, 장황하게 설명하고 결론을 지 멋대로 내리고, 특히 마지막에 "네가 원하면 ~~도 알려드리겠습니다" 보고 있으면 속이 뒤틀리는 기분이더군요
Claude도 저런 경향이 있긴하지만 저정도로 심하지는 않구요
그래도 AI가 안된다고 말린걸 해내니 뿌듯하긴 하네요
