nemotron3 super(nvfp4 120b) 사용해서 테스트 중입니다.
vllm에 여러개의 llm을 compose해 놓고 사용중이었는데 하나만 놓고 오래 써 보자는 생각으로 최근 120b사용이 가능하다는 정보를 보고 셋팅해서 돌려보았습니다.
모델 로드와 응답 성공이 됩니다. 오. 수월하게 아무 문제 없이 되니 좋습니다. 초당 15토큰 나옵니다.
사용환경을 고민하다가 그냥 앱으로 만들기로 rust로 만들다가, spark만 켜 놓고 세션 유지하거나 어쩌거나 암튼 이거만 켜 놓고 모바일로도 붙고 PC로도 붙으려고 웹으로 가기로 했습니다. claude, codex 둘만 써서 설계하고 업무지시서 만들고 코딩은 nemo에게 맡기는 구조입니다.
앱 코딩은 클로드가 끝까지 했습니다. 테스트 해 보니 됩니다. 이제 부하 테스트.
어?
죽었습니다. 그냥 꺼져요. 뭐지? 온도 측정에 4번 재현, cpu/gpu 레인 어디서 문제가 되는지, 파워가 모자란건 아닌지등등. 가능한 방법으로 테스트를 해 봅니다. 테스트를 클로드에게 맡겼는데 테스트를 많이 하네요.
범인은 전력으로 좁혀졌습니다. 아답터 문제라네요?
음.... 램에 문제는 없을까? 보통 이런거는 메인보드에서 램 떼서 지우개로 닦으면 되는건데 이건 못 그러잖아요. VLLM 내리고 cpu와 ram만 부하 테스트 시킵니다.
20분 지나도 안 죽네요? 압. 테스트를 더 넓혀야겠다. 몇가지 방법을 제안해서 더 넓은 테스트를 해 봅니다. 연역적사고의 한계를 가진 수퍼스타 AI의 행태를 보고 있자니 인간(ADHD)인게 뿌듯합니다.
훗.
범인 잡았습니다. 사용하던 vllm 빌드에 버그가 있었던것 같네요. spark용 빌드를 사용해서 돌리고 있었거든요. 최신 버전으로 업데이트 하고 아직 안 죽어요.
60분 테스트 할건데 지금 49분 인데 안 죽음. 녹색불이 켜져 있습니다. 그린랜턴 나는 재미있게 봤는데 이게 더 재미있네요.
또 만나요. 빠이빠이.
