받자마자 배를 열고 스팀덱에 달아줬던 WD 2TB 2230 모델로 교체 해 줬습니다.
주말중 그동안 작성하던 코드를 열심히 테스트 돌려봤는데 메모리가 크니 좋네요 (그래도 부족하...ㄴ게 함정..)
처음엔 Qwen 3.6 27B모델로 돌렸는데 (그나마 가장 똑똑하다고 해서..) 돌아는 가는데...
fine tunning 시간이 너무 어마무시하게 걸려서 이리저리 여러 모델을 방황하다,
최종적으로는 제 사용목적에 200k context도 부족하다는걸 알게되어.. Qwen/Qwen2.5-7B-Instruct-1M 모델로 정착했습니다
For processing 1 million-token sequences:
대충 100개 case study 후 돌려보니 우선은 잘 도네요
물론 한번 실행하는데 소요되는 시간의 90%프로는 프로그램 실행 및 weight loading 과정이 차지하고
결과는 거의 순식간에 나오긴 합니다 쿨럭...
이제 학습 숫자를 늘려서 원하는 결과를 내놓는 sweet spot을 찾는 여정에 들어갈듯 합니다.
튜닝 걸어놓고 아직 마무리 되지 않은 interface code 업데이트 해야지요...
지금 고민은 해당 프로젝트를 공식적으로 발표하고 과제로 만들어 투자를 받을것인지 (된다는 전제하에)
그냥 혼자만 몰래 쓰면서 월도 할지가 고민이 됩니다 ㅎㅎ
어짜피 업무용이라 사무실에 가져다놓고 (집에서 돌리기엔 내 전기요금은 소중하니까요..)
방열판 하나 위에 올려두었습니다.
