스파크로 주식 모델 2종 파인튜닝을 끝내고 이걸로 어디까지 빡세게 할 수 있을까??? 하는 생각에 128램에 가까운 파라미터를 가진걸 찾았슴미다
모델 올리는거 자체는 80g정도 나오는데 작업 시키니 kv캐쉬 때문에 램이 쭉쭉 빨림미다
올라마에 올리고 --verbose로 체크해 보니 28.8 토큰 정도 나옴미다
122b모델인데 moe act10b라서 이정도 토큰 생성이 되나 봄미다
그래서 클로드코드에 물려 봤슴미다
처음엔 너무 느렸지만 searxng물려서 웹 검색 가능하게 해 주고 권한 다 주고 일해 하니 알아서 잘 함미다
로컬로는 일 시키고 딴짓 하면 될 거 같슴미다
솔직히 기대감은 없슴미다
클로드코드가 소넷이나 오퍼스에 맞춰진 툴인데 이건 다른회사꺼라서 기대감을 좀 낮췄슴미다
그래도 그냥 사용하는것 보다는 어느정도 하네스가 있으니 오픈클로에 물리는 것 보다는 괜찮아 보임미다
지금은 오픈소스 mmorpg 찾으라고 보냈슴미다
모델 차이라 그런지 권한을 맘껏 사용하지 못 하는거 같슴미다
나중에 스파크 가격이 떨어지거나 중고로 괜찮게 나오면 딥식4플래시 버전 사용해 보고 싶슴미다
Belum ada terjemahan (AI sedang memproses...)
No translation available yet (AI is processing...)
