안녕하세요. 또 왔습니다! 게시글 너무 자주 올려서 죄송합니다. 이 글 이후론 좀 자제하겠습니다! 🙇♂️🙇♂️🙇♂️
"GPT + 로컬 LLM 같이 쓰는 법 - 3역할 패턴, 코드 포함 "게시글의 개념?코드를 플러그인 형태로 제대로 만들어 본 내용입니다! (맥에서 만들었는데 윈도우/리눅스-테스트 안해 봄-에서 왜 되는진 잘 모르겠...지만 감사합니다. 아마도 그냥 파이썬 스크립트 들이라? ㅎㅎ)
AI당원 앙님들 중에 20달러 플랜으로 Claude Code 나 Codex CLI 쓰시는데, "한도 금방 닳는다" 또는 "로컬 LLM도 같이 굴리고 싶은데 어떻게 연결하지" 고민하시는 분들 사용해 보시라고 만든 도구입니다. (다른 의도는 없습니다! 제가 주로 쓰는 도구는 다른게 있어요 ㅎㅎ)
링크: https://github.com/hang-in/tunaLlama
플러그인이 뭔지부터
Claude Code 와 Codex CLI 는 둘 다 "플러그인" 으로 외부 도구를 끼울 수 있어요. 한 번 깔아두면 그 다음부터는 에이전트가 작업하다가 필요하다 싶으면 본인이 알아서 호출하는 구조입니다. 안에 들어있는 도구들(MCP 서버)·작업 지침(Skills)·자동 트리거(Hooks)·단축 명령(Commands) 을 에이전트가 알아서 가져다 쓰는 패키지라고 보심 되요. MCP 가 도구 연결 규격이라면, 플러그인은 그 도구들에 사용 지침까지 묶어서 한 번에 배포하는 단위예요." 사용자가 매번 "이 도구 써줘" 라고 안 해도 돼요. tunaLlama 도 그 플러그인 한 종류입니다.
무슨 일을 하나
세 역할로 나눠집니다.
역할 | 누구 | 하는 일 |
|---|
Architect | Claude / Codex (정액제) | 작업 쪼개기, 검증, 통합 |
Developer | 로컬 LLM (Ollama / LM Studio / Ollama Cloud) | 실제 코드 짜기, 자체 리뷰 |
Reviewer | Architect (같은 세션) | 최종 판정 |
쉽게 말하면 "무거운 코드 작성은 로컬 LLM 한테 시키고, 정액제 모델은 머리 쓰는 부분(쪼개기·검증)에만 쓰는" 구조예요. 정액제 한도 닳는 속도가 줄어들고, 동시에 로컬 LLM 단독으로는 부족한 컨텍스트를 정액제 모델이 보완해주니까 결과 품질도 같이 올라갈 수 있습니다.
정량 측정한 부분
mid-size 로컬 LLM 단독으로 돌렸을 때 vs Architect 가 컨텍스트 정리해서 넘긴 후 비교에서 +0.58 ~ +0.64 (3개 모델 검증). 같은 로컬 LLM 인데 컨텍스트 잘 정리해서 넘기면 결과가 의미 있게 좋아진다는 뜻입니다. 다만 이 측정은 "현실에서 자주 나오는 작업 시나리오를 제가 미리 만들어둔 테스트 셋" 위에서 한 거라, 여러분이 실제로 쓰시는 워크플로우에서도 똑같이 나올지는 별개의 문제예요.
한도 절약은 얼마나 되나
이 부분 솔직히 말씀드리면 - Anthropic / OpenAI 한도 계산식이 비공개라 "X% 절약" 같은 숫자는 못 드립니다. "그냥 쓰는 것보다는 낫다" 정도로 봐주시면 되고, 실사용으로 확인 추천드립니다. 실제 v0.2.0 이후 코드는 dogfooding으로 개발했는데 v0.2.0 ~ v0.5.0 사이에 체감할 정도로 사용량이 늘지 않긴 했습니다(파이썬이라 그럴 수도 있어요. 이건 다른 프로젝트에 좀 더 테스트 해볼게요!)
한국어 지원
Kiwi 형태소 분석기랑 여러가지를 좀 붙여뒀어요. 이미 secall에서 만들어둔게 있어 활용했습니다. ㅎㅎ 과거 작업 검색할 때 한국어 쿼리도 형태소 단위로 인덱싱됩니다. 다만 Kiwi 가 못 처리하는 신조어·전문용어는 검색 품질에 영향 줄 수 있어요.
5분 설치 (요약)
터미널 에이전트 켜시고 세션에서 한 줄 던지시면 끝납니다:
https://github.com/hang-in/tunaLlama 의 INSTALL.md 따라 설치해줘
ollama cloud쓰시는 분들은 미리 api키만 준비시면되구요(추천드립니다 3만원의 행복 수준입니다) 이후엔 에이전트가 알아서 의존성 깔고, .env 설정하고, 플러그인 등록하고, 검증까지 단계별로 진행합니다. 로컬에서 ollama나 lmstudio로 gemma4, qwen3.6 같은거 쓰시는 분들은 그냥 터미널에이전트가 알아서 할거에요.
클로드코드는 설치되면 새로 시작하시거나 /plugin-reload하시면 되고,
코덱스는 /plugin 하셔서 한번 설치해주셔야 할겁니다 😁
또는 완전 수동 설치 원하시면 README 참고.
한계
production v0.5.0 이지만, 일상 작업 실측 데이터는 아직 쌓는 중입니다.
한도 절약은 체감 데이터 (위 언급)
로컬 LLM 환경 (Ollama 등) 없으면 작동 안 함(27b ~ over 32b추천, 올라마 클라우드 쓰시면 kimi나 glm쓰시면 더 좋아요)
MCP 도구 description 13 개가 매 conversation system prompt 에 약 1,633 토큰 정도 추가됨. 이 비용은 품질에 관련된 부분이니 감수해야 하는 부분(하지만 클로드코드/코덱스로 모두 하는 것보다 훨씬 저렴(?)합니다)
누가 쓰면 도움 될 만한가
마무리
대단한 도구는 아닙니다. 제가 쓰려고 만들었고, 몇몇 비슷한 상황에 계신 앙님들 있으시면 같이 쓰자는 정도예요. 다른데 홍보하거나 할 의도도 전혀 없구요. 제가 다모앙에서 할 수 있는 일이 미약하나마 이런 것 밖에 없습니다. 😁 MIT 라이선스니까 포크하셔서 본인 워크플로우에 맞게 고쳐쓰셔도 됩니다. 피드백·이슈·PR·스타(⭐️) 모두 환영합니다. 기능 추가나 수정, 원하시는 mcp추가 같은거 있음 댓글, 이슈로 편하게 말씀해주세요! 🥕🥕🥕
