저희회사는 최근에 외부ai를 도입하긴했는데... 이게 엄청 비싸더군요.
개인용은 1주일마다 초기화 되잖아요. 기업은 그딴거 없더라구요 ㅎㅎ
거의 API를 쓰는 비용가 별 차이없는;
그래서 이것도 꽤나 사용량 제한을 걸어두고 있습니다.
사내용으로 오픈모델을 서비스하고있긴한데...겁나 느리고 사용자 좀 몰리면 더 느려집니다.
그나마 토큰 제한은 없어서 간단하게 쓰는사람들은 있었고요.
그 와중에 사내용 LLM에다가도 토큰 제한 걸겠다고....ㅋㅋㅋㅋㅋ
그냥 몇몇 헤비유저들만 거르면 될꺼 같은데, 그 헤비유저들은
'이런거 해야되니 토큰 제한 풀어주세요' 이렇게 결재올릴꺼고
당연히 오케이 떨어지겠죠. 그러면 여전히 사내 LLM서빙은 느릴테고요.
뭔가 성능좋은 LLM 을 다 풀어준다고 하면... 이런저런 agent 개발같은거 해보고 싶은데 말이죠.
현실은 시궁창이라 ㅋ (agent개발이 막혀있습니다. llm endpoint를 개방안해놔서...)
