AI당에 1.0베타 7인가를 마지막 으로 올리고..
이제 3.0베타 2의 꼬릿표를 달고 있습니다.
3.0에서 RAG(FTS5 + Vector) 컨텍스트를 도입해서 기능이 많이 좋아졌습니다.
만들어 놓은 여러 앱중 자주 함께하는 앱이라 계속 개선을 시키고 있군요!
최근 체인지로그 중 하이라이트를 추려봅니다.
🔍 FTS5 + Vector DB 도입
기본 히스토리나 컨텍스트 윈도우의 제한을 넘어, 매우 효율적으로 문맥과 배경 정보를 지속 관리합니다.
서버 관리창에서 임베딩 모델을 설치하고, 채팅창 설정에서 해당 기능을 활성화해야 사용할 수 있습니다.
🧠 망각 기능 도입
오래된 단편적인 기억은 점수에 따라 자동으로 망각 처리됩니다.
불필요한 대화 기록을 데이터베이스에서 제거하는 것이 목적이며, 서버 관리창에서 각 사용자 계정별로 망각까지 걸리는 기간을 설정할 수 있습니다.
1. 사용자 경험 및 기능 개선
User Profile Facts (MCP 도구) 도입: 사용자 관련 기억을 체계적으로 관리하여 더욱 개인화된 응답을 제공합니다.
LM Studio 모드 강화: LLM 모델의 로드(Loaded) 상태 표시 및 언로드(Unload) 버튼 기능을 지원합니다.
TTS 재생 최적화: 텍스트 음성 변환 재생 성능이 개선되었습니다.
iOS PWA 화면 꺼짐 방지: 최신 코드로 변경해서 화면 꺼짐을 방지합니다. 그러나.. 아예 안꺼지는 거 같습니다...
iOS PWA 마이크 인디게이터 표시 버그: 마이크 사용후 마이크 사용중 표시가 꺼지지 않습니다. iOS PWA앱 버그로 보입니다.
2. 성능 및 리소스 최적화 (Web Client Diet)
실시간 동기화 방식 변경: 성능 부하가 큰 전체 채팅창 실시간 델타 동기화를 제거했습니다.
액티브 창: 실시간 델타 스트리밍 수신
패시브 창: 응답 완료 후 데이터 일괄 수신
서버 신호 체계: 처리 중인 작업에 대해 서버가 중앙에서 신호를 발생시키도록 개선되었습니다.
코드 및 DB 정리: 데드코드를 제거하고, SQLite 최적화 및 불필요한 테이블 드랍(서버 실행 시 자동 정리)을 진행했습니다.
3. LLM 설정 및 파라미터 변경
Max Tokens 정책 변경: 사용자가 직접 지정할 수 없으며, 사용하는 LLM 런타임의 기본값을 따릅니다.
Temperature 설정 유연화: 값을 전송하지 않도록 설정하여 모델의 기본값을 그대로 사용할 수 있습니다.
RAG(FTS5 + Vector) 컨텍스트 개선: 모드에서도 1턴의 상세 내용과 4턴의 축약 히스토리를 함께 전송하여 답변의 맥락을 강화했습니다.
도구 사용(Tool Use) 제어: OpenAI 호환 모드 또는 MCP 사용이 비활성화된 경우, 모델이 도구 사용을 시도하지 않도록 차단했습니다.
4. 시스템 및 저장소
구조 변경: 환경설정 및 파일 저장소 구조가 새롭게 변경되었습니다.
데이터 마이그레이션: 업데이트 버젼을 최초 실행시 기존 구조가 새 시스템과 호환되지 않을 경우, 자동으로 마이그레이션 안내 창이 표시됩니다.
https://github.com/DINKIssTyle/DINKIssTyle-Local-LLM-Gateway-with-TTS/releases
부족하지만..
AI 연구하시는 분들 구조 구경하실 분들에게도 도움이 되길 바랍니다.
