모티프랑 엑사원이 14일까진가 채팅을 오픈했길래 방금 써 봤습니다. 둘 다 매우 실망스럽네요. 내 세금 ㅜ.ㅜ
예를 들어 내가 이번 토욜 아침 9시까지 A 역에 도착해야 해. B 역에서 몇 시 차를 타야할까? 이런 질문을 하면
엑사원은 매우 매우 신중한 건지 오랫동안 답을 못 냅니다. 서버가 느려서 그런가 깊어서 생각 과정까지 봤는데 사고 과정 자체가 뭔가 비어 있네요.
모티프는 빨라요. A 에서 B 까지는 51분 걸리니까 8시9분 차를 타면 된다고 답합니다. 물론 기대했던 답변이 아닙니다.
같은 질문을 ChatGPT 에게 물으면 주말 지하철 시간표로 해당 방향 열차 시간 찾아서 정확하게 알려주고요.
이 외에도 좀 Technical 한 부분으로 논문도 물었는데 둘 다 제법 답은 합니다만 ChatGPT 가 박사과정 또는 교수님이 답한 느낌이라면 이건 석사 신입생이 답한 느낌. 제대로 이해는 한 걸까. 엑사원은 너무너무 느리고요. (서버가 느린 거겠죠?) 내용도 그다지....
모티프는 약어도 엉뚱한 걸로 풀어서 설명하더라고요. 다시 물어도 자기가 틀린 걸 몰라요. 제가 제대로 약어 풀어서 알려주니 그제서야 맞다고 인정.
외국 모델 쓸 수 없는 관공서나 공기관 등에서 쓰기야 하겠지만 아직 갈 길이 멀고 멀고 머네요. 다른 모델들은 안 써봐서 모르겠습니다. 체감으로는 한 2년 정도 뒤쳐져 보이네요. (물론 벤치마크 점수로는 좋게 나옵니다.)
▶ 원문 출처: https://chat.motiftech.io/chat
▶ 원문 출처: https://k.exaone.ai/
