AI 상담 완결률 60%에서 80%로.
CHIC의 개선 루프

CHIC은 회원 간 거래·위탁·매입이 얽힌 중고명품 플랫폼입니다. 문의 하나에 거래 상태, 정산, 정책이 동시에 걸려 있어 답변형 챗봇으로는 처리할 수 있는 범위가 좁았습니다. Kai 도입 첫 달, 상담사 이관 없이 AI가 끝낸 비율은 60%였습니다.

1. 완결되지 않은 40%를 먼저 읽었습니다

개선은 지침을 고치는 것이 아니라, 미완결 대화를 읽는 것에서 시작합니다. FDE가 이관된 대화를 원인별로 나눴더니 세 가지로 모였습니다.

• 도구가 없어서: 위탁 상품의 검수 단계를 조회할 API가 연결되지 않음
• 지침이 모호해서: 거래 변경 정책의 예외 조건이 문서에 흩어져 있음
• 원래 사람이 할 일이라서: 하자 클레임처럼 판단이 필요한 건

2. 도구를 늘리고, 지침을 한곳에 모았습니다

검수·정산 조회 도구를 추가 연결하고, 흩어져 있던 거래 변경 정책을 하나의 지침 문서로 정리했습니다. 변경은 모두 버전으로 관리하고, 배포 전에 테스트셋을 통과해야 반영되도록 했습니다.

3. 리뷰가 다음 테스트가 됩니다

운영 중 발견된 오답은 리뷰에서 원인을 기록하고, 그 대화를 그대로 테스트셋에 추가합니다. 한 번 틀린 유형은 다음 버전에서 반드시 검증되기 때문에, 같은 오류가 다시 배포되지 않습니다.

완결률은 기능이 아니라 운영의 결과입니다. 루프가 돌수록 AI가 끝내는 범위가 넓어집니다.

4. 결과

• AI 완결률 60% → 80% 이상을 향해 성장 중
• 운영 비용 70% 감소, 엔드유저 만족도 74%
• 한·영·일 3개 국어 동일 품질 응대, 2년차 계약 갱신