AI PoC 성공 기준, 정식 도입 전에 무엇을 확인해야 할까?

안녕하세요. 사랑받는 IT 프로덕트의 첫걸음, 똑똑한개발자입니다.

오늘의 인사이트 요약

• AI가 만든 결과뿐 아니라, 사람이 검토하고 수정하는 시간까지 확인해야 합니다.

• 자주 들어오는 업무와 까다로운 예외를 나눠 테스트해야 합니다.

• PoC를 마칠 때는 확대할 범위와 보완할 조건이 남아야 합니다.

AI가 회의록을 정리하고 고객 문의에 답변을 만들며 견적서 초안까지 작성합니다. 시연만 보면 우리 회사에서도 당장 쓸 수 있을 것 같습니다.

그런데 막상 정식 도입을 결정하려면 질문이 남습니다. 담당자가 매번 고쳐야 한다면 얼마나 편해지는 걸까요? 테스트 때 쓰던 자료가 바뀌어도 같은 품질이 나올까요?

AI PoC(개념 검증)는 이런 질문을 작은 범위에서 확인하는 과정입니다.

도입 담당자라면 개발에 들어가기 전에 ‘어떤 결과가 나오면 다음 단계로 갈지’를 현업과 개발팀이 함께 정해두시길 권장하는데요, 이번 글에서는 고객 문의 답변 초안을 만드는 AI를 가상의 예로 들어 PoC에서 확인할 항목을 살펴보도록 하겠습니다!

1. ‘답변 생성’에서 어디까지를 성공으로 볼까요?

고객 문의에 답변이 나온다고 해서 업무에 쓸 수 있는 것은 아닙니다. 문장은 자연스러운데 지난달 환불 규정을 안내하거나 확인되지 않은 배송일을 약속할 수도 있습니다.

테스트 전에 답변에 꼭 들어가야 할 정보와 해서는 안 되는 행동부터 적어보세요.

고객 문의 초안이라면 최신 운영 정책을 참고했는지, 주문 정보를 확인할 수 없을 때 추측하지 않는지, 담당자 확인이 필요한 문의를 구분하는지가 평가 항목이 됩니다.

Anthropic도 AI 에이전트를 평가할 때는 입력과 성공 조건을 명확히 정의하고, 에이전트의 말뿐 아니라 실제로 만들어진 결과를 확인하라고 설명합니다. (Anthropic의 AI 에이전트 평가 안내)

성공 조건은 AI에게 맡길 역할에 따라 달라지는데요. 담당자가 검토할 초안을 만드는 AI와 고객에게 바로 답변을 보내는 AI를 같은 기준으로 통과시킬 수는 없습니다. 이번 PoC가 어디까지 확인하는 실험인지 먼저 좁혀두면 평가 기준도 분명해집니다.

2. 검토하고 고치는 시간까지 줄었나요?

AI가 초안을 빠르게 만들어도 담당자가 근거를 찾고 문장을 고치는 데 오래 걸리면 기대한 만큼 일이 줄지 않을 수 있습니다. 그래서 생성 속도와 함께, 담당자가 답변을 보내기까지 들이는 시간을 비교해야 합니다.

가령 기존에는 문의 한 건을 처리하는 데 10분이 걸렸다고 가정해보겠습니다. AI 도입 후 자료를 입력하는 데 2분, 생성에 1분, 확인과 수정에 6분이 든다면 전체 처리 시간은 9분입니다. 생성 시간만 보면 빨라 보이지만, 실제로 줄어든 시간은 1분입니다. 설명을 위한 가정이며 특정 프로젝트의 성과는 아닙니다.

평가할 때는 비슷한 난이도의 문의를 놓고 기존 방식과 AI를 사용하는 방식을 비교해보세요.

처리 시간과 함께 그대로 활용한 초안, 일부 수정한 초안, 처음부터 다시 쓴 초안을 구분해 기록하면 도움이 됩니다. 어떤 문의에서 효과가 나는지 알아야 다음에 자동화할 범위를 정할 수 있습니다.

시간이 줄었다고 그만큼 인건비가 바로 절감되는 것은 아닙니다. 확보한 시간에 밀린 문의를 처리할지, 복잡한 고객 상담에 집중할지도 함께 정해야 도입 효과를 설명할 수 있습니다.

3. 익숙한 질문 밖에서도 제대로 작동하나요?

PoC에 사용할 자료를 고를 때는 실제로 자주 들어오는 문의부터 모으되, 담당자가 답하기 어려웠던 문의도 별도로 포함하는 편이 좋습니다. 개발 과정에서 계속 확인한 예시만으로 평가하면 새로운 문의에 대응할 수 있는지 알기 어렵기 때문입니다.

고객 문의 초안이라면 다음처럼 나눠볼 수 있습니다.

전체 평균만 보면 특정 유형의 문제가 가려질 수 있습니다. 배송 안내는 잘하지만 환불 예외 요청에서 자주 틀린다면, 배송 문의부터 적용하고 환불 관련 업무는 사람이 맡도록 범위를 나누는 판단이 가능합니다.

또 한 번 잘 답했다고 평가를 끝내기보다 중요한 사례는 반복해서 확인하는 편이 좋습니다. AI는 같은 입력에도 결과가 달라질 수 있어, Anthropic 역시 여러 차례 시도를 통한 평가를 설명하고 있습니다.

4. 실제 운영에 필요한 조건도 확인했나요?

테스트에서는 담당자가 자료를 골라 올릴 수 있습니다. 정식 서비스에서는 정책 문서가 바뀔 때 이를 가져오는 방법, 직원별로 볼 수 있는 정보, 연결이 끊겼을 때의 대응까지 필요합니다.

PoC에서 이 기능을 전부 개발할 필요는 없습니다.

다만 정식 도입에 필요한데 아직 확인하지 못한 조건은 남겨야 합니다. 예를 들어 테스트용 문서로 답변 품질을 확인했다면, ‘최신 정책을 자동으로 가져올 수 있는가’는 별도의 확인 항목입니다.

비용도 같은 방식으로 살펴보세요. AI 사용료에 더해 자료를 정리하는 작업, 시스템 연동, 오류 확인과 유지보수에 필요한 비용을 구분해야 합니다. 사용량이 늘 때 어떤 비용이 함께 늘어나는지 알아야 작은 테스트 결과를 바탕으로 운영 예산을 잡을 수 있습니다.

5. PoC가 끝나면 다음 결정을 내릴 수 있어야 합니다

결과 보고서에는 성공 여부와 함께 적용할 업무, 제외할 업무, 추가로 확인할 조건이 담겨야 합니다.

예를 들어 배송 문의 초안은 제한된 담당자에게 먼저 적용하고, 환불 예외 문의는 정책을 더 정리한 뒤 재평가하는 식입니다.

기대했던 효과가 작다면 그 이유도 구분해야 합니다. 답변 품질이 부족한지, 자료를 준비하는 데 시간이 드는지, 처리 건수가 적어 도입 효과가 크지 않은지에 따라 다음 선택이 달라집니다. 확인한 결과를 근거로 범위를 줄이거나 도입을 보류하는 것도 PoC가 줄 수 있는 유용한 결론입니다.

시작 전에 평가 항목, 측정 방법, 통과 조건, 확인할 담당자를 한 장으로 정리해보세요. 테스트를 끝낸 뒤 기준을 정하는 상황을 줄이고, 현업과 개발팀이 같은 결과를 놓고 이야기하는 데 도움이 됩니다.

저희 똑똑한개발자는 업무 분석과 AX 전략 수립부터 PoC, 시스템 개발과 운영 개선까지 하나의 팀에서 진행합니다.

반복적으로 시간이 드는 업무를 작은 범위에서 검증하고, 확인한 결과를 다음 개발 범위에 반영하는 방식을 제안합니다.

우리 회사에서 AI로 줄이고 싶은 업무가 있다면, 현재 처리 방식과 담당자가 가장 오래 붙잡고 있는 작업부터 정리해보세요!

아래 링크로 편하게 문의주세요. :)