AI PoC 결과로 본 도입 여부를 어떻게 판정합니까?

시연이 잘 된 것과 운영할 수 있는 것은 다릅니다

시험 도입(PoC)은 대개 고른 표본과 짧은 기간, 의욕 있는 소수 사용자로 진행됩니다. 그래서 시연 반응이 좋아도 운영에서 마주칠 입력의 다양성, 호출량, 실패 처리, 책임 소재는 아직 검증되지 않은 경우가 많습니다. 판정 회의에서는 무엇을 확인했는가와 무엇이 아직 비어 있는가를 나눠 봐야 합니다.

PoC가 본 도입으로 이어지지 못하는 흔한 경로는 두 가지입니다. 하나는 성공 기준이 없어 판정 자체를 미루는 것이고, 다른 하나는 시연 반응만 보고 넘겼다가 운영에서 오답 처리와 비용 문제가 한꺼번에 드러나는 것입니다. 앞의 경우는 결정이 늦어지는 동안 관심이 식고, 뒤의 경우는 사용자의 신뢰를 잃은 뒤에야 문제를 고치게 됩니다.

AWS Well-Architected 생성형 AI 렌즈도 생성형 AI 워크로드를 범위 설정, 모델 선택, 맞춤화, 개발, 배포, 지속 개선의 수명주기로 보고 단계마다 점검하도록 제시합니다. 대부분의 PoC는 그중 앞부분만 확인한 상태입니다.

판정 기준 다섯 가지

평가 세트 성적. 기준이 미리 정해져 있지 않았다면, 판정 전에 지금이라도 기준을 문장으로 적고 같은 평가 세트로 다시 재는 편이 낫습니다. 결과를 보고 나서 기준을 정하면 어떤 결과든 성공처럼 보이기 쉽습니다. Anthropic도 성공 기준을 구체적이고 측정 가능하게, 업무 목적과 맞게 먼저 정하라고 권합니다.

기존 방식 대비 효과. AI 단독 성적이 아니라 기존 방식과의 차이를 묻습니다. 사람도 일정 비율로 실수하는 업무라면 AI의 오류만 보고 판단해서는 안 되고, 반대로 사람이 거의 틀리지 않는 업무라면 AI 성적이 높아 보여도 이득이 작을 수 있습니다. 비교는 같은 입력으로 해야 공정합니다. 사람에게는 쉬운 건을, AI에게는 어려운 건을 맡긴 결과를 나란히 놓으면 판단이 틀어집니다.

실패 처리. PoC에서 가장 자주 비어 있는 칸입니다. 시연에서는 틀린 결과를 개발자가 그 자리에서 설명하고 넘어가지만, 운영에서는 누가 그 결과를 발견하고 어떻게 바로잡는지가 정해져 있어야 합니다. 사람이 모든 결과를 검토해야 한다면 그 검토 시간까지 포함해 효과를 다시 계산합니다. 검토 시간이 절감 시간보다 크면 자동화가 아니라 일을 하나 더 만든 것입니다.

운영 규모 비용. PoC 기간의 청구액을 그대로 늘려서는 알 수 없습니다. 생성형 AI 요금은 대개 입력·출력 길이(토큰)와 호출 수로 정해지므로, 실제 업무량과 문서 길이, 재시도와 긴 대화를 반영해 다시 계산하고, 예상을 넘을 때 멈추는 지출 상한을 어디에 둘지까지 정합니다.

운영 책임. 사람의 이름으로 적습니다. 품질이 떨어졌을 때 누가 원인을 보고, 모델이 지원 종료되면 누가 교체를 맡고, 비용이 늘면 누가 판단하는지가 정해지지 않으면 도입 뒤 몇 달 안에 아무도 손대지 않는 기능이 됩니다. 재평가 주기도 함께 정합니다. 모델이나 업무가 바뀌면 같은 성적이 유지된다는 보장이 없기 때문입니다.

넘기기, 고치기, 멈추기

「범위를 정해 넘긴다」는 것은 한 부서, 일부 문의 유형, 사람 검토를 거치는 방식처럼 작게 시작해 운영 지표를 보며 넓힌다는 뜻입니다. 넓힐 때마다 같은 평가 세트와 운영 지표로 다시 판정합니다.

성적이 기준에 못 미쳤을 때 곧바로 모델을 바꾸기보다 원인을 먼저 가르는 것이 좋습니다. 문서 검색형이라면 검색이 근거를 못 찾은 것인지, 찾았는데 잘못 답한 것인지에 따라 고칠 곳이 다릅니다. 데이터 자체가 없거나 정리되지 않은 상태라면 그 정리가 먼저이고, 그동안 PoC는 멈추는 편이 낫습니다. 멈추는 것도 PoC의 정상적인 결론입니다. 멈춘 이유를 기록해 두면 다음 시도의 출발점이 됩니다.

판정 회의에 가져갈 것

• 시작 전에 적은 성공 기준과 중단 조건
• 실제 입력 표본으로 만든 평가 세트와 결과
• 기존 방식과 같은 입력으로 비교한 결과
• 틀린 결과의 유형과 그것을 거르는 절차
• 운영 호출량 기준의 비용 추정과 지출 상한 위치
• 운영 책임자, 재평가 주기, 모델 교체 때의 절차
• 고객에게 노출되는 기능이라면 고지·표시와 개인정보 검토 결과

고객에게 노출되는 기능이라면 판정 항목이 하나 더 붙습니다. 인공지능기본법상 생성형 AI 서비스를 제공하는 사업자는 이용자에게 미리 알리고 결과물에 AI 생성 사실을 표시해야 하고, 개인정보가 들어간다면 처리 목적과 외부 모델의 학습·보관 조건, 국외 이전 여부를 확인해야 합니다. 내부 사용자만 쓰던 PoC에서는 드러나지 않던 요건이 본 도입에서 한꺼번에 생기므로, 판정 전에 담당 부서의 검토를 받아 두면 일정이 덜 흔들립니다.

판정 회의의 결론은 세 가지 중 하나로 문서에 남깁니다. 넘긴다면 범위와 다음 판정 시점을, 고친다면 무엇을 고쳐 언제 다시 볼지를, 멈춘다면 그 이유와 다시 시작할 조건을 적습니다. 빌드업웍스가 업무 시스템 개발을 맡을 때도 완료 판정 기준을 착수 전에 먼저 합의합니다. 기준이 결과보다 먼저 있어야 결과를 놓고 논쟁하지 않고 결정할 수 있습니다.

참고 자료

• AWS Well-Architected — Generative AI Lens
• Anthropic — Define success criteria and build evaluations
• NIST AI 600-1 — Generative AI Profile