클라우드 AI란 무엇이고, 우리 회사에 꼭 필요합니까

AI를 업무에 쓰기로 정하고 나면 곧바로 다음 질문이 옵니다. 장비를 사야 하는가, 아니면 어딘가에 있는 것을 빌려 쓰면 되는가입니다. 견적을 받아 보면 한쪽은 수천만 원짜리 장비 목록이 오고 다른 쪽은 사용량 단가만 적혀 와서, 같은 일을 하는 두 제안인지조차 분간이 어렵습니다.

이 글은 그 갈림길을 정리합니다. 클라우드 AI가 무엇을 뜻하는지, 자체 구축과 무엇이 다른지, 그리고 어느 쪽이 지금 상황에 맞는지 판단하는 기준까지입니다.

클라우드 AI란 무엇인가

클라우드 AI는 AI 모델을 회사 안 장비에 두지 않고, 클라우드 사업자가 제공하는 서비스로 불러 쓰는 방식입니다. 요약하면 세 가지 성질을 갖습니다.

• 장비를 사지 않습니다. 모델을 돌리는 연산 장비는 사업자가 갖고 있고, 회사는 그것을 쓴 만큼 요금을 냅니다.
• 모델을 직접 만들지 않습니다. 이미 학습이 끝난 모델을 호출해 씁니다. 무엇을 시킬지는 요청을 어떻게 구성하는가로 정합니다.
• 인터넷 너머로 요청과 응답이 오갑니다. 이 성질이 뒤에 나올 데이터 경계 논의의 출발점입니다.

여기서 자주 섞이는 두 가지를 먼저 나누겠습니다.

“AI 도입”이라는 말이 두 가지를 모두 가리키기 때문에 견적이 크게 달라집니다. 문서를 요약하고, 문의를 분류하고, 사내 자료에서 답을 찾는 일은 전자만으로 처리됩니다.

자체 구축과 무엇이 다른가

두 방식은 비용이 발생하는 시점과 관리 책임이 놓이는 위치가 다릅니다.

대부분의 중소·중견기업 업무에서는 호출 방식이 먼저입니다. 이유는 비용보다 판단 때문입니다. 자체 구축은 장비를 먼저 사고 그다음에 무엇을 시킬지 정하게 되는데, 그 순서에서는 효과가 없었을 때 되돌릴 방법이 없습니다.

자체 구축이 합리적인 조건도 분명히 있습니다. 규제나 계약으로 데이터가 외부로 나갈 수 없거나, 사용량이 매우 크고 안정적이어서 고정비가 오히려 싸지는 경우입니다. 다만 이 판단은 실제 사용량을 몇 달 관찰한 뒤에 할 수 있는 것이지 시작 시점에 할 수 있는 것이 아닙니다.

데이터는 어디까지 나가는가

이 방식에서 가장 중요한 확인 항목입니다. 요청과 응답이 인터넷 너머로 오간다는 것은 어떤 데이터를 보내는지가 회사의 선택이라는 뜻이기도 합니다.

확인할 것은 네 가지입니다.

1. 보내는 데이터에 무엇이 들어 있는가. 고객 이름·연락처·계약 조건이 포함되는지 먼저 봅니다. 필요 없는 항목은 보내기 전에 제거하는 것이 가장 확실한 통제입니다.
2. 그 데이터가 모델 학습에 쓰이는가. 기업용으로 제공되는 형태에서는 학습에 사용하지 않는 것이 기본인 경우가 많지만, 사업자 문서에서 직접 확인하십시오.
3. 어디에 얼마나 저장되는가. 저장 위치와 보관 기간이 내부 규정과 맞는지 봅니다.
4. 우리 쪽 기록에 원문이 남는가. 사업자 정책과 별개로, 우리가 만든 시스템의 로그에 원문이 그대로 쌓이면 그것도 관리 대상입니다.

AWS 책임 공유 모델이 정의하듯, 기반 시설의 보안은 사업자 몫이고 무엇을 보내고 누구에게 열어 줄지는 고객 몫입니다. 이 경계를 알고 나면 보안 검토가 막연한 불안에서 확인 가능한 목록으로 바뀝니다.

사내 자료를 다루는 시스템에서 접근 권한을 어떻게 설계하는지는 AI 챗봇에 사내 자료를 붙일 때의 데이터 준비와 권한 설계에서 따로 다룹니다.

사내 자료를 읽게 하려면 학습이 필요한가

필요하지 않은 경우가 대부분입니다. 널리 쓰이는 방식은 질문이 들어올 때 사내 자료에서 관련 부분을 찾아 모델에게 함께 건네는 것입니다. 자료가 바뀌어도 다시 학습시킬 필요가 없어 관리가 단순합니다.

모델 자체를 다시 학습시키는 방식과의 차이, 그리고 어느 쪽을 언제 고르는지는 RAG와 파인튜닝의 차이에서 정리했습니다.

어느 쪽이 맞는지 판단하는 기준

아래 질문에 답해 보시면 대체로 방향이 정해집니다. 어느 업체와 이야기하시더라도 같은 질문이 유효합니다.

1. AI에 보낼 데이터에 외부로 나갈 수 없는 항목이 있습니까. 있다면 그 항목을 제거하고도 목적이 달성되는지 먼저 봅니다. 제거할 수 없다면 그때 자체 구축 검토가 시작됩니다.
2. 처리량이 얼마나 됩니까. 하루 몇 건인지 대략이라도 세어 보십시오. 세어 본 적이 없다면 그 자체가 아직 자체 구축 단계가 아니라는 신호입니다.
3. 효과를 어떻게 확인할 계획입니까. 줄어들 시간이나 건수를 미리 정해 두지 않으면 도입 후 판단할 기준이 없습니다.
4. 무엇부터 시작합니까. 반복 횟수가 많고 판단 기준이 명확한 일 하나를 고릅니다. 그 하나가 되면 다음이 쉬워집니다.

도입 순서 전반은 기업이 AI를 도입할 때의 순서에서 단계별로 정리했습니다.

정리

• 클라우드 AI는 장비를 사지 않고 학습된 모델을 호출해 쓰는 방식입니다. 모델을 직접 만드는 일과는 다릅니다.
• 대부분의 업무 자동화는 호출만으로 처리되며, 자체 구축이 필요한 조건은 데이터 제약이나 큰 사용량처럼 분명한 이유가 있을 때입니다.
• 이 방식의 핵심 확인 항목은 성능이 아니라 데이터가 어디까지 나가고 어떻게 취급되는가입니다.
• 판단이 서지 않을 때는 장비 견적을 비교하기 전에 무엇을 시킬 것인지 하나를 정하는 쪽이 빠릅니다.

지금 상태에서 무엇부터 볼지 정리가 필요하시면 AI 준비도 자가 진단으로 몇 분 안에 현재 위치를 확인하실 수 있습니다.

참고 자료

• AWS — 클라우드 컴퓨팅이란
• Amazon Bedrock — 데이터 보호
• AWS 책임 공유 모델
• 개인정보보호위원회 — 인공지능 개인정보보호 안내