여기서는 지난 글에 이어서 실제로 기업들이 AI 앱이나 서비스를 도입하는 절차가 어떻게 되고 그 과정에서 어떤 어려움들이 있는지를 알아보겠습니다.

기업 내의 세일즈나 마케팅 부서의 실무 담당자는 아래와 같은 니즈가 있을 수 있습니다.

이러한 실무 담당자의 필요나 요청에 의해 AI 앱 또는 AI 서비스를 도입하려고 할 때, 일반적인 기업들에서 일어나는 업무 처리 흐름과 각 조직별 역할은 아래 그림과 많이 다르지 않을 것입니다.

실제 개발을 시작하기까지도 적지 않은 시간이 소요될 뿐 아니라 실무자 입장에서 수 개월 후에 확인한 결과물이 만족스럽지 못한 경우도 상당히 많습니다.

도대체 AI 도입은 왜 이렇게 오래 걸리고 결과도 실망스러울까요?

AI 어플리케이션의 개발이나 서비스 도입을 위해서는 비정형 데이터에 대한 처리와 분석이 필수적입니다. 오늘날 기업 데이터의 90% 이상이 비정형 데이터인 것으로 추정되기 때문입니다. 그러나 대부분의 조직에게 텍스트, 오디오, 비디오, 센서 및 기타 형식의 데이터는 활용하기 어려운 존재입니다. 파운드리의 조사에 따르면 IT 리더의 61%가 비정형 데이터 관리가 조직에게 골칫거리라고 답했으며, 24%는 비정형 데이터를 분석 목록에 올리지도 않는다고 답했습니다.

이러한 비정형 데이터 분석을 위하여 필요한 수집 및 사전 처리를 위한 도구들은 아래 그림과 같이 매우 다양합니다.

기존 방식의 경우 이러한 도구들 중에서 필요한 것들을 선정하여 설치/실행하고 데이터를 연결하여 파이프라인을 구축해야 합니다. 각 도구별로 전문가가 필요하고 그것들의 유기적인 연계와 구축된 파이프라인의 관리도 굉장히 어려운 작업입니다. 또한 많은 기업들은 정형 데이터 처리를 위해 구축된 기존 데이터 파이프라인을 보유하고 있는데, 새롭게 구축되는 비정형 데이터 파이프라인과는 어떻게 통합할지도 고민해야 합니다.

최근 많은 기업들이 LLM을 기반으로 하는 서비스를 도입하는 추세인데, 이러한 비정형 데이터의 수집 및 사전 처리가 LLM 아키텍처를 프로토타입에서 실행이나 운영 레벨로 옮기는데 심각한 병목 현상을 일으키고 있습니다.

LLM 기반의 AI 서비스를 위해서는 비정형 데이터를 LLM에 적합한 형태로 변환하고 추론 시점에 모델이 필요한 데이터를 잘 찾을 수 있도록 사전 처리를 잘하는 것이 중요하기 때문입니다.