[컴퓨터월드] BI(Business Intelligence) 분야에서도 인공지능(AI) 기술을 통한 변화가 관심을 불러일으키고 있다. AI의 도입으로 BI는 보다 많은 데이터에서 보다 빠르게 필요한 정보를 추출해낼 수 있게 됐다. 일각에서는 BI 분야에 적용된 AI가 그다지 새로운 것이 아니라고 반박하지만, 그 와중에도 과거에 불가능했던 AI 기술 적용이 가능해졌다는 점에 대해서는 한목소리를 내고 있다.

현재 BI 분야에서 가장 큰 주목을 받고 있는 것은 바로 셀프서비스(Self-Service) 개념을 적용한 제품들이다. 이는 현업 비즈니스 조직이 직접 데이터를 분석해 의미 있는 정보를 추출함으로써, IT 조직과의 마찰을 최소화하고 분석 결과를 만드는 데에 소요되는 시간을 최소화 할 수 있기 때문이다.

AI, 데이터 분석의 편의성을 더하다
활용 가능한 데이터가 나날이 증가하는 상황이 모든 기업 구성원들에게 긍정적인 것은 아니다. 특히 초 단위로 생성되는 데이터를 수집해 저장하고 이를 분석함으로써 신속하게 비즈니스 인사이트를 도출해내야 하는 IT 조직에게 있어서 빅데이터 시대의 도래가 마냥 달갑지만은 않을 것이다.

IT 조직은 범람하는 데이터에서 가치 있는 정보를 걸러내야 하며, 정보들의 집합에서 드러나는 특이사항을 정리해 C레벨이 비즈니스 의사결정에 활용할 수 있는 보고서로 구성해야 하는 것은 물론, 현업 비즈니스 조직의 까다로운 요구사항에 맞춰 필요한 데이터를 추출·정제해 비즈니스 활동에 활용할 수 있도록 지원해야 한다.

모든 산업에서 현재 AI 기술과의 결합은 최대의 이슈이다. 이는 BI 업계에서도 마찬가지다. 특히 폭발적으로 생산되는 데이터에서 가치 있는 정보를 걸러내는 데에는 머신러닝 알고리즘이 적지 않은 역할을 하고 있다. 시장조사기관 가트너는 자사 보고서를 통해 AI와 자연어처리(NLP) 기반의 음성인식 기능이 BI 분야의 새로운 국면을 불러올 것이라고 밝힌 바 있으며, SQL이나 코딩을 사용하지 않고도 음성을 통해 분석 명령을 내리고 AI가 분석한 러프한 형태의 분석 결과를 확인함으로써 보다 빠르고 직관적인 비즈니스 인사이트 확보가 가능할 것이라고 전망한 바 있다.

인터페이스와 사용자 편의성 측면에서도 AI는 많은 도움이 되고 있다. 가령 데이터 분석 단계에서 사용자가 필요로 하는 차트와 그래프를 추천해주는 것도 AI 기술의 활용으로 볼 수 있다. 사용자 목적에 맞춰 보고서 양식과 분석할 데이터를 추천하거나, 데이터의 성격에 따라 어떤 알고리즘이 분석에 적합한지를 파악하고 사용할 차트를 추천해주는 등 다양한 방면에서 사용자 편의성을 개선하고 있다.

데이터 정제·준비 과정에서 자동화된 알고리즘을 통해 활용 가능한 데이터를 추출해내는 것 역시 AI 기술 도입을 통해 얻을 수 있는 효과다. 특히 AI 기술 활용 전에는 데이터 전처리 과정에서 전체 분석 시간의 80%를 소요하는 경우가 흔했지만, 이를 머신러닝 기반으로 자동화함으로써 업무 능률을 상당히 향상시킬 수 있었다. AI 기술은 BI 도구에서 데이터 정제·준비를 자동화하거나 처리 패턴을 추천하는 목적으로 활용되고 있다.

한편 클릭은 AI를 일반적인 인공지능(Artificial Intelligence)이 아닌 증강지능(Augmented intelligence)이라는 새로운 언어로 정의하고 있다. 데이터 분석을 통해 확보된 결과와 머신러닝을 통해 나온 결과, 사용자의 직관에 따라 예상되는 결과를 겹쳐 가장 가능성 높은 인사이트(Sweet Spot)를 확보한다는 설명이다.

“BI 분야의 AI는 마케팅 용어에 불과”
하지만 AI가 BI 업계를 뒤집는 변화를 불러올 것이라는 것에 대해서 대부분의 BI 업체는 부정적인 의견을 내놓고 있다. 일부 AI 기술들이 BI 도구에 적용되고 있기는 하지만, BI 프로세스에서 머신러닝 알고리즘을 활용하는 것은 이미 오래전부터 가능했던 일이며 다만 AI라는 단어가 업계 전반에서 중요한 이슈로 다뤄지고 있기에 마케팅 용어로써 AI라는 명칭을 붙였을 뿐이라는 주장이다.

실제로 대용랑 데이터 처리를 위한 머신러닝 알고리즘은 오래 전부터 BI 업계에 존재해왔다. 이것이 GPU나 텐서플로우 등과 같은 분산처리를 지원할 수 있는 환경이 등장함으로써 정확도와 능률이 향상되고, 처리해야 할 데이터가 많아지면서 필요성이 증가했을 따름이다. 즉, 기존에도 존재하던 기술이 두각을 드러냈을 뿐 완전히 새로운 기술이 등장한 것은 아니라는 설명이다.

마이크로스트레티지(MSTR) 관계자는 “AI가 BI 트렌드의 한 축을 담당하고 있기는 하지만, 현실적으로 제대로 되고 있는지는 의문”이라면서, “BI 영역에서의 AI는 기업의 마케팅 목적에서 사용되는 버즈워드(buzzword)로 보이며, 이전부터 쓰던 머신러닝 기반의 고급 분석이나 인터페이스 측면에서의 편의성 향상이 한정적인 AI 적용 사례에 가깝다”고 말했다. 또 다른 업계 관계자는 BI 영역에 적용되는 AI가 단지 마케팅 용어일 뿐이라는 지적에 대해 현장에 대한 이해가 부족하기 때문이라고 단언하면서도, 다른 한편으로는 AI가 BI 분야에서 새로운 기술은 아니라는 것에는 동의하는 모습을 보였다.

한편 한 업체 대표는 AI가 마케팅 용어냐 아니냐 하는 논쟁은 전혀 중요한 것이 아니라고 일축했다. 알파고 이후 빅데이터나 AI와 같은 용어가 파괴적인 혁신을 가지고 오는 기술처럼 인식되고 있지만, 실제로 BI 솔루션 도입을 고려할만한 기업에서는 그러한 이미지에 휘둘리지 않을 것이라는 주장이다.

데이터를 준비하고 분석하고 표현함으로써 비즈니스 인사이트를 도출하는 게 BI의 역할이라면, 여기에 머신러닝에 기반해 예측분석을 할 수 있는 AI 기술이 접목된 것이다. 즉 AI는 BI의 순차적인 발전 로드맵의 한 단계를 차지하고 있을 따름이며, 마케팅 목적의 버즈 워드도 BI의 격변을 가져올 혁신적인 신기술도 아니라는 설명이다.
 

[인터뷰] “AI, 멋진 포장지로만 남지 않도록 주의해야” 조성배 연세대학교 컴퓨터과학과 교수 겸 한국BI데이터마이닝학회장  AI는 고유명사라기보다는 보통명사다. AI 안에는 굉장히 많은 것들이 포함돼 있고, 기술 수준 역시 다양하다. 일반적으로는 딥마인드와 알파고처럼 고도화된 것을 생각하지만, 그것과는 비교도 안 될 만큼 낮은 수준의 기술만으로도 AI라고 불릴 수 있다. 대부분의 BI 기업들은 새롭거나 고도화된 AI 기술을 사용하지 않는 것으로 보인다. 다만 고객들이, 시장이 AI를 원하고 있으니 전통적으로 해오던 것들에 AI라는 이름을 붙이고 있다. 물론 그들이 내세우는 기술이 AI의 스펙트럼에 포함되기는 하지만, 이것이 일반 대중들이 기대하는 만큼 고도화된 기술은 아니다. 경제적 논리를 우선하는 기업 입장에서 AI라는 포장지를 입히는 것을 나쁘다고는 할 수 없다. 하지만 단순히 AI의 이미지를 차용하는 것에 머무르지 않고, 혁신적인 AI 기술 개발을 위한 노력이나 자기만의 것을 만들고자 하는 시도가 있어야 하지 않을까. 최근 BI 기업들이 내세우는 머신러닝·딥러닝 기술들은 자사 플랫폼 안에서 해당 기술을 사용할 수 있다는 수준이지, 텐서플로우를 포함한 강력한 오픈소스 머신러닝 라이브러리에 비해서도 강력하다고 보기 어렵다. 이것은 언젠가 한계에 부딪힐 것이다. 기업이 AI를 마케팅 용어로 사용하는 것에 대해 나쁘다고는 할 수 없지만, 오래 갈 수 있는 방법은 아니라고 본다. AI를 통해 참신한 가치를 얻을 수 있을 것처럼 내세우다가, 막상 도입해서 써보니 별로 개선된 점이 없다면 장기적으로 오히려 마이너스다. 결국은 자사 BI 솔루션에 탑재된 AI가 고객에게 핵심적인 가치를 줄 수 있는 기업만이 살아남을 것이다.

의사결정 가속화하는 셀프서비스 BI
셀프서비스 BI는 크게 두 가지 목적에서 고려되고 있다. 먼저 비즈니스 의사결정의 신속성 문제다. 전통적인 BI는 비즈니스 조직이 IT 조직에게 요구사항을 제시하면, IT 조직은 요구사항을 분석하고 필요한 데이터를 선별해 분석 알고리즘을 설계하고 개발하고 테스트한다.

그러나 비즈니스 조직은 IT 조직이 다루는 데이터에 대한 이해가 부족하기에 명확한 요구사항을 제시하기 어렵고, IT 조직은 현업에 대한 이해가 부족해 비즈니스 조직이 원하는 것을 적절히 제공해주기 어렵다. 따라서 데이터 분석 보고서 하나를 완성하는 데에도 수 차례의 요구·설계·개발·테스트를 거쳐 수행착오를 거치게 되며, 최종적으로 비즈니스 조직이 만족할 만한 보고서를 만들기 위해 수 개월이 소요되곤 했다. 이러한 환경에서 데이터 기반의 비즈니스 인사이트 창출은 오히려 의사결정의 신속성을 방해하는 걸림돌이 된다.

두 번째는 데이터 사이언티스트의 공급 부족 문제다. 데이터 분석에 대한 수요는 나날이 증가하고 있지만 숙련된 데이터 사이언티스트는 한정돼 있기 때문이다. 기업 입장에서 숙련된 데이터 사이언티스트를 확보하는 것도, 그렇다고 기업의 중요한 데이터를 외부 조직에게 맡겨 분석을 의뢰하는 것도 어렵다. 이에 따라 기업은 한정된 인적 자원 내에서 데이터 분석을 가능케 하기 위한 방법을 찾게 된다.

셀프서비스 BI는 비즈니스 조직이 IT 조직에 의존하지 않고도 직접 데이터에서 비즈니스 인사이트를 창출하는 것을 의미한다. 그러나 비즈니스 조직에서 SQL이나 스크립트를 능숙하게 다룰 수 있는 인원은 극히 일부에 불과하다. 따라서 이들은 고차원적인 알고리즘이나 AI 기법을 활용하는 것이 아니라, 직관적이고 간단하게 다룰 수 있는 GUI 기반의 솔루션을 활용해 데이터 분석을 수행한다.

셀프서비스 BI의 개념은 비즈니스 조직이 데이터에 어느 정도로 깊이 접근하느냐에 따라 ▲비즈니스 조직에게 주어진 정보만을 활용 ▲직접 데이터 시각화를 수행 ▲시각화를 위한 데이터 추출 ▲DB 구축부터 접근 등으로 나누어 볼 수 있다. 비즈니스 조직에게 주어진 정보만을 활용하는 경우는 셀프서비스 BI를 하고 있다고 보기 어렵고, DB 구축까지 비즈니스 조직이 담당하는 것은 현실적이지 못하다.

초창기 대부분의 셀프서비스 BI 형태는 기업의 IT조직이 분석을 위한 데이터를 추출해 DW로 제공하고, 비즈니스 조직은 다양하게 구성돼있는 DW를 활용해 원하는 분석과 시각화를 수행하는 형태로 이뤄졌다. 그러나 이러한 형태는 비즈니스 조직이 접근 가능한 업무에 한계가 존재하고, IT 조직은 여전히 비즈니스 조직을 위한 데이터 추출을 지원해야한다는 점에서 한계에 부딪힌다.

최근 일부 선도적인 셀프서비스 BI 공급업체들은 비즈니스 조직의 역할을 좀 더 강화하고 있다. 즉 비즈니스 조직이 시각화를 위한 데이터 추출까지 담당할 수 있도록 하는 것이다. IT 조직이 제공한 데이터를 조합하고 시각화하는 수준을 뛰어넘어 DB로부터 직접 필요한 데이터를 검색하고 DW를 구축, 분석과 시각화를 수행하게 된다. 이를 위해 최근 셀프서비스 BI 솔루션들은 다양한 DB와의 연동이 손쉽게 가능하도록 지원하거나 간단한 마우스 조작만으로 원하는 데이터를 검색·추출할 수 있도록 지원하고 있다.

아울러 일부 셀프서비스 BI 솔루션들은 보다 강력한 데이터 분석 기능을 활용하고자 하는 고급 사용자를 위해 추가적인 확장성을 제공하기도 한다. 비아이매트릭스의 ‘아이스트림(i-STREAM)’의 경우 분석 단계에서 가장 많이 사용되는 80여 개의 알고리즘을 기본적으로 제공하기는 하지만, 사용자의 필요에 따라 커스텀 알고리즘을 추가하거나 다른 사람이 만든 알고리즘을 가져다 쓸 수도 있도록 구성됐다. 이에 따라 사용자는 먼저 기본으로 제공되는 알고리즘들을 통해 데이터와 분석에 익숙해지게 되고, 이후 필요에 따라 보다 고급 기능을 익혀 활용할 수 있게 된다.

데이터 거버넌스 확립이 제1과제
셀프서비스 BI를 구현하게 되면 기업의 핵심적인 데이터에 접근하는 직원이 이전보다 늘어나는 것은 당연하다. 만약 데이터 관리에 대한 인식이 부족한 비즈니스 조직이 DB에서 중요한 데이터를 개인 PC로 반출하거나 한다면 큰 문제로 발전할 가능성도 있다. 이는 데이터 보안 측면에서도 안전하지 못하다.

셀프서비스 BI가 구축된 기업에서 IT 조직은 이전과 다른 업무를 맡아야 한다. 이들은 직접 데이터 분석에 나서고 있는 비즈니스 조직을 지원하기 위해, 그들이 어떤 데이터에 접근해 어떤 식으로 활용했는지를 모니터링하고, 필요에 따라서는 특정 데이터에 대한 접근을 제한하는 등 데이터 접근 및 관리에 대한 권한을 가지고 있어야 한다.

안정적인 데이터 거버넌스 확보는 셀프서비스 BI 구축의 전제조건이다. 기업의 IT 조직은 소수인 경우가 많고 나머지 비즈니스 조직이 대다수인 경우가 많으므로, 만약 데이터 거버넌스 체계를 갖추지 않은 채 비즈니스 조직에게 데이터에 대한 접근 권한을 쥐어준다면 문제가 생길 수 있다. 그들이 동시다발적으로 너무 많은 데이터를 조회해서 시스템에 영향을 주거나 멋대로 데이터를 수정·반출하게 되면 걷잡을 수 없는 피해로 이어질 것이다.

국내 시장에 태블로 솔루션을 공급하고 있는 플랜잇 관계자는 “기업의 모든 직원들이 중구난방으로 데이터에 접근하고 마음대로 다루게 된다면 DB에 대한 정상적인 관리가 불가능하다”면서, 기업은 셀프서비스 BI 체재를 도입하기 전에 IT 조직과의 충분한 논의를 통해 데이터 거버넌스를 확립해야 한다고 강조했다.

IT 조직이 데이터 거버넌스 체계를 확립하지 못하거나 제대로 운영하지 못한다면 차라리 셀프서비스 BI 체계를 시도하지 않는 게 좋을 만큼 큰 리스크를 감수하게 될 것이라는 설명이다. 비아이매트릭스 관계자 역시 “전체적인 방향은 셀프서비스 BI로 가면서 데이터 거버넌스는 확실히 지켜야 한다. 또한 개인별 데이터 접근 권한을 확실히 하면서도 접속하는 단계에는 싱글사인온을 접목하는 등 편의성을 함께 고려해야 한다”고 밝혔다.

MSTR의 경우 전통적인 BI 시스템 공급업체로써 강력한 데이터 거버넌스 체계와 쿼리 생성 엔진을 보유하고 있다. 특히 DB에 접근할 경우 사용자가 별도의 쿼리문을 작성하는 것이 아니라 쿼리 생성 엔진을 경유하게 함으로써, 해당 쿼리를 사용한 사용자와 시간을 로그로 남기거나 해당 쿼리문을 사용하기 위한 권한을 설정하는 방법으로 사람의 손에 의한 문제 발생의 여기를 없앴다.

태블로나 팍사타의 경우에도 자사 솔루션 내에서 별도의 데이터 거버넌스 체계를 갖추고 있으며, 사용자에 대한 사용 내역 모니터링과 접근 권한 설정 등을 간단한 조작을 통해 사용할 수 있도록 지원한다.

비즈니스 조직 반발 무마할 방법 찾아야
그러나 모든 기업의 비즈니스 조직이 셀프서비스 BI에 대한 필요성을 느끼고 있는 것은 아니다. 오히려 일부 비즈니스 조직은 기존에는 IT 조직에게 일임하면 됐던 일을 스스로 해야 한다는 점에 거부감을 느끼는 경우도 부지기수다. 이들은 IT 조직과 합이 맞지 않아 시간이 오래 걸린다고 하더라도 추가적인 업무 부담을 갖는 것보다는 낫다고 생각한다.

플랜인 관계자는 이에 대해 “국내 기업들은 변화에 대해 매우 수동적이고 보수적”이라며, “셀프서비스 BI 체계를 구축하기 위해서는 C레벨에서 데이터의 활용도를 높이고 의사결정의 신속성을 확보하려는 의지를 가져야 한다”고 강조했다. 기업의 방향을 결정할 수 있는 의사결정권자를 설득해 셀프서비스 BI 체계를 구축하고, 구성원들이 기업 문화에 익숙해지기 위해 스스로 노력하도록 만들어야 한다는 설명이다.

반면 MSTR 관계자는 C레벨부터 시작하는 탑다운(Top-down) 방식이 아닌 바텀업(Bottom-up) 방식을 채택해야 한다고 조언했다. 전통적인 BI 솔루션은 C레벨이 직접 보고받는 방식을 바꾸겠다고 선언해야 하지만, 셀프서비스 BI의 경우에는 현업에 깊이 관련돼 있는 비즈니스 조직의 의사가 가장 중요하다는 설명이다. 빠르게 데이터 분석 결과를 확인하고 싶은데 그러지 못한다든가, 자꾸 IT 조직에 의존해야 하는 환경에 대해 불편함을 느껴야만 셀프서비스 BI가 성공할 수 있다.

MSTR 관계자는 “셀프서비스 BI를 도입하고자 하는 기업은 필요성을 느낀 비즈니스 조직의 요구에 따라 먼저 데이터 시각화에 대한 교육을 진행하고, 시각화 도구를 다루다가 직접 데이터를 추출하고자 하는 요구가 발생하면 다음 교육을 제공하는 등 단계적인 미끼 전략을 사용해야 한다”며, “셀프서비스 BI는 C레벨에게 보고하기 위한 것이 아니라 비즈니스 조직 스스로가 빠르게 가치 있는 정보를 획득하기 위한 것이므로, 무엇보다 비즈니스 조직의 의지가 가장 중요하다”고 강조했다.

한편 비아이매트릭스 측은 비즈니스 조직이 셀프서비스 BI의 도입에 부담감을 가질 수는 있지만, 장기적으로는 비즈니스 조직 역시 셀프서비스 BI 도입을 반기게 될 것이라고 밝혔다. 비아이매트릭스 관계자는 “현대식 슈퍼마켓이 처음 생겼을 때, 손님들은 스스로 물건을 바구니에 담아 계산대로 가져가는 것에 대해 불만을 가졌다. 이전까지는 카운터에서 물건을 주문하면 직원이 가져다주는 식이었다. 하지만 지금은 다들 셀프서비스 쇼핑을 하고 있다. 길게 늘어진 줄을 서서 직원이 물건을 가져주길 기다리는 것보다, 직접 필요한 물건을 눈으로 확인하고 비교해서 빠르게 계산하고 나가는 것이 유리하다는 것을 알게 됐기 때문”이라며, “BI 역시 마찬가지로, IT 조직과 부딪혀가며 업무 부탁하고 메일 주고받고 마냥 기다리는 것들이 향후의 트렌드에는 맞지 않을 것”이라고 말했다.

새로운 트렌드의 기회 붙잡아야
AI와의 결합이 IT 조직의 편의성을 더하고 보다 많은 데이터를 분석할 수 있도록 지원한다면, 셀프서비스 BI는 비즈니스 조직이 보다 빠르게 비즈니스 인사이트를 확보할 수 있도록 돕는다. 국내외 BI 솔루션·서비스를 공급하는 기업들은 저마다 AI와의 결합, 혹은 셀프서비스 개념의 도입을 통해 새로운 기회를 잡고자 하고 있다. 두 가지 기술 트렌드에 따라 변화하는 BI시장의 귀추가 주목된다.