[아이티데일리] 본지(컴퓨터월드/IT DAILY)가 16일 제19회 ‘2022 데이터 컨퍼런스’를 양재동 엘타워에서 개최했다.

이번 컨퍼런스는 ‘AI & 빅데이터, 로우코드’라는 주제로, 복잡한 하이브리드 IT 환경에서 데이터를 손쉽게 찾고 활용할 수 있는 전략을 제시하기 위해 마련됐다. 각계 전문가와 기업들이 산업별 성공사례와 관련 기술, 솔루션 정보 등을 소개하며 성공적인 데이터 전략의 인사이트를 공유했다. 또한 로우코드와 프로세스 마이닝, 실시간 이벤트 스트리밍 등 새로운 IT 기술과 트렌드를 데이터 관점에서 살펴보는 시간도 준비됐다.

이날 행사의 시작은 한국데이터마이닝학회 김현중 회장의 키노트 발표로 시작됐다. 김현중 회장은 먼저 “2025년까지 전 세계에서 연간 생성되는 데이터 양은 16조 기가바이트로 증가할 것”이라며, “새롭게 생성되는 데이터 중 분석 가능한 것은 약 15%, 이미 분석에 사용된 데이터는 약 3%에 불과하다. 그럼에도 불구하고 데이터의 총량이 빠르게 늘어나고 있기 때문에, 분석해야 하는 데이터 역시 기하급수적으로 늘어날 것”이라고 설명했다.

특히 코로나19(COVID-19) 팬데믹을 거치면서 데이터 산업의 성장은 더욱 가속화됐다. 온라인 상에서의 유통과 소비가 급증했고 디지털 화폐 사용량도 크게 늘었다. 기업에서는 재택 및 원격근무가 일상화됐으며, 학교에서는 비대면 수업이 자리잡고 에듀테크 기술에 대한 관심이 증가했다. 디지털 기술을 접목한 비대면 산업이 코로나19 시기의 핵심 키워드로 자리잡으면서 데이터의 생성량과 중요성은 더욱 빠르게 높아지고 있다.

김현중 회장은 “지금 사회에서는 데이터 기술에 대한 요구가 증가하고 발전 속도도 가속화되고 있다. 정부 역시 디지털 전환과 AI‧빅데이터가 미래의 핵심 기술이라고 강조하며 과감한 투자를 이어가고 있다”면서 “데이터 산업은 국가의 발전을 지속할 수 있는 핵심 산업이 될 것이며, 이러한 혁신을 뒷받침하기 위해 학계와 산업계가 함께 노력하고 협력해야 한다”고 덧붙였다.

로우코드 개발 솔루션 ‘AUD플랫폼’

오전 첫 번째 세션은 비아이매트릭스 배영근 대표가 ‘로우코드 개발 솔루션 AUD플랫폼’이라는 주제로 발표에 나섰다. 배영근 대표는 만성적인 IT 개발자 부족 문제를 지적하며, 로우코드 기술과 플랫폼이 개발자 부족의 대안이 될 수 있다고 설명했다.

로우코드에 앞서, 과거에는 코드 생성을 자동화하려는 케이스(CASE) 툴 개발이 이뤄졌다. 하지만 케이스 툴은 소스코드를 100% 생성하야 하므로 모델링 복잡도가 무척 높고, 리버스 엔지니어링을 거쳐 소스코드를 수정하는 것도 쉽지 않은 일이었다. 사용이 어렵고 직관성도 떨어졌기 때문에 차라리 직접 코딩을 하는 게 효율적인 경우가 대부분이었다.

배영근 대표는 “스마트폰은 하나의 기기로 수만 개의 기능을 사용할 수 있지만, 사용자가 설명서를 읽어보지 않아도 될 정도로 직관적인 UI‧UX를 가지고 있다”면서, 비아이매트릭스의 ‘AUD플랫폼’을 활용한 로우코드 방법론이 무엇보다 직관적이고 쉽게 접근 가능하다고 강조했다. 아울러 “정부에서 SW 개발자 100만 명을 양성하겠다는 활동을 벌이고 있는데, 이들이 시장에서 제 몫을 하기까지는 너무 오랜 시간이 걸린다. 반면 AUD플랫폼은 2~3주만 학습하면 누구나 사용할 수 있어, 개발자 부족 문제에 빠르게 대응하고 디지털 혁신을 추진할 수 있다”고 말했다.

‘모던 데이터-드리븐 엔터프라이즈: 논리적 접근전략’

두 번째 세션은 ‘모던 데이터-드리븐 엔터프라이즈(Modern Data-Driven Enterprise): 논리적 접근 전략’이라는 주제로 한국디노도 김세준 상무가 연단에 올랐다. 김세준 상무는 “대다수 기업들은 한정된 데이터 인프라에서 여러 가지 요구사항을 해결해야 했고, 그때그때 필요한 인프라를 새롭게 만들어 넣다보니 스파게티처럼 복잡하게 얽혀있는 구조가 됐다”며, “이러한 문제를 몇 명의 데이터 엔지니어가 해결하는 것은 불가능하다”고 밝혔다.

디노도가 150개 글로벌 기업들을 대상으로 조사한 결과, 기업 중 55%가 5개 이상의 데이터 소스를 보유하고 있다고 답했다. 20개 이상의 데이터 소스를 보유한 기업도 14%에 달한다. 데이터 소스가 빠르게 증가하고 관리해야 하는 데이터의 종류도 늘어나고 있어, 데이터 인프라의 복잡성은 점점 더 심각한 문제가 될 것이다. 따라서 데이터 주도적인(data-driven) 비즈니스를 도모하는 기업은 보다 현대적인 데이터 패브릭 인프라를 마련해야 한다.

김세준 상무는 “데이터에 대한 논리적인(logical) 접근과 연결은 기존 데이터 인프라가 갖고 있는 모든 문제를 해결할 수 있다”고 강조하며, “디노도는 전 세계적으로 1,000개 이상의 고객사를 보유하고 있으며, 이들은 평균적으로 데이터 준비(data preparation)에 소요되는 시간을 67% 단축하고 데이터 전달(delivery) 시간은 ETL 대비 65% 줄였다. 논리적으로 연결된 데이터 인프라는 미래의 혁신을 추구하는 기업들에게 필수로 자리잡을 것”이라고 말했다.

‘데이터 기반 비즈니스를 위한 통합 데이터 플랫폼’

커피 브레이크 이후 진행된 세 번째 세션은 한국마이크로포커스/버티카 윤찬호 부장이 맡았다. 윤찬호 부장은 ‘데이터 기반 비즈니스를 위한 통합 데이터 플랫폼(Building a unified data platform for data-driven businesses)’이라는 주제로, 기업의 데이터 인프라 혁신을 위해 데이터 레이크하우스가 필요한 이유와 중요성에 대해 설명했다.

오늘날 대다수 기업들의 데이터 인프라는 데이터 웨어하우스(DW)와 데이터 레이크(DL)로 구성돼있다. 서로 장점과 단점이 뚜렷하기 때문에 어느 한 쪽이 다른 쪽을 완전히 대체할 수 없으며, 기업들은 기술 기반이 완전히 다른 두 가지 데이터 인프라를 운영하면서 많은 문제를 겪고 있다. 이러한 문제를 해결하기 위해서는 DW와 DL의 장점을 결합한 데이터 레이크하우스 플랫폼을 활용해야 한다.

윤찬호 부장은 “버티카는 DW로 시작해 데이터 레이크하우스로 성공적으로 진화를 이끌어냈다. 컴퓨팅과 스토리지 분리를 통해 효율적인 운영과 민첩한 확장이 가능한 것은 물론, 오브젝트 스토리지를 활용해 비용을 최적화하면서 최고 수준의 가용성을 제공한다”고 강조하고, “데이터 레이크하우스 플랫폼을 제공하는 대다수 기업들이 퍼블릭 클라우드 환경에서 SaaS 형태로만 서비스하는 반면, 버티카는 온프레미스 환경과 프라이빗 클라우드까지 지원할 수 있다는 점에서 차별화된다”고 덧붙였다.

‘모던 데이터 아키텍처, 데이터 패브릭 기반 빅데이터 플랫폼 구현전략’

오전 마지막 세션은 데이터스트림즈 나희동 제품사업본부장이 ‘모던 데이터 아키텍처, 데이터 패브릭(Modern Data Architecture, Data Fabric) 기반 빅데이터 플랫폼 구현전략’에 대해 발표했다. 나희동 본부장은 지난 2021년 미국 롱비치 항구 앞에 100대 이상의 선박이 몰려 수십만 개의 컨테이너가 기약없이 하역 순서를 기다려야 했던 사건을 언급하며, “이제 우리는 기존의 방법으로는 미래를 예측할 수 없다”고 단언했다.

EDW(Enterprise Data Warehouse)와 같은 전통적인 데이터 아키텍처는 거대한 중앙집중형 데이터 스토리지와 여러 개의 데이터 마트로 구성된다. 하지만 클라우드 도입이 확산되고 MSA(Micro Service Architecture)가 자리잡으면서 각각의 마이크로 서비스마다 별개의 DB를 갖추고자 하는 요구가 생겼다. 데이터 담당자는 이렇게 만들어지는 각각의 DB가 사일로화되고 전사적인 데이터 가시성이 사라지는 모습을 쉽게 상상할 수 있다.

MSA와 같은 서비스 중심의 아키텍처에 대응하는 가장 좋은 방법은 핵심 도메인들을 중심으로 데이터 라이프사이클을 구성하고, 도메인 단위의 팀이 주도권(ownership)을 가지고 데이터 상품(product)을 만들어 공유하도록 하는 것이다. 나희동 본부장은 “복잡한 비즈니스 구조를 갖고 있는 기업들은 전사 데이터를 하나의 데이터 스택으로 관리할 수 없다. 도메인별로 별개의 데이터 스택을 만들어 관리하고, 이들을 논리적(logical)으로 연결해 밸류체인을 만드는 것, 이것이 데이터 메시, 데이터 패브릭 등 현대적인 데이터 아키텍처들이 지향하는 것”이라고 설명했다.

산업별/주제별 핵심 데이터 인사이트 공유

점심시간 이후 진행된 오후 세션은 주제에 따라 3개 트랙으로 나눠 진행됐다.

첫 번째 트랙은 ‘데이터 아키텍처, 거버넌스’라는 주제로 △지티원 장희철 이사의 ‘왜 데이터 흐름인가?’ △스노우플레이크 이계윤 상무의 ‘더 큰 비즈니스 가치를 만드는 스노우플레이크 데이터 클라우드’ △디리아/컨플루언트 김현수 상무의 ‘실시간 이벤트 스트리밍과 한국 사례(Use Cases)’ △AWS 송규호 솔루션즈 아키텍트의 ‘AWS의 클라우드 데이터 전략: 안전하게 통합된 환경에서 더 쉽고 더 스마트하게’ 등의 세션이 마련됐다.

두 번째 트랙은 ‘AI‧빅데이터 성공사례, 데이터 활용, 컨설팅’이라는 주제로 △이글로벌시스템 김정중 이사의 ‘AI 및 빅데이터 리딩(Leading) 분석 RDBMS, 벡터(Vector) 성공사례’ △퍼즐데이터 김영일 대표의 ‘지속적인 업무혁신을 위한 리얼타임 프로세스 마이닝’ △엔코아 전략사업본부 김범 전무의 ‘DT 여정을 위한 기업의 데이터 활용 전략’ △한국IBM 전상호 실장의 ‘IBM 글로벌 데이터 패브릭 전략과 고객 성공 사례’ 등의 발표가 진행됐다.

마지막으로 세 번째 트랙은 SW융합협의회가 마련한 세션들로 구성됐다. 해당 트랙에서는 △실크로드소프트 윤성조 팀장의 ‘클라우드 엔터프라이즈 실시간 데이터 동기화 적용 전략’ △메타빌드 박종세 이사의 ‘AI/연계 플랫폼 기반 데이터 패브릭 기술’ △비에스지원 이정재 상무의 ‘스마트하게 일하는 방법 - 디지털 워커와 협업하기’ △이노리브 홍성준 LCDP팀장의 ‘디벨로퍼(Developer)와 함께 하는 로우코드 개발 플랫폼’ 등의 발표가 이어졌다.