[컴퓨터월드]

<서버ㆍ스토리지ㆍ네트워크>
빅데이터 인프라, 기존에 없던 통찰 현실화하는 주체
- 김나영 기자

시장조사기관 IDC는 2014년 전 세계 빅데이터 시장에서 빅데이터 인프라 시장이 48.2%의 비중을 차지할 것이라고 전망했다. 아쉬시 나드카르디 IDC 빅데이터 부문 이사는 “빅데이터에 대한 과열 양상이 서서히 가라앉고 있다. 이는 빅데이터 기술이 기업 운영 및 비즈니스 수행에 도입되고 있음을 보여주는 신호”라고 말했다.

업계에서는 2014년이 빅데이터의 본질이 드러난 해라고 말한다. ‘풍문만 무성했던’ 빅데이터가 실체화된 원년이라는 이야기다. 이것이 서버, 스토리지, 네트워크 등 기업 IT 인프라 시장에 시사하는 바는 크다. 빅데이터가 실체화되기 위해서는 그 실체화를 실현할 기반이 필요하기 때문이다. 그 기반이 바로 빅데이터 인프라다.

IDC는 빅데이터 인프라 시장이 지속해서 빅데이터 전체 시장의 상당 부분을 차지할 것으로 보고 있다. 빅데이터가 비전이 아닌 현실로 분하고 있는 시점에서, 빅데이터 인프라 시장이 빅데이터라는 키워드를 어떻게 수용해왔는지 짚어보고 향후 어떻게 진화해 나갈 것인지 전망해 본다.

입문 단계, “어떻게 담아낼까”

인프라 시장에서 빅데이터란 기존보다 더 다양하고 방대한 데이터를 처리해야 하는 미션이다. 빅데이터 시대에는 IT 인프라가 처리해야 하는 데이터의 범주가 이전과는 비교할 수 없는 수준으로 확장되기 때문이다. 이미지, 영상 등 대용량의 비정형 데이터에다 사물인터넷(Internet of Things) 확산과 더불어 급증하고 있는 센싱 데이터 등 반정형 데이터까지 빅데이터 분석의 재료로서 기업이 활용하는 데이터 영역에 포함된다.

따라서 빅데이터 분석을 지원하기 위한 인프라 업계의 첫 번째 ‘스텝’은 ‘수용’이다. 보다 많은 데이터를 담아내고 처리할 수 있는 인프라를 공급해야 했다.

문제는 데이터의 증가세가 예측하기 어렵다는 것과, 기업이 인프라 구축에 무한정 예산을 사용할 수 없다는 데 있다. 이에 업계에서는 확장성, 유연성을 갖춘 ‘스케일 아웃’ 아키텍처를 빅데이터 인프라로 제시, 공급하고 있다.

신홍일 델 코리아 엔터프라이즈 솔루션 그룹 부장은 “인프라 관점에 보면, 빅데이터 시대에는 (비정형 데이터 등) 새로운 형태의 데이터를 수용하기 위해 확장성 및 유연성을 제공하는 스케일 아웃 구조의 인프라가 요구되고 있다”고 말했다.

조용노 한국EMC 글로벌서비스 이사는 “빅데이터가 주목을 받던 초기에는 일단 용량의 증가가 예상돼 스토리지 구조적인 측면에서 변화가 많았다. 확장성에 제약이 없고 애플리케이션에서 쉽게 접근이 가능한 오브젝트 스토리지 및 스케일 아웃 구조가 요구됐다. 특히 용량이 늘어날수록 성능도 함께 선형적으로 늘어날 수 있는 아키텍처가 절실했다”며 스케일 아웃 아키텍처가 빅데이터를 위한 인프라로 대두된 배경을 짚었다.

더불어 인프라가 데이터의 분산 저장을 지원하느냐 하는 부분도 빅데이터 인프라가 갖추어야 할 요건으로 떠올랐다. 빅데이터 솔루션 업계에 오픈소스 기술 하둡(Hadoop)이 부상함에 따라 스케일 아웃 아키텍처는 하둡의 HDFS(분산파일시스템) 구조와 접목하게 됐다.

신홍일 델 코리아 부장은 “빅데이터 인프라는 데이터의 분산 저장을 지원하는 분산코어 네트워크 아키텍처 및 스케일 아웃에 대한 중요성을 접목한 유연한 아키텍처를 기반으로 한다”고 말했다.

조용노 한국EMC 이사는 “소프트웨어 측면에서 하둡을 기반으로 성능과 편의성을 향상시키고, 하드웨어적으로는 분산 파일 시스템에 최적화된 스케일 아웃 구조를 활용하면 하둡의 단점인 가용성과 가용 용량을 보완하면서 성능을 최적화할 수 있다”고 말했다.

나성은 효성인포메이션시스템 클라우드팀장은 “빅데이터를 지원하는 인프라란 ▲빅데이터의 주가 되는 비정형 파일들을 보관하기 위한 플랫폼 ▲데이터가 빠르게 처리되고 분석될 수 있도록 지원하는 플랫폼 등 두 가지 축으로 생각해 볼 수 있다”며 “전자의 경우 소프트웨어 정의 스토리지, 분산파일시스템, 오브젝트 스토리지 등이 역할을 하고 있으며, 후자의 경우 인메모리 DB 기반의 DW 어플라이언스, 컨버지드 플랫폼, 올플래시 스토리지 시스템 등을 활용한다”고 말했다.

진화 단계, “실시간 분석 지원”

빅데이터 기술은 더욱 진화할 전망이다. 지금까지 빅데이터가 새로운 통찰을 얻어내는 데 중심이 맞춰져 있었다면, 앞으로의 빅데이터는 새로운 통찰을 얼마나 빠르게 얻어낼 수 있는가 하는 미션을 축으로 움직이게 될 것이다. 많은 기업들이 타사보다 차별화된 경쟁 우위를 가지기 위해 실시간 빅데이터 분석을 실현하기를 원하고 있다. 이러한 추세에 발맞춰, 인프라 업계에서도 실시간 분석을 지원할 제품 마련에 촉각을 세우고 있다.

조용노 한국EMC 이사는 “지금까지 빅데이터가 주료 대용량 데이터를 적재한 후 가공, 처리, 분석하는 것이었다면 앞으로는 즉시성에 더 무게를 두고 발전할 것이다. 사물인터넷 기술이 보편화되고 있는 만큼, 엄청난 양의 데이터를 짧은 시간에 수집, 분석, 컨트롤하는 것은 성능과 용량 면에서 기존 인프라로는 처리하기 불가능하다”고 말했다.

이어 “이에 대한 대처 방안은 인메모리(In-Memory) 기술이다. 일시에 폭발적으로 발생하는 데이터를 디스크가 아닌 서버의 메모리에서 수집, 처리한다면 초당 수십~수백만 트랜잭션도 처리할 수 있다. 또한 인메모리 방식과 하둡은 반드시 병행돼야 할 기술이고, 이것이 앞으로의 발전 방향”이라고 말했다.

신홍일 델 코리아 부장은 “델은 보다 손쉬운 빅데이터 환경 구축을 가능하게 하는 어플라이언스 제품을 준비하고 있다. 해당 제품에는 실시간 인메모리 데이터 처리를 위한 아파치 스파크, 스케일MP(ScaleMP), vSMP와 같은 최신 기술들이 접목될 예정”이라며 “실시간 다중 서버가 가진 한계를 가상자원으로 통합하면 보다 빠른 실시간 분석 요구를 만족시킬 수 있다”고 말했다.

KC 최 HP 부사장은 “오늘날 많은 조직들이 실시간으로 통찰력을 얻어내기를 원하고 있다. 이러한 요구를 기존의 인프라는 도저히 따라잡지 못하고 있다. (빅데이터 시대가 도래하면서) 정보 활용 측면이 바뀌었음에도 불구하고 정보를 연산하는 컴퓨팅 방식 자체는 별로 바뀌지 않았다. HP는 이게 근본적인 제약이 되고 있다고 보고 있다”며 빅데이터 실시간 분석을 지원하기 위해 인프라가 근간부터 개선돼야 한다고 주장했다.

한편, 업계에서는 빅데이터와 클라우드가 결합, 중앙에서 빅데이터 분석을 수행하는 게 아니라 ‘언제 어디서든’ 빅데이터를 분석해 즉각적인 서비스를 제공하는 환경이 조성되리라는 예측도 제시되고 있다. 따라서 클라우드 인프라의 성장 역시 향후 더 광범위한 빅데이터 활용을 지원하는 요소로 작용할 전망이다. 시장조사기관 가트너는 소셜, 모바일, 빅데이터, 클라우드 등 최근 IT 업계의 네 가지 메가 트렌드가 하나로 융합되는 형태로 발전할 것이라고 발표한 바 있다.

나성은 효성인포메이션시스템 팀장은 “Store and Analysis Everywhere(어디서든 저장 및 분석) 시대로 가고 있지 않은가 생각한다. 빅데이터를 엣지(Edge) 단에서 처리, 서비스, 보관하는 기술들이 발전할 것으로 보고 있다”고 말했다.

인프라 업계, 빅데이터 시장에서 “공급자 겸 사용자”

기업은 빅데이터 인프라를 기반으로 빅데이터 분석을 통한 비즈니스 혁신을 도모한다. 인프라 업계가 빅데이터를 지원하고 있다고 볼 수 있다. 하지만 한편으로는 인프라 시장 역시 빅데이터를 활용, 빅데이트 분석을 통한 비즈니스 혁신을 실현하는 대상이 된다. 일례로, 인프라가 구동한 기록인 로그 파일은 ‘이전에는 다루지 못했지만 이제는 다룰 수 있는’, 손색없는 반정형 데이터로 빅데이터 분석의 중요한 재료가 된다. 인프라 업계는 빅데이터 기술이 공급자인 동시에 사용자인 셈이다.

이봉선 시스코 코리아 상무는 “최근 시스코는 데이터센터에서 발생하는 비정형 데이터와 보안 전문가가 수집한 정형 데이터를 연동해 실시간 사이버 공격에 대응할 수 있는 빅데이터 보안 아키텍처를 개발, 고객의 보안 관제 시스템을 고도화했다”며 “기존 빅데이터 시장은 고객 정보를 활용한 마케팅 프로그램 개발과 같은 영업, 마케팅 영역에 초점이 맞춰져 있었다. 하지만 최근에는 네트워크, 데이터센터 등 IT 인프라, 시설을 운영하며 생성되는 데이터를 빅데이터 플랫폼으로 분석함으로써 장애 예방과 운영 고도화를 하는 사례가 늘어나고 있다”고 말했다.

<개인정보보호>
빅데이터 시대 개인정보, 이용과 보호 균형 맞춰야
- 윤현기 기자

2014년은 개인정보 이슈로 내내 시끄러웠던 한 해였다. 연 초부터 발생한 카드사들의 고객정보 유출사고를 시작으로 크고 작은 개인정보 유출사고가 끊임없이 발생했기 때문이다. 특히 유출된 개인정보들로 인해 보이스피싱과 같은 금융사기 피해도 늘어나고, 국민들의 불신 역시 높아짐에 따라, 정부는 관련법 개정 등 개인정보를 더욱 철저하게 보호하기 위한 방안들을 모색하기에 이르렀다. 그 결과 우리나라 개인정보보호법이 전 세계에서 가장 엄격한 규제로 손꼽힌다는 글로벌 보안 솔루션 기업의 조사 발표도 나왔다.

그러나 빅데이터 시대를 맞이하면서 개인정보를 보호하기 위한 규제 강화가 능사는 아니라는 지적도 여러 곳에서 제기됐다. 데이터가 비즈니스의 원천이 되고, 개인정보를 활용한 맞춤형 개인화 서비스 등이 등장하면서, 기업들이 좀 더 개인정보를 활용할 수 있어야 한다는 목소리에도 힘이 실리고 있다. 이에 맞춰 강은희 새누리당 의원은 ‘개인정보보호 통합법’ 제정을, 방송통신위원회는 ‘빅데이터 개인정보보호 가이드라인’ 제정을 추진하며 개인정보가 적절한 범위 안에서 활용될 수 있도록 하는 방안을 마련하고 있다.

안근영 개인정보보호위원회 심의처리과장은 이런 현상을 자동차에 비유했다. 교통사고가 나는 것을 막기 위한 가장 좋은 방법은 자동차를 없애버리는 것이지만 실제로 그럴 수는 없다는 것. 자동차도 운전자 스스로가 안전하게 운행할 수 있도록 해야지, 교통사고가 난다고 해서 제약들을 걸어버린다면 자동차의 활용 편의성이 사라져 본래 취지를 잃게 되기 때문이다. 안 과장은 이처럼 개인정보도 보호와 이용이라는 균형을 맞춰가는 것이 중요하다고 강조했다.

이런 균형을 맞추기 위해서는 개인정보를 보유하고 있는 기관 또는 기업 경영진의 인식 변화가 필요하다는 것이 안 과장의 생각이다.

빅데이터 시대로 접어들면서 기업들은 보유하고 있는 개인정보를 활용한 비즈니스를 하는 것에 관심이 많지만, 정작 개인정보를 보호하기 위한 보안 투자에는 인색한 모습들을 보이고 있다. 적절한 보안 솔루션을 도입하고 제대로 된 보안 정책만 수립해도 개인정보가 유출되는 것을 막을 수 있지만, 기업 경영진이 ‘설마 우리 기업에서?’와 같은 안일한 생각을 갖고 있거나 보안을 투자가 아닌 비용으로만 생각하기 때문에 그렇지 못하다는 것. 이대로는 기업 보안 수준이 높아질 수 없으며, 국내 보안 산업이 성장하는데도 걸림돌이 된다.

일부 전문가들은 기업 경영진이 보안 중요성에 대한 인식을 낮게 가지게 된 이유로 정부 주도의 규제를 지적한다. 규제만 지켰다면 사고가 발생했더라도 어느 정도 책임이 면제되기 때문에 마인드가 느슨해질 수밖에 없다는 것이다.

안근영 과장은 이럴 때일수록 “원칙에 충실해야 한다”고 강조한다. 개인정보의 중요성을 깨닫고 안전하게 지킬 수 있도록 해야 하며, 그 이후에서야 적절하게 이용도 할 수 있다는 것이다.

설마가 사람 잡는다고 했다. 빅데이터 시대에 개인정보의 중요성이 높아진 만큼 적절하고 보호하고 이용하려면 일상생활 속에서부터 주의가 필요하다.