‘네오뷰(Neoview)’ 시스템으로 데이터웨어하우징 시장 진입 시도
HP는 최대 규모도 아니며 가장 정교하지도 않지만 효율성은 매우 높은 자사 제품이 기업들의 이러한 고민을 해결할 수 있을 것으로 생각하고 있다. HP는 자사 연구소에서 개발되었으며 처음에 내부 사용을 위해 구축되었던 네오뷰(Neoview) 시스템을 통해 데이터웨어하우징 시장으로 조심스럽게 진입하고 있다.
InformationWeek의 취재에 응하기 전까지만 해도, 외부 유출을 꺼리는 마케팅 팀의 요청에 따라 HP는 침묵으로 일관해왔다.
실제로, HP는 시장에서 입지를 공고히 하고 있는 IBM, 오라클, SAS, 테라데이타 등이 다년간의 노하우와 경험, 충성도가 높은 고객을 통해 지배하고 있는 이 시장에 진입할 가능성은 낮아 보였다. SQL 서버 데이터베이스에서 강점을 가진 마이크로소프트와 더불어 이 네개 업체의 경우, IDC에 따르면 2010년까지 연평균 9.5%의 성장세가 점쳐지는 데이터웨어하우징 소프트웨어 시장에서 85%의 점유율을 기록하고 있다.
이렇게 벤더들의 입지가 어느 정도 굳혀진 시장에서 HP의 기회는 그리 많지 않아보이지만 주목을 끌만한 장점도 있다. 바로 데이터 웨어하우징 분야에서 가장 유명한 두 인물인 마크 허드 CEO와 랜디 모트 CIO를 보유하고 있다는 점이다.
2005년 3월에 HP에 합류하기 전, 허드는 NCR과 테라데이타 사업부를 운영하면서 이해하기 어려운 데이터 추출과 알고리즘, 데이터베이스에 대한 확실한 개념을 정립하게 되었다. 모트는 1990년대에는 월마트의 CIO로서, 최근까지는 델의 CIO로서 테라데이타 기반의 대규모 시스템을 직접 구축 및 관리해본 데이터 웨어하우스의 대표적인 사용자였다.
특히, 테라데이타는 HP의 시장 진입에 취약해보인다. 허드와 모트만큼 테라데이타의 제품과 전략을 잘 알고 있는 외부인도 없다. 허드와 모트는 테라데이타 사용자를 포함해 고객사 방문에 네오뷰를 적극 홍보하고 있다.
탠덤 논스톱 시스템 발판
네오뷰의 발판은 HP의 자체 센터에서 시작되고 있다. HP의 IT 부서는 모트가 2005년 7월에 합류한 직후부터 IT 운영에 대한 체질 개선을 추진한 뒤 지난 5월에 전사적인 데이터 웨어하우스를 구축하기 시작했다. 이러한 대형 프로젝트에는 HP 내부에서 사용되던 애플리케이션을 5,000개에서 1,500개로 줄이고 85개의 데이터 센터를 6개로 통폐합하는 것이 포함되어 있다.
이 새로운 데이터 웨어하우스는 규모가 확대됨에 따라 특정한 틀에서 진화해야 한다. 로우 데이터(raw data)만도 180테라데이터에 달하며 ‘사용 가능한’ 데이터는 75테라바이트에 이르고 있다. 2008년에 이르면 최소 두 배 이상 늘어나게 될 것으로 예상된다. HP의 전체 인력 중 1/3에 해당하는 5만 명의 직원들이 여기에 액세스하게 될 것이다. 모트는 최종적으로는 HP의 공급 업체와 협력사, 비즈니스 고객들도 접근이 가능하게 될 것이라고 말했다. 구축 완료 시한 엄수를 강력히 요청하고 있는 모트는 이번 프로젝트의 총책임자이다.
하지만 모트와 그의 팀원들은 기술 선택에 있어서 결코 쉬운 경로를 택하지는 않고 있다. 허드와 모트가 아주 잘 알고 있는 테라데이타 플랫폼으로 회귀하는 대신에, HP는 탠덤 논스톱(Tandem NonStop) 운영체제와 데이터베이스 등 인수한 제품을 통해 기술을 구현하고 있다.
탠덤 컴퓨터는 HP가 2002년에 인수한 컴팩 컴퓨터에 의해 1997년에 인수되기 전까지 1980년대와 90년대에 논스톱 제품으로 명성을 떨쳤다. 하지만 다양한 기능이 요구되는 대규모 데이터를 분류하고 통합하는 비즈니스 인텔리전스 환경에 적합하다는 것이 입증되지는 못했다.
HP 엔지니어들은 허드와 모트가 합류하기 전까지 논스톱 소프트웨어에 대해 활용 방안을 강구했지만 이렇다 할만한 성과는 거두지 못했으며, 모트가 합류한 뒤 본격적인 재개발 작업이 이루어지게 되었다.
대규모 데이터웨어하우스 구축 솔루션 망라
네오뷰는 네티자(Netezza) 등에서 판매하는 것과 유사한 데이터 웨어하우징 어플라이언스로 개념이 정립되었으며 그 뒤에는 하이 엔드 시스템으로 전환되었다. HP 웹 사이트의 일부 페이지를 보면, 공식적으로 발표되지는 않았으며 그 전략이 아직 확실하게 알려지지는 않고 있지만 이 제품군에 대한 소개 코너를 발견할 수 있다. 이 제품군은 논스톱 OS 마이크로커널과 데이터베이스, HP Integrity 서버와 스토리지웍스(StorageWorks) 스토리지 시스템, 시스템 성능 모니터링을 위한 관리 대시보드, 기업 데이터베이스에서 데이터를 추출하고 웨어하우스로 보관할 수 있는 기능 등으로 구성되어 있다.
여기에는 데이터 분석용 툴만 제외하고는 대규모 데이터 웨어하우스를 구축하는데 필요한 모든 것이 들어있다. 부족한 데이터 분석용 툴 확보를 위해, HP는 비즈니스 오브젝트(Business Objects), 코그노스(Cognos), 하이페리온, 인포매티카, 마이크로스트래티지(MicroStrategy), SAS 등 BI 전문 업체와 협력하고 있다. HP는 자바 기반의 BI 리포팅 툴도 맞춤화하고 있지만 아직 상용화할 계획은 없는 것으로 알려졌다. 하지만 IDC에 따르면 데이터 웨어하우징 툴 시장이 96억 달러에 달하는 것으로 추산되기 때문에 HP가 이 시장으로 진출할 것이라는 관측이 지배적이다.
HP는 네오뷰 개발 팀에 대한 인력 충원에 적극적으로 나서고 있다. 최고 설계자인 그렉 배타스는 개발 팀 인력이 두 배로 커졌으며 현재에는 데이터베이스 전문가와 소프트웨어 개발자가 100명에 이른다고 밝혔다. 이들 모두가 데이터 추출과 데이터베이스 컴파일러 개발에 주력하고 있으며 분석용 데이터베이스 스캐닝 및 새로운 데이터베이스에 대한 동시 처리 방법 등을 다루고 있다.
현재는 네오뷰용 관리 및 모니터링 툴 향상에 초점이 맞춰져 있으며 일상적인 비즈니스 분석을 진행하는 시스템을 더욱 견고히 하는데 개발이 집중되고 있다.
시스템 개발은 중국과도 연계되어 있다. 중국의 HP 연구소 연구원들은 미국의 HP 본사 직원 및 중국 유수 대학의 컴퓨터 과학자들과 협력해 소프트웨어 개발을 진행하고 있다.
2년여간 개발, 공식발표 눈앞
2년 여의 개발 작업 끝에, HP가 아직은 공식적으로 발표하지는 않았지만 고객사 한 곳을 확보하게 되었다. 유통 업체인 Bon-Ton Stores인데, 이 회사는 23개 주에서 272개의 백화점과 7곳의 가구점을 운영하고 있으며 매매 분석과 마케팅을 위해 64프로세서, 7테라바이트 네오뷰 시스템을 사용하고 있다. Bon-Ton은 1980년 중반부터 트랜잭션 프로세스를 위해 논스톱 시스템을 사용해왔으며, CIO인 짐 랜스가 1세대 데이터 웨어하우스라고 칭한 제품을 논스톱에서 10년 동안이나 구동해왔다. HP가 네오뷰에서 이 업체의 데이터 분석 워크로드를 구동하자 13배나 빠른 결과가 나왔다. 랜스는 “그 결과가 네오뷰 도입의 결정적인 계기가 되었다”고 말했다.
Bon-Ton의 새로운 데이터 웨어하우스에는 상인과 고객, 공급 업체에 대한 데이터가 포함되어 있다. 다른 업체 몇몇도 네오뷰를 테스트하고 있으며, HP는 조만간 일부 고객사를 외부에 공개할 계획이다.
HP는 다음과 같이 고객에게 접근하고 있다: 데이터 웨어하우스는 기술이 고가에다 독단적이며 기업의 모든 데이터가 아닌 일부만 지원하는데 사용되기 때문에 기대에 미치지 못하고 있다. 하지만 네오뷰는 다르다. 네오뷰 서버는 인텔이 개발한 아이태니엄 프로세서를 코어에 탑재했으며 디자인 측면에서 업계 표준이다. 또한 HP가 재개발한 논스톱 소프트웨어는 두 가지 일을 한꺼번에 할 수 있다. 실시간으로 데이터를 처리할 수 있는 것과 동시에 불러온 데이터도 처리할 수 있다. 이러한 혼합된 워크로드는 논스톱의 병렬 아키텍처에서 구동하기 때문에 확장성과 가용성 측면에서 엄청난 이점이 있다.
HP는 한때 탠덤 컴퓨터가 있던 텍사스주 오스틴에 대형 데이터 센터를 건립 중이며, 데이터 웨어하우스에 대한 허드와 모트의 공격적인 개발 계획에 따르고 있다. 허드는 750여 데이터 마트에서 생성되는 전세계의 운영 정보를 정확하게 파악할 수 없게 되자 자체 데이터 웨어하우스를 통해 이 문제를 해결하고 결과가 좋을 경우 상용 시스템으로 전환한다는 방침을 세웠다.
모트 역시 데이터 웨어하우스가 HP의 여러 문제점을 개선해줄 수 있을 것으로 믿었으며 테라데이타 시스템이 최적이라고 판단했다. 그가 구축에 참여했던 월마트 테라데이타 웨어하우스는 현재 570테라바이트에 이르며 업계에서 성공 사례로 꼽히고 있다. 이에 따라 HP 역시 테라데이타를 데이터 웨어하우스로 결정하게 되었다.
하지만 HP 엔지니어들은 논스톱을 위한 데이터 웨어하우징 기능을 개발 중이었기 때문에 모트는 프로젝트를 검토하고 HP의 내부 기술이 광범위하게 사용할 준비를 갖추었는지 신속하게 판단해야 했다. 2005년 하반기에 이르자, 그의 팀은 연구소에서 테스트를 진행했다. 아이태니엄 시스템에서 구동하는 논스톱을 보고 그는 자신감을 갖게 되었다. 그로부터 6개월 뒤인 2006년 5월, HP는 데이터 웨어하우스를 내부적으로 도입하기 시작했다. 그 뒤에 네오뷰를 상용화하게 되었다.
내부적으로, HP는 750여 데이터 마트에 대한 감축 작업을 지속하고 있다. 데이터 웨어하우스는 단계적으로 구축되어 2008년 7월에 완료될 예정이다. 도입이 완료되면 고객 계약과 지원 통화, 제품 선적 등 모든 분야에 대한 요청 사항을 처리할 수 있고 표준화된 리포팅도 갖추게 된다.
하지만 모트는 빈틈없이 진행해야 한다. HP의 내부 데이터 웨어하우스가 네오뷰의 ‘쇼케이스’ 역할을 담당하고 있어 조그마한 실수조차도 향후 마케팅에 장애 요인이 되기 때문이다.
경쟁사들 ‘환영’ 분위기
HP의 데이터 웨어하우스 시장 진출에 대해 경쟁사들은 별로 개의치 않고 있으며 오히려 환영하는 분위기이다. 테라데이타의 랜디 리아 부사장은 “HP가 들어와 시장을 휘저어주면 좋겠다”고 말할 정도이다. 그 이유에 대해 허드와 모트, 그리고 앤 리버모어(HP의 기술 솔루션 그룹 대표), 스콧 스탈라드(HP의 기업용 스토리지 및 서비스 사업부 대표)가 네오뷰 브로셔를 손에 들고 고객사를 방문하면 할수록 데이터 웨어하우징에 대한 인지도가 상승할 수 있기 때문이라고 밝혔다. 또한 어떠한 CIO든지 HP와 데이터 웨어하우징 계약을 체결하기 전에 다른 솔루션을 평가하지 않을 수 없기 때문에 테라데이타에게 또 다른 기회가 올 수도 있다고 덧붙였다.
테라데이타의 매출은 꾸준한 상승 곡선을 기록하고 있는데, 지난 10월 30일 마감된 분기에서는 3억7,800만 달러의 매출을 달성한 것으로 나타나 전년 동기 대비 5% 성장했다. 지난 가을, 테라데이타는 자사의 대표적인 소프트웨어의 최신 버전인 테라데이타 웨어하우스 8.2를 발표했다. 이 버전은 이전 제품에 비해 44개의 기능이 추가되었으며 성능도 향상되었다. 업그레이드된 하드웨어 제품군은 올해 1분기에 출시할 예정이다. 테라데이타의 고객사로는 뱅크 오브 아메리카와 싱귤러 와이어리스, e베이, 월마트 등 굵직굵직한 기업들이 포함되어 있다. 네오뷰와는 달리 테라데이타의 확장성은 이미 시장에서 검증되었다.
HP는 독자적이고 고가에다 전용 하드웨어에서 구동하기 때문에 다른 애플리케이션에서는 사용할 수 없는 테라데이타를 답습하고 있다. 네오뷰 전략 수립에 가담했던 데이터베이스 컨설턴트인 리차드 윈터는 HP가 테라데이타의 전략을 채택하게 될 것이며 IBM과 오라클은 가격에 초점을 맞출 것으로 예상하고 있다. HP는 네오뷰 가격 구조에 대해서는 밝히지 않았지만 기업용 데이터 웨어하우스 소프트웨어와 서버, 스토리지의 경우 수십만 달러에서 수백만 달러에 이르는 것이 일반적이다. 네오뷰는 각각 두 개의 아이태니엄 프로세스를 탑재한 16, 32, 64, 128, 256개의 노드로 구성되어 출시될 것으로 알려졌다.
HP가 데이터 웨어하우징 분야의 ‘초심자’는 아니다. 상당수 데이터 웨어하우스가 HP 서버에서 구동하고 있으며, HP의 서비스 사업부 전문가들은 수년 동안 1,000건 이상의 데이터 웨어하우스 도입을 지원해왔다. 이제는 Integrity 서버의 상단에 통합된 소프트웨어 환경을 통해 ‘홀로서기’에 나서고 있는 것이다. 일류급 업체로서의 노하우가 부족하다는 것을 깨달은 HP는 최근 데이터 웨어하우징과 비즈니스 인텔리전스, 데이터 통합 서비스 전문 업체인 나이츠브리지 솔루션즈 홀딩스(Knightsbridge Solutions Holdings)를 인수하기로 했다. 인수와 관련한 자세한 내용은 밝혀지지 않았다. 가트너는 리포트를 통해 이번 인수가 ‘BI 서비스와 솔루션, 제품에 대해 완벽한 포트폴리오를 구축하려는’ 명백한 증거라고 밝혔다.
인수가 완료되면 나이츠브리지는 네오뷰와 동일하게 HP의 기술 솔루션 그룹에 편성될 예정이다.
HP의 경쟁적인 움직임에 대해 IBM과 오라클은 공식적인 입장을 밝히지 않고 있다.
HP “DW 시장 아직 성숙하지 않았다”
통합의 파도와 함께 이미 사라져버린 성숙한 시장에 HP가 진입하려는 의도는 무엇일까라는 의문점은 끊이질 않는다. 인포믹스(Informix)가 1998년에 레드 브릭 시스템즈(Red Brick Systems)를 인수한 뒤, IBM이 인포믹스를 2001년에 인수했다. 이에 대해 모트는 “데이터 웨어하우징은 아직 성숙단계에 접어들지 않았다”고 밝혔다.
HP는 대부분의 기업들이 모든 것이 포함된 ‘기업용’ 데이터 웨어하우스를 아직 구축하지 못했다면서 일부 비즈니스에만 적용되는 시스템을 도입하고 있을 뿐이라고 주장하고 있다. 예를 들어, 항공사의 경우, 수익률 관리를 위해 데이터 웨어하우스를 구축했으며 통신 사업자들은 고객의 이탈을 방지하기 위해 도입하고 있다는 것이다. 월마트의 메가시스템은 공급망과 매장 중에서 유통 업체의 데이터 일부에만 적용되고 있다는 것이 모트의 주장이다. 진정한 기업용 데이터 웨어하우스라면 직원과 고객 서비스 등 기업이 생성하는 데이터 모두를 포함하고 있어야 한다는 것이다.
급진적인 아이디어지만 새로운 것은 아니다. 모트도 “이러한 개념은 오래 전부터 존재해왔던 것”이라고 인정했다.
모든 데이터베이스를 아우르는 데이터 웨어하우스 구축이 불가능했던 이유는 비용과 데이터 통합 문제 때문이다. 기업의 인수 합병과 글로벌 시장으로의 진출, 끊임 없이 변화하는 비즈니스 환경 등의 요인으로 인해, 한때 최신형이었던 데이터 웨어하우스도 금새 구식이 되어버린다. ‘밥그릇 싸움’ 문제도 있다. 데이터 분석을 위해 모든 부서가 IT에 의존하기를 바라는 것은 아니기 때문이다. HP의 직원들 중에서 중앙 데이터 웨어하우스의 의무 규정에 대해 거부하는 사람은 없냐는 질문에, 모트는 “모두가 그렇다”고 답했다.
상용 제품을 통해 HP는 시장의 규모를 키우고 단순하며 저렴한 방법으로 데이터 웨어하우스를 구축할 수 있는 방안을 기업들에게 제시하면서 고객을 확보할 방침이다. 업계 표준 접근 방식이 필요한 이유가 여기에 있다. 1980년대에 탠덤과 10년 동안 협력해온 마이크로소프트 리서치의 데이터베이스 전문가인 짐 그레이는 “현재, 데이터 마이닝 시스템 설치와 사용을 위해서는 너무나 많은 전문가가 필요하다”면서, “하지만 모든 것을 한꺼번에 처리할 수 있는 전문가는 너무 부족하다”고 밝혔다.
HP의 갈 길은 아직 멀다. 모트는 네오뷰가 시스템 모니터링과 성능, 통합 툴 부문에서 좀더 조율이 필요하다고 인정하면서, 성능의 차이는 머지 않아 좁혀지게 될 것이라고 말했다.
윈터 컨설턴트는 네오뷰가 월마트와 같은 500테라바이트급에는 아니지만 100테라바이트급의 데이터 웨어하우스에 적합하다고 전했다. 현재 시장의 시스템 중 99%가 100테라바이트 이하이며, 마크 허드는 이 점을 주목하고 있다.
모트는 HP의 내부 데이터 웨어하우스의 성공적인 구축을 진행하는 동시에 외부 프로젝트도 수주해야 하는 책임을 안고 있다. 그는 “그 동안 업계에서 쌓아 온 인맥이 결코 ‘배신’하지는 않을 것”이라고 밝혔다.
진화를 거듭하고 있는 논스톱 시스템
논스톱 운영체제와 데이터 베이스의 여정은 순탄치가 않았다. 논스톱은 1974년에 HP 출신의 엔지니어들이 설립한 탠덤 컴퓨터가 개발했지만 탠덤은 1997년에 컴팩에 인수된 되었고 컴팩은 또 HP에 인수되었다. HP에 인수됨으로써 원래 ‘제자리’로 되돌아온 셈이다.
논스톱의 장점은 이 소프트웨어와 하드웨어의 고유한 기능인 장애에 강하며 높은 가용성의 트랜잭션 프로세스를 제공한다는 것이다. 탠덤의 논스톱 컴퓨터는 다운시간이 거의 없으며 많은 양의 트랜잭션을 처리해야 하는 은행과 증권회사에서 인기가 높았다.
1990년대에 탠덤은 데이터 웨어하우징의 토대로 논스톱을 전환하는 작업을 시작했다. 당시 탠덤의 엔지니어였으며 현재 HP의 네오뷰(Neoview) 데이터 웨어하우스 최고 설계 담당자인 그렉 배타스는 “마이크로소프트와의 계약을 통해, 논스톱 데이터베이스는 윈도우 NT 클러스터에서 구동하도록 설계되었다”고 밝혔다. 윈도우 NT 시스템에서 구동하도록 개발된 논스톱은 상용화로 이어지진 못했지만 탠덤의 개발팀은 처음으로 데이터 분석 작업에 대한 경험을 보유할 수 있게 되었다.
HP는 이제 다시 탠덤을 토대로 한 시스템을 구축하고 있다. 지난 2년여 동안 배타스의 팀은 데이터 웨어하우징을 위한 관리 기능을 만들고 운영 데이터와 워크로드 쿼리(query)를 혼합해 논스톱에 최적화된 시스템을 개발하고 있다. 다음 시스템 개발은 시스템 리소스가 어떻게 사용되는지 예측하고 그에 따라 적용할 수 있도록 해주는 모니터링 툴로 예정되어 있다.
네오뷰의 구성 요소
>> 데이터 웨어하우징을 위해 변형된 통합 논스톱 SQL MX 데이터베이스와 운영 체제 마이크로커널
>> 16, 32, 64, 128, 256개의 노드로 구성된 아이태니엄 기반의 Integrity 서버
>> HP 스토리지웍스 스토리지 시스템
>> 시스템 모니터링용 관리 대시보드
>> 고속의 데이터 위치 확인 및 추출
>> 써드 파티 데이터 분석 툴 지원
출처: HP
인포메이션위크
webmaster@itdaily.kr