[컴퓨터월드] ‘검색’이라고 하면 대다수의 사람들은 구글, 네이버 등 포털사이트의 검색창을 먼저 떠올릴 것이다. 기업이나 기관 등의 웹사이트에서도 자체적으로 이 같은 검색서비스를 제공할 수 있도록 구현해주는 것이 검색엔진 솔루션이다.

이를 전문적으로 개발해 공급해온 국내 소프트웨어(SW) 기업들이 수년 전부터 빅데이터 분석 전문기업으로의 변신을 꾀하고 있다. 이들이 이러한 길을 걷게 된 이유와, 앞으로 바라보는 방향에 대해 알아본다.

국내 SW시장서 외산 솔루션 대체한 기업들

국내 SW기업들이 검색엔진 제품을 내놓으며 해당 시장에 뛰어든 시기는 지난 2000년 전후다. 이들은 특히 한글 언어 처리에 대한 강점을 앞세워 이전까지 외산 솔루션들이 점령하고 있던 국내 검색 솔루션 시장을 빠르게 탈환해나갔고, 2000년대 중반에 이르러서는 외산기업들을 상대로 시장점유율도 앞서기 시작했다.

이 가운데 한때 50여개에 달했던 국산 검색 솔루션 기업들 중에도 경쟁을 통해 옥석이 가려지게 됐다. 현재 이 시장에서는 와이즈넛, 코난테크놀로지, 다이퀘스트, 솔트룩스 등 4사가 80%가 넘는 점유율을 보이고 있다. 국내 SW시장에서 국산SW가 확연한 강세를 보이는 드문 곳 중 하나다.

이석원 와이즈넛 전략사업본부장은 “자사는 국내 검색 솔루션 시장에서 40% 이상의 높은 점유율을 차지하고 있다. 지금껏 BMT에서 외산 솔루션에게 기술 점수로 져본 적이 없다. 그만큼 제품의 우수성과 기술력에 있어 국내 최고일 뿐만 아니라, 해외 9개국에 검색 솔루션을 수출하는 글로벌 경쟁력도 갖췄다”고 밝혔다.

안춘근 코난테크놀로지 영업본부장은 “검색엔진의 기반이 되는 형태소 사전을 자사가 국내 최대 규모로 보유하고 있다”며, “자사 검색 솔루션은 포털사이트에도 쓰였던 검증된 제품으로, 특히 대용량에 특화돼 70~80억 건에 대한 색인이 가능하다. 자체 파일시스템도 구축, 분산병렬처리도 자연스럽게 지원한다”고 설명했다.

강락근 다이퀘스트 대표는 “국내 쇼핑몰의 70%가 자사 상품검색 솔루션을 사용하고 있는데, 이는 오래전부터 알고리즘 기반 스코어링을 선도적으로 도입했기 때문”이라며, “지난해 새로운 버전을 출시한 통합검색 솔루션은 국내 최고의 성능을 보유, 특히 색인 중 검색을 수행하는 부분에도 탁월해 비용효율성까지 높다”고 소개했다.

김일정 솔트룩스 솔루션사업부문장은 “자사는 특히 공공 분야에서 두각을 나타내고 있다. 이 분야는 검색 성능도 중요하지만 수집 성능이 뒷받침돼야 하는데, 이를 위한 크롤러가 타사 대비 수배 빠르고 수집량도 더 크다”며, “최근에는 국내 최초로 딥러닝 기반의 검색 솔루션도 선보였다”고 강조했다.

기술력 바탕으로 신성장동력 발굴 나서

검색 솔루션은 인터넷 서비스의 웹페이지나 인트라넷 솔루션 등 현재 IT 서비스의 가장 앞단에서 거의 모든 분야에 걸쳐 사용되고 있다. 새로운 시스템에는 자연스레 도입되는 기본적인 솔루션인 셈으로, 그 핵심인 색인(인덱싱) 성능을 향상시키기 위한 연구개발도 계속되고 있다.

이에 시장 자체는 지속적으로 성장하고 있지만, 낮아진 솔루션 가격과 인건비 상승 및 시스템 통합 관련 이슈 등으로 인해 그 수익구조는 예전만 못한 측면도 존재한다.

이러한 상황에서 검색 솔루션 업계의 이목을 집중시킬 만한 IT트렌드가 급부상했으니, 바로 빅데이터다. 2010년대 들어 검색 솔루션 기업들은 소셜분석 서비스도 내놓는 등 빅데이터 분석 기업으로의 변신을 꾀하기 시작한다.

검색 솔루션을 개발해 공급하면서 데이터 수집, 검색, 저장 관련 노하우를 쌓아왔고, 특히 ‘언어’라는 비정형데이터 처리에 필요한 자연어처리(NLP) 역량에서 타 분야보다 뚜렷한 강점을 갖기 때문이다.

최근에는 검색 솔루션에 대한 고객들의 빅데이터 분석 관련 수요와 요구사항도 늘어나, 텍스트마이닝을 통한 연관분석이나 큐레이션을 지원하는 등 솔루션 자체의 기능도 갈수록 확장되는 추세다. 이에 타 솔루션 시장과의 구분도 점차 모호해지고 있고, IT분야 전반에 일어나고 있는 융복합 현상은 이를 가속화시키고 있다.

빅데이터 분석 분야는 기존 검색 솔루션 기업들의 신성장동력이자, 그동안 수행해온 비즈니스의 연장선상에 있는 셈이다.

올해도 빅데이터로 간다

올해도 검색 솔루션 업계는 빅데이터 시장 공략에 주력할 전망이다. 국내에서도 빅데이터에 대한 접근이 보다 성숙해지며 그 실질적인 활용에 초점이 맞춰지고 있고, 빅데이터 사업도 초입단계를 넘어 점차 본사업이 발주되면서 기회를 맞이하고 있다.

특히 금융권의 차세대 시스템 프로젝트 시기가 도래함에 따라 VOC(고객의 소리) 분석 분야에서 업체들 간의 치열한 경쟁이 벌어질 것으로 예상된다. 더불어 정부의 빅데이터 관련 사업예산도 배로 늘어났고, 정부3.0에 따른 LOD(링크드오픈데이터) 기반 데이터베이스(DB) 구축도 진행되고 있다.

기업들의 빅데이터 분야에 대한 투자도 점차 증가하는 가운데, 실질적인 성공사례를 만들어내는 것이 업체들에게 주어진 당면과제로 보인다.

이밖에도 기계학습(머신러닝) 등 인공지능(AI) 기술과의 접목, 음성인식 및 멀티미디어 분석 솔루션과의 결합, 글로벌 서비스와 해외직구 증가에 따른 다국어 검색 수요 확산, 사물인터넷(IoT)의 부상에 따른 실시간 데이터 분석 시장 확대 등이 관련업계에서 올해의 화두로 꼽히고 있다.

와이즈넛, 빅데이터 사업에 AI를 더하다

지난해 10월에는 미국 AI 전문기업 루미노소(Luminoso)와 기술 제휴를 맺었다. MIT가 구축한 AI 시스템 ‘컨셉넷(ConceptNet)’의 개발 주역 중 한 명인 캐서린 하바시(Catherine Havasi)가 창립한 회사다. 루미노소에게 한국어 분석 기술을 지원하면서 AI 분야 전반의 기술을 제공받게 돼, AI 관련 역량을 급성장시킬 수 있는 기회를 맞았다.

와이즈넛은 이러한 역량을 자사 소셜분석 서비스 ‘버즈인사이트(BuzzInsight)’에 2분기 내 적용 예정이며, 이에 앞서 금융봇 ‘와이즈핀봇(WISE FinBot)’도 1분기 내 선보일 계획이다.

“빅데이터 시장 주도하는 역할 맡을 것” 와이즈넛은 16년간 NLP 기술을 바탕으로 비정형 빅데이터 분석, 수집, 검색시장을 선도해왔다. 이제는 AI 기반 빅데이터 분석, 수집과 검색의 퍼스트 무버(First Mover)로서 빅데이터 시장의 방향을 제시하며 시장을 주도하는 역할을 수행하고자 한다. 이에 올해는 국내 AI 기반 빅데이터 분석 사업에 박차를 가하는 한편, 세계 12개국 언어를 대상으로 한 AI 기반 빅데이터 분석 서비스를 선보일 예정이다.

코난테크놀로지, 다져온 내실 딛고 빅데이터 전문기업 도약

코난테크놀로지는 나아가 고급분석(Advanced Analytics)의 접목을 통해 데이터 분석 서비스 역량을 지속적으로 강화해나갈 계획이다. 자사 소셜분석 서비스 ‘펄스K(Pulse-K)’를 활용해 기존 데이터 처리 및 분석에서 시각화 영역까지 확장, 보고서를 자동으로 만들어주는 수준을 목표로 파트너들과의 협업 및 데이터 분석 전문가 육성을 진행하고 있다.

이밖에도 코난테크놀로지는 보유한 NLP 기술과 멀티미디어 분석 기술을 바탕으로 ‘GCS(글로벌창조SW)’와 ‘딥뷰(Deep View)’ 등의 정부 프로젝트에도 참여하고 있다.

“빅데이터 검색·분석 및 데이터 서비스 전문기업으로 진화” 올해는 빅데이터 사업 수주에 집중하고 이를 잘 구축해 레퍼런스를 확보, 경험을 쌓고 내실을 다지는데 주력할 계획이다. 검색엔진을 공급하면서 형태소 분석기의 좋은 성능으로 정확한 데이터를 제공한다는 칭찬을 들어왔는데, 빅데이터 분야에서도 코난테크놀로지가 정확한 분석을 가능케 한다고 평가받고 싶다. 검색기술 기반으로 빅데이터 분석까지 확장, 일련의 과정에 모두 대응 가능한 빅데이터 기업으로 성장해나가겠다.

다이퀘스트, NLP 기술 기반 융복합 분야 공략

다이퀘스트는 특히 상품검색엔진 ‘다이버(Diver)’로 이커머스(전자상거래) 분야에서 독보적인 위치를 고수하고 있다. 로그데이터 분석 결과를 적용한 알고리즘을 바탕으로 보다 정확하게 상품을 찾아주며, 유지보수를 이원화해 상품명 등을 업데이트하기 위한 별도의 지식튜닝을 지속하는 것도 특징이다. 올해는 ‘다이버’의 새로운 버전도 선보일 예정이다.

이밖에 통합검색엔진 ‘마리너(Mariner)’의 새로운 버전도 지난해 출시, 대폭 강화된 성능으로 비용효율성도 높였다. 최근에는 실시간 로그데이터 처리 관련 연구개발도 진행하고 있다.

“NLP 기술력 바탕으로 사업 다각화 도전” 최근 들어 검색엔진 수준을 넘는 전문적인 NLP 기술력 대한 니즈가 점차 증가하는 것으로 보인다. 이러한 NLP 기술 기반의 다양한 융복합 분야에 초점을 맞추고 있다. 장기적 시각에서 지속적으로 연구개발을 수행하고, 이를 활용한 사업 창출에 도전적 자세로 임하려 한다. ‘기술에 언어를 담아 사람의 마음을 읽다’라는 다이퀘스트 슬로건처럼 기술력으로 사회를 변화시킬 수 있도록 힘쓸 것이다.

솔트룩스, LOD와 AI로 신성장동력 마련

지난해 말에는 AI 분야의 노하우를 바탕으로 기계학습에 기반을 둔 검색엔진 ‘인투(IN2) 4.0’도 출시했다. 사전 기반이 아닌 딥러닝 기반의 정답 모형으로 형태소 분석기를 전환, 신조어 등 사전에 없는 단어를 접하거나 룰이 사전 정의되지 않은 경우에도 특징학습(피처러닝)을 통해 스스로 이해할 수 있도록 구현됐다는 설명이다.

이밖에 솔트룩스는 AI 분야 정부 프로젝트 ‘엑소브레인(Exobrain)’을 주관하고 있고, 보유한 검색 기술에 음성인식 기술을 접목하기 위해 전문기업과의 제휴도 준비 중이다.

“새로운 시장 개척 통해 지속적으로 성장동력 발굴” 솔트룩스는 AI 분야에서 기계학습과 딥러닝의 결합으로 예측과 분석을 인간의 사고 수준으로 끌어올리기 위한 기술 개발에 집중하고 있다. 또 정형/비정형 빅데이터 통합 분석을 위한 패키지 및 차세대 제품도 출시할 예정이다. 더불어 스트리밍 데이터에 대한 실시간 수집·분석 솔루션 ‘D2’로 IoT 분야도 공략하고 있으며, 클라우드 데이터 분석 서비스 사업도 확장하기 위해 ‘데이터 믹시(Data Mixi)’ 서비스도 준비 중이다.

빅데이터 검색 업계의 목소리

한편, 검색 솔루션 업계에서는 보다 발전적인 국내 SW산업 생태계 조성을 위해 각기 다양한 의견들도 제시했다. 다음은 그 내용이다.

데이터 유통 활성화 위한 정부 지원 필요
빅데이터 시장이 더 활성화되려면 데이터 유통이 보다 원활하게 이뤄져야 한다. 소셜분석 서비스도 소셜미디어 데이터가 충분히 수집돼야 의미 있게 활용될 수 있다. 공개된 데이터만 분석에 활용하는 수준을 넘어, 저작권법을 지키면서 여러 데이터를 분석에 활용하고 싶지만, 이를 구매하려 해도 그 가격이 대체로 너무 비싸다. 정부에서 나서서 현실적인 가격이 될 수 있도록 가이드라인을 마련해줄 필요가 있다.

글로벌 플레이어들의 정부 연구과제 참여
국내 기업들이 글로벌 기업 또는 연구기관들과 함께 정부의 연구개발과제를 수행할 수 있는 환경이 조성된다면 글로벌 시장 진출이 보다 수월해질 수 있다. 국민들의 세금과 결부돼 정서적으로 어려운 측면도 있겠지만, 글로벌 플레이어들의 앞선 기술력을 받아들일 수 있을 뿐 아니라 해외 현지 유통까지 연결시킬 수 있다. 특히 글로벌 시장 진출 시 현지 관점에서 부족하다고 여겨질 수 있는 부분을 보다 쉽게 파악하고 보완할 수 있다.

SW제값받기, 유지보수요율 현실화
지속적인 이슈제기와 제도적 보완이 이뤄지는 문제들이나, 여전히 충분한 해결은 요원하다. 검색 솔루션은 레가시 시스템과의 연계로 인해 커스터마이징이 필수적인데, 하도급 구조상 이를 위한 인력 비용을 제대로 받지 못할 때가 많다. 프로젝트 이후에도 검색 컨설팅이라는 이유를 들어 인력을 불필요하게 붙잡아놓기도 한다.
또한 검색 솔루션에 대한 유지보수를 실시하는 비율도 타 솔루션 대비 낮을 뿐더러, 이마저도 실제 솔루션 업체에게 가지 않고 중간에서 사라지거나 아예 무상을 바라는 경우가 적지 않다. 유지보수요율도 더욱 높아져 일본 수준으로 현실화돼야 하며, 국산 솔루션에 대한 역차별을 없애야 한다. 이를 위해 업계에서 계속 한 목소리를 낼 필요가 있다.

검색엔진에서 출발한 국산SW기업들은 각자의 방향으로 빅데이터 전문기업을 향한 진화를 거듭하고 있다. 글로벌 IT공룡들에 비하면 아직은 부족한 부분이 존재할 수도 있겠지만, 그동안 거둬온 성과와 특화된 기술력은 앞으로의 행보에 귀추를 주목케 한다.

최근 모든 IT트렌드의 근간을 이루는 ‘데이터’, 그 중 커뮤니케이션에 필수적인 ‘언어’를 전문적으로 다루는 이들이 개척해나갈 새로운 영토를 기대해본다.