[아이티데일리] 2005년 당시 국내 IT업계에서는 벤치마크테스트(BMT)가 무분별하게 남발되면서 각종 문제점이 나타나고 있었다. 공급업체가 BMT 비용을 전액 부담해야 했으며, 탈락 사유 비공개 등 불투명한 절차로 인해 공정하고 객관적인 인증체계를 요구하는 업계의 목소리가 높아지고 있었던 것이다. 이런 상황에서 한국정보통신기술협회(TTA)가 그 대안으로 부상했다. 

비용 먹는 하마 ‘실제 환경의 BMT’

지난 2005년은 발주자들의 BMT 요구가 늘어나면서 공급업체의 비용 부담도 함께 증가하던 시기였다. 특히 실제 업무 환경과 유사한 조건에서 시스템이나 솔루션의 성능을 테스트하는 ‘실제 환경의 BMT’를 진행하기 위해서는 각종 장비와 전문 인력이 뒷받침돼야 해 비용 부담은 더욱 가중될 수밖에 없었다.

서버 및 데이터베이스관리시스템(DBMS), 디스크 등 기본적인 장비는 물론, 값비싼 테스트 툴도 요구됐다. 국내에 장비가 없으면 해외에서 장비를 도입해야 하는 경우도 있었다. BMT 기간은 최소 1주일로, 규모에 따라 3주에서 12주, 심지어 6개월 이상 소요되기도 했다. 비용도 수십만 원에서 수천만 원 심지어 억 단위가 넘어가는 사례도 있었다.

당시 업계의 한 관계자는 “요즘 신규 제품의 라이프사이클은 3~6개월 정도다. 외국에서는 장비를 쉽게 구할 수 있지만 국내는 그렇지 않다. 이런 상황에서 발주자들은 항상 신규 장비를 준비해 놓으라고 요구한다”며 발주자들이 내건 BMT에 불만을 토로했다.

하지만 공급업체들은 발주처의 이런 까다로운 BMT 요구조건을 거절할 수 없었다. 부당한 요구조건이라 하더라도 이를 거절할 경우 그 프로젝트의 참여 포기는 물론 그 발주처의 앞으로의 모든 사업을 포기해야 하는 상황이었기 때문이다.

“마구잡이식 BMT 진행, 비용 부담은 공급업체 몫”

실제 환경의 BMT 필요성에 대해 발주자와 공급업체의 의견은 극명하게 엇갈렸다. 발주자들은 실제 환경의 BMT를 통해 장비 도입 및 솔루션 선정의 객관성을 확보하고, 향후 발생할 수 있는 리스크를 최소화할 수 있다고 주장했다. 하지만 공급업체 측은 파일럿 형태의 BMT로도 충분한 성능 검증이 가능하다는 입장을 내세웠다. 굳이 큰 비용을 투자해 실제 환경의 BMT를 진행할 필요가 없다는 것이다.

당시 업계에서는 BMT가 마구잡이 식으로 진행된다며 이에 대한 개선이 필요하다는 입장을 보였다. 대표적인 사례로 한 회사에서 부서마다 동일한 내용의 BMT를 중복 추진했던 것을 들었다. A 부서가 디스크 도입을 위한 BMT를 이미 실시했음에도 B 부서와 C 부서 또한 디스크를 도입할 때마다 별도로 BMT를 수행한다는 것이다.

또한 공급업체들은 큰 비용을 들여 BMT에 참여했으나 사업자로 선정되지 못할 경우 그 비용을 고스란히 공급업체가 떠안아야 한다는 점도 문제라고 지적했다. 외국에서는 BMT를 실시할 경우 발주처에서 그 비용을 담당한다는 게 관계자들의 주장이었다. 심지어 BMT 추진 과정에서 일방적으로 프로젝트가 취소되는 경우에도 발주자들은 BMT 비용을 공급업체에 떠넘기는 것으로 전해졌다.

당시 업계 관계자는 “1억 원을 투자해 2차례나 BMT를 진행했는데 발주자가 도입 결정을 포기해 막대한 손해를 입었다”고 말했다.

공급업체는 이러한 문제가 발생하는 근본적인 원인으로 발주자의 무분별한 접근방식을 꼽았다. 큰 의미를 두지 않고 다른 곳에서도 하니까 ‘일단 한 번 해보자’는 식으로 BMT를 진행하는 경우가 많아 BMT의 당초 의미를 살리지 못한 채 공급업체만 피해를 보는 경우가 많았다는 것이다.

물론 업계 일각에서는 BMT와 관련, 발주자 측은 물론 공급업체에도 책임이 있다는 의견도 있었다. 당시 많은 업체들이 자사 솔루션에 대한 BMT 결과를 발표했는데 그 결과 객관성과 공정성이 떨어진다는 지적이었다. 한 업계 관계자는 “예를 들어 2개 업체가 모 기관의 프로젝트에 참여했는데 제안서의 사양이나 BMT 평가 항목이 하룻밤 지나면 바뀌는 경우가 발생하기도 한다. 공급업체들이 서로 자신들에게 유리한 것만 주장하기 때문에 공정성에 의문이 나올 수 밖에 없다”고 설명했다.

공급업체들이 자사 제품에 유리한 환경을 조성해 BMT를 진행하고, 그 결과를 내세워 영업에 나서는 관행은 당시 공공연한 비밀이었다.

들러리 식 BMT 논란

공급업체가 BMT 비용을 전부 부담하는 것과 함께, 결과 비공개 원칙 또한 BMT의 문제점으로 지적됐다. 당시 BMT 이후 사업에서 탈락한 업체들은 이유를 전혀 알 수 없었으며, 항의조차 할 수 없었다. BMT 전에 발주자와 공급업체는 결과에 이의를 제기하지 않고 승복한다는 내용을 계약서에 명시하거나 최소한 구두로 약속하는 것이 일반적이었기 때문이다.

들러리 세우기식의 BMT도 심심찮게 이뤄졌다. 사전에 공급업체를 선정하고, 외부에는 공정한 절차를 거친 것처럼 보여주기 위해 형식적으로 BMT를 추진한 경우도 있었다. 10가지 평가 항목이 있다고 가정했을 때, 발주자는 항목마다 가중치를 부여해야 하는데 미리 선정해 놓은 업체에 유리하도록 가중치를 설정하기도 했다. 또 발주자가 촉박하게 일정을 잡아 의도적으로 일부 공급업체들의 참여를 배제하는 사례도 있었다.

심지어 BMT는 발주자가 경쟁업체의 경쟁을 부추기는 수단으로 이용되기도 했다. 한 관계자는 “버전 8이면 충분한데, 버전 9나 10을 요구하는 경우도 있었다”고 토로했다.

또 다른 업계 관계자는 “BMT가 과연 저렴한 예산 집행에 적정한 도구인지 의문”이라고 주장했다. 그는 “BMT를 진행하는 프로젝트는 대부분 최저가 낙찰제가 아닌 종합 평가를 적용한 경우”라며 “이는 제안가를 BMT 점수로 나눠 제일 낮은 곳이 낙찰받는 방식으로, 발주자와 공급업체가 사전 합의를 했을 경우, 가장 높은 제안가를 써낸 업체가 낙찰될 수 있다”고 설명했다. BMT가 본래 의도와 다르게 고가의 예산 집행 수단으로 활용된다는 것이다.

이러한 문제를 해결하기 위해 변별력 있는 BMT 진행 절차가 필요하다는 의견이 제기됐다. 업계 관계자에 따르면 “미국이나 일본은 한국처럼 BMT를 남발하지 않는다. 테크니컬 페이퍼를 검토하거나 기능 검증(POC) 수준에 그치는 경우가 많다. 적은 비용으로 투명하고 공정하게 진행할 수 있는 절차를 마련하는 게 시급하다”고 밝혔다.

공인 BMT 기관 필요성 높아져

관련 업계에서는 이러한 BMT의 문제점을 해소하는 방안으로 객관성과 공정성을 갖춘 제3의 공인 BMT 기관을 만들어야 한다고 요구했다. 당시 국내에서도 이러한 공인 BMT 기관을 지향하는 곳이 있어 눈길을 끌었다. 바로 한국정보통신기술협회(TTA) 소프트웨어(SW)시험인증센터다. 2002년 1월부터 BMT 서비스 제공을 시작한 TTA는 △해외 유명 SW와 동종의 국산 SW BMT △동종의 국산 SW 간 BMT △사용자 요구 사항에 따른 맞춤형 BMT △하드웨어 간의 사양·기능·성능 측정 및 비교 분석 등의 업무를 맡았다.

이때까지는 주로 정부 공공기관이나 일부 민간 기업의 의뢰를 받아 BMT 결과를 통보하는 방식으로 수행했다.

당시 센터는 PC, 서버 등 다양한 장비와 20여 종의 시험 자동화 도구를 보유했으며, 테스트 전문 엔지니어도 30여 명에 달했다. TTA SW시험인증센터 신석규 센터장은 “인지도나 회사의 규모가 제품 도입의 주요 요인으로 작용하고 있다. 현재 국내 시장에 나와 있는 외산 제품은 대개 영문 버전으로 한글화돼 있지 않은 것이 많다. 영문 버전을 현지화하면 버그투성이다”라며 “현지화한 제품의 테스트가 필요한데 제대로 이뤄지지 않고 있다”고 설명했다. 이어 그는 “자체적으로 여러 제품의 BMT를 추진하고 그 결과를 공개해 공급업체들이 제품 보완의 기회로 삼을 수 있도록 노력할 것”이라고 당시 계획을 밝혔다.

“철두철미한 테스트로 국산 SW 경쟁력 확보”

2005년부터 정부 공공기관에서는 중소 소프트웨어 기업의 GS(Good Software) 인증 제품을 우선 구매하는 제도가 시행됐다. GS 인증은 정부에서 지정한 인증기관에서 실시하는 SW 품질 테스트를 통과한 제품에 부여되는 인증이다. TTA SW시험인증센터가 인증기관의 역할을 맡았다.

당시 센터는 중소 업체들이 갖추기 어려운 여러 운영체계의 시험 서버와 다양한 분석 시스템을 보유해 10여 개(기능성, 신뢰성, 효율성, 사용성, 이식성, 유지보수성 등) 항목에 걸친 테스트를 수행했다.

또한 테스트 과정에서 발견된 결함을 리포트로 제공했으며, 재시험 절차를 통해 결함을 보완할 기회를 줬다. 꼼꼼하고 까다로운 테스트를 진행해 국산 소프트웨어 경쟁력 강화에 일조하고 있다는 평가를 받았다.

TTA SW시험인증센터 신석규 센터장은 “미국이 SW 강국으로 자리 잡은 것은 여러 요인이 있지만 그중 여러 테스트 전문 기관을 통한 철저한 테스트 절차를 이유로 꼽을 수 있다”며 국내에서는 뒤늦게, 심지어 정부 기관 한 곳에서 테스트를 수행하는 실정을 꼬집었다. 그는 특히 “조잡한 제품은 도태되고, 좋은 제품은 반드시 부흥할 수 있는 환경을 만들어야 한다”며 “정교하고 철두철미한 테스트로 소프트웨어 품질을 높이는 것이 국산 소프트웨어의 경쟁력을 확보하는 길”이라고 강조했다.

TTA는 이러한 GS 시험·인증 서비스 외에도 벤치마크 테스트와 VenTest 국제시험‧인증서비스, SW 테스트베드 지원 서비스, SW 테스트 전문가 양성 교육 사업 등을 진행했다.

이 가운데 지난 2002년 1월부터 제공한 BMT 서비스는 객관적인 비교 분석 자료를 공유해, 우수 제품을 선택할 수 있는 기회를 제공했다.

개발자에게는 제품의 취약점을 보완할 수 있는 계기를 마련해 준다는 목적으로 당시까지 130여 개 제품에 대한 BMT가 수행됐다. TTA 측은 “이 같은 BMT는 그동안 정부 공공기관이나 일부 민간기업의 의뢰를 받아 추진됐는데 앞으로는 독자적으로 여러 제품의 BMT를 수행해, 그 결과를 제공할 계획”이라고 밝혔다.
 

2017년, TTA 소프트웨어 BMT 시험기관 공식화

미래창조과학부(현 과학기술정보통신부)는 지난 2016년부터 5천만 원 이상의 분리발주 대상 SW를 경쟁입찰로 구매하는 사업을 중심으로 BMT 의무화 제도를 도입했다.

그러나 제도 시행 초기에는 소프트웨어 기업들이 사업마다 매번 동일 SW 제품에 대한 BMT를 수행해야 했기에 상당한 비용 부담이 발생했다. 이 문제를 해결하기 위해 정부는 2017년 ‘품목별 주요 기능 BMT 제도’를 도입했다. 이를 통해 공공기관의 구매 수요가 높은 SW 제품군에 대해 표준화된 평가 항목으로 주요 기능 BMT를 실시하고, 그 결과를 공공 SW 사업 제안 시 활용할 수 있게 해 SW 기업의 부담을 경감시켰다.

이와 더불어 미래창조과학부는 2017년 1월 TTA를 공식 소프트웨어 BMT 시험기관으로 지정했다. 이로써 TTA는 2005년 당시 업계에서 요구했던 공신력 있는 BMT 인증기관으로서의 역할을 공식적으로 부여받게 됐다. TTA는 △2021년 메타데이터관리·데이터품질관리 SW 주요 기능 BMT △2022년 클라우드데이터센터(CDC) 주요 기능 BMT △2023년 데이터베이스(DB) 접근제어 사전BMT 등을 추진했으며, 현재도 다양한 BMT를 수행 중이다. TTA 관계자는 “최근의 BMT는 발주기관의 공통 요구사항을 취합해 이에 대한 반복시험을 지양하고, 시험수수료를 절감하고자 사전 BMT 방식으로 진행되고 있다”고 설명했다.