[기고] SIL(Software-in-the-Loop) 테스트, 모든 자동화기기 시뮬레이션을 위한 단일 플랫폼

[아이티데일리] Software-in-the-loop (SIL) 테스트는 매우 중요하다. 초기에 이 테스트는 테스트할 소프트웨어와 테스트환경 간의 상호작용을 감시했는데, 이는 런타임오류를 사전에 감지할 가능성을 크게 높여준다. SIL 테스트환경에서 포괄적인 디버깅 툴은 손쉽게 버그를 확인하고 제거하는 데 도움이 된다. 그러나 SIL 테스트 환경을 설정하고 유지하는 일은 복잡하고 시간이 많이 소요될 수 있다. 그러면 어떻게 이런 문제를 해결할 수 있을까? 아래 글은 이에 필요한 단계를 단순화하고 자동화하여 어떤 프로젝트에서라도 구현과정을 가속화할 수 있는 방법을 제시한다.

단위 시험은 코드 단위를 분리하여 코드 수준에서 빠르게 버그를 감지하므로 비용효율이 좋고 탄탄한 코드 기반을 빠르게 실행하고 지원할 수 있다. 그러나, 소프트웨어의 분리된 부분에만 집중하고 발생 가능한 상호작용과 통합의 어려움을 간과할 수 있다. 따라서 단위 테스트는 임베디드 시스템의 소프트웨어를 완전히 검증하기에는 충분하지 않다. 다양한 구성요소의 시간적 행태와 상호작용도 테스트해야 한다.

반면 Hardware-in-the-loop(HIL) 테스트는 실제 하드웨어를 통합하고 현실적 시스템 상호작용을 가능하게 하여 전체 시스템을 정확하게 검증할 수 있다. 여기에는 대상 하드웨어와 해당 하드웨어에서 실행되는 소프트웨어가 포함된다. HIL 테스트는 특히 대상 하드웨어에 대한 소프트웨어의 적합성을 테스트하고 물리적 환경 조건을 시뮬레이션 하는데 효과적이다. 그런데 아쉽게도 이 테스트는 비용이 많이 들고, 특별한 하드웨어를 필요로 하며, 초기 개발단계에서는 제한된 범위 내에서만 사용할 수 있다.

제대로 작동하지 않는 경우, 오류를 찾아내기 어렵다. 이러한 차이점은 SIL 방식으로 줄일 수 있다. 이를 통해 테스트는 초기 단계에서 런타임 오류를 감지하여 소프트웨어 구성 요소가 올바르게 작동하는지 확인할 수 있다. 하드웨어는 더 이상 제한 요소가 아니므로 테스트를 쉽게 확장할 수 있다. 또한, 엣지(edge) 테스트나 에러 케이스와 같은 일부 테스트 시나리오는 실제 환경에서 재현하기 어려운 반면, 가상 세계에서는 잠재적인 위험 없이 시뮬레이션 할 수 있으며, 더 빨리 실행하고 안정적으로 재현할 수 있다.

테스트 대상

SIL 테스트는 장점이 많고 모든 개발 및 테스트 프로세스의 일부로 구성되어야 한다. 그러나 SIL 환경설정과 관련된 초기 노력과 복잡성을 간과하면 안 된다. 중요한 것은 유연하고 성능이 좋은 솔루션을 구현하는 것이다. 일반적인 시스템은 그림 1에 나온 대로 구축하거나 이의 일부만 포함할 수 있다.

테스트 중인 시스템 (System Under Test, SUT)은 하나 또는 여러 개의 구성요소 또는 완전히 통합된 시스템으로 구성될 수 있다. 센서와 액츄에이터를 통해 물리적 환경과 연결된다. 또한 다른 소프트웨어 구성요소, 시스템 또는 서비스와 연결하는 인터페이스가 있을 수 있으며, 이는 함께 소프트웨어 시스템 환경을 구성한다. 제시된 솔루션은 인터페이스가 표준화되지 않은 비 AUTOSAR 기반 시스템을 테스트하는 데 중점을 둔다. 사용사례는 자동차 업계에서 찾아볼 수 있지만 다른 업계에서도 찾아볼 수 있다.

테스트 솔루션이 충족해야 하는 요건

시스템은 SIL 환경에서 테스트한다. 여기서 핵심 기능은 물론 런타임 측면에서도 중점적으로 테스트하게 된다. 작업 스케줄링은 시간의 흐름에 따른 동작을 테스트하기 위한 SUT의 일부이다. 물리적 환경과 소프트웨어 시스템 환경과 관련된 모든 부분을 시뮬레이션해야 한다. 테스트할 코드는 변경되지 않고 실제 환경에 있는 것처럼 동작해야 한다. 고성능 프레임워크는 이런 시뮬레이션과 분리에 필요한 지원을 제공한다.

테스트 프레임워크는 다음의 요건을 필수적으로 갖춰야 한다.

· 인터페이스 호환성: 프레임워크는 SUT와 상호작용할 수 있어야 한다. 시스템 인터페이스와 일치하는 테스트 채널을 생성하는 것이 목표다.

· 프로그래밍 언어 및 플랫폼을 위한 지원: 테스트할 시스템은 운영체제, 플랫폼, 프로그래밍 언어가 다르다. 다양한 애플리케이션을 지원하기 위해 테스트 인터페이스를 개별적으로 지정해야 한다.

· 고성능 환경 시뮬레이션: 환경 모델을 생성하는 것은 복잡할 수 있으므로, 프레임워크는 MATLAB Simulink, FMI/FMU와 같은 다양한 모델링 옵션을 통합할 여지가 있어야 한다.

· 자동화된 테스트 지원: 툴은 테스트를 반복 수행할 수 있고 확장시킬 수 있도록 테스트의 자동화를 지원해야 한다. 이를 통해 CI/CT 파이프라인으로의 통합이 간단해 진다.

· 개발 환경으로의 통합: 일반적인 개발 환경으로의 통합은 테스트 개발 효율성을 향상시키는 데 중요하다.

고성능 테스트 프레임워크의 구성요소

피시험장치 (Device Under Test, DUT)의 환경을 시뮬레이션 하려면 외부와 통신에 사용되는 인터페이스에서 분리되어야 한다. 소프트웨어 인터페이스는 프로그래밍 언어에 독립적인 설명 언어(Interface Description Language, IDL)로 매핑되며, 이는 테스트 설계와 테스트 실행 환경을 분리할 수 있도록 해준다. (그림 2).

IDL은 일반적인 데이터 유형을 정의하고 다양한 통신 패러다임을 지원하기 때문에 센서와 액츄에이터 값에 대한 개별 신호를 데이터 요소로 모델링할 수 있다. 테스트 시스템으로부터의 액세스는 발행(Publish) /구독(Subscribe) 패턴을 통해 이루어진다. 소프트웨어 인터페이스가 테스트 시스템에서 운영되어야 하는 경우, 메소드를 정의하여 원격절차호출(Remote Procedure Call, RPC)에서 실행되도록 할 수 있다. 각 공급자와 소비자의 역할도 거기서 정의된다. RPC는 테스트 시스템은 물론 SUT에서도 시작할 수 있으므로, 이렇게 하면 RPC의 호출 방향을 암묵적으로 정의하게 된다. 테스트 통신은 테스트 채널을 통해 이루어지는 데, 소위 바인딩을 통해 테스트 시스템에서 테스트 객체의 실행 환경에 따라 설정할 수 있다. 바인딩에 적합한 SIL 어댑터는 테스트 중인 장치 (Device Under Test, DUT)와 일치하게 자동으로 생성될 수 있다(그림 3).

C++, Python 및 ANSI-C SIL 어댑터를 모두 지원한다. SIL 어댑터를 SUT 소스에 통합하여 테스트 시스템에 연결하게 되므로, SIL 어댑터는 실행된 코드의 일부분이 된다. CMake 지원이 포함되어 있어 공통 빌드 시스템에 통합시킬 수 있다. SIL 어댑터를 성공적으로 통합시키고 DUT를 해당 실행 환경에 설치하고 나면 테스트 시스템에서 DUT에 액세스할 수 있다. 기본적으로 TCP/IP 연결이 테스트 통신을 위한 전송 계층으로 사용된다. 이 방법을 사용하면 필요에 따라 다양한 시나리오를 매핑하고 결합시킬 수 있다. 즉, 단일 가상 시스템을 처리하는 것은 물론 가상 노드가 있는 전체 네트워크가 상호작용하도록 할 수 있다.

드라이버 계층과 같이 실시간 기능이나 하드웨어 종속성에 대한 특별한 요구사항이 있는 DUT의 경우, 그에 대한 대안으로 대상 하드웨어에서 직접 테스트를 수행할 수도 있다. 테스트 시스템과 테스트 케이스 생성에 대한 개념은 동일한다. 테스트 채널과 생성된 SIL 어댑터만 사용자가 정의하면 된다. 하드웨어 디버거의 디버그 샘플을 통한 대상 하드웨어의 연결이 테스트 채널의 역할을 한다.

제안된 프레임워크의 혜택

제안된 프레임워크는 테스트 중인 시스템을 SIL 환경에 유연하게 통합하는 방법을 보여준다. 인터페이스가 정의되고 테스트통신채널이 생성되면 자동화된 프로세스를 사용하여 환경 모델을 통합해야 한다. 이 프레임워크는 MATLAB Simulink, FMI/FMU 및 사내 프로그램 라이브러리와 같은 다양한 모델을 쉽게 통합할 수 있게 해준다. 이러한 모델은 이전에 정의된 인터페이스에 연결되어 선택한 테스트 통신채널을 통해 데이터를 교환한다. 프레임워크에서 프로그래밍이나 그래픽으로 정의된 자동화된 테스트 시퀀스도 이러한 인터페이스를 사용한다. 통신채널과 하드웨어 인터페이스의 시뮬레이션 모델과 테스트는 서로 종속되지 않으므로 다시 사용할 수 있으며, 예를 들어 통신채널이나 장치 플랫폼이 변경되거나 호환성 테스트를 해야 하는 경우에 필요하다.

이를 통해 모든 SIL 시나리오를 처리하고 위에서 언급한 테스트의 이점을 활용할 수 있게 된다. 제시된 프레임워크는 시간이 많이 걸리는 단계를 지원하는 것은 물론 유지 관리할 수 있고 유연한 SIL 테스트 솔루션의 개발을 가속화하는 자동화 프로세스도 제공한다. 테스트 채널을 고려하여 여기서 생성한 추상 IDLand 코드를 활용하여 SUT를 실제 환경에서 분리하고 시뮬레이션 환경에 연결할 수 있으므로, 이 솔루션을 다양한 시스템과 테스트 시나리오에 사용할 수 있다.

다양한 사용 사례 발굴과, 표준화 인터페이스 확산되어야

다양한 사용 사례와 개발 프로세스 간소화는 SIL 테스트 솔루션의 확대를 위해 요구되는 사항으로 남아 있다. 향후 추가되는 소프트웨어는 소스코드를 직접 분석하고 거기에서 IDL을 파생시킬 수 있다. 이는 자동화 수준을 더욱 높이고 더 빠른 실행이 가능한 테스트 솔루션의 개발로 이어지게 된다. 표준화되지 않은 인터페이스와 테스트해야 할 여러 시스템은 여전히 해결해야 할 문제다.