[컴퓨터월드] 차세대 방화벽의 개념은 많이 알려졌지만, 아직도 많은 제품들이 기술 트렌드 및 시장 분위기에 맞춰야 한다는 현실적인 벽에 부딪혀, 전통적인 의미의 개념이 반복적으로 전달되고 있다. 보안 현장에서 차세대 방화벽의 개념 및 기술 자체에 대한 혼동이 발생하기도 하는 이유가 이 때문이다. IT 환경이 점차적으로 변화하고 있는 만큼, 보안 환경 역시 그에 걸맞게 진화해야 할 필요성이 높아지고 있다. 델소프트웨어의 델 소닉월을 통해 차세대 방화벽으로의 진화가 필요한 이유는 무엇인지 알아본다.

차세대 보안 프레임워크

차세대 방화벽(NGFW: Next Generation Firewall)은 기본적으로 기존 패킷 필터링(IP, Port 기반), 네트워크 주소 변환(NAT), 상태기반 패킷 검사(SPI: Stateful Packet Inspection) 등 전통적인 방화벽의 기능에 더해 ▲실제 트래픽 사용자 식별 기반 제어 ▲애플리케이션 가시성 확보 및 제어 ▲상호 연결된 다중 위협 탐지/차단 등의 기술 적용을 요구하고 있다.

그렇다면 차세대 방화벽이 왜 필요하게 됐는가? 이는 사용자들의 근무 형태가 고정된 것이 아닌, 이동 근무 환경으로 변화하면서 IP 기반의 패킷 필터링이 한계를 드러냈기 때문이다. BYOD의 확산으로 인해 개인 스마트 기기의 업무 네트워크 연결이 늘어났고, 이는 결국 특정 사용자 또는 부서별로 구체적인 트래픽 제어를 요구하게 됐다.

또한 SNS, P2P, IM을 통한 데이터 유출과 악성코드 등 위협요인도 점차적으로 증가하고 있으며, 다중 보안 장비의 개별적 배치로 인해 방어 연계성도 떨어지는 등 보안 현장은 전반적인 변화를 필요로 하게 됐다.

이를 종합하면 차세대 방화벽은 기존 패킷 필터링 방화벽으로 IP/Port 기반의 아주 큰 틀에서 보안 정책을 수립했던 것에서 벗어나, 다양한 애플리케이션의 잠재 위협을 사용자와 애플리케이션 식별 기술을 이용하여 좀 더 구체적으로 제어/방어하고, 분산된 보안 기능을 하나로 통합한 차세대 보안 프레임워크로 볼 수 있다.

차세대 방화벽의 방향성(1) - 사용자 식별 및 제어

기존 패킷 필터링 방화벽에서의 트래픽 소유자는 ‘IP’이기 때문에, 부서/역할 기반의 정책 구현은 불가능했다. 그러나 차세대 방화벽의 사용자 식별은 네트워크에 흐르는 트래픽 소유자를 사용자 기반으로 전환시킴으로써, ‘부서/역할기반 트래픽 흐름 제어→모니터링→추적/감사’에서 좀 더 구체적이고 효율적인 보안 운영을 하도록 하고 있다.

사용자 식별이 차세대 방화벽만의 새로운 개념은 아니다. 예를 들어 네트워크 접근 제어(NAC: Network Access Control)는 단말자체 인증과 그 단말을 사용하는 사용자 인증을 거쳐야만 네트워크 접근을 허용한다. 사용자 인증 기반과 역할기반(RBAC: Role Based Access Control)으로 제어하고 있는 것이다. 이외에도 다양한 사용자 인증 기반의 보안 시스템이 이미 운영되고 있다. 차세대 방화벽에서 트래픽의 소유자로 사용자를 식별하는 것은 역할 기반 트래픽 제어 정책을 구현하는 당연한 방향성인 것이다.

다만, 인증을 위해서 방화벽 자체의 로컬 사용자 DB및 인증 체계를 구성하는 것은 이미 다른 인증 체계를 사용하는 내부 사용자에게 중복 인증을 요구하는 번거로움이 있다. 다른 방향으로 타 인증 시스템과 연계되는 LDAP/RADIUS 리모트 연동 인증 기반을 구현할 수 있지만, 이 또한 인증 과정을 수행하는 구성이다.

권고하는 방안은 타 보안 시스템에서 ‘사용자 인증 기반-IP 매핑 테이블’을 이미 보유하고 있다면 이를 연동함으로써 사용자의 반복 인증을 제거하고, 기존 인증 체계에 차세대 방화벽을 상호 연계하는 것이다.

차세대 방화벽 방향성(2) - 애플리케이션 식별 및 제어

차세대 방화벽의 애플리케이션 식별 및 제어 부문은 기존 PORT/SERVICE 기반 방화벽에서 제어할 수 없었던 TCP 데이터(Payload) 영역을 스캐닝하여 애플리케이션 자체에 대한 가시성 확보 및 제어 기술을 적용한다. 이는 ▲갬블링 애플리케이션 트래픽 식별/제어(콘텐츠 필터링 기반의 사이트 차단이 아님) ▲.exe/.vba/.bat 등의 실행파일 관련 이메일 첨부파일 식별/제어 ▲표준 웹 브라우저 이외 다른 웹 브라우저를 이용한 인터넷 트래픽 식별/제어 ▲표준 메세징 프로그램 이외 SNS, IM 식별 또는 파일 업로드/다운로드 트래픽 식별/제어 ▲SSL 암호화 기반 웹 메일(지메일 등) 첨부파일 식별/제어 ▲HTTPS 콘텐츠 필터링 식별/제어 등 보안정책으로 구현할 수 있다.

기존 패킷필터링 및 세션검사 기반의 방화벽 제어 방식이 ‘허용/거부’였다면, 차세대 방화벽의 애플리케이션 트래픽 제어 방식은 애플리케이션의 종류에 따라서 ▲허용/거부/리셋 ▲DPI 바이패스, 분석목적 상세 패킷 모니터링 ▲대역폭 제어 할당 ▲이메일 전송 차단, 첨부파일 제거 ▲FTP 콘솔 알림 메시지 전송 ▲HTTP 페이지 접속 차단, 페이지 리다이렉트 및 경고 등 다양하게 제공해야 한다.

애플리케이션 식별을 통한 추가적인 보안 가시성 확보는 기존 패킷 필터링 및 세션 검사 기반의 방화벽보다 영역이 넓다. 즉, 기존에 ‘IP/Port 기반의 세션 테이블’, ‘차단/허용 로그’ 정도를 파악할 수 있었다면, 차세대 방화벽은 트래픽 상세 분석을 통한 사용자 및 애플리케이션의 흐름 제어까지 포함하여 ‘실시간/누적 정보에 대한 상호 연계 가시성’을 확보하고, ‘추가적인 보안 감사 및 정책 수립에 대한 방향성’을 제시한다.

차세대 방화벽 방향성(3) - 사용자/애플리케이션 제어 이후, 다중 위협 탐지/차단

허용된 사용자와 허용된 애플리케이션 트래픽일 경우, 트래픽을 무조건 허용해도 될까? 그렇지 않다. 차세대 방화벽은 ‘사용자 식별-애플리케이션 제어-위험판단 및 추가 보안 기능 자동 적용’까지 일괄적으로 진행돼야 한다.

SSL로 암호화된 보안 채널을 통한 다중 위협을 차세대 방화벽으로 대응할 수 있는가? 질문이 단순해 보이지만, 아주 어려운 부분 중 하나이다. 인증된 사용자가 SSL 채널로 암호화된 트래픽을 사용할 때, 차세대 방화벽의 다양한 기능으로 어떻게 위협을 탐지하고 차단할 것인가에 대해서 실무적인 대응 시나리오가 필요하다.

(1) SSL 접속 시도하는 ‘Session Handshake’ 트래픽에 대한 가시성 확보 및 제어
·Self-signed 인증서 사용여부 탐지 및 SSL 접속 제어
·Untrusted CA 인증서 사용여부 탐지 및 SSL 접속 제어
·SSL 버전, 암호종류 등 보안기준이 낮은 부문 탐지 및 SSL 접속 제어
·유효기간이 지난 불법 인증서 사용여부 탐지 및 SSL 접속 제어

(2) SSL 접속 완료 이후, DPI-SSL 적용 후, 접속 사이트 검사 및 웹메일 첨부파일 검사
·SSL 트래픽 복호화 수행
·콘텐츠 필터링 보안 서비스 자동 적용 및 유해 사이트 판별
·Gateway Anti-Virus 자동 가동 및 제어
·Gateway Anti-Spyware 자동 가동 및 제어
·Contents Filtering 자동 가동 및 제어

즉, SSL 보안 위협에 대해서 차세대 방화벽은 ‘사용자 인증, 트래픽 허용, SSL 접속 단계 컨트롤, 접속 이후 DPI-SSl 단계, 보안서비스 적용단계’로 순차적인 프로세스 정책을 적용해야 한다. 더불어 일반적인 HTTP, SMTP, POP3, FTP 트래픽 이외의 레거시 TCP 및 SSL 트래픽에 대해서도 보안 가시성을 확보하고 제어하는 기반을 동시에 제공해야 한다.

차세대 방화벽 방향성(4) - 고성능 보안 기능 구현

차세대 방화벽의 적용 방향성 및 기능을 살펴보면, 다수의 보안 기능을 하나의 시스템에 통합하고, 사용자/애플리케이션 식별 및 제어까지 실시간으로 수행하기 때문에 성능에 대한 고민을 하지 않을 수 없다. 통합된 보안 시스템의 성능 이슈는 이미 10년 전에 나온 UTM 초기 출현부터 지속적으로 논의되고 있다.

차세대 방화벽은 TCP 데이터(Payload) 영역을 스캐닝하기 위해, DPI(Deep Packet Inspection) 기술을 사용한다. 하지만 DPI 기술은 이미 나온 지 오래된 기술임에도 불구하고, 성능 이슈를 해결하지 못한 채 ASIC과 같은 하드웨어 기술에 성능 부분을 의존하고 있다.

DPI 기술이 성능이슈를 극복하지 못했던 이유는, 방화벽을 통과하는 트래픽에 대해서 수많은 보안 서비스(IPS, Anti-Virus, Anti-Malware, DPI-SSL 등)들이 적용되면서, 각 보안 서비스에서 DPI를 개별적으로 수행했기 때문이다. 즉, 보안 서비스를 단계적으로 거칠 때마다, ‘패킷 분해/패킷 재조합’을 반복적으로 수행함으로써, DPI 처리 지연 시간이 성능 이슈로 연결된 것이다.

또한, 악성코드/파일 등을 검사할 때, 파일을 메모리에 로딩/버퍼링 시킨 이후 처리하는 방식을 사용함으로써, 2차적인 처리 지연(Latency 발생) 이슈를 야기시켰다. 차세대 방화벽은 이러한 성능 이슈 부분을 해결하는 방법론을 제시해야만 한다.

(1) RFDPI(Re-assembly Free Deep Packet Inspection)
·트래픽의 Single-pass 기법을 활용하며, 스트림을 패킷단위(per-packet) 단위로 스캐닝
·모든 보안 서비스가 스캐닝을 완료할 때까지, ‘패킷 분해/패킷 재조합’ 과정을 반복적으로 수행하지 않고, ‘패킷 분해 1회-다중 보안 서비스 스캐닝-패킷 조합’의 과정을 수행함으로써, DPI 처리 지연 시간 최소화

(2) 악성코드/파일 검사 시, 메모리 로딩 및 버퍼링 배제 및 RFDPI 기술 적용
·트래픽의 전체 스트림을 패킷단위(per-packet)로 순차 스캐닝
·파일 크기 제한에 상관없이 전체 파일 크기에 대한 보안 서비스 스캐닝

델 소닉월, 사용자와 애플리케이션 식별부터 성능 이슈까지 해결

차세대 방화벽은 단순히 이름만 변경된 보안 트렌드가 아니며, 네트워크 보안에서 급변하는 IT 인프라에 대응하는 보호 방안 수립을 지원하고, 넘쳐나는 애플리케이션 변화(업데이트 등) 과정과 트래픽을 지속적으로 모니터링하는 방안을 제시하며, 이와 동시에 수반되는 보안 위협을 상호 연계하여 방어하는 ‘능동적인 보안 프레임워크’인 것이다.

델 소닉월은 한 번의 패킷 검사만으로 모든 보안 기능을 수행하는 실시간 패킷 분석 엔진 ‘RFDPI’를 탑재하고 있다. 이를 통해 실시간 애플리케이션별 가시성을 제공하면서 사용 중인 애플리케이션과 사용자를 식별한다.

또한 델 소닉월은 대부분의 차세대 방화벽들이 SSL 트래픽을 복호화 또는 검사할 경우 제대로 성능을 발휘하지 못하는 것과 달리 네트워크 보안 기능과 높은 성능을 보장한다. 미국 네트워크 전문잡지 네트워크월드(Network World)가 시행한 SSL 복호화 및 검사에서도 델 소닉월은 확장성과 성능 면에서 최고 등급을 획득한 바 있다.