Windows Server - 취약 (RC4) 암호화 알고리즘 및 구버전 SSL/TLS 프로토콜 비활성화 (그 외 보안 조치 방법 추가)

최근 SK텔레콤 유심 정보 유출 사고에 이어 KT 고객 무단 소액결제 침해 사고까지 발생하면서 보안 이슈가 잇따르고 있습니다. 이런 이유로 보안 관련 문의가 평소보다 눈에 띄게 늘어난 상황입니다.

 

사실 서버라는 것은 유지하는 것 자체로도 비용이 많이 발생합니다. 특히 호스팅 서비스를 이용하다 보면 여러 사용자의 편의를 맞추기 위해 보안을 강하게 적용했을 때, 오히려 서비스가 정상적으로 동작하지 않는 경우가 생기기도 합니다. 그래서 보안 조치 요청이 들어와도 바로 적용하지 못하는 경우가 많습니다.

 

보안을 가장 확실하게 강화하는 방법은 새로운 서버 OS가 출시될 때마다 교체하는 것입니다. 하지만 현실적으로 누군가 대신 투자해 주지 않는 이상 쉽지 않은 방법이죠. 그렇더라도 가능하다면 현재 환경에서 취할 수 있는 보안 조치들은 최대한 적용하는 것이 바람직합니다.

 

예를 들어, 아직 Winodws Server 2012 R2를 사용하시는 업체도 있는데요. 이 버전은 이미 EOS(End of Support, 공식 지원 종료) 상태라 마이크로소프트의 기술 지원이나 새로운 보안 업데이트를 더 이상 받을 수 없습니다. 따라서 최소한 RC4 같은 구식 암호화 알고리즘이나 SSL/TLS1.0/TLS1.1 프로토콜은 반드시 비활성화해야 합니다.

 

Winodws Server 2012 R2를 기준으로 이후 Windows Server 2022와 비교하여 어떻게 취약점을 확인하고 보안 조치를 구체적으로 어떻게 적용할 수 있는지 알아보도록 하겠습니다.

---

◈ 취약점 확인 방법

① Qualys SSL Labs 웹 점검 툴을 이용한 점검

※ 공식 홈페이지 URL : https://www.ssllabs.com/ssltest/index.html

Qualys는 사이버 보안, 컴플라이언스 및 관련 서비스를 전문적으로 하는 미국의 기술 기업입니다. 이 기업에서 운영하는 프로젝트 중 하나가 바로 SSL Labs인데요. 이를 통해 공용 인터넷에 연결된 모든 SSL/TLS 웹 서버의 구성을 무료로 심층 분석하실 수 있습니다. (Windows Server 외에도 Linux/Unix OS 등으로 구성한 모든 WEB/WAS 서버 분석 가능)

※ 테스트를 하기 위해서는 웹 서버가 「HTTP(80)/HTTPS(443)」포트 등이 방화벽에서 오픈되어 있어야 합니다.

 

예시 [Hostname 입력]

 

② nmap 툴을 이용한 SSL/TLS 점검

※ 리눅스/유닉스 서버가 있다면 nmap 네트워크 점검 툴을 이용합니다. 옵션 중 「--script ssl-enum-ciphers」옵션을 쓰면 지원되는 프로토콜(SSL/TLS), Cipher Suite 목록, 키 교환 알고리즘, 취약점 경고까지 확인할 수 있습니다.

# dnf install -y nmap    [툴이 없다면 설치]

# nmap --script ssl-enum-ciphers -p 443 mydomain    [명령어 입력, 아래는 예시]

 

③ Openssl 툴을 이용한 SSL/TLS 확인

※ 서버뿐만 아니라 클라이언트(사용자 측) 툴이 SSL/TLS1.0/TLS1.1 연결을 지원하지 않을 경우, 서버에서 해당 프로토콜을 비활성화하더라도 무조건 강제 연결 실패로 메시지가 떨어지므로 조치 여부를 단정할 수 없습니다. 아래 내용은 확인 방법의 예시이니 참고만 하시고, 내부 폐쇠망이 아닌 이상 공개 웹 서비스의 경우 ①과 ②방식으로 진행하는 게 가장 확실합니다.

# openssl s_client -connect mydomain:443 -tls1    [TLS 1.0 연결 테스트]

# openssl s_client -connect mydomain:443 -tls1_1    [TLS 1.1 연결 테스트]

# openssl s_client -connect mydomain:443 -tls1_2    [TLS 1.2 연결 테스트]

# openssl s_client -connect mydomain:443 -tls1_3    [TLS 1.3 연결 테스트]

 

# openssl s_client -connect mydomain:443 -tls1_2 -cipher RC4-SHA    [특정 Cipher 강제 연결 테스트]

※ 하지만 최신 Openssl 클라이언트에서는 취약 Cipher 및 프로토콜을 전부 제거하여 테스트 불가능

---

◈ 취약점 조치 방법

※ 본 내용은 Windows Server 2012 R2를 기준으로 한 테스트 결과입니다.

상위 버전(Winodws Server 2016 이상)은 취약점 조치가 기본 설정으로 반영되어 있는 경우가 많습니다. 따라서 취약 항목이 적용되지 않은 서버에서는 레지스트리 수정 후 재부팅하면 변경 사항이 반영됩니다. (대부분 비슷함)

 

※ 레지스트리 : [시작→실행] or [Win+R] → 「regedit」 입력

 

① SSL / TLS1.0 / TLS1.1 프로토콜 비활성화

위치: 컴퓨터\HKEY_LOCAL_MACHINE\

SYSTEM\CurrentControlSet\Control\SecurityProviders\SCHANNEL\Protocols

1. "Protocols" 우클릭 → 새로 만들기 → 키(K) [예 → SSL3.0 / TLS 1.0 / TLS 1.1]
2. 그 안에서 → 다시 우클릭 → 새로 만들기 → 키(K) → Server 라는 이름으로 키 생성
3. Server 키 안에서 → 우클릭 → 새로 만들기 → DWORD(32비트) 값(D) [예 → 이름: Enabled, 값: 0 (디폴트)]
4. 또 하나 더 → DWORD(32비트) 값(D) [예 → 이름: DisabledByDefault, 값: 1 (단위는 상관없음)]

 

② RC4 암호화 알고리즘 비활성화

위치: 컴퓨터\HKEY_LOCAL_MACHINE\

SYSTEM\CurrentControlSet\Control\SecurityProviders\SCHANNEL\Ciphers

1. "Ciphers" 우클릭 → 새로 만들기 → 키(K) 이름을 각각 아래처럼 만듭니다
2. [RC4 128/128], [RC4 64/128], [RC4 56/128], [RC4 40/128] 추가
3. 각 키 안에서 → 우클릭 → 새로 만들기 → DWORD(32비트) 값(D) [예 → 이름: Enabled, 값: 0 (디폴트)]

 

③ Diffie-Hellman (DH) Key 최소 길이 수정

※ This Server supports weak Diffie-Hellman (DH) key exchange parameters 취약점 메시지의 내용으로 DH는 클라이언트와 서버 간 같은 세션키를 생성하도록 해주는 키교환 알고리즘입니다. 구 버전 1024비트 취약점으로 실무 권장 최소값은 2048비트입니다.

위치: 컴퓨터\HKEY_LOCAL_MACHINE\

SYSTEM\CurrentControlSet\Control\SecurityProviders\KeyExchangeAlgorithms

1. KeyExchangeAlgorithms 밑에 Diffie-Hellman 키가 없으면 새로 만듭니다.
2. 안에 DWORD (32비트) 값 만들기 [예 → 이름: ServerMinKeyBitLength, 값: 2048 (단위는 상관없음)]

---

◈ 조치 확인

---

◈ PS① Cipher Suites 목록 확인

※ 레지스트리 : [시작→실행] or [Win+R] → 「gpedit.msc」 입력 (로컬 그룹 정책 편집기)

위치: 컴퓨터 구성→관리 템플릿→네트워크→SSL 구성 설정→[SSL 암호 그룹 순서] (더블 클릭)

 

 

※ 사용으로 변경 후 암호 그룹을 전체 선택 후 메모장 같은 곳에 복사 붙여 넣기 하면 사용 중인 Cipher 목록을 확인할 수 있으며 취약점에서 [WEAK] 부분을 제거하고 필요한 Cipher만 우선순위로 등록하면 됩니다. 단, 사용자에 따라 클라이언트 연결이나 원격접속이 되지 않는 등 다양한 문제가 발생할 수 있으니 테스트가 필요합니다.

 

 

◈ PS② 브라우저 개발자 도구를 이용한 보안 확인 [F12]

 

브라우저에서도 AES_256_CBC (단순 TLS_RSA 기반 암호화)에 대해 더 이상 권장하지 않는다는 경고가 표시되는 경우가 있습니다. 이는 암호화 자체가 이루어지고 보안 인증서에 문제는 없더라도 해당 방식이 취약점에 노출될 가능성이 있음을 뜻합니다. 따라서 「 PFS(ECDHE) + GCM(모던)」기반 암호 그룹을 우선적으로 사용하도록 권장하는 안내가 나오고 있습니다. 최신 운영체제에서는 기본적으로 TLS 1.3과 같은 최신 프로토콜 및 현대적 암호화 알고리즘이 활성화되어 있어 보다 안전한 통신이 이루어집니다.

 

◈ PS③ Windows Server 2022 테스트

---

서버 보안 취약점 조치 요청이 들어왔을 때, 가장 확실한 해결책은 가능한 최신 OS와 소프트웨어로 업그레이드하는 것입니다. 다만 비용문제나 호환성 문제 등으로 인해 모든 업체가 즉시 최신 버전으로 교체할 수는 없습니다. 단지 운영 목적만으로 오래된 버전을 유지하는 경우도 흔히 볼 수 있습니다.

 

그렇다면 최소한 발견된 취약점은 가능한 한 비활성화하거나 완화하는 조치를 취하는 것이 좋습니다. 저는 VMware에서 실서버에 직접 적용해 테스트하는 데 시간이 좀 걸렸지만, Windows Server의 경우 서비스 설정 방식이 큰 틀에서 일관되어 있어 동일한 방식으로 적용하면 문제없이 반영되는 것을 확인했습니다. 가능한 범위 내에서 보안 조치를 우선 적용하시길 권합니다.