원격 데스크톱 연결 : 인증 오류 (NTLM 인증 차단, CredSSP 암호화 Oracle 수정)

Windows Server 2012 서버에 접속할 일이 있어 Windows 11 PC에서 원격 데스크톱 연결을 시도했는데, 갑자기 다음과 같은 오류 메시지가 발생했습니다.

 

「인증 오류가 발생했습니다.

요청한 함수가 지원되지 않습니다.

 

원격 컴퓨터 : IP

원격 컴퓨터에서 NTLM 인증이 차단되었기 때문일 수 있습니다.

CredSSP 암호화 Oracle 수정 때문일 수도 있습니다. (원인)

https://go.microsoft.com/fwlink/?linkid=866660 참조하세요. 」

 

그런데 Windows 10 PC를 사용하는 직장 동료에게 테스트를 요청하니, 정상적으로 연결이 되었습니다. 문제를 파악하기 위해 Microsoft 고객지원 문서를 살펴본 결과, Windows 업데이트 이후 CredSSP(Credential Security Support Provider) 프로토콜의 보안 설정이 변경되면서, 구형 서버(Windows Server 2012)와 최신 클라이언트(Windows 11 24H2) 간의 보안 방식이 달라져 연결이 차단된 것으로 확인되었습니다.

 

이전에 리눅스 최신 서버를 설치한 후 구형 PuTTY 클라이언트에서 SSH 접속을 시도할 때, 지원되지 않는 인증 알고리즘 문제로 인해 연결이 되지 않았던 사례와 비슷한 맥락으로 보입니다.

그럼, 각 서버의 반응과 해결 방법을 간단히 알아보겠습니다.

---

◈ 원격 데스크톱 Windows Server별 반응

조건 : Windows 11 24H2 업데이트 적용된 PC에서 원격 데스크톱을 이용한 접근

 

① Windows Server 2012 R2 (인증 오류)

 

 

② Windows Server 2016 (인증 오류)

 

테스트 결과, Windows Server 2016까지는 동일한 문제가 발생했으며, 이후 버전에서는 정상적으로 원격 데스크톱 연결이 가능했습니다.

 

해당 문제는 2018년 3월 13일 (화) 최초 릴리스 ~ 2018년 5월 8일 (화) 사이에 진행된 Windows 업데이트에서 보안이 개선된 것으로 보입니다. 따라서, 이후 출시된 Windows Server 2019 이상 버전에서는 영향을 받지 않는 것으로 판단됩니다. (참조 링크 내용)

 

 

③ Windows Server 2019 (정상)

 

 

④ Windows Server 2022 (정상)

 

 

⑤ Windows Server 2025 (정상)

---

◈ Windows Server 2012 R2 / Windows Server 2016 원격 데스크톱 접근 방법

조건① : Windows 11 24H2 업데이트 적용된 PC에서 원격 데스크톱을 이용한 접근

조건② : Windows 10의 경우는 특정 업데이트 이전이라면 완화 필요 없이 바로 접근 가능

 

https://go.microsoft.com/fwlink/?linkid=866660 설명에는 2가지 방법이 있으며 「레지스트리 값」 수정보다는 「그룹 정책」 편집을 통한 작업이 편해 보입니다. 윈도우 검색(실행)에서 「그룹 정책」 또는 「gpedit.msc」으로 편집기를 엽니다. 그리고 다음과 같은 순서로 접근합니다.

 

 

◇ 그룹 정책 설정

① 컴퓨터 구성 → ② 관리 템플릿 → ③ 시스템 → ④ 자격 증명 위임 선택 후 → ⑤ 「암호화 오라클 수정」 더블 클릭 또는 편집 → ⑥ 사용 선택 → ⑦ 보호 수준 「취약」으로 변경 → ⑧ 적용 (Windows 재부팅 필요 없음)

◇ 암호화 오라클 수정 내용 발췌

이 정책 설정은 CredSSP 구성 요소(예: 원격 데스크톱 연결)를 사용하는 응용 프로그램에 적용됩니다.

 

일부 버전의 CredSSP 프로토콜은 클라이언트에 대한 암호화 Oracle 공격에 취약합니다.  이 정책은 취약한 클라이언트 및 서버와 호환성을 제어합니다. 이 정책을 사용하면 암호화 Oracle 취약성에 필요한 보호 수준을 설정할 수 있습니다.

 

이 정책 설정을 사용하면 다음 옵션을 기반으로 CredSSP 버전 지원이 선택됩니다.

 

강제 업데이트된 클라이언트: CredSSP를 사용하는 클라이언트 응용 프로그램은 안전하지 않은 버전으로 대체할 수 없으며 CredSSP를 사용하는 서비스는 패치가 적용되지 않은 클라이언트를 허용하지 않습니다. 참고: 모든 원격 호스트가 최신 버전을 지원할 때까지 이 설정을 배포해서는 안됩니다.

 

완화됨: CredSSP를 사용하는 클라이언트 응용 프로그램은 안전하지 않은 버전으로 대체할 수 없지만 CredSSP를 사용하는 서비스는 패치가 적용되지 않은 클라이언트를 허용합니다. 패치가 적용되지 않은 나머지 클라이언트가 야기하는 위험에 대한 중요한 정보는 아래 링크를 참조하세요.

 

취약함: CredSSP를 사용하는 클라이언트 응용 프로그램은 안전하지 않은 버전으로의 대체를 지원함으로써 원격 서버를 공격에 노출시키며 CredSSP를 사용하는 서비스는 패치가 적용되지 않은 클라이언트를 허용합니다.

 

◇ 원격 데스크톱 접근 테스트 (정상)

---

보호 수준을 취약으로 설정해야 접근이 가능하다는 것은 곧 서버가 보안 취약점에 노출되어 있다는 의미입니다. 또한, 이는 개인 PC에도 영향을 미칠 수 있으므로, 반드시 필요한 경우에만 적용하는 것이 좋습니다.

 

https://darkest.tistory.com/105

윈도우 네트워크 수준 인증(Network Level Authentication)

 

해당 블로거분의 윈도우 네트워크 수준 인증 관련글을 참고하면 더욱 좋습니다.