Microsoft Outlook - 오류(0x80042109), SMTP 발송 오류

아웃룩을 이용하다 보면 자주 볼 수 있는 오류 코드 중에 하나인 「0x80042109」입니다. 사무실에서 고정으로 사용하는 사용자보다 노트북에 아웃룩을 설치하여 이동이 잦은, 특히 해외 출장을 많이 하는 사용자들이 주로 겪을 수 있는 현상입니다.

 

이 오류는 사용자의 잘못은 거의 없다고 봐도 되며 대부분이 네트워크 계층에서 발생한 문제입니다. 문의 패턴을 보면 항상 증상이 정상적으로 잘 이용하다가 갑자기 「보내기/받기」에서 받기는 문제가 없으나 메일을 보낼 때 「보낼 편지함」에서 넘어가지 않고 보내는 전자 메일 서버(SMTP)에 연결할 수 없습니다.라는 팝업창이 뜨고 발송이 되지 않는 문제가 발생합니다.

문제에 대한 원인과 해결 방법에 대해서 순차적으로 알아보도록 하겠습니다. 크게 3가지로 사용자(클라이언트), 메일 서버 관리자, 인터넷 서비스 공급자(ISP)에서 각각 확인이 필요하지만 ISP 쪽은 KT/LG/SKT 같은 인터넷 통신사 장비의 글로벌 설정이므로 사용자도 서버 관리자도 어떻게 할 수 있는 권한이 없기 때문에 제외하도록 하겠습니다.

---

◇ 사용자「클라이언트」 확인 및 조치

 

요즘에는 대부분 POP3/IMAP/SMTP 포트를 세팅할 때 보안 연결(SSL/TLS)로 안내를 받습니다. POP3 SSL/TLS 「995」, IMAP SSL/TLS 「993」, SMTP SSL/TLS 「465」으로 고정으로 사용하며 해당 포트들은 보안연결로 네트워크 단계에서 차단하는 경우는 거의 없습니다. 하지만 발송 SMTP 포트 중 가장 많이 쓰이는 일반 연결 포트「25」는 보안팀에서 취약점으로 인식하여 방화벽에서 일방적으로 차단하는 경우가 많아졌습니다. 국내의 경우는 아직 잘 막지는 않지만 해외 ISP 쪽은 많이 막고 있는 추세입니다.

 

앞서 말했듯이 사무실에서 고정으로 사용하시는 분들은 문제가 없지만 주로 노트북, 모바일, 태블릿등 이동이 잦은 사용자들이 많이 겪을 수가 있습니다.

 

① SMTP 「25」 발송 포트 차단 테스트

가장 쉽게 확인하는 방법은 내 개인 Windows PC에서 「고급 보안이 포함된 Windows Defender 방화벽」설정에서 나가는(아웃바운드) SMTP 25 포트를 차단해 보면 됩니다.

 

 

받는 메일 서버는 정상적으로 연결되었지만, 발송만 실패하는 경우 이는 로그인 인증 문제보다는 발송 과정에서 네트워크적으로 차단되었을 가능성이 높습니다. 위 화면에서는 로컬 환경에서 차단된 상태이므로 별도의 에러 코드가 표시되지 않았지만, 외부 네트워크 장비(방화벽, ISP, 공유기 등)에 의해 차단된 경우, 일반적으로 「0x80042109」 등의 에러 코드가 반환됩니다.

 

② 해결 방법

사용자단에서는 포트를 변경하는 방법밖에는 없습니다.

※ 단 메일서버가 대체포트인 「587」이나 보안 연결 SSL 「465」포트를 지원해야 합니다. 관리자에게 SSL/TLS 연결을 지원하는지 먼저 확인 후 진행해 보시기 바랍니다.

 

 

개인 사용자의 경우 네트워크나 보안 정책에 대한 정보를 정확히 알기 어렵기 때문에, 위에서 언급한 3가지 방법을 하나씩 차례로 시도해 보는 수밖에 없습니다. 특히 (공)기업메일을 사용하는 환경이라면, 대부분 보안 정책상 기본 SMTP 포트「25」를 차단하고 있다고 봐도 무방합니다.

 

만약 설정을 조정한 뒤 다시 「계정 설정 테스트」를 실행했을 때 메시지 보내기가 정상적으로 통과된다면, 거의 확실하게 현재 이용 중인 네트워크에서 기본 포트 25번이 차단되어 있었던 것이 원인이라 볼 수 있습니다. 이런 경우에는 「587」 또는 「465」 포트와 같은 대체 포트를 사용하는 것이 해결책이 됩니다. 사실 이런 포트 문제는 흔한 사례라, 메일 송신 오류가 생겼다면 가장 먼저 의심해봐야 할 항목입니다.

 

---

◇ 메일 관리자 확인 및 조치

 

메일 서버 자체에는 문제가 없고, 데몬이나 서비스가 정상적으로 작동 중이라면 다음 단계는 외부에서의 SMTP 접근을 가로막는 방화벽이나 보안 솔루션(스팸서버)을 점검해야 합니다.

 

특히, 아래와 같은 상황이 대부분일 수 있습니다.

① 특정 IP에서 반복적으로 SMTP 접속을 시도해 비정상 트래픽으로 감지되어 차단된 경우

② 짧은 시간 안에 여러 포트 도는 무작위 주소로의 접속 시도가 탐지된 경우

③ 스팸봇 또는 봇넷 IP로 의심되어 자동으로 차단 리스트에 등록된 경우

 

이미 포트를 변경해서 정상 테스트를 진행했기 때문에, 이 경우 가장 빠른 테스트 확인 방법은 SMTP 연결을 시도하는 클라이언트의 IP를 서버에서 임시로 차단해 보는 것입니다.

 

 

바로 반응이 옵니다. 서버에서 직접 클라이언트의 IP를 막아서 확인을 한 부분이지만 Fail2ban이나 보안 웹방화벽 또는 IPS와 같은 자동 차단 솔루션이 설치되어 있는지도 확인합니다. 로그를 통해 실제 어떤 룰에 의해 차단되었는지도 함께 확인하는 것이 좋습니다. 차단되어 있다면 당연히 해제를 하거나 해제를 못한다면 특정 패턴에 대한 예외 룰을 등록하는 등의 조치가 필요합니다.

---

메일 서비스를 운영하다 보면 매번 느끼는 게, 정말 변수라는 게 너무 많습니다. 서버 쪽 설정이 아무리 완벽해도, 클라이언트의 환경이나 네트워크 상황, 보안 솔루션 하나에 따라 예상치 못한 문제가 생기기 마련입니다. 그렇기 때문에 모든 상황을 실시간 케이스 바이 케이스로 대응할 수밖에 없고, 고객 응대에도 항상 신경을 많이 써야 합니다.

 

잘 설명해 드리면 이해하고 넘어가시는 분들이 대다수이지만, 단 하나의 문제가 발생했다고 바로 전체 서비스 문제로 오해하는 경우도 있어서 종종 난감할 때도 있습니다. 이런 부분이 바로 서비스 제공자 입장에서 가장 고민되고 신경 쓰이는 지점이 아닐까 싶습니다. 하지만 그런 작은 오해나 문제까지도 꼼꼼하게 챙기는 게 결국 좋은 서비스를 만드는 과정이며, 앞으로도 더 나은 대응을 위해 계속 개선해 나가다 보면 조금이라도 완성에 가까운 서비스가 되는 게 아닐까 하는 좋은 방향으로 생각하는 게 마음 편하겠죠? 기술 서비스직의 비애