안녕하세요. 누리미디어 백엔드 파트를 담당하고 있는 김주석 입니다.
서비스 장애는 시스템 안정성과 성능에 직접적인 영향을 미치는 영역으로 고객 만족과 신뢰에 직접적인 영향을 미치는 중요한 부분 중 하나입니다.
장애로 인한 다운타임과 재정적 손실을 최소화함으로써 회사의 경쟁력을 강화하고 이렇게 확보한 안정성과 신뢰도를 통해 고객을 유치하고 유지하는데 기여할 수 있는데요.
이번 포스트에서는 누리미디어가 서비스 장애를 어떤 방식으로 관리하고 대응하는지를 간략히 공유해보고자 합니다.
1. 장애 대응 철학: 신뢰의 구축과 지속 가능한 성장
누리미디어가 운영하는 국내 최대 학술 서비스는 단순한 정보 제공을 넘어서,
연구자들에게 지식의 바다에서 길을 잃지 않도록 하는 신뢰할 수 있는 나침반 역할을 합니다.
이러한 신뢰는 안정적인 서비스 운영과, 예기치 않은 장애에 대한 효율적인 대응을 통해 구축됩니다.
우리는 장애를 단순한 기술적 문제가 아닌,
서비스를 개선하고 사용자 경험을 풍부하게 만들 수 있는 기회로 바라봅니다.
이 과정에서 팀원 모두의 헌신과 협력이 필수적입니다.
이미지 출처: AI. DALL-E3 지식의 등대
Benefit
2. 장애 및 인지 알림 시스템
1) 모니터링 도구의 활용
사각 지대 없는 장애 감지를 위해 3가지 솔루션을 구성하여 모니터링을 하고 있습니다. Scouter + New Relic + AWS CloudWatch 모니터링 서비스를 도입하여 Application, OS, Network 영역에 빈틈 없는 실시간 서비스 모니터링을 수행합니다. 이를 통해 누리미디어 서비스 담당자들은 애플리케이션의 성능 지표를 모니터링하고, 잠재적인 장애를 조기에 발견할 수 있습니다. 이러한 시스템은 장애 발생 시 신속한 인지와 대응을 가능하게 하며, 최종 사용자에게 미치는 영향을 최소화합니다.
2) 알람 자동화 시스템의 구축장애 감지 시, 관련 정보를 즉각적으로 서비스 담당자에게 전달하기 위해 Slack 장애 채널과 같은 통신 도구를 활용한 알람 시스템을 구축했습니다. 이 시스템은 장애의 성격, 영향을 받는 시스템 부분, 발생 시간 등을 포함하여, 팀원들이 장애에 대한 신속한 인지와 빠른 대응을 할 수 있도록 하고 있습니다.
How we work
3. 장애 대응 절차
1) 응급 대응 체계의 마련
장애의 심각도에 따라 레벨을 분류하고, 각 레벨 기준 응답 시간과 처리 우선순위를 설정했습니다. 이는 장애 상황에서의 우선순위 결정과 자원 배분을 체계화하여, 가장 심각한 문제부터 신속히 해결할 수 있도록 합니다.
2) 이해 관계자와의 통신 계획
장애 발생 시, 내부 팀 뿐만 아니라 고객, 파트너, 공급업체 등 외부 이해 관계자들에게도 투명하게 정보를 전달합니다. 이를 위해 장애의 레벨과 상황에 따라 적절한 통신 채널을 선택하며, 초기 알림부터 정기적인 업데이트, 장애 해결 후의 보고에 이르기까지 체계적인 정보 공유 절차를 수립했습니다.
3) 후속 조치와 지속적인 개선
장애 해결 이후, 원인 분석 및 대응 프로세스 검토를 통해 미래의 장애 예방과 대응 체계의 개선을 추구합니다. 이는 팀원들의 회의와 피드백을 통해 이루어지며, 서비스의 지속 가능한 발전을 위한 기반을 마련합니다.
제목 없음
4. 지속적인 혁신을 위한 교육과 협력
누리미디어 서비스 담당자는 장애 대응 프로세스의 지속적인 개선을 통해 서비스의 안정성을 높이고 사용자 경험을 개선하는 것을 목표로 합니다. 이를 위해, 모든 장애 대응 과정에서 획득한 지식과 경험을 문서화하고, 이를 바탕으로 시스템과 프로세스를 지속적으로 혁신합니다. 또한, 팀원들의 지속적인 교육과 협력을 장려하여, 전문성과 대응 능력을 강화합니다.
이 같은 체계적이고 전문적인 접근 방식은 연구자들과의 신뢰를 지속적으로 구축하고, 최대 학술 서비스로서의 입지를 강화하는 데 중요한 역할을 합니다. 누리미디어 담당자는 앞으로도 지식의 바다를 항해하는 모든 이들이 두려움 없이 그 여정을 이어갈 수 있도록, 끊임없이 노력할 것입니다.
