저장소

Kibana와 Grafana: 차이점, 역사, 사용 사례와 시계열 데이터 처리

키바나와 가장 자주 비교되는 시각화 도구로 키바나를 포크해서 만든 그라파나에 대해서 정리하게 되었습니다. 간단하게 키바나는 엘라스틱에서 실행되는 로그메세지 분석에 사용되고 그라파나는 시스템 관점 CPU, IO 등 사용율과 같은 메트릭 시각화하는데 특화된걸로 인지하고 있지만 좀 더 자세하게 정리하기 위해 글을 남기게 되었습니다.  1. Grafana와 Kibana 개요Grafana와 Kibana는 데이터 시각화 도구이지만, 처리하는 데이터 유형과 목적이 다릅니다. 기능  Grafana 🟠 Kibana 🔵 주요 역할메트릭 데이터 모니터링로그 및 이벤트 분석데이터 소스Prometheus, InfluxDB, MySQL 등 다양한 지원Elasticsearch 전용시각화 유형시계열 그래프, 게이지, 테이블 ..

대규모 시스템에서는 데이터 처리를 효율적으로 관리하기 위해 메시지 큐(Message Queue, MQ)를 사용합니다. 메시지 큐는 다양한 구현체가 있으며, 그중에서도 Apache Kafka는 가장 널리 사용되는 분산 메시징 시스템 중 하나입니다. 이 글에서는 메시지 큐의 개념과 Kafka의 내부 구조 및 동작 방식을 깊이 있게 살펴보겠습니다.  1. 메시지 큐(Message Queue)란?메시지 큐는 생산자(Producer)가 보낸 메시지를 소비자(Consumer)가 받아 처리하는 비동기 방식의 통신 시스템입니다.이 방식은 여러 시스템이 독립적으로 동작할 수 있도록 하며, 부하 분산(Load Balancing)과 비동기 처리(Asynchronous Processing)를 가능하게 합니다.  메시지 큐의 ..

구글 애널리틱스란?구글 애널리틱스는 웹사이트의 트래픽과 사용자 행동을 분석할 수 있는 무료 웹 분석 도구입니다. 웹사이트에 방문하는 사용자들의 행동, 유입 경로, 체류 시간 등 다양한 데이터를 수집하고 분석할 수 있습니다. 주요 기능과 특징1. 실시간 모니터링현재 웹사이트를 방문 중인 사용자 수사용자들이 보고 있는 페이지사용자의 지리적 위치     2. 사용자 행동 분석페이지별 방문 시간이탈률과 전환율사용자의 이동 경로 3. 트래픽 소스 분석유입 경로(검색엔진, 소셜미디어, 직접 방문 등)검색어 분석캠페인 효과 측정 왜 구글 애널리틱스인가?개발한 프로젝트는 다양한 메시징 서비스를 제공하는 플랫폼입니다. 이런 복잡한 서비스에서는 사용자들이 어떤 기능을 주로 사용하는지, 어떤 부분에서 어려움을 겪는지 파악하..

회사에서 메세지 발송 간 ELK를 활용한 메세지 발송 처리량, 성공, 지연, 문제 등을 실시간으로 시각화하면서 배운 내용을 정리해보기로 하였다. ELK란?ELK는 세 가지 오픈소스 도구의 조합입니다:Elasticsearch (E): 검색 및 분석 엔진Logstash (L): 데이터 수집 및 처리 도구Kibana (K): 데이터 시각화 도구쉽게 비유하면:Logstash는 정보를 수집하는 '청소부'Elasticsearch는 수집된 정보를 저장하고 검색하는 '창고'Kibana는 저장된 정보를 보기 좋게 보여주는 '전시장' # Beats란?Beats는 서버에 설치하여 다양한 유형의 데이터를 Elasticsearch나 Logstash로 전송하는 경량 데이터 수집기입니다. 각각의 Beat는 특정 유형의 데이터 수집..