log stash란?

Logstash는 Elastic Stack의 일부로, 로그, 이벤트 및 기타 데이터 소스에서 데이터를 수집하고 변환하며 다양한 목적지로 전달하는 오픈 소스 데이터 처리 파이프라인입니다. Logstash를 통해 여러 소스에서 데이터 입력을 받아 이를 실시간으로 처리하여 Elasticsearch 같은 데이터 저장소로 전송할 수 있습니다.

Logstash의 주요 기능

1. 입력(Input):
   • 파일, 데이터베이스, 메시지 큐, 네트워크 등 다양한 소스에서 데이터를 수집할 수 있습니다.
   • 예를 들어 파일에서 로그를 읽어오는 file 플러그인, 메시지 큐 시스템인 Kafka에서 읽어오는 kafka 플러그인 등이 있습니다.
2. 필터(Filter):
   • 수집한 데이터를 변환, 파싱, 정규화 등의 작업을 통해 원하는 형식으로 변환할 수 있습니다.
   • 예를 들어 grok 필터는 정규 표현식을 사용하여 로그 데이터를 파싱하고 구조화된 데이터를 생성합니다.
3. 출력(Output):
   • 처리된 데이터를 Elasticsearch, 파일, 데이터베이스, 메시지 큐 등 다양한 목적지로 전송할 수 있습니다.
   • 대표적으로 Elasticsearch에 데이터를 전송하는 elasticsearch 출력 플러그인, 로컬 파일로 데이터를 쓰는 file 플러그인이 있습니다.