본문 바로가기

logstash

(5)
[LOGSTASH] 04. Logstash Plugin 01 1. Twitter 1) input 소스input { twitter { consumer_key => "CONSUMER_KEY_GOES_HERE" consumer_secret => "CONSUMER_SECRET_GOES_HERE" oauth_token => "ACCESS_TOKEN_GOES_HERE" oauth_token_secret => "ACCESS_TOKEN_SECRET_GOES_HERE" keywords => ["test","sample"] full_tweet => true }} 2) 참고링크 - https://www.elastic.co/guide/en/logstash/current/plugins-inputs-twitter.html 2. Json_Line 1) 설치bin/logstash-plugin..
[LOGSTASH] 03. Logstash Filter mutate 1. Filter Mutate?? - 데이터 변환 2. 기능 - remove_field : 해당 필드 값들을 제거한다. - rename : 필드명을 변경한다. - 기타 여러 기능들이 있다. 아래 참고링크를 참고하면 좋다. 3. 예제filter {mutate {remove_field => ["@timestamp","@version"]rename => {"TEST_VALUE" => "testValue"}}} * 참고 링크 - https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html#plugins-filters-mutate-rename
[LOGSTASH] 02. Logstash Mysql input 사용하기 1. conf파일 기본 형태#데이터를 가지고옴.input {} #데이터를 가공함.filter {} #데이터를 출력함.output {} 2. mysql에서 데이터 가져와서 파일로 생성해보기. 1) mysql-connector를 직접 다운받아, path를 지정해줘야함.(1) connector 다운로드wget 'https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz' - 'https://dev.mysql.com/downloads/connector/j/' 링크를 통해서 직접 다운로드 받을 수도 있다. (2) 압축풀기tar -xvf ./mysql-connector-java-5.1.46.tar.gz (3) 파일이동 - 필요..
[LOGSTASH] 01. Logstash 설치 및 기본 설명 1. Logstash란? - 입력(input), 필터(filter), 출력(output) 3단계로 구성되어 있고, 다양한 플러그인이 있어 여러 상황에서 사용하기 편함. - ex) 로그수집 등 2. Logstash 설치 1) Centos 7기준(1) java 설치 여부 확인java -version - 아래와 같이 나오면 설치되어 있는 것이고, 아닐 경우 jdk 설치를 먼저 진행하세요.java version "1.8.0_151"Java(TM) SE Runtime Environment (build 1.8.0_151-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode) (2) Logstash 다운로드 - wget으로 받아야하므로, wget 설..
Elastic Stack으로 AWS ELB Monitoring 하기. * 시작전 필요사항 - Elastic Stack에 대한 사전 지식 - ElasticSearch가 설치되어 있어야함. ( https://www.google.co.kr/search?q=elasticsearch+install ) - Logstash가 설치되어 있어야함. (https://www.google.co.kr/search?q=logstash+install) - Kibana가 설치되어 있어야함.(https://www.google.co.kr/search?q=kibana+install) - 해당 자료는 6.2.4 Set로 수정되었습니다. 1. 구성 - ELB 로그를 S3에 저장한다. - Logstash로 간단하게 가지고와서, ElasticSearch에 넣는다. - Kibana로 간단하게 본다. 2. AWS E..