본문 바로가기

logstash

(5)
[LOGSTASH] 04. Logstash Plugin 01 1. Twitter 1) input 소스input { twitter { consumer_key => "CONSUMER_KEY_GOES_HERE" consumer_secret => "CONSUMER_SECRET_GOES_HERE" oauth_token => "ACCESS_TOKEN_GOES_HERE" oauth_token_secret => "ACCESS_TOKEN_SECRET_GOES_HERE" keywords => ["test","sample"] full_tweet => true }} 2) 참고링크 - https://www.elastic.co/guide/en/logstash/current/plugins-inputs-twitter.html2. Json_Line 1) 설치bin/logstash-plugin ..
[LOGSTASH] 03. Logstash Filter mutate 1. Filter Mutate?? - 데이터 변환2. 기능 - remove_field : 해당 필드 값들을 제거한다. - rename : 필드명을 변경한다. - 기타 여러 기능들이 있다. 아래 참고링크를 참고하면 좋다.3. 예제filter { mutate { remove_field => [ "@timestamp", "@version" ] rename => { "TEST_VALUE" => "testValue" } }}* 참고 링크 - https://www.elastic.co/guide/en/logstash/current/plugins-filters-mutate.html#plugins-filters-mutate-rename
[LOGSTASH] 02. Logstash Mysql input 사용하기 1. conf파일 기본 형태#데이터를 가지고옴.input {}#데이터를 가공함.filter {}#데이터를 출력함.output {}2. mysql에서 데이터 가져와서 파일로 생성해보기. 1) mysql-connector를 직접 다운받아, path를 지정해줘야함.(1) connector 다운로드wget 'https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz' - 'https://dev.mysql.com/downloads/connector/j/' 링크를 통해서 직접 다운로드 받을 수도 있다.(2) 압축풀기tar -xvf ./mysql-connector-java-5.1.46.tar.gz(3) 파일이동 - 필요한 파일만..
[LOGSTASH] 01. Logstash 설치 및 기본 설명 해당 글은 github 블로그로 이전되었습니다. 아래 링크를 통해 바로가실 수 있습니다. 바로가기
Elastic Stack으로 AWS ELB Monitoring 하기. * 시작전 필요사항 - Elastic Stack에 대한 사전 지식 - ElasticSearch가 설치되어 있어야함. ( https://www.google.co.kr/search?q=elasticsearch+install ) - Logstash가 설치되어 있어야함. (https://www.google.co.kr/search?q=logstash+install) - Kibana가 설치되어 있어야함.(https://www.google.co.kr/search?q=kibana+install) - 해당 자료는 6.2.4 Set로 수정되었습니다.1. 구성 - ELB 로그를 S3에 저장한다. - Logstash로 간단하게 가지고와서, ElasticSearch에 넣는다. - Kibana로 간단하게 본다.2. AWS Elb..