Elasticsearch/Elasticsearch - 개인 스터디11 [ES 개인 스터디] 로그스태시 파일비트 설치와 실행 ⚡ 01. Logstash, Filebeat 스펙개발 환경Window Terminal Ubuntu 18.04Open JDK 8참고 사항Logstash 7.6.1 debian 설치Filebeat 7.6.1 debian 설치⚡ 02 Logstash, Filebeat 설치 및 구동✅ 02-1. Debian 파일 설치 및 해제# sudo apt-get install openjdk-8-jre# sudo update-alternatives --config java # java version 변경$ sudo wget $ sudo wget $ sudo shasum -a 512 -c logstash-7.6.1.deb.sha512$ sudo dpkg -i logstash-7.6.1.deb위 순서대로 진행하며 filebea.. 2023. 4. 24. [ES 개인 스터디] 로그스태시 파일비트 개요 ⚡ 01. 로그스태시 파일비트 개요데이터 수집(파일비트, 로그스태시) -> 인덱싱(엘라스틱서치) -> 시각화(키바나 로그스태시는 데이터의 전처리와 후처리를 담당한다오픈 소스로써 서버 측 데이터를 처리하는 파이프 라인이다.다양한 소스에서 동시에 데이터를 수집하여 반환 한다.그 다음 자주 사용하는 Elasticsearch에게 전달 한다.위에서는 Elasticsearch에게 데이터를 전달 한다고 하였지만, 실제 실무에서 사용이 되는 것을 보면다양한 서비스에 이벤트 데이터를 전달할 수 있다.⚡ 02. 로그스태시 파이프라인로그스태시의 input, filter, output은 커스터마이징 하는 것이 까다롭다. 또한 파이프라인의 환경은 yaml 파일을 통해 수정한다.Input데이터를 실제로 입력 받는 영역이다.Log.. 2023. 4. 24. [ES 개인 스터디] 키바나 시각화 준비 📌시각화 도구 Kibana 튜토리얼Kibana를 사용한 시각화 준비Kibana의 다양한 메뉴와 쿼리 및 설정 방법Kibana 원하는 그래프 그리기Kibana 대시보드 꾸미기📌 Kibana란?키바나를 사용하는 이유는 시각화를 통해 유저에게 직관적인 데이터의 상태 정보를 제공하기 위함이다.키바나(Kibana)는 브라우저 인터페이스를 이용, 많은 데이터를 쉽게 검색, 시각화, 탐색 할 수 있는 오픈소스 분석 및 시각화 도구다. 또한 키바나는 엘라스틱서치(Elasticsearch), 로그스태시(Logstash), 비츠(Beats)와 함께 엘라스틱스택의 핵심 구성요소다.✅ 첨언Kibana는 Elasticsearch와 함께 작동하도록 설계된 시각화 플랫폼Kibana와 Elasitcsearch의 버전은 반드시 동.. 2023. 4. 24. [ES 개인 스터디] 검색문제와 이해 📌 실습에 앞서 기본적인 부분 복기✅ Query Context 와 Filter Context 의 차이Query Context는 Full Text Search(전문검색)에 사용된다.Filter Context는 YES/NO 조건의 바이너리 구분에 사용된다.Query Context는 스코어링 계산을 수행한다.Filter Context는 스코어링 계산을 수행하지 않는다.캐싱 사용 가능.응답 속도가 빠르다.✅ term역색인 참고 자료--term는 SQL의 equals 절과 유사하다SELECT * FROM TB_USER WHERE 컬럼명 = "컬럼명"기본적으로 term은 캐릭터 필터, 애널라이저, 토큰 필터를 거쳐 나오는 결과물이라 할 수 있다. 이에반해 term 쿼리는 주어진 질의문과 저장된 텀이 정확히 일치하.. 2023. 4. 24. [ES 개인 스터디] URL을 이용한 검색 요청 ✔ 검색 API✅ 검색(_search API)엘라스틱서치에서 검색은 인덱스 또는 타입 단위로 수행_search API 사용질의는 q 매개변수의 값으로 입력hamlet이라는 검색어로 검색질의 질의문books 인덱스, book 타입에서 hamlet 검색localhost:9200/books/book/\_search?q=hamletbooks 인덱스에서 hamlet 검색localhost:9200/books/\_search?q=hamlet전체 인덱스에서 time 검색localhost:9200/\_search?q=time✔ Query String 검색 옵션 정리✅ 특정 필드 검색질의 질의문전체 인덱스의 title 필드에서 time 검색/_search?q=time:time✅ 다중 조건 검색질의 질의문title 필드에서.. 2023. 4. 24. [ES 개인 스터디] Elasticsearch JSON을 이용한 검색 요청 ✔ 검색 API✅ 검색 시작하기간단한 검색부터 시작검색을 실행하는 기본적인 두 가지 방법REST 요청 URI를 통해 검색 매개 변수 보내기REST 요청 본문을 통해 검색 매개 변수 보내기요청 본문 메서드 사용시 표현력을 높이고 더 쉽게 읽을 수 있는 JSON 형식 사용검색용 REST API는 _search 엔드 포인트에서 엑세스✅ URI를 통해 검색 매개 변수 보내기bank 인덱스의 모든 문서 반환 예제GET /bank/_search?q=*&sort=account_number:asc&pretty✅ 검색 API 결과{ "took" : 1, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "skipped" : 0, .. 2023. 4. 24. [ES 개인 스터디] Elasticsearch CRUD 배치 프로세스 ⚙ Tech SpecVirtualizationVMwareOS NameUbuntu 20.04.3 LTSToolKibana Dev Tool✔ Elasticsearch Batch Process🔥 Batch Process?한 번의 API 요청으로 대량으로 document를 추가하고 조회하는 방법_bulk API를 사용하여 위의 작업을 일괄적으로 수행 할 수 있는 기능_bulk API로 index, create, update, delete 수행이 가능하다delete문을 제외하고는 명령문과 데이터문을 한 줄씩 입력해야 한다최대한 적은 네트워크 왕복으로 가능한 빠르게 여러 작업을 수행할 수 있는 메커니즘 제공네트워크 오버헤드를 방지하기위함HTTP 바디 부분 끝에 반드시 엔터 추가 입력 필요일괄작업 두 개의 문서 인.. 2023. 4. 24. [ES 개인 스터디] Elasticsearch의 CRUD? Information엘라스틱서치 데이터베이스 소개와 설치엘라스틱서치 데이터베이스 CRUD퀴즈를 활용한 엘라스틱서치 익히기✔ 엘라스틱서치 CRUD✅ 클러스터 탐색💡 Elasticsearch는 클러스터와 상호 작용하는데 사용할 수 있는 REST API 제공 REST API노드와 통신하는 방법API로 수행 할 수 있는 몇 가지 작업클러스터, 노드 및 색인 상태, 상태 및 통계 확인클러스터, 노드, 색인 데이터, 메타 데이터 관리CRUD(Create, Read, Update, Delete) 및 인덱스에 대한 검색 작업 수행페이징, 정렬, 필터링, 스크립팅, 집계 및 기타 여러 고급 검색 작업 수행웹의 창시자(HTTP) 중의 한 사람 RoyFelling 2000년 논문에 의해 소개웹의 장점을 최대한 활용할 수 .. 2023. 4. 24. [ES 개인 스터디] Elasticsearch 개요 및 설치 과정 Information엘라스틱서치 개요와 설치엘라스틱서치 데이터베이스 CRUD퀴즈를 활용한 엘라스틱서치 익히기✔ 엘라스틱 서치 DB 소개와 설치설치 과정은 강의에 나와있는 부분을 참고하기에는 다른 부분이존재하여, ELK Document를 참고하였습니다.Debian 파일을 기준으로 설치를 진행 하였으며상세한 환경설정은 다루지 않을 예정입니다.확장성이 뛰어난 오픈소스, 전체 텍스트 검색 및 분석 엔진대량의 데이터를 신속하고 거의 실시간으로 저장, 검색 및 분석저장과 동시에 데이터를 볼 수 있게 한다.Elasticsearch 추구하는 시간은 1초ex) 네이버 블로그에서 글을 등록일반적으로 복잡한 검색기능과 요구사항이 있는 응용 P/G을 구동하는 기본엔진 및 기술엘라스틱 서치는 자바 루씬 기반의 검색 엔진이다.✅.. 2023. 4. 24. [ES 개인 스터디] Elasticsearch 사용 사례 ✔ Elastic Stack✅ Splunk vs Elastic Stack스플렁크(Splunk)와 엘라스틱 스택(Elastic Stack)은 최고의 Enterprise solution5.x 버전부터는 고가의 장비와 사용하지 않는 다수의 부가 서비스를 포함해 ELK가 스플렁크를 대체하기 시작스플렁크는 비용이 크고 관리가 힘들다즉, 이러한 스플렁크를 엘라스틱이 대체하고 있는 상황✅ Splunk와 Elastic StackSplunk와 Elastic Stack은 기능상에서 비슷한 점수를 받고 있다 Splunk ELKCapabilty Set5/55/5Ease of Use4/54/5Community Support5/55/5Release Rate5/55/5Pricing and Support4/54/5API and Ex.. 2023. 4. 24. 이전 1 2 다음
