elk stack

Elastic Stack 4th 집계 스터디 엘라스틱 스택의 핵심 기술인 집계를 제대로 분석 📌 목차 엘라스틱서치: 집계 집계의 요청: 응답 형태 메트릭 집계 버킷 집계 집계의 조합 파이프라인 집계 📌 1-1 엘라스틱서치: 집계 엘라스틱서치의 집계란? 데이터를 그룹핑( Grouping )하고 통계값을 얻는 기능이다 RDB SQL의 GROUPBY와 통계 함수를 포함하는 개념이다 엘라스틱서치의 집계 예시 데이터를 날짜별로 묶거나 특정 카테고리별로 묶어 그룹별 통계를 작성한다 ✔ 1-2 엘라스틱서치: 집계 집계 기능의 효과 엘라스틱서치의 검색 기능과 맞물려 엘라스틱서치를 고성능 집계 엔진으로 활용 대표적인 활용 사례로는 키바나( 데이터 시각화 도구 )가 존재한다 키바나의 시각화 대시보드는 대부분 집계 기능을 ..

🤷‍♂️ 엘라스틱 스택의 엘라스틱서치 엘라스틱 스택의 핵심 기술인 엘라스틱 서치를 제대로 분석 📌 목차 엘라스틱서치: 검색 쿼리 컨텍스트와 필터 컨텍스트 쿼리 스트링과 쿼리 DSL 유사도 스코어 쿼리 ✔ 엘라스틱서치: 검색 엘라스틱서치는 전문 검색 기능을 시작으로 꾸준히 성장해 왔으며 다양한 검색 쿼리를 지원 텍스트, 숫자 데이터를 저장한 다음에 인덱싱을 마치면 쿼리를 실행하여 결과를 얻을 수 있다. 스코어링 알고리즘을 적용해 연관성이 높은 결과에 대한 제어가 가능하므로 대량의 데이터를 대상으로 빠르고 정확한 검색이 가능하다. ✔ 쿼리 컨텍스트와 필터 컨텍스트 유사 검색은 query context, 정확한 검색은 filter context 사용 쿼리 컨텍스트 질의에 대한 유사도를 계산해 이를 기준으로 정..

Elastic Stack 엘라스틱서치 CRUD 메서드 설명 메서드 1 설명 1 POST 해당 리소스를 추가 GET 해당 리소스를 조회 PUT 해당 리소스를 수정 DELETE 해당 리소스를 삭제 엘라스틱서치는 모든 요청과 응답을 REST API 형태로 제공 6.x 부터 PUT과 POST를 엄격히 구분하지 않고 사용을 한다. RESTFul API Restful API를 통해 index에 document를 추가할 수 있는데, 이러한 작업을 문서를 색인화한다 지칭 인덱스 만들기 PUT customer?pretty PUT 메서드를 사용하여 customer라는 색인을 생성 pretty의 경우 reponse(결과)를 예쁘게 보여주기 위함 { "acknowledged": true, // 응답 결과 여부 "shards_..

📌 1.1 엘라스틱서치의 탄생 엘라스틱 서치가 처음 등장했을 때 어느 누구도 빅데이터 파이프라인을 구성하는 플랫폼 형태로 성장하리라 예상하기는 어려웠을 것이다. ✔ 클라이언트의 요구사항 엘라스틱 서치가 등장했을 때 사용자의 요구사항은 명확 하였다 사이트 내에 전문 검색 기능을 추가하는 것 ✔ 현 시점에서의 문제점 인터넷 검색 서비스가 계속해서 등장 하였지만 구현체를 공개하지 않음 기업 내에서 대량의 DB나 값 비싼 솔루션에 의지 ✔ 새로운 검색 엔진의 등장 1999년 하둡의 창시자 더그 커팅의 다섯 번째 검색 엔진을 개발 부인의 이름을 딴 루씬(Lucene) 개발 🕐 루씬의 기원 2001년 아파치 자카르타에 합류 2005년 2월 독자적 아파치 프로젝트로 분류 2003년 6월 더그 커팅은 100만 페이지를..

⚡ 01. Logstash, Filebeat 스펙 개발 환경 Window Terminal Ubuntu 18.04 Open JDK 8 참고 사항 Logstash 7.6.1 debian 설치 Filebeat 7.6.1 debian 설치 ⚡ 02 Logstash, Filebeat 설치 및 구동 ✅ 02-1. Debian 파일 설치 및 해제 # sudo apt-get install openjdk-8-jre # sudo update-alternatives --config java # java version 변경 $ sudo wget $ sudo wget $ sudo shasum -a 512 -c logstash-7.6.1.deb.sha512 $ sudo dpkg -i logstash-7.6.1.deb 위 순서대로..

⚡ 01. 로그스태시 파일비트 개요 데이터 수집(파일비트, 로그스태시) -> 인덱싱(엘라스틱서치) -> 시각화(키바나 로그스태시는 데이터의 전처리와 후처리를 담당한다 오픈 소스로써 서버 측 데이터를 처리하는 파이프 라인이다. 다양한 소스에서 동시에 데이터를 수집하여 반환 한다. 그 다음 자주 사용하는 Elasticsearch에게 전달 한다. 위에서는 Elasticsearch에게 데이터를 전달 한다고 하였지만, 실제 실무에서 사용이 되는 것을 보면 다양한 서비스에 이벤트 데이터를 전달할 수 있다. ⚡ 02. 로그스태시 파이프라인 로그스태시의 input, filter, output은 커스터마이징 하는 것이 까다롭다. 또한 파이프라인의 환경은 yaml 파일을 통해 수정한다. Input 데이터를 실제로 입력 받..

📌시각화 도구 Kibana 튜토리얼 Kibana를 사용한 시각화 준비 Kibana의 다양한 메뉴와 쿼리 및 설정 방법 Kibana 원하는 그래프 그리기 Kibana 대시보드 꾸미기 📌 Kibana란? 키바나를 사용하는 이유는 시각화를 통해 유저에게 직관적인 데이터의 상태 정보를 제공하기 위함이다. 키바나(Kibana)는 브라우저 인터페이스를 이용, 많은 데이터를 쉽게 검색, 시각화, 탐색 할 수 있는 오픈소스 분석 및 시각화 도구다. 또한 키바나는 엘라스틱서치(Elasticsearch), 로그스태시(Logstash), 비츠(Beats)와 함께 엘라스틱스택의 핵심 구성요소다. ✅ 첨언 Kibana는 Elasticsearch와 함께 작동하도록 설계된 시각화 플랫폼 Kibana와 Elasitcsearch의 버..

📌 실습에 앞서 기본적인 부분 복기 ✅ Query Context 와 Filter Context 의 차이 Query Context는 Full Text Search(전문검색)에 사용된다. Filter Context는 YES/NO 조건의 바이너리 구분에 사용된다. Query Context는 스코어링 계산을 수행한다. Filter Context는 스코어링 계산을 수행하지 않는다. 캐싱 사용 가능. 응답 속도가 빠르다. ✅ term 역색인 참고 자료 --term는 SQL의 equals 절과 유사하다 SELECT * FROM TB_USER WHERE 컬럼명 = "컬럼명" 기본적으로 term은 캐릭터 필터, 애널라이저, 토큰 필터를 거쳐 나오는 결과물이라 할 수 있다. 이에반해 term 쿼리는 주어진 질의문과 저장된..

✔ 검색 API ✅ 검색(_search API) 엘라스틱서치에서 검색은 인덱스 또는 타입 단위로 수행 _search API 사용 질의는 q 매개변수의 값으로 입력 hamlet이라는 검색어로 검색 질의 질의문 books 인덱스, book 타입에서 hamlet 검색 localhost:9200/books/book/\_search?q=hamlet books 인덱스에서 hamlet 검색 localhost:9200/books/\_search?q=hamlet 전체 인덱스에서 time 검색 localhost:9200/\_search?q=time ✔ Query String 검색 옵션 정리 ✅ 특정 필드 검색 질의 질의문 전체 인덱스의 title 필드에서 time 검색 /_search?q=time:time ✅ 다중 조건 ..

✔ 검색 API ✅ 검색 시작하기 간단한 검색부터 시작 검색을 실행하는 기본적인 두 가지 방법 REST 요청 URI를 통해 검색 매개 변수 보내기 REST 요청 본문을 통해 검색 매개 변수 보내기 요청 본문 메서드 사용시 표현력을 높이고 더 쉽게 읽을 수 있는 JSON 형식 사용 검색용 REST API는 _search 엔드 포인트에서 엑세스 ✅ URI를 통해 검색 매개 변수 보내기 bank 인덱스의 모든 문서 반환 예제 GET /bank/_search?q=*&sort=account_number:asc&pretty ✅ 검색 API 결과 { "took" : 1, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "skipped" : 0, "..

⚙ Tech Spec Virtualization VMware OS Name Ubuntu 20.04.3 LTS Tool Kibana Dev Tool ✔ Elasticsearch Batch Process 🔥 Batch Process? 한 번의 API 요청으로 대량으로 document를 추가하고 조회하는 방법 _bulk API를 사용하여 위의 작업을 일괄적으로 수행 할 수 있는 기능 _bulk API로 index, create, update, delete 수행이 가능하다 delete문을 제외하고는 명령문과 데이터문을 한 줄씩 입력해야 한다 최대한 적은 네트워크 왕복으로 가능한 빠르게 여러 작업을 수행할 수 있는 메커니즘 제공 네트워크 오버헤드를 방지하기위함 HTTP 바디 부분 끝에 반드시 엔터 추가 입력 필요..

Information 엘라스틱서치 데이터베이스 소개와 설치 엘라스틱서치 데이터베이스 CRUD 퀴즈를 활용한 엘라스틱서치 익히기 ✔ 엘라스틱서치 CRUD ✅ 클러스터 탐색 💡 Elasticsearch는 클러스터와 상호 작용하는데 사용할 수 있는 REST API 제공 REST API 노드와 통신하는 방법 API로 수행 할 수 있는 몇 가지 작업 클러스터, 노드 및 색인 상태, 상태 및 통계 확인 클러스터, 노드, 색인 데이터, 메타 데이터 관리 CRUD(Create, Read, Update, Delete) 및 인덱스에 대한 검색 작업 수행 페이징, 정렬, 필터링, 스크립팅, 집계 및 기타 여러 고급 검색 작업 수행 웹의 창시자(HTTP) 중의 한 사람 RoyFelling 2000년 논문에 의해 소개 웹의 장..