Elasticsearch/사내 스터디

Elastic Stack 4th 집계 스터디 엘라스틱 스택의 핵심 기술인 집계를 제대로 분석 📌 목차 엘라스틱서치: 집계 집계의 요청: 응답 형태 메트릭 집계 버킷 집계 집계의 조합 파이프라인 집계 📌 1-1 엘라스틱서치: 집계 엘라스틱서치의 집계란? 데이터를 그룹핑( Grouping )하고 통계값을 얻는 기능이다 RDB SQL의 GROUPBY와 통계 함수를 포함하는 개념이다 엘라스틱서치의 집계 예시 데이터를 날짜별로 묶거나 특정 카테고리별로 묶어 그룹별 통계를 작성한다 ✔ 1-2 엘라스틱서치: 집계 집계 기능의 효과 엘라스틱서치의 검색 기능과 맞물려 엘라스틱서치를 고성능 집계 엔진으로 활용 대표적인 활용 사례로는 키바나( 데이터 시각화 도구 )가 존재한다 키바나의 시각화 대시보드는 대부분 집계 기능을 ..

🤷‍♂️ 엘라스틱 스택의 엘라스틱서치 엘라스틱 스택의 핵심 기술인 엘라스틱 서치를 제대로 분석 📌 목차 엘라스틱서치: 검색 쿼리 컨텍스트와 필터 컨텍스트 쿼리 스트링과 쿼리 DSL 유사도 스코어 쿼리 ✔ 엘라스틱서치: 검색 엘라스틱서치는 전문 검색 기능을 시작으로 꾸준히 성장해 왔으며 다양한 검색 쿼리를 지원 텍스트, 숫자 데이터를 저장한 다음에 인덱싱을 마치면 쿼리를 실행하여 결과를 얻을 수 있다. 스코어링 알고리즘을 적용해 연관성이 높은 결과에 대한 제어가 가능하므로 대량의 데이터를 대상으로 빠르고 정확한 검색이 가능하다. ✔ 쿼리 컨텍스트와 필터 컨텍스트 유사 검색은 query context, 정확한 검색은 filter context 사용 쿼리 컨텍스트 질의에 대한 유사도를 계산해 이를 기준으로 정..

Elastic Stack 엘라스틱서치 CRUD 메서드 설명 메서드 1 설명 1 POST 해당 리소스를 추가 GET 해당 리소스를 조회 PUT 해당 리소스를 수정 DELETE 해당 리소스를 삭제 엘라스틱서치는 모든 요청과 응답을 REST API 형태로 제공 6.x 부터 PUT과 POST를 엄격히 구분하지 않고 사용을 한다. RESTFul API Restful API를 통해 index에 document를 추가할 수 있는데, 이러한 작업을 문서를 색인화한다 지칭 인덱스 만들기 PUT customer?pretty PUT 메서드를 사용하여 customer라는 색인을 생성 pretty의 경우 reponse(결과)를 예쁘게 보여주기 위함 { "acknowledged": true, // 응답 결과 여부 "shards_..

📌 1.1 엘라스틱서치의 탄생 엘라스틱 서치가 처음 등장했을 때 어느 누구도 빅데이터 파이프라인을 구성하는 플랫폼 형태로 성장하리라 예상하기는 어려웠을 것이다. ✔ 클라이언트의 요구사항 엘라스틱 서치가 등장했을 때 사용자의 요구사항은 명확 하였다 사이트 내에 전문 검색 기능을 추가하는 것 ✔ 현 시점에서의 문제점 인터넷 검색 서비스가 계속해서 등장 하였지만 구현체를 공개하지 않음 기업 내에서 대량의 DB나 값 비싼 솔루션에 의지 ✔ 새로운 검색 엔진의 등장 1999년 하둡의 창시자 더그 커팅의 다섯 번째 검색 엔진을 개발 부인의 이름을 딴 루씬(Lucene) 개발 🕐 루씬의 기원 2001년 아파치 자카르타에 합류 2005년 2월 독자적 아파치 프로젝트로 분류 2003년 6월 더그 커팅은 100만 페이지를..