Elasticsearch/개인 스터디

⚡ 01. Logstash, Filebeat 스펙 개발 환경 Window Terminal Ubuntu 18.04 Open JDK 8 참고 사항 Logstash 7.6.1 debian 설치 Filebeat 7.6.1 debian 설치 ⚡ 02 Logstash, Filebeat 설치 및 구동 ✅ 02-1. Debian 파일 설치 및 해제 # sudo apt-get install openjdk-8-jre # sudo update-alternatives --config java # java version 변경 $ sudo wget $ sudo wget $ sudo shasum -a 512 -c logstash-7.6.1.deb.sha512 $ sudo dpkg -i logstash-7.6.1.deb 위 순서대로..

⚡ 01. 로그스태시 파일비트 개요 데이터 수집(파일비트, 로그스태시) -> 인덱싱(엘라스틱서치) -> 시각화(키바나 로그스태시는 데이터의 전처리와 후처리를 담당한다 오픈 소스로써 서버 측 데이터를 처리하는 파이프 라인이다. 다양한 소스에서 동시에 데이터를 수집하여 반환 한다. 그 다음 자주 사용하는 Elasticsearch에게 전달 한다. 위에서는 Elasticsearch에게 데이터를 전달 한다고 하였지만, 실제 실무에서 사용이 되는 것을 보면 다양한 서비스에 이벤트 데이터를 전달할 수 있다. ⚡ 02. 로그스태시 파이프라인 로그스태시의 input, filter, output은 커스터마이징 하는 것이 까다롭다. 또한 파이프라인의 환경은 yaml 파일을 통해 수정한다. Input 데이터를 실제로 입력 받..

📌시각화 도구 Kibana 튜토리얼 Kibana를 사용한 시각화 준비 Kibana의 다양한 메뉴와 쿼리 및 설정 방법 Kibana 원하는 그래프 그리기 Kibana 대시보드 꾸미기 📌 Kibana란? 키바나를 사용하는 이유는 시각화를 통해 유저에게 직관적인 데이터의 상태 정보를 제공하기 위함이다. 키바나(Kibana)는 브라우저 인터페이스를 이용, 많은 데이터를 쉽게 검색, 시각화, 탐색 할 수 있는 오픈소스 분석 및 시각화 도구다. 또한 키바나는 엘라스틱서치(Elasticsearch), 로그스태시(Logstash), 비츠(Beats)와 함께 엘라스틱스택의 핵심 구성요소다. ✅ 첨언 Kibana는 Elasticsearch와 함께 작동하도록 설계된 시각화 플랫폼 Kibana와 Elasitcsearch의 버..

📌 실습에 앞서 기본적인 부분 복기 ✅ Query Context 와 Filter Context 의 차이 Query Context는 Full Text Search(전문검색)에 사용된다. Filter Context는 YES/NO 조건의 바이너리 구분에 사용된다. Query Context는 스코어링 계산을 수행한다. Filter Context는 스코어링 계산을 수행하지 않는다. 캐싱 사용 가능. 응답 속도가 빠르다. ✅ term 역색인 참고 자료 --term는 SQL의 equals 절과 유사하다 SELECT * FROM TB_USER WHERE 컬럼명 = "컬럼명" 기본적으로 term은 캐릭터 필터, 애널라이저, 토큰 필터를 거쳐 나오는 결과물이라 할 수 있다. 이에반해 term 쿼리는 주어진 질의문과 저장된..

✔ 검색 API ✅ 검색(_search API) 엘라스틱서치에서 검색은 인덱스 또는 타입 단위로 수행 _search API 사용 질의는 q 매개변수의 값으로 입력 hamlet이라는 검색어로 검색 질의 질의문 books 인덱스, book 타입에서 hamlet 검색 localhost:9200/books/book/\_search?q=hamlet books 인덱스에서 hamlet 검색 localhost:9200/books/\_search?q=hamlet 전체 인덱스에서 time 검색 localhost:9200/\_search?q=time ✔ Query String 검색 옵션 정리 ✅ 특정 필드 검색 질의 질의문 전체 인덱스의 title 필드에서 time 검색 /_search?q=time:time ✅ 다중 조건 ..

✔ 검색 API ✅ 검색 시작하기 간단한 검색부터 시작 검색을 실행하는 기본적인 두 가지 방법 REST 요청 URI를 통해 검색 매개 변수 보내기 REST 요청 본문을 통해 검색 매개 변수 보내기 요청 본문 메서드 사용시 표현력을 높이고 더 쉽게 읽을 수 있는 JSON 형식 사용 검색용 REST API는 _search 엔드 포인트에서 엑세스 ✅ URI를 통해 검색 매개 변수 보내기 bank 인덱스의 모든 문서 반환 예제 GET /bank/_search?q=*&sort=account_number:asc&pretty ✅ 검색 API 결과 { "took" : 1, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "skipped" : 0, "..

⚙ Tech Spec Virtualization VMware OS Name Ubuntu 20.04.3 LTS Tool Kibana Dev Tool ✔ Elasticsearch Batch Process 🔥 Batch Process? 한 번의 API 요청으로 대량으로 document를 추가하고 조회하는 방법 _bulk API를 사용하여 위의 작업을 일괄적으로 수행 할 수 있는 기능 _bulk API로 index, create, update, delete 수행이 가능하다 delete문을 제외하고는 명령문과 데이터문을 한 줄씩 입력해야 한다 최대한 적은 네트워크 왕복으로 가능한 빠르게 여러 작업을 수행할 수 있는 메커니즘 제공 네트워크 오버헤드를 방지하기위함 HTTP 바디 부분 끝에 반드시 엔터 추가 입력 필요..

Information 엘라스틱서치 데이터베이스 소개와 설치 엘라스틱서치 데이터베이스 CRUD 퀴즈를 활용한 엘라스틱서치 익히기 ✔ 엘라스틱서치 CRUD ✅ 클러스터 탐색 💡 Elasticsearch는 클러스터와 상호 작용하는데 사용할 수 있는 REST API 제공 REST API 노드와 통신하는 방법 API로 수행 할 수 있는 몇 가지 작업 클러스터, 노드 및 색인 상태, 상태 및 통계 확인 클러스터, 노드, 색인 데이터, 메타 데이터 관리 CRUD(Create, Read, Update, Delete) 및 인덱스에 대한 검색 작업 수행 페이징, 정렬, 필터링, 스크립팅, 집계 및 기타 여러 고급 검색 작업 수행 웹의 창시자(HTTP) 중의 한 사람 RoyFelling 2000년 논문에 의해 소개 웹의 장..

Information 엘라스틱서치 개요와 설치 엘라스틱서치 데이터베이스 CRUD 퀴즈를 활용한 엘라스틱서치 익히기 ✔ 엘라스틱 서치 DB 소개와 설치 설치 과정은 강의에 나와있는 부분을 참고하기에는 다른 부분이 존재하여, ELK Document를 참고하였습니다. Debian 파일을 기준으로 설치를 진행 하였으며 상세한 환경설정은 다루지 않을 예정입니다. 확장성이 뛰어난 오픈소스, 전체 텍스트 검색 및 분석 엔진 대량의 데이터를 신속하고 거의 실시간으로 저장, 검색 및 분석 저장과 동시에 데이터를 볼 수 있게 한다. Elasticsearch 추구하는 시간은 1초 ex) 네이버 블로그에서 글을 등록 일반적으로 복잡한 검색기능과 요구사항이 있는 응용 P/G을 구동하는 기본엔진 및 기술 엘라스틱 서치는 자바 루..

✔ Elastic Stack ✅ Splunk vs Elastic Stack 스플렁크(Splunk)와 엘라스틱 스택(Elastic Stack)은 최고의 Enterprise solution 5.x 버전부터는 고가의 장비와 사용하지 않는 다수의 부가 서비스를 포함해 ELK가 스플렁크를 대체하기 시작 스플렁크는 비용이 크고 관리가 힘들다 즉, 이러한 스플렁크를 엘라스틱이 대체하고 있는 상황 ✅ Splunk와 Elastic Stack Splunk와 Elastic Stack은 기능상에서 비슷한 점수를 받고 있다 Splunk ELK Capabilty Set 5/5 5/5 Ease of Use 4/5 4/5 Community Support 5/5 5/5 Release Rate 5/5 5/5 Pricing and Sup..

🔥 Elasticsearch 개념 Apache Lucene 기반의 Java Open Source 분산 검색 엔진 Elasticsearch를 통해 루씬 라이브러리를 단독으로 사용 가능 방대한 양의 데이터를 실시간으로 저장, 검색, 분석 가능 검색을 위해 단독으로 사용되기도 하며, ELK 스택으로 사용되기도 함 ✔ 데이터 색인 동료 개발자들과 함께 Elasticsearch에 대한 얘기를 하는 와중에,색인에 대한 개념이 잡히지 않아 따로 정리를 한다. ✅ 색인 (Indexing) 데이터가 검색될 수 있는 구조로 변경 원본 문서를 검색어 토큰들로 변환하여 저장하는 일련의 과정 ✅ 인덱스 (Index, Indexies) 색인 과정을 거친 결과물 또는 색인된 데이터가 저장되는 저장소. 도큐먼트(Document)의 ..