전체 글

최근 AWS에 구동되고 있는 검색 엔진 인덱스 노드(node-i: 색인 시 사용되는 노드)의 인스턴스 유형을 변경해야 했다. 기존 c6g.8xlarge를 사용하던 EC2 인스턴스 타입을 c6gd.8xlarge로 변경해야 했다. 이유는 c6g.8xlarge의 경우 EBS Only로 EBS의 경우 네트워크로 연결이 되어 있지만 내장 스토리지를 사용하는 c6gd.8xlarge 유형을 사용하기에 색인(인덱싱) 속도를 높히기에는 내장 스토리지를 사용하는 것이 좋다고 판단하였기 때문이다.01-1. 현재 AWS EC2 인덱스 노드 아키텍처현재 인덱스 노드에 데이터 색인 후 데이터 노드로 샤드를 분배하는 과정은 아래와 같다.현재 풀 색인의 경우 새벽 05:00에 Logstash가 구동 되어 DB의 값을 조회(프로시저)..

01. Elastciearch 클러터에서 특정 Node 제외 시키기상용 클러스터 상에서 18대로 운영중인 데이터 노드의 개수를 12대로 줄여야 하는 작업이 필요했다.하여 해당 노드가 구동되고 있는 서버 상에서 kill -9 {PID}를 통해 프로세를 중지하여도 되지만,이렇게 되면 클러스터 상태가 Yellow가 되는 것은 물론이며 데이터 손실을 가지고 올 수 있다고 한다.하여 이번 시간에는 클러스터의 Green 상태를 유지하면서 특정 노드를 클러스터 상에서 제외시키는 방법에 대해 알아보자.01-1. 클러스터 상에서 노드 제외# 특정 IP를 가진 노드들을 샤드 재배치 대상에서 제외PUT /_cluster/settings{ "transient": { "cluster.routing.allocation.e..

01. ES 운영중인 Live 서비스의 alias 교체 방법실제 Live 서비스 중에 핵심 메타인 인덱스의 alias를 변경해야 하는 순간이 왔다. 상용 Live 서비스이기에 상당히 부담감이 심했지만, 어떻게든 alias를 교체해야 했다. 이번에는 alias를 near real time으로 변경한 방법에 대해 기재한다.01-1. alias 변경 필요 이유기존 메타 인덱스(alias-xxx-meta)의 경우 shard 개수가 6개 replica 개수가 1개로 지정되 있었다하지만 서비스 이슈로 인하여 데이터 노드를 6개 -> 18개로 증설하는 작업이 있었다여기서 보면 shard가 6개인데 replica가 1개이면6(shard) * (1(replica) + 1) = 12개의 샤드 생성18(데이터 노드 개수) ..

01. ES 클러스터 운영 중 노드 순차적 재시작(Rolling Restart)상용 ES를 운영하던 도중 데이터 노드의 CPU가 90%를 넘겨서 재기동을 진행해야 했다. 또한 Thread 상태를 확인해본 결과 rejected 된 결과가 1,414,844개가 쌓여 있었다. ❌ 하지만 데이터 노드를 그냥 재기동해버리면 해당 노드의 데이터에 문제가 발생할 수 있다. 이러한 이유로 인해 서비스를 운영하는 도중에 데이터 노드를 재기동 하는 방법에 대해 기재한다.01-1. 이슈 내용 확인특정 data node(2대)의 CPU가 3분간 98% 유지# 현재 ES thread_pool에서 rejected 된 thread 상태 및 원인 내용 확인GET _cat/thread_pool?v&s=rejected:desc# Kib..

01. Linux 파일 삭제 후 용량 확보 안되는 경우 (feat. Logstash & Shell Script)shell script를 통해 EC2 서버상의 특정 경로에 있는 파일을 실시간으로 압축 후 S3로 올리는 프로세스가 존재하였다. 이 때 Linux 서버상의 파일은 존재하지 않으나 디스크 사용량이 지속적으로 증가하는 이슈가 발생하였다. 이러한 이슈에 대해 간단히 정리를 진행 해보자.01-1. 시스템 현황현재 ECS의 Container로 떠있는 filebeat가 마운트 경로에서 파일을 읽어서 EC2의 구동되고 있는 Logstash로 파일을 전달한다. 후에 Logstash는 실시간으로 파일을 읽어 특정 경로에 저장 및 ES에 로그를 저장한다. 이때 정각 10분마다 shell scripts를 사용하여 ..

01. Elasticsearch 재색인?기존 검색엔진을 운영하는 과정 중에 동의어 관련된 작업을 수행하기 위해 핵심 메타 템플릿을 수정해야 하는 경우가 발생하였다. 하여 STG 환경에서 기존에 생성이 되어있는 2300만건 정도의 데이터를 Logstash + DB 프로시저를 사용하여 색인하는 방식 대신 reindex 명령어를 사용하여 데이터를 복사하는 과정을 적어보았다 😀상용 서비스의 경우 현재 alias를 사용하고 있고 i-node에 신규 인덱스를 생성해서 인덱싱을 수행하고 후에 해당 인덱스의 routing.allication.require.box*type option 이 index로 설정이 되어 있고, python 로직에서routing.allocation.require.boxtype option을 l..

01. Vetor vs ArrayList vs LinkedListList는 모든 프로그래밍 언어에서 가장 유용한 자료구조이다List는 기존 Array(배열) 자료구조의 단점, 한계를 극복하기위해 나온 자료구조다Array(배열) 자료구조를 기반으로 만들어졌다 봐도 무방하다01. Vetorpublic class VectorTest { public String [] Array = new String[10]; public Vector vector = new Vector(); @Test public void collectionTest() { System.out.println("Array = " + array.length); System.out.println("Ve..

01. HTTP(Hyper Text Transfer Protocol)의 특성은? 쿠키, 세션, 토큰(JWT) 몰라도 괜찮겠어?깔끔하게 정리했으니 몇 분만 투자해서 이번 기회에 바로 알고 가기 😀velog.ioHTTP란 인터넷 상에서 데이터를 주고 받기 위한 서버/클라이언트 모델을 따르는 프로토콜HTTP는 비연결성(Connectionless), 무상태성(Stateless) 특징을 가짐HTTP는 요청 처리 완료 후 연결을 끊어버리며, 클라이언트의 상태 정보 및 현재 통신 상태가 남아있지 않음HTTP의 비연결성 및 무상태성 장/단점장점 : 리소스 낭비를 줄일 수 있음단점 : 클라이언트가 누군지 알 수 없음 ( 새로고침 후 재로그인, 페이지 이동해도 재로그인.. 등등 )HTTP의 단점을 극복하기 위해 나온 기..

01. 서론자바에서 대표적으로 문자열을 다루는 자료형 클래스로 String, StringBuffer, StringBuilder 자료형 제공세가지 모두 문자열을 다루는데 사용하지만 목적에 따라 쓰임새가 달라짐String, StringBuffer, StringBuilder의 차이점에 대해 간략히 알아보고, 상황에 맞는 사용법 숙지연산이 많지 않을때는 어떤 클래스를 사용해도 이슈가 발생하지 않으나 연산횟수가 많아지거나 멀티쓰레드, Race condition 상황이 자주 발생하면 각 상황에 맞게 클래스를 선택해야 함02. String vs StringBuffer/StringBuilderString str = "hello" // String str = new String("hello"); 와 동일str = str..

01-1. List vs SetList 자료구조String [] fruitsArr = { "apple", "banana", "kiwi", "mango" };List fruitsList = new ArrayList(Arrays.asList(fruitsArr));for ( int i = 0; i List는 순서를 보장하고 중복 역시 허용해주는 자료구조index 기반으로 특정 위치의 데이터 조회 가능데이터의 저장 순서 보장중복 허용함List 자료구조 만들어보기List fruits = new ArrayList();fruits.add("apple");fruits.add("banana");fruits.add("kiwi");fruits.add("kiwi");fruits.add("kiwi");fruits.add(nul..

01. 인덱스와 샤드 - Index & Shards01-1. 도큐먼트(document)?{ "took" : 1, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 1, "relation" : "eq" }, "max_score" : 1.0, "hits" : [ // n개의 document를 포함 { "_index" : "seed-group", "_type" : "_doc", "_id" : "3W5esI0B0pf4..

01. Dockerfile 구성 😃 아래 내용은 Github Action을 구성하며 사용한 간단한 Dockerfile이다. 해당 Dockerfile에 있는 옵션을 하나씩 정리 해보자. # 베이스 이미지 FROM openjdk:17-jdk-slim # WORK DIR 지정 WORKDIR /apps # 이미지 빌드 시 --build-args 로 넘길 인자 ARG JAR_FILE=build/libs/*.jar # 이미지 혹은 파일을 도커 이미지의 파일 시스템으로 복사 COPY ${JAR_FILE} app.jar # 노출 포트 EXPOSE 8080 # 이미지를 기반으로 컨테이너를 띄울 때 항상 실행되어야 하는 명령어 ENTRYPOINT ["java", "-jar", "app.jar"] 🐳 Dockerfile은 ..

01. MySQL 계정 권한 관련 이슈 Macbook Intel 로컬에 MySQL 설치 후(brew install mysql@8.0) 아래와 같은 계정 이슈 발생 요새 로컬에서 작업할 때, Spring Boot 서버를 올리기만해도 MySQL이 종료되는 이슈가 발생하여 다운그레이드를 시도하였다 02. brew를 통해 mysql 버전 다운그레이드 youngminkim  /usr/local/var  brew search mysql ==> Formulae automysqlbackup mysql++ mysql-client@5.7 mysql-connector-c++ mysql@5.7 mysqltuner mysql mysql-client mysql-client@8.0 mysql-search-replace mysq..

01. 데이터 삭제 아래 작업은 상용이 아닌 LOCAL, DEV 작업에서만 하는게 좋을 것 같다고 생각한다. DEV도 회사에 따라서 중요한 데이터로 사용이되고 있을 수 있기에 조심해서 사용하자. DELETE TABLE [테이블명] or TRUNCATE [테이블명] ERROR 1217 (23000): Cannot delete or update a parent row: a foreign key constraint fails 로컬에서 테스트 중 시퀸스(seq)를 1부터 다시 초기화하고, 새로운 데이터를 넣고 있었던 과정 로컬이기에 데이터를 밀어버리고 다시 넣으려고 하였으나, A 테이블과 B 테이블이 서로 참조 관계에 있었기에 삭제 불가능 이는 MySQL이 테이블 간 관계가 있는 데이터를 함부로 삭제할 수 없게..

01. AWS 글로벌 인프라이번 시간에는 AWS 글로벌 인프라에 대해 알아보는 시간을 갖는다01-1. AWS 클라우드 컴퓨팅이란? 🌐 클라우드 컴퓨팅 개념 💯 총정리 (IaaS / SaaS / PaaS)클라우드 컴퓨팅 이란? 클라우드 컴퓨팅이란 인터넷으로 가상화된 IT 리소스를 서비스로 제공하는 것을 의미한다. 예를들어 개인이나 기업이 서버를 하나 구축하고 싶다면, 기본적으로 우선 컴inpa.tistory.com기업이 서버 하나를 구축하려면 아래 과정을 거쳐야 한다.1. 서버 컴퓨터 구매2. cpu, 메모리 카드.. 등의 H/W 구매3. 네트워크 통신망 연결위와같이 1개의 서버를 구축하는데 사용되는 리소스가 더 크다.그렇기에 이제는 비용만 대면 빠르게 사용이 가능한 Cloud Computing을 사용..

01. 로드 밸런서(Load Balancer) ELB vs. ALB vs. NLB: Choosing the Best AWS Load Balancer for Your Needs - IOD - The Content EngineersLoad balancers are a ubiquitous sight in a cloud environment. As soon as you need high availability, you are likely to meet a load balancer in front of at least two instances of your app. AWS offers three types of load balancers, adapted for various scenariamondemand.com..

01. 아이피(IP)란IP(Internet Protocol)란 인터넷에 연결된 모든 장치들(컴퓨터, 서버 장비, 스마트폰)을 식별할 수 있도록 각 장비에 부여된 고유 주소다른 사람에게 우편물을 보낼 때 우리는 국가, 지연, 아파트, 호수를 기재 후 발송하는 경우가 있음네트워크 데이터(패킷)가 우리에게 도달해 네이버 같은 페이지를 보여주려면 정확한 주소 정보가 필요함예를 들어 아래와 같은 경우가 있다고 가정한다철수는 짱구 집에서 보기로 약속을 잡은 상태이다철수가 짱구 집을 가려면 어떻게 해야 하는가?철수는 짱구가 어디에 살고 있는지 정확한 집 주소를 알아야한다ex) 경기도 성남시 분당구 내정로 xx, x 아파트 x동 x호이렇듯 인터넷 상에서도 정확한 정보가 있어야 목적지에 도달할 수 있음01-2. IP 종..

01. ECS현재 고객사 서비스의 API는 ECS Fargate로 구성이 되어있다.ECS에 대해 간략히 정리하고 복기하고자 하는 마음으로 글을 작성한다.ECS(Elastic Container Service)는 클러스터에서 컨테이너를 쉽게 실행, 중지 및 관리할 수 있게 해주는 컨테이너 관리 서비스간단한 API 호출을 사용하여 컨테이너 기반 Application을 시작 및 중지할 수 있다01-1. ECS FargateAWS Fargate란 서버를 관리하지 않고도 컨테이너를 배포하고 관리할 수 있는 서버리스 컴퓨팅 엔진이다Task에 산정된 리소스만큼 사용한 만큼만 비용이 발생한다같은 애플리케이션의 Fargate끼리는 localhost 안에서 서로 통신할 수 있다01-2. ECS Cluster하나의 ECS C..

01. 서론개인적으로 기억하기 위해 정리한 내용이므로 자세한 부분이 생략되었습니다.마지막 참고 자료에 링크 남겨두었으니 참고 부탁드리겠습니다 :)AWS Fargate 용량 공급자 사용하면 AWS ECS Task에 Fargate & Fargate Spot 용량 사용 가능Fargate Spot 사용하면 Fargate 가격 대비 할인된 요금으로 중단 방지 Amazon ECS Task 실행이 가능정가 대비 최대 70% 할인된 가격으로 비용 최적화 가능용량 공급자와 Fargate, Fargate_Spot 둘다 이용이 가능AWS Fargate 스팟은 EC2 스팟 인스턴스와 동일한 개념AWS Cloud 예비 용량을 사용하여 Fargate 스팟 용량이 제공되면 지정한 요청에 따라 작업을 시작01-1. Cloud의 예비..

01. 요청 매핑 핸들러 어뎁터 구조 이번 시간에는 요청 매핑 핸들러 어뎁터(RequestMappingHandlerAdapter) 구조에 대해서 알아본다 이전에 HTTP 메시지 컨버터에 대해 배웠지만 아래 사진에서는 메시지 컨버터 관련한 부분이 보이지 않는다. 이러한 HttpMessageConverter 는 아래 사진에서 어떠한 부분에 해당이 되는 것일까? 이번 시간의 주요 포인트는 요청 매핑 핸들러 어댑터, 그리고 HTTP 메시지 컨버터가 어디에서 사용이 되는지 확인해보자 HTTP 메시지 컨버터는 스프링 MVC의 어느곳에서 사용되는 것일까? 위 그림만 봤을때는 HTTP 메시지 컨버터가 사용되는 곳은 보이지 않는다 비밀은 어노테이션 기반의 컨트롤러인 @RequestMapping을 처리하는 핸들러 어댑터인..

01. 요청 매핑 핸들러 어뎁터 구조 RequestMappingHandlerAdapter HTTP 메시지 컨버터는 스프링 MVC의 어느곳에서 사용되는 것일까? 위 그림을 봤을대 HTTP 메시지 컨버터가 사용되는 곳은 보이지 않는다 모든 비밀은 어노테이션 기반의 컨트롤러인 @RequestMapping을 처리하는 핸들러 어댑터인 RequestMappingHandlerAdaptor(요청 매핑 핸들러 어뎁터)에 있다 01-1. RequestMappingHandlerAdaptor 동작 방식 ArgumentResolver(요청시) RequestMapping 핸들러 어댑터 → ArgumentResolver에게 문의(파라미터 존재?) → 핸들러 전달 @GetMapping("/test1") public ResponseE..

01. 이슈 내용 curl -XPOST 'https://search-xxx-xxx.elb.amazonaws.com/retrieve/contents' --header 'Content-Type: application/json' AWS Stage 서버에 API를 배포한 후 테스트가 필요하여 위와 같이 curl 요청을 날리는 상황에 아래와 같은 에러가 출력되었다 curl: (60) SSL: no alternative certificate subject name matches target host name 'search-xxx-xxx.elb.amazonaws.com' More details here: curl failed to verify the legitimacy of the server and therefor..

01. Tag란? 커밋을 참조하기 쉽도록 알기 쉬운 이름을 붙히는 것 저장소의 소스 버전을 간단히 표기 하기 위해 사용 특정 커밋에 Tag를 붙혀 사용하며 HEAD commit에 tag를 붙힌다 02. tag 조회하기 입니다. 태그는 문자 순서대로 정렬하여 보여주므로 버전형식을 잘 갖췄다면 오래된 버전이 가장 먼저 출력됩니다. 보통 저같은 경우는 v1.0.0-2021-11-11 형식으로 버전과 날짜를 같이 기입하는 방식으로 Tag 명을 입력합니다. git tag 현재 존재하는 tag를 조회할 때 사용하는 명령어 태그는 문자 순서대로 정렬하며, 버전 형식이 잘 갖춰졌다면 오래된 버전이 가장 먼저 출력됨 검색 패턴을 사용해서 조회도 가능 git tag -l v1.0.* v1. 대 영역을 보고 싶다면 아래와 ..

01. 서론 git을 사용하는 도중 git config 설정이 되어있지 않아서 개인 Git 계정과, 회사 계정이 구분이 되지 않는 상황이 발생 하였다 계정을 구분하지 않으면 하나의 계정으로 모든 Git을 제어해야 하는데, 이렇게 되면 회사 Git 계정은 Credential로 인해 권한이 거부 되는 경우가 존재하였다 02. 로컬 데스크탑에서 gitconfig 파일 위치 확인 # git 설정 확인 vi .gitconfig # 위치를 모르면 아래 명령어 입력 git config --list --show-origin .gitconfig 파일을 열어서 수정해주면 된다. 만약 위치를 알지 못하면 아래 명령어를 입력하면 된다 .gitconfig 파일을 열어보면 아래와 같이 전역으로 선언된 git 설정을 확인 할 수 ..