Elasticsearch

수억 건의 로그 데이터에서 일별 통계를 뽑는 집계 쿼리가 타임아웃되는 문제를 겪었다. Composite Aggregation과 인덱스 설계 개선으로 쿼리 시간을 90% 단축했다.

실시간 통계 API에서 Elasticsearch aggregation 쿼리가 타임아웃되는 문제가 발생했다. 데이터가 1억 건을 넘어가면서 기존 방식으로는 한계에 부딪혔고, 여러 최적화 기법을 적용해 응답 속도를 개선했다.

서비스 검색 기능의 정확도가 떨어진다는 피드백이 계속 들어왔다. Elasticsearch의 기본 토크나이저 대신 nori 형태소 분석기를 적용하여 한글 검색 품질을 개선한 과정을 기록한다.

월간 집계 API 응답 시간이 30초를 넘어가면서 타임아웃이 발생했다. 인덱스 설계와 쿼리 개선을 통해 3초 이내로 줄인 과정을 정리했다.

운영 중인 검색 서비스에서 인덱스 매핑을 변경해야 하는 상황이 발생했다. 무중단으로 재색인을 진행하기 위해 alias를 활용한 blue-green 방식을 적용했고, 약 500만 건의 문서를 안전하게 마이그레이션했다.

서비스 검색 품질 개선을 위해 Elasticsearch의 nori 형태소 분석기를 도입했다. 기본 standard 분석기 대비 한글 검색 정확도가 크게 향상되었고, 사용자 사전 관리를 통해 도메인 특화 검색도 가능해졌다.

서비스 검색 품질 개선을 위해 Elasticsearch의 한글 형태소 분석기 Nori를 도입했다. 기본 tokenizer 대비 검색 정확도가 크게 향상되었고, 사용자 사전 관리로 도메인 특화 검색을 구현했다.

서비스 검색 기능에 Elasticsearch를 도입했지만 한글 검색 품질이 기대에 못 미쳤다. nori 형태소 분석기를 적용하고 인덱스 설정을 조정하여 검색 정확도를 개선한 과정을 정리했다.

재택근무 전환 후 로그 데이터가 급증하면서 Elasticsearch 색인 중 OOM이 발생했다. Bulk API 최적화와 refresh interval 조정으로 문제를 해결한 과정을 정리했다.

로그 수집 파이프라인에서 동일 필드명에 서로 다른 타입의 데이터가 유입되면서 인덱싱 오류가 발생했다. 동적 매핑의 동작 방식을 이해하고, 명시적 매핑과 Ingest Pipeline으로 문제를 해결했다.