[ElasticSearch] 리눅스OS 환경 설정하기

리눅스 OS 시스템 설정

ElasticSearch를 사용하다 보면 OS에 따라 성능에 영향이 생기기도 합니다.

가장 중요한 건 메모리이며, OS환경도 최적화하여 성능을 올려주는 게 좋습니다.

 

메모리 권장 크기는 16GB~64GB입니다.

일반적으로 서버 전체 메모리의 절반을 Elasticsearch에서 사용할 JVM Heap에 할당하는 것이 권장합니다.

메모리가 많을수록 좋겠지만 JVM이 사용하는 트릭(compressed oops)이 32GB 아래에서 사용되는 제약이 있기 때문에

그 두 배인 64GB의 최대 권장 값을 가지게 됩니다.

 

CPU

빠른 속도와 많은 Core로 고민된다면, Multi Core가 주는 Concurrency가 이점이 많다고 볼 수 있습니다.

 

디스크

로그 수집기로 사용할 경우 Indexing-Heavy Type이기 때문에 디스크가 중요합니다.

SSD로 하는 것이 좋으며, RAID를 구성할 때는 RAID0으로 하는 것이 인덱싱(쓰기) 성능이 좋아집니다.

(노드 하나 당 디스크의 크기) = (보관 기간 동안의 데이터 총량) * (index.number_of_replicas + 1) / (노드 수)

 

• Disable swapping

💡 Elasticsearch는 JVM상에서 구동되므로 메모리 점유 또한 JVM 옵션으로 컨트롤되므로 swap을 꺼도 무방하다

임시로 끄기 위해서는 "sudo swapoff -a" 명령어 실행
영구적으로 끄기 위해서는 "/etc/fstab"의 swap이라는 문구가 포함된 파일을 모두 주석 처리

 

• File Descriptors

💡 Elasticsearch는 동시에 매우 많은 파일을 액세스 하기 때문에 이 설정이 권장보다 낮으면 data loss가 발생함
ulimit -Hn 명령어의 값은 65536 이상을 권장
ulimit -n 65536으로 임시로 설정 가능

영구적인 설정을 위해서는 /etc/security/limits.conf에 아래와 같은 줄을 추가 (재로그인 시 적용)
elasticsearch hard nofile 65536
elasticsearch soft nofile 65536
(elasticsearch 구동용 계정이 elasticsearch인 경우)

 

• locked-in-memory

💡 메모리 내 주소 공간 최대 크기
영구적인 설정을 위해서는 /etc/security/limits.conf에 아래와 같은 줄을 추가 (재로그인 시 적용)

elasticsearch hard memlock unlimited
elasticsearch soft memlock unlimited
(elasticsearch 구동용 계정이 elasticsearch인 경우)

 

• Number of Threads

💡 Elasticsearch는 작업 간 스레드를 많이 사용하는데 이 스레드의 숫자는 4096 이상을 권장함
ulmit -Hu 명령어의 값은 65536 이상을 권장
ulimit -u 65536으로 임시로 설정 가능

영구적인 설정을 위해서는 /etc/security/limits.conf에 아래와 같은 줄을 추가 (재로그인 시 적용)
elasticsearch hard nproc 65536
elasticsearch soft nproc 65536
(elasticsearch 구동용 계정이 elasticsearch인 경우)

 

• Virtual Memory

💡 Elasticsearch는 mmapfs를 저장소로 사용하는데, 일반적으로 OS의 기본값이 작게 설정되어 있어 메모리 문제를 일으킬 수 있음
sysctl vm.max_map_count 명령어의 값은 262144 이상을 권장
sysctl -w vm.max_map_count=262144로 임시로 설정 가능

영구적인 설정을 위해서는 /etc/sysctl.conf에 아래와 같은 줄을 추가 (재부팅 시 적용)
vm.max_map_count=262144

 

• Swap 사용 안 함

💡 /etc/sysctl.conf
vm.swappiness=1             (sysctl -w vm.swappiness=1)

 

---