20180515 엘라스틱서치 : shards & replicas 이해

개요

헷갈린다. 인덱스를 생성하고 인덱스는 샤드로 나뉘어지고 나뉘어진 샤드들이 레플리카로 다른 노드들에 상주하게 된다고 하는데, 정확한 이해를 하고자 공부

Replica

replica 는 말 그대로 인덱스(index)에 대한 복제를 의미한다. replica 는 물리적은 index 의 shard 를 복제하여 분산처리를 가능하게 해주고, SPOF(Single Point Of Failure) 에 대한 fail-over (장애극복) 개념으로 사용되는 것이다. replica 는 기본적으로 primary 를 기반으로 복제를 하게 된다. shard 에 primary shard 와 replica shard 이렇게 두 개가 존재하고 있으며, 모든 색인은 기본 primary shard 에서 이루어지고 이것을 복제하게 되는 것이다.

replica

• primary shard에 대한 복제 기능을 설정하는 것

• replica shard 를 의미

• 기본 설정은 1

• full replica 설정은 node size - 1 이다.

• SPOF 대응을 위한 설정

shard

• primary shard 와 replica shard 가 존재
• primary shard 에 기본적으로 색인이 되며, 이를 기준으로 replica shard 를 생성
• shard 는 lucene 에서 사용하는 인덱스(Index) 기준 (루씬 기준의 물리적인 인덱스)

SPOF / SPF (Single Point of Failure)

단일 장애점이다. 단일 장애점이란, 전체 시스템에서 고장이 발생하면 전체 시스템의 작동이 멈춰버리는 한 부분을 의미한다. 결국 시스템의 구성 요소 중에서 동작하지 않으면 시스템이 중단되는 요소를 말하는데, 예를 들어 이더넷 케이블과 전원, 이더넷 허브, 접속 디바이스들의 네트워크 인터페이스 카드로 이루어진 이더넷에서 네트워크 시스템에 있어서 네트워크 허브 장치의 전원은 SPOF이다. 허브의 전원이 차단됨가 동시에 나머지 요소들 전부는 네트워크를 사용할 수 없다. 잠재적인 SPOF를 평가함으로써, 복잡한 시스템 안에서 오작동 시 전체 시스템 중단을 야기하는 치명적인 컴포넌트를 판별할 수 있다. 

전체 시스템 중단을 예방하는 전략은 다음과 같다.

• 복잡도 낮추기
  복잡한 시스템은 필요한 수준까지 복잡도를 분해하는 원칙에 따라 설계한다.
  
  

• 복제 (레플리카)
  복제 시스템은 주요 컴포넌트가 중단되면 정상 동작하는 다른 컴포넌트로 자동 전환되거나 제어권을 넘기도록, 동일한 컴포넌트 두 개 이상을 유지한다.
  
  

• 다양성
  복제의 특화된 개념, 컴포넌트의 기능을 서로 다른 방식으로 설계한다. 같은 기능을 다른 설계로 개발하면, 동일한 조건에서 복제 컴포넌트가 동시에 중단되는 가능성을 줄일 수 있다.
  
  

• 투명성
  시스템의 장기적인 신뢰성은 투명성과 문서화에 의해 좌우된다.

[ 참고링크 ]

[ 윈도우 10 우분투 배시 ]

[ [Elasticsearch] replica & shard 이해하기 ]