Flink란?- 유한 및 무한 데이터에 대한 상태 연산을 할 수 있는 Stream Framework- JobManager와 TaskManager로 이루어져 있음. JobManager 역할- job이 들어오면 각 TaskManager에게 필요한 slot을 할당 받는다.- 사용자가 작성한 코드를 Execution Graph 형태(source-map-sink) 로 변환한다.- 해당 graph를 바탕으로 각 taskManager에게 작업을 할당한다. (source는 1번 TM, map은 2번 TM 등등)- checkpoint coordinator : checkpoint를 관리한다. TaskManager 역할- 실제 연산을 담당하는 JVM process- slot이라고 하는 thread 개념의 단위를 가지고 있음..

kafka란?? - 분산 이벤트 스트리밍 플랫폼- producer : 데이터를 만들어 kafka에 보내는 생성자- consumer : broker에서 데이터를 가져와서 소비하는 소비자- broker : kafka 서버 broker controller 선출 - kafka 3.3 이하 버전에서는 기존 hbase나 hadoop 과 비슷한 방식으로 leader 선출이 이루어짐- zk znode에 에페머럴 임시 노드를 먼저 생성한 broker가 controller가 된다. - 만약 해당 controller node가 내려가면 znode의 임시 노드가 삭제가 되고 이를 지켜보던 다른 broker 중에서 해당 노드를 생성한 node가 contoller가 된다. - kafka 3.3 이상 버전에서는 zookeeper를..

hbase 동작 방식 - hdfs 위에서 동작하는 분산 NoSql 데이터베이스- Client는 zookeeper에게 현재 hbase:meta table을 들고 있는 서버 위치를 알려달라고 요청을 보냄.- zookeeper에서는 현재 hbase:meta table을 저장하고 있는 서버 위치를 보내준다.- hbase:meta table에는 table 명과 start row key, end row key등이 저장되어 있어서 해당 meta table을 보고 실제 데이터를 가지고 있는 region server를 찾을 수가 있다. db가 아닌 zookeeper를 쓰는 이유??- db의 경우 디스크에 write를 하고 트랜잭션을 보장하기 때문에 속도가 느리다. 하지만 zookeeper의 경우 모든 데이터를 메모리에 ..

hadoop ha 동작 방식 설명hadoop에서는 namenode에서 datanode에 저장되어 있는 data에 대한 파일시스템 트리와 해당 파일, 디렉토리에 대한 메타 데이터 정보를 저장하고 있다.그래서 datanode에 아무리 데이터가 저장되어 있다고 하더라도 namenode가 통신이 되지 않으면 해당 데이터에 대한 접근이 불가능하다. 이러한 이유로 name node가 서비스 중지되는 것을 막기 위해 name node를 이중화하여 high availability를 제공한다. hadoop ha가 어떤 방식으로 이중화가 되는지에 대해 살펴 보자. 우선 namenode에 대해 active node와 standby node를 설정하기 위해 name node 두 대를 설정한다.active node에 장애가 ..

$ sudo rpcbind start대상 os : rocky8서버 host : test-server1, test-server2, test-server3 test-server1을 nfs-server로 설정하고, test-server2, test-server3을 nfs-client로 구성하고자 한다. nfs-server 구성하기test-server1에 대해 nfs-server를 구성한다.아래와 같이 yum update를 진행한 후 rpcbind와 nfs library를 설치 하자.$ sudo yum update$ sudo yum install rpcbind nfs* /etc/exports에 아래의 형태로 공유하고자 하는 볼륨 정보를 기입해 준다. 공유 볼륨 기입 전에 공유하고자 하는 폴더는 미리 생성해 주도..

dockerfile로 image를 만들고 생성된 image를 컨테이너로 만드는 과정에서 컨테이너 내에 직접 들어가서 디버깅을 해야 하는 경우가 종종 발생한다. 하지만 이렇게 컨테이너에 접속하기 위해서는 컨테이너가 종료하지 않고 계속 떠 있어야 하는데 dockerfile 에서 cmd 명령을 아래와 같이 주면 컨테이너가 종료하지 않고 계속 떠 있는 상태를 만들 수 있다. FROM python:3.8-slimCMD ["tail", "-f", "/dev/null"] /dev/null은 리눅스의 null device로써 입력되는 모든 데이터를 EOF로 보내는 역할을 한다. 해당 null device 파일을 계속 tail을 검으로써 해당 container가 종료되지 않고 계속 살아있게 둘 수 있다. 이 외에서 무한..