Flink란?- 유한 및 무한 데이터에 대한 상태 연산을 할 수 있는 Stream Framework- JobManager와 TaskManager로 이루어져 있음. JobManager 역할- job이 들어오면 각 TaskManager에게 필요한 slot을 할당 받는다.- 사용자가 작성한 코드를 Execution Graph 형태(source-map-sink) 로 변환한다.- 해당 graph를 바탕으로 각 taskManager에게 작업을 할당한다. (source는 1번 TM, map은 2번 TM 등등)- checkpoint coordinator : checkpoint를 관리한다. TaskManager 역할- 실제 연산을 담당하는 JVM process- slot이라고 하는 thread 개념의 단위를 가지고 있음..

bert란? - 기존 RNN에서 문제가 되던 vanishing gradient 문제를 해결하기 위해 고안된 모델.- 특징- bidirectional로 단방향 학습이 아닌 양방향 학습을 진행- transformer encoder : self-attention 기법을 도입함으로써 gradient가 소실되는 문제를 막았다.- 또한 문장의 일부 단어를 가리고, 주변 단어를 통해 가려진 단어를 맞추는 연습을 진행하고, 두 문장을 나란히 놓고 두 번째 문장이 첫 번째 문장에 올 문장인지를 맞추도록 학습을 진행함. attention이란?- RNN의 경우 문장이 길면 길수록 앞부분에 나오는 정보의 중요도가 감소하는 문제가 발생함. (vanishing gradient)- 이를 해결하기 위해 매순간 각 토큰의 모든 중요도..

kafka란?? - 분산 이벤트 스트리밍 플랫폼- producer : 데이터를 만들어 kafka에 보내는 생성자- consumer : broker에서 데이터를 가져와서 소비하는 소비자- broker : kafka 서버 broker controller 선출 - kafka 3.3 이하 버전에서는 기존 hbase나 hadoop 과 비슷한 방식으로 leader 선출이 이루어짐- zk znode에 에페머럴 임시 노드를 먼저 생성한 broker가 controller가 된다. - 만약 해당 controller node가 내려가면 znode의 임시 노드가 삭제가 되고 이를 지켜보던 다른 broker 중에서 해당 노드를 생성한 node가 contoller가 된다. - kafka 3.3 이상 버전에서는 zookeeper를..

hbase 동작 방식 - hdfs 위에서 동작하는 분산 NoSql 데이터베이스- Client는 zookeeper에게 현재 hbase:meta table을 들고 있는 서버 위치를 알려달라고 요청을 보냄.- zookeeper에서는 현재 hbase:meta table을 저장하고 있는 서버 위치를 보내준다.- hbase:meta table에는 table 명과 start row key, end row key등이 저장되어 있어서 해당 meta table을 보고 실제 데이터를 가지고 있는 region server를 찾을 수가 있다. db가 아닌 zookeeper를 쓰는 이유??- db의 경우 디스크에 write를 하고 트랜잭션을 보장하기 때문에 속도가 느리다. 하지만 zookeeper의 경우 모든 데이터를 메모리에 ..

hadoop ha 동작 방식 설명hadoop에서는 namenode에서 datanode에 저장되어 있는 data에 대한 파일시스템 트리와 해당 파일, 디렉토리에 대한 메타 데이터 정보를 저장하고 있다.그래서 datanode에 아무리 데이터가 저장되어 있다고 하더라도 namenode가 통신이 되지 않으면 해당 데이터에 대한 접근이 불가능하다. 이러한 이유로 name node가 서비스 중지되는 것을 막기 위해 name node를 이중화하여 high availability를 제공한다. hadoop ha가 어떤 방식으로 이중화가 되는지에 대해 살펴 보자. 우선 namenode에 대해 active node와 standby node를 설정하기 위해 name node 두 대를 설정한다.active node에 장애가 ..

거의 5년만에 신규 안드로이드 앱을 출시해봤다. 어 근데 출시 버튼을 누르고 apk를 업로드하려고 하면 apk가 비활성화되어 업로드를 할 수가 없다!! 이거 모지??? 이젠 apk 말고 aab만 업로드가 되는건가? 여기서 참고로 apk와 aab에 대해서 알아보자. apk는 안드로이드에서 앱을 설치하기 위한 표준 파일 형식으로 윈도우의 exe와 비슷하다고 보면 될 것 같다. apk 내에는 코드, 인증서, 리소스 파일 등이 모두 포함되어 있기 때문에 사용자는 apk 파일을 통해 자신의 폰 내에 앱을 설치할 수가 있다. aab는 구글에서 안드로이드 앱을 배포하기 위한 최신 게시 형태이다. apk와의 차이를 보자면 apk는 모든 기기에 대한 리소스를 포함하고 있는 반면, aab는 구글플레이에서 최적화 해서 필..