본문 바로가기

전체 글418

[골빈해커의 3분 딥러닝] 04_03_Word2Vec Word2Vec 모델을 deep learning을 이용해서 구현해 보자. import tensorflow as tf import matplotlib import matplotlib.pyplot as plt import numpy as np tensorflow와 matplotlib, numpy를 각각 import 한다. (각각 version : 1.13.0, 3.0.3, 1.16.3) matplotlib는 단어 -> 벡터로 변환 후 2차원 그래프 상에서 표시해주기 위한 용도로 사용된다. from matplotlib import font_manager, rc font_name = font_manager.FontProperties(fname="/usr/share/fonts/truetype/dejavu/guli.. 2019. 6. 6.
[골빈해커의 3분 딥러닝] 04_02_DeepNN 2019/06/04 - [machine learning] - [골빈해커의 3분 딥러닝] 04_01_classification [골빈해커의 3분 딥러닝] 04_01_classification 골빈 해커님이 쓰신 3분 딥러닝을 코드 위주로 설명한 포스팅. 4장 01에서는 2개의 특징 데이터(털, 날개)를 가지고 [기타, 포유류, 조류]를 분류하는 모델을 설명하고 있으며, 전체 코드는 아래와 같다. step by.. yujuwon.tistory.com 이전 포스팅에 이어 이번에는 layer를 2개를 만들어서 (Deep) 모델을 구현한 예제를 살펴보자. 이전 포스팅과의 차이라면 layer 개수와 loss 함수를 tf에서 제공하는 함수를 썼다는 정도이다. 전체 코드는 아래와 같다. 이전 포스팅과 차이점만 살펴보자.. 2019. 6. 5.
[골빈해커의 3분 딥러닝] 04_01_classification 골빈 해커님이 쓰신 3분 딥러닝을 코드 위주로 설명한 포스팅. 4장 01에서는 2개의 특징 데이터(털, 날개)를 가지고 [기타, 포유류, 조류]를 분류하는 모델을 설명하고 있으며, 전체 코드는 아래와 같다. step by step으로 하나씩 살펴보자. import tensorflow as tf import numpy as np 텐서플로우와 numpy를 import 하고 있다. 참고로 실행 환경에서의 텐서플로우와 numpy 버전은 각각 1.13.0, 1.16.3을 사용하였다. x_data = np.array([[0, 0], [1, 0], [1, 1], [0, 0], [0, 0], [0, 1]]) y_data = np.array([ [1, 0, 0], # 기타 [0, 1, 0], # 포유류 [0, 0, 1].. 2019. 6. 4.
centOS6 git HTTP request failed 버그 간만에 서버에 접속해서 git clone을 받으려고 하니깐 아래와 같은 에러 메시지가 발생한다. 처음에는 HTTP request 관련 문제라 서버 network을 살펴봤는데, 결과적으로는 centOS 6에서 나타나는 버그였다. 해결 방법은 nss와 curl 패키지를 업데이트 해주면 된다. $> yum update -y nss curl 만약에 yum update 서버도 못찾는 경우에는 (/etc/yum.repos.d/*.repo) 파일을 적당히 수정해 주자. update가 무사히 완료가 되었으면!! 다시 git clone을 시도해 보자. 만약에 nss와 curl을 업데이트 했는데도 똑같은 에러가 발생한다면?? git 1.7에서 나타나는 버그로 아래와 같이 git update를 진행해 주자. $> wget .. 2019. 6. 3.
TextToCNN으로 분류하기 Text를 마치 하나의 image로 인식해서 CNN 모델에 태우는 기법의 분류가 높은 성능을 보인다고 해서 나도 한번 테스트를 해봤다.우선 이론 및 모델은 김윤 교수님의 논문인 Convolutional Neural Networks for Sentence Classification을 차용했다. 모델에 대해 간략히 설명하자면, 어떤 하나의 문장이 들어오면 해당 문장을 단어로 나누고 (위의 그림의 경우에서는 wait, for, the, video, and가 됨) 각 단어에 대해 embedding vector를 적용 시킨다. 가령 단어의 개수가 5개고 embedding vector가 128차원이라면 매트릭스는 5 x 128의 행렬이 된다. 이렇게 구성된 행렬에 convolution을 적용시킨다. 논문에서는 co.. 2019. 1. 28.
android 오레오 적용기 구글에서 위와 같은 엄포장이 날라왔다!!!핵심은 11/1일 이전에 targetSdk version을 26이상으로 맞추라는 거였다. '그래.. 업데이트 한지도 오래됐으니깐 맞춰줄께~' 너무 쉽게 생각했었을까?? 바꿔야 할 게 너무 많았다. 일단 무턱대고 gradle의 targetsdk를 26으로 변경하고 build 했다. (support:appcompat-v7은 23.0.0, compileSDKVersion도 23으로 유지) '어~ build 잘되네.. 쉽자나~' 내 폰에서만 확인해 본 후, 무턱대고 배포 ㄱㄱ를 진행했다. 결과적으로 targetsdk를 26으로 바꾸자마자 크게 2가지 문제가 발생했다. 참고로 아래의 두 가지 문제를 해결하기 위해서는 compileSDKVersion과 support:appc.. 2018. 10. 31.
BloomFilter를 이용해서 데이터 찾기. map-reduce, 혹은 spark를 사용함에 있어서 가장 비용을 많이 차지하는 부분은 map-reduce의 reduce, spark에서는 join 부분일 것이다.join을 할때는 되도록 데이터 셋을 최대한 줄인 후에 join을 하는 게 가장 바람직하다. 만약에 실제 내가 사용할 데이터는 2억건인데 input으로 들어온 데이터가 400억 건이면 400억 건에 대해 일단 2억건으로 줄인 후 join을 진행하는게 맞다. 그럼 400억 건을 2억건으로 어떻게 줄일까?? 물론 2억건을 메모리로 다 올린 후에 for문으로 찾아도 된다. 그러나 지금 설명하려고 하는 내용은 bloomFilter를 활용해서 데이터를 줄이는 방법을 말하려고 한다. 일단 BloomFilter에 대해 간략히 설명하자면, 해시 테이블을 활.. 2018. 10. 30.
github 저장소에 ssh 연결하기 ssh로 git clone 하려고 하는데 인증 받지 않은 키라는 오류 메시지가 뜬다.그래서 서버 인증을 위한 인증키를 만들어 주려고 한다. 아래와 같이 인증키 페어를 생성하자. $> ssh-keygen 위의 명령어를 실행하면 인증 키가 담긴 파일 명, 패스워드 등을 입력할 수가 있다. 나는 기존에 id_rsa 키가 존재하기에 rd_user_rsa라고 새롭게 인증키를 생성했다. 이렇게 생성된 인증 키를 github에 등록하자. 저장소의 settings를 클릭 한 후 왼쪽 메뉴의 Deploy keys를 클릭하면 위와 같은 화면이 나타날 것이다. 오른 쪽 버튼인 Add deploy key를 누르고 rsa public key를 등록하자. (public key는 rsa.pub라고 써있는 유형을 말함) 이렇게 등록.. 2018. 10. 26.
안드로이드 해시 값 확인하기 카카오 API를 사용하기 위해서는 카카오 개발자 센터에서 안드로이드 키 해시를 등록해야 한다. 만약 해당 안드로이드와 다른 키 해시 값이 등록이 될 경우 API 값을 리턴 받을 수가 없다. 그리고 디버그용 해시 값과 릴리즈용 해시 값이 엄연히 다르기 때문에 두가지 경우의 해시 값을 모두 등록해주어야 한다. ( 카카오 개발자 센터에서 디버그 용, 릴리즈 용 애플리케이션을 각각 만들어야 한다는 소리) 우선 디버그용 키 해시 값 얻어오는 방법을 알아 보자. (맥 기준) $> keytool -exportcert -alias androiddebugkey -keystore -storepass android -keypass android | openssl sha1 -binary | openssl base64 그리고 .. 2018. 10. 5.

티스토리툴바