본문 바로가기
개발일기/Seminar

Deview 2016

by 유주원 2016. 10. 24.

올해로 9번째를 맞이하는 naver deview 행사.




이번에는 놀랍게도 이해진 의장이 처음 인사말을 해서 놀랐다. (실제 얼굴 처음 봄) ㅋㅋ




그 다음으로 이어지는 송창현 CTO key note


Deview 1일차


1. key note


네이버에서 밀고 있는 서비스

    - papago : 번역 앱. 뉴럴 알고리즘 적용.

    - WHALE : 네이버 자체 브라우저. UI적으로 신기한 것 같다. 이미지도 번역해 준다는데??

    - 그리고 인공지능 비서 서비스 같은 프로젝트를 진행 중인 것 같다. Amica 라고 부르는 것 같은데 (아무래도 네이버도 알파고 영향을 받은 듯)

    - 자동차 자율 주행 기술.

    - 네이버에서 만든 첫번째 로봇 M1. 해당 로봇을 이용해서 실내 지도를 만들 수 있다고 한다.

    - 오늘 키노트에서 발표한 모든 부분에서 딥러닝 기술이 녹아져 있는 것 같다. (역시 데이터가 깡패임..)


키노트만 봐서는 엄청 부럽긴한데.... 실제 써봐야 알 듯하다.. 작년에도 라이브 검색 밀었던 거 같은데 쏙 들어간거 보면...

어쨌든 이런 기술들을 연구하고 있다는 점은 엄청 부럽긴 하다. 아래 사진은 쉬는 시간에 잠깐 가서 본 네이버 M1 로봇





2. 챗봇 개발을 위한 네이버 랩스 API


 - AMICA - Natural Language 기반 인터페이스. 메신저에서 가장 적합한 인터페이스는 대화이다.

 - 하지만 일반 개발자들이 자연어를 처리하기에는 너무 시간이 오래 걸린다. 

 - AMICA.ai가 이러한 자연어 처리를 도와주는 역할을 함.

 - built-in entity : 장소, 시간, 인명 등 25개의 사전을 제공. (중의성은 보장해 주는 건가??)

 - built-in intent : yes,no,cancel 등 7개의 예상 intent 제공.

 - 그 밖의 유니크한 entity는 사용자가 직접 입력해야 함. ( 검색 엔진이랑 똑같네.. )

 - 대화의 context에 관련한 history 정보는 따로 제공하지 않는다. 

 - 그냥 단순히 자연어 처리쪽만 제공하는 듯.. 오히려 더 불편할 수도 있을 것 같음.

 - 어떻게 개발했는지가 궁금했는데, 그냥 AMICA 홍보 section이었는듯 싶다.

 - 아래의 그림 처럼 챗봇 대화가 이루어진다고 한다. (우리 회사도 챗봇 때문에 지금 정신 없는데...)





     

3. 실내공기질 관리 IoT 제품 , Awair의 실리콘밸리 공략기


- Iot 제품을 개발할 때에 없어서는 안 될 요소를 아래와 같이 설명한다.

  - Iot 제품은 wifi 연결에 대한 신뢰성이 있어야 한다. (조금의 disconnection만 있어도 사용자는 외면한다.)

  - App이 없어도 제품 그 자체로 독립적으로 사용할 수 있어야 한다.

  - 디자인이 정말 중요하다.

  - 포장도 제품이다.

  - 센서 제품에 대한 완성도가 없다면 사용자는 센서가 주는 수치를 절대 믿지 않는다.

  - 좁은 지역일 경우에는 무수히 많은 wifi list가 존재하며 이에 대한 처리가 반드시 필요하다.

  - 다른 디바이스에 연동될 수 있어야 한다.


4. 통역하는 앵무새 파파고 이야기


  - 이미지를 활용한 중의어 문제 해결 : 이미지를 선택해서 의미를 선택할 수 있도록 UI 구성

  - 실시간 번역이라 데이터 사용량이 많을 것이라 생각되지만 그리 많지는 않음 -> 실시간 번역 옵션화로 데이터 사용량 걱정거리 해결.

  - 번역 모델에 관한 이야기는 전혀 없네 ㅋ.. 그냥 앱소개 위주..

  - 아마 딥러닝은 deview 2차에서 집중적으로 나타날 듯 싶다. 


Deview 2일차


1. 딥러닝을 이용한 지역 컨텍스트 검색.

  

  - 사람이 붐빌 줄 알았는데 생각보다 한산했다. 비와서 그런가? 

  - 사용자가 어떤 장소를 검색하려고 할 때 해당하는 장소를 이해해서 원하는 장소를 찾아줄 수 있는 방법 연구

  -  ex) 3만원 가지고 갈 수 있는 여행지 추천.

  - 텍스트 마이닝이 아니라 딥러닝을 활용해서 적용해 봄 ( CNN )

  - 텍스트 마이닝 방식 -> 기존의 테마 사전을 만든 후 패턴을 적용해서 찾는 방법. 사전 업데이트가 필요하기 때문에 번거로움.

  - CNN에 사진 대신 여행지 블로그 문장을 집어 넣음. ( CNN + LSTM)

  - Temporal ConvNet Model - 문자 단위(character)로 입력이 들어감. 언어 독립적 모델. 문법 등을 신경쓸 필요가 없다.

  - 문자 단위면 입력 벡터 사이즈는 어떻게 고정하는거지??? 나중에 논문을 볼 필요가 있을 듯 함. 정확히 이해 못함.

  - Overfitting 문제 해결 위해 : Dropout(0.5)

  - 학습 데이터를 늘리기 위해 : 영어 기준 처음과 끝 2글자를 남기고 순서 변경 ex) 캠릿브지 대학의 연결구과

  - LSTM을 이용해서 새로운 지역 컨텍스트 발굴

    - LSTM : RNN 기반한 모델.

    - Bidirectional LSTM을 사용 : forward layer + backward layer




2. 딥러닝을 활용한 이미지 검색 : 포토 요약과 타임 라인

  

  - document text 분류를 해서 대표 키워드를 찾고 CNN으로 이미지를 분류해서 해당 document text와 연결 시켜주는 구조 인 것 같다.

  - VGGNET16 모델의 FC7 Layer 사용.

  - multiclass SVM 사용.

  - 랭킹 적용 ( 어떤 컨텐츠를 먼저 보여줄 것인가?)

     - 식당 같은 경우에는 다출처 우선

     - 미용실은 시술 사진 우선

     - 명소는 유사 명소


3. 딥러닝과 강화 학습으로 나보다 잘하는 쿠키런 AI 구현하기


  - 강화학습(reinforcement learning)

     - 시행 착오로부터 배운다.

     - 정답이 없기 때문에 학습 결과는 다양할 수 있다.

  - 쿠키(agent)가 목적에 맞는 행동을 했을 경우 양수의 reward를 주고, 그렇지 않을 경우에는 음수의 reward를 준다.

  - agent가 action을 결정하는 방법을 학습하고 각 action의 결과는 다음 행동에 영향을 준다.

  - Deep-Q-Netword (2013)

    - state(S)에서 어떤 행동(A)을 했을 때 기대되는 행동(Q)

    - 쿠키런에서 Q는 젤리를 먹은 점수가 된다.

    - 점수가 가장 높게 나타낼 수 있는 action이 정답이 되는 셈.

  - Double Q-Learning (2015)

    - 미래가치 Q가 낙관적 예측 또는 발산을 막기 위한 논문

    - Q 값이 너무 커지는 것을 막도록 학습하는 것.

  - Dueling Netword

    - Q 값을 정확하게 예측할 필요가 없다.

    - 값을 예측하는 것보다 기준을 두고 기준보다 얼마나 떨어져 있는지를 확인한다.

    - 기존 Double Q-Learning에 V라는 기준 값을 추가하는 것 같다.

  - 만약 강화에 계속 실패한다면??

    - Hyper parameter tuning

        - 뉴럴 네트워크 바꾸기

        - Optimizer 바꾸기

        - reward 식 바꾸기

        - 너무 많은 hyper parameter는 비추한다.

        - 고정 시킬 수 있는 변수들은 고정시켜 놓고 건드리지 말자.

        - 계속적인 실험만이 답이다.

    - debugging

    - pretrained model

        - 모든 실험의 weight 를 저장하고 비슷한 실험일 경우에는 해당 weight를 사용해서 학습 속도를 줄인다.

    - ensemble method

        - 각각의 모델에 대해 각각 실험을 해서 추합한 결과를 결과치로 내는 방법.

        - tensorflow에서는 같은 이름의 node를 하나의 그래프에 저장할 수 없다. 또한 한 세션에서는 하나의 그래프만 그릴 수 있다.

        - 그럼 어떻게??? 여러 개 세션을 둔 후 각각의 그래프를 둬서 앙상블 방법을 만들 수가 있다. (with session으로 session 선언하면 안된다.)