Programming/python67 spaCy 사용하기 - 설치 및 dependency parser 사용 spaCy 설치는 정말 간단하다. (ubuntu 기준) 아래와 같이 pip install 로 설치해 주면 된다. $> pip install -U spacy spaCy를 설치한 후에는 언어에 맞는 모델도 설치를 해야 한다. (tokenizing, parsing, pos tagging 등을 하기 위한 모델) spaCy에서는 총 8가지 언어를 지원하며 (한국어는 지원 안함) 지원 언어는 아래와 같다. 각 언어별 모델 설치는 아래와 같이 진행하면 된다. python -m spacy download enpython -m spacy downlonad depython -m spacy download espython -m spacy downlonad ptpython -m spacy download frpython -m.. 2018. 4. 16. spaCy 사용하기 - nltk와 spaCy 비교 spaCy(https://spacy.io/)라고 nlp를 쉽게 할 수 있도록 도와주는 python package를 사용해 보고자 한다. python에 nltk가 있는데 굳이 spaCy를 써야하는 이유가 있나?? NLTK와 spaCy를 비교해 놓은 글이 있어서 링크와 함께 간단히 두 패키지의 특징을 비교해 보고자 한다. https://blog.thedataincubator.com/2016/04/nltk-vs-spacy-natural-language-processing-in-python/ 1. library 지원nltk의 경우 9개의 stemming library를 가지고 있으며(http://www.nltk.org/api/nltk.stem.html) 연구자 입장에서는 이들을 적절히 customizing 함으.. 2018. 4. 16. [Python] Ipython 노트북 설치하기 IPython??기존의 python보다 좀더 인터프리터가 쉽게 나타나 있는 형태라고 보면 될 것 같다.python을 웹에서 코딩하고 작업할 수는 없을까라는 요구에 의해 나오게 된 거라도 봐도 될 것 같다. 간단히 어떻게 설치하고 사용하는지 살펴보자. 우선 ipython을 설치한다.참고로 ipython은 python 버전 2.7 또는 3.3 이상을 요구한다. $> pip install ipython 아래 라이브러리는 Ipython 사용에 있어 dependencies를 가지는 라이브러리들이기 때문에 함께 설치한다.- jinja2, needed for the notebook- sphinx, needed for nbconvert- pyzmq, needed for IPython's parallel computin.. 2017. 11. 21. [Flask] Flask에서 ajax 사용하기 Flask 웹 페이지 화면에서 데이터가 갱신 되었을 때, 해당된 영역만 갱신을 하고 싶었다. 웹은 거의 초짜 수준이라.. 이것 저것 찾아 봤다. 맨 처음에 쓴 방식은 html template를 새롭게 하나 더 만들고, 새롭게 만든 html template에 기존 html 콘텐츠를 추가하기 아래와 같은 방식이다.{% block %} 원래 html 영역 {% end block %} 새롭게 만든 html 영역 하지만 이 방법 역시 기존 html 영역을 나타나게 하려면 python 코드에서 정보를 다 입력해서 넘겨주어야만 했다.return render_template('새로운 html', 기존 html 정보, 새로운 html 정보); 결국엔 전체 page 갱신과 똑같은 결과라서 결국 이 방법은 포기! 두 번째 .. 2017. 11. 20. [SQLALCHEMY] session 관리 SQLAlchemy에서는 정말 편리하게도 많은 기능들을 제공해 주고 있다. 그 중 하나로 pool 관리도 해주는데 대부분 아래와 같이 사용할 것이다.from sqlalchemy import create_engine from sqlalchemy.orm import scoped_session, sessionmaker engine = create_engine('mysql 주소', convert_unicode=False, pool_size=20, pool_recycle=500, max_overflow=20)session = scoped_session(sessionmaker(autocommit=False, autoflush=False, bind=engine)) 간략하게 create_engine의 parameter.. 2017. 11. 15. [Python] SqlAlchemy relation 설정하기 실제 DB에 설정되어 있는 관계들을 SqlAlchemy의 ORM에서 명시적으로 선언해 줌으로써 편하게 object 형태로 사용할 수가 있다.혹시 sqlAlchemy에 대해 잘 모르겠다.. 하시는 분들은 아래의 링크를 먼저 보고 오면 도움이 될 수 있을 것 같다.http://yujuwon.tistory.com/entry/SQLAlchemy-%EC%82%AC%EC%9A%A9%ED%95%98%EA%B8%B0RDB에 USER_TB, ADDRESS_TB란 이름의 테이블이 생성되어 있다고 가정하면 아래와 같이 실제 DB 테이블에 매핑할 수 있는 class들을 선언할 수 있다.from sqlalchemy import Column, Integer, String, DateTime, ForeignKeyfrom databa.. 2017. 9. 1. [Python] twitter api 사용하기 Twitter api를 사용하기 위해서는 oAuth 인증을 해야 한다. 그러기 위해서는 twitter에 가입해야 하고.... twitter 개발자 센터 가서 app을 하나 만들어야 하고.... 생각보다 절차가 복잡하다.. 이제부터 하나하나씩 살펴보기로 한다. 우선 twitter에 다들 가입되어 있다는 가정하에!! twitter 개발자 센터로 가서 앱을 하나 만들자. (https://dev.twitter.com/) 추가 : twitter 사이트가 개편됐다.... https://apps.twitter.com/ 로 가서 앱을 만들자.Myapps 버튼을 누르면 내가 만든 app 목록을 보거나 새롭게 app을 만들 수가 있다. 물론 twitter id로 login을 해야 한다. My apps 버튼을 누르고 앱을 .. 2017. 8. 23. Telegrambot 만들기 seq2seq 모델을 이용해서 챗봇 모델을 학습했는데, 이를 테스트해 볼 환경이 필요했다. (shell에서 입력을 받게 할 수도 있지만.. 뽀대가 안나는 관계로..) 가장 쉬운 방법으로 메신저 서비스의 챗봇 API를 이용해 보기로 했다.카카오톡도 bot api가 있는데 엘로아이디를 발급받고 하는 절차가 너무 귀찮아서 telegrambot api를 이용하기로 했다. (telegram은 그냥 botfather만 찾으면 됨) 우선 텔레그램에 들어가서 bot의 아버지. BotFather를 찾자!! 텔레그램 검색창에서 @BotFather라고 치면 된다.BotFather를 찾았다면 이제 말을 걸어서 access_token을 발급 받자. /start 명령어를 통해 시작을 알리고, /newbot으로 새로운 봇을 등록한.. 2017. 5. 24. 오프라인에서 pip 패키지 설치하기 대부분 온라인 상에서 pip로 해당 저장소 python package를 가져와서 설치를 하는데, 부득이하게 폐쇄망 환경에서 python package를 설치해야 하는 경우가 발생했다. 과연 될까?? 했는데.. 역시나.. 구글신은 뭐든지 된다. 기본 로직은 우선 1. 온라인 환경에서 pip를 통해 패키지를 다운받기 2. usb 등을 통해 폐쇄망 환경으로 다운받은 패키지를 복사하기3. pip를 통해 패키지를 install 하기. 위의 순서로 진행된다. 1. pip를 통해 패키지 다운받기 $> pip install --download . tensorflow pip3 패키지를 받고 싶은 경우에는 pip 대신에 pip3이라고 명시해 주면된다.위와 같이 실행하면 해당폴더(위의 예제에서는 현재 폴더)에 whl 파일들.. 2017. 1. 5. 이전 1 2 3 4 5 6 ··· 8 다음
