제가 S/W나 H/W 혹은 인터넷에서 본 재미있는 아이들을 소개한 적도 있지만, 가끔 인물 자체를 -그것도 잘 알지도 못하면서- 소개한 적이 있습니다. 예를 들면, 많은 글을 적진 않으셨지만, MATLAB에 대해 재미난 글이 많은 theta님이 있었구요... 그리고 최근에는 대한민국 지도를 그릴때 소개해 드린, 혜식님도 있었습니다. 그리고 오늘 또 한 분의 고수를 소개해 드릴까합니다. 사실 이 분은 제 블로그에서 한 번 출연(^^)을 하셨었습니다. 바로 서울시 범죄 현황을 분석하던 글[바로라기]에서 folium으로 지도를 표현할 때 서울시 구별 경계선 데이터를 얻어왔던 한국 지도 데이터가 있던 github[바로가기]을 운영하시던 분 e9t라는 분인데요... 오늘 소개해 드릴 Lucy Park이라는 분입니다.
한글 자연어 처리 부분에 대한 자료를 처음 뒤지던 때~~ 저에게 보인 논문한 편이 있었지요^^
바로 위 논문입니다. KoNLPy : 쉽고 간결한 한국어 정보처리 파이썬 패키지라는 좀 멋져보이는 제목의 논문이었지요^^
그 논문 중에 KoNLPy의 설계 철학으로 쉽고 간단한 사용법, 확장성, 상세한 문서, 개방과 공유를 언급하고 있었습니다. 이것도 멋져보이더라구요^^ 그래서 전... KoNLPy도 공부하고~~~ 그리고 Lucy Park이라는 분도 알게되었지요(뭐 직접 만난적은 한 번도 없습니다. 그저... 인터넷에 공개된 자료만 읽었다는...^^ 소심하게... 팬~이라고 말씀드리고 싶습니다.^^)
일단.. Lucy Park님의 PPT자료 하나 소개합니다. PyCon Korea 2014에 발표된 자료로 KoNLPy를 소개하고 있습니다. [바로가기]
거기서는 KoNLPy를 소개하고
역시 본인도 소개를 하고 있으십니다~^^
자연어 처리에서의 기본적 개념에 대해 이야기를 하고 있구요~
형태소~라는 아이의 개념을 이야기해주고 있습니다.
위 홈페이지는 Lucy Park님의 개인 홈페이지[바로가기]입니다.
그리고 최근 업데이트가 되고 있진 않은듯 하지만, 대한민국 정치의 모든 것이라는 사이트[바로가기]의 운영진 중 한 분 입니다.
이제 Lucy Park님 이야기는 그만하고... KoNLPy 데리고 논것 이야기 해야죠~~
문장(sentences), 명사(nouns), 형태소(pos) 분석 결과를 바로 한 번 테스트 해보았습니다.
이번엔 한나눔으로~~
이번엔... '메리가 좋다', '고양이도 좋다', '난 수업이 지루하다', '메리는 이쁜 고양이야', '난 마치고 메리랑 놀거야' 등으로 형태소 분석을 해보았습니다.^^ 각각에 대해 positive한지 negative한지 알려주구요...
그리고.. list안의 list를 하나의 list로 만들어주고~
훈련(train)시키고~~~ 비록 문장 4개지만~^^
'난 수업이 마치면 메리랑 놀거야'라는 문장이 긍정적인지 부정적인지 확인하죠^^ 이때 사용하는 분류기(Classifier)는 NLTK가 제공해주는 Naive Bayes 방법을 사용합니다. ^^
흠... '난'이 있을때 부정적이고, '메리'가 없을 때 부정적이군요~^^
아무튼~~~
훈련때랑 동일과정을 슬~쩍 거쳐보면~
아하... 수업 마치고 메리랑 놀겠다는건 긍정적이네요^^ 뭐 예시는 허접하지만.. 여하튼 오늘은 Lucy Park이라는 미모의 개발자께서 만들어주신 한글 자연어 처리기인 KoNLPy와 자연어 처리에서 유명한 Python 모듈인 NLTK를 사용해서 형태소 분석을 하고, NLTK의 Naive Bayes Classifier를 사용해서 긍정/부정에 대한 분류를 해보았습니다.^^ 킁킁.. 재미있죵^^
'Theory > DataScience' 카테고리의 다른 글
| 지도 그리는 모듈 Folium의 업그레이드에 대해 달라진 점들 (20) | 2017.11.30 |
|---|---|
| 주가 예측? 나도 해보자~ Forecast 수행에 적합한 Prophet (20) | 2017.08.03 |
| 간편하게 사용하면서도 꽤 이쁜 기능도 많은 워드 클라우드 Word Cloud 모듈 (for Python) (39) | 2017.05.31 |
| Python 유저가 한글 자연어 처리를 할 때 필수 모듈인 KoNLPy를 소개합니다. (30) | 2017.05.23 |
| 19대 대선 후보간 득표율의 지역별 비교 - 문재인 대통령, 홍준표 후보, 안철수 후보 (26) | 2017.05.13 |
| 동적 환경에서 웹 정보를 얻을때 편한 Selenium - 네이버에 로그인하고 메일 목록 확인하기 - (8) | 2017.04.24 |
| 텐서플로우(tensorflow)에서 텐서보드(tensorboard) 사용하기 (몹시 기초) (10) | 2017.04.05 |
| 인구 소멸 위기 지역 파악해보기~~~ (20) | 2017.03.24 |
하하핫,,,,^^;;
날씨가 많이 덥네요~
건강 챙기시는 그런 행복한 하루 보내세요!
제목과 내용이 너무 전문가 수준이어서
컴맹인 저로서는 쇠귀에 경읽기입니다.
ㅎ ㅎ
전국적으로 미세먼지가 없는 깨끗한 날입니다.
수요일을 잘 보내세요.
재미있는 시간을 보내셨군요.
여느사람들은 어렵기만 할 것 같은데요..ㅎㅎ
자연어 처리할 때 사용하는 파이썬 소개 잘 보았습니다~~ㅋㅋ
우리는 무의식 적으로 사용하는 걸 기계들이 학습하는 방식이 달라 생소하네요~~
안녕하세요. 블로그를 보고 우연히 따라하다가 보니 코드에 train쓰는 부분에서 에러가 납니다.
train부분이 정의되어 있지 않다고 하는데요. 혹시 방법이 있을까요? 코드가 일부로 보여집니다. ln171부터요
댓글 감사합니다. 댓글 적는게 여기 있는지 몰라서 다른곳에다 여쭤봤네요. ㅎㅎ
안녕하세요. 금일 또 이렇게 문의드리네요 ㅜㅜ
다름이 아니오라 혹시 소스 185번에서 단어의 카운도 뽑아 낼수 있는지 해서 문의드립니다.
이를테면
난/Noun [1]
수업/Noun [2]
이/Josa [3]
마치/Noun [4]
면/Josa [5]
메리/Noun [6]
랑/Josa [7]
놀다/Verb [8]
test_sentence 에서 던진 단어의 카운터를 뺄수 있는지 궁금합니다.
죄송하지만 조언 부탁드립니다.
감사합니다.
안녕하세요. 금일 또 문의를 매번 번거롭게 해 드려 죄송합니다.
궁금한 사항이 있는데요.
test_sentence에 train_data에서 교육을 안 시킨 문장을 입력하면 neg로 나오는게 맞지 않나싶어서요. 문장을 입력을 안해도 무조건 print(classifier.classify(test_sent_features)) 이 부분에서 pos로 떨어지더라구요..
제가 테스트를
test_sentence = '강아지'
test_docs = tokenize(test_sentence)
# print(test_docs)
test_sent_features = {word: (word in tokens) for word in test_docs}
print(test_sent_features)
print(classifier.classify(test_sent_features))
이렇게 해 놓고 결과 값을 보면
[(['메리/Noun', '가/Josa', '좋다/Adjective'], 'pos'), (['고양이/Noun', '도/Josa', '좋다/Adjective'], 'pos'), (['난/Noun', '수업/Noun', '이/Josa', '지루하다/Adjective'], 'neg'), (['메리/Noun', '는/Josa', '이쁘다/Adjective', '고양이/Noun', '야/Josa'], 'pos'), (['난/Noun', '마치/Noun', '고/Josa', '메리/Noun', '랑/Josa', '놀다/Verb'], 'pos')]
<----------------------------------------------------------------------------->
{'강아지/Noun': False}
pos
이렇게 나오는데 제가 이해를 잘 못해서요. 강아라라는 단어를 교육을 안 시켰으면 neg로 나와야 하는게 아닌가 싶어서 이렇게 문의를 드립니다. 매번 이렇게 문의만 드려 죄송합니다. 많은 조언 부탁드립니다. 감사합니다.
안녕하세요~ 좋은 글 감사합니다! 다름이 아니라, konlpy를 이용하여 한글 텍스트를 이용해 워드클라우드를 만들고 싶다면 konlpy을 이용해 단어들을 쪼개고 그것을 워드클라우드 모듈에 넣으면 되는건가요? 혼자 공부하는 데에 어려움이 있어 질문 드립니다 ㅠㅠ 감사합니다!
정말 많은 공부가 되었습니다.
근데, classifier에 test sentence를 뭘 집어넣어도 결과는 pos가 나오구요.. 학습데이터에서 neg로 되어 있는 문장을 넣어도 결과는 pos만 나와요.
보니까, 학습을 시킬때는 term_exists() 함수를 통해서 'exists' 문자열이 포함되는데.. classify 할때는 그 문자열이 없는 것으로 들어가서 그랬던 것 같습니다.
def term_exists(doc):
# return {'exists({})'.format(word): (word in set(doc)) for word in tokens}
return {'{}'.format(word): (word in set(doc)) for word in tokens}
요렇게 바꾸니까 neg/pos를 잘 잡아내는 것 같습니다.
감사합니다.