구글 Colab에서 한글 문제 대응하기 Python의 matplotlib의 기본 폰트가 한글을 지원하지 않아서 한글 폰트로 설정을 해주어야 합니다. 아나콘다에서는 그렇게 한글을 지원하도록 설정만 하면 문제가 없습니다. 그런데 구글의 Colab에서는 조금 다릅니다. 일단 아래 코드를 보죠. 123456789101112import matplotlib as mplimport matplotlib.pyplot as plt %config InlineBackend.figure_format = 'retina' !apt -qq -y install fonts-nanum import matplotlib.font_manager as fmfontpath = '/usr/share/fonts/truetype/nanum/NanumBarunGothic.ttf'font = .. Theory/DataScience 2019. 11. 18. 08:00
머신러닝을 이용한 Human Activity Recognition 실습 사람의 몸에 스마트폰(에 있는 자이로, 가속도센서 데이터)을 붙여서 데이터를 얻어서 그로부터 사람의 행동을 센서데이터 확인하려는 연구가 있습니다. 이 연구는 대부분 (딥러닝을 포함한) 머신러닝 분야에서 활발한듯 합니다. 그런 데이터를 이번에 하나 가지고 살짝 실습해 보려고 합니다.UCI에서 방금이야기한 Human Activity Recognition (HAR) 데이터를 배포하고 있습니다. 읽어보면 2012년 데이터이고 이때 사용한 기기는 삼성 갤럭시2라고 되어 있습니다. 이 데이터가 zip으로 되어 있어서 이를 제 github 계정에 압축을 풀어서 다시 올려놓았습니다.왜냐면 오늘 글은 구글 Colab으로 읽을거여서 그냥 편하게 데이터를 url로 읽기 위해서 입니다.이 데이터는 위의 특징을 가집니다^^데이.. Theory/DataScience 2019. 10. 29. 08:00
Scikit Learn을 이용한 라벨인코딩 - LabelEncode 라벨인코딩은 데이터사이언스, 머신러닝 과정에서 많이 사용하는 기능입니다. Scikit Learn에서는 간단한 라벨인코딩 기능을 제공하는데요. 오늘은 그 간단한 기능을 살짝 설명하려고 합니다.오늘은 아이리스 데이터를 대상으로 하겠습니다.아이리스 데이터를 불러와서 데이터는 value 위치에, feature_names는 컬럼이름으로 잡고, 아이리스의 품종을 의미하는 target 데이터도 컬럼으로 포함시켰습니다.target_names의 경우는 setosa, versicolor, virginica로 세 가지입니다. 라벨인코딩이라는 것은 이름으로 되어있는 것을 숫자로 혹은 그 반대로 변환하는 것입니다.그렇게 해주는 기능을 손쉽게 sklearn이 제공하는 것이지요.라벨인코딩 기능을 사용하기 위해서 sklearn의 p.. Theory/DataScience 2019. 9. 30. 08:00
Scikit Learn (sklearn) SGDRegressor 사용할 떄 Loss 그래프 확인하는 방법 요즘 저는 한양대에서 본교와 에리카를 합쳐서 수업하는 머신러닝 수업을 교양으로 공동 수업 중이고, 한양대 에리카에서 로봇공학과 학생들을 대상으로 기계학습론이라는 과목도 공동 진행 중인데요. 그래서 수업용으로 자료를 만들다가, 한 가지 발견한 것이 있네요. 바로 scikit learn의 linear_model에 SGDRegressor에서 케라스나 텐서플로우 처럼 iteration마다 loss를 history로 저장해서 그래프로 확인하는 기능을 찾을 수 가 없더라구요ㅠㅠ. 그래서 역시 구글을 뒤졌죠^^ 이제 없던 옵션을 만들러 갑니다.^^ (아 근데 혹시 이것보다 더 간단한 방법이 있을 수 있죠.ㅠㅠ. 제가 들 찾아봤을 수 있으니까요ㅠㅠ) import numpy as np import matplotlib.p.. Theory/DataScience 2019. 9. 23. 08:00
PinkWink 새 책, 누구나 파이썬 Python을 또 출판했습니다. 무대뽀로 파이썬으로 데이터를 다루는 내용을 엮어서 파이썬으로 데이터 주무르기라는 책을 인생 처음으로 출판했었습니다. 이 책이 너무나도 예상외로 많은 분들의 관심을 받아서 베스트셀러라는 창피한 이름을 달기도 했습니다. 바로 교보문고 선정 2018년 IT 분야 8위에 올랐죠. 그런데 또 한 편으로는 이 책이 너무 어렵다는 평가가 많았습니다. 그래서 기존의 제 책인 파이썬으로 데이터 주무르기보다 한 단계 정도 쉬운 주제와 설명을 가지게 해야겠다고 생각하고 편집한 책입니다.그래서 이름도 누구나 파이썬 Python인거죠^^ 저의 방식이 언제나 그렇듯, 주제 중심으로 예제 풀듯이 흘러갑니다. 당연히 파이썬의 깊고 중요한 내용들이 있지만, 책 한권으로 다 다룰수 있다고 생각하지 않고, 또 그건 훨씬 실력있는 분들이 .. Theory/Review 2019. 6. 7. 08:00
네이버 검색어 트렌드 API를 사용해 보죠.. 그리고 타다~ 아주 가끔은 추억이 생각날 떄가 있습니다. 정말 사소한 인연인데 그게 생각기 선명하게 나고, 또 그래서 그 추억의 고리를 함께한 사람들이 어떻게 지내고 있는지도 궁금해 질때가 있습니다. 나이를 먹어가고 있기 때문일까요^^이 때가 2009년 6월입니다. 이때는 블로거들이 어떤 주제를 정하고 서로에게 질문을 하던 릴레이 놀이가 자주 생겼습니다. 이 때는 편견타파 릴레이였습니다.^^그리고 제 앞에서 릴레이를 하신 주자가 VCNC라는 블로그를 운영하시던 분이었습니다. 많이 들어 보셨나요? 네 맞습니다. 요즘 핫한 타다/쏘카를 서비스하는 그~~~ VCNC입니다.^^.그리고, 이 분이 자신의 다음 릴레이 주자로 저를 지목하신거죠^^ 2009년 6월 25일 오전 11시에~~^^ 전 그 릴레이를 받아 그날 오후 3시쯤.. Theory/DataScience 2019. 5. 8. 07:00
전세계 테러 데이터 분석 (따라하기) 오늘은 따라하기입니다.^^Kaggle에 전세계 테러리즘이라는 데이터가 있습니다. 1970년부터 2017년까지의 자료입니다.이 데이터는 압축을 풀면 무려~ 155.27MB의 크기입니다. 헉~ 그리고 저렇게 상세하게 테러 데이터가 정리되어 있습니다.그 중에서 가 장 인기(^^)가 많은 글을 따라가보았습니다.이 분의 글이지요. 이 글이 흥미로워서 따라 읽다가 저는 잘 실행되지 않는 곳도 있고, 또 아주 약간 편집한 것도 있어서 그냥 블로그에 옮겨 봅니다. 다시 말씀드리지만, 따라하기 입니다.ㅠㅠ. import pandas as pd terror = pd.read_csv('./data/globalterrorismdb_0617dist.csv',encoding='ISO-8859-1') terror.rename(co.. Theory/DataScience 2019. 5. 7. 07:00
지도 그리기, basemap 모듈 간단 사용법 지도 시각화 관련 folium을 소개한 적이 있습니다. Folium은 작업후에 노트북파일을 다시 열었을때 지도 결과가 나타나지 않을때가 있어서 보관하는 문서로서는 약간 맞지 않을 때가 있습니다. 그런 목적에서 찾은 아이가 basemap입니다. basemap을 설치하기 위해서는 conda create -n map_viz python=3.6 pip install jupyter pip install pandas pip install xlrd pip install -U matplotlib pip install folium pip install seaborn pip install plotly pip install pillow conda install basemap conda install basemap-data-.. Theory/DataScience 2019. 4. 11. 07:00
PinkWink가 토요일마다 강의를 합니다.^^ 2019년 3월이 한 주가 훌쩍 지나갔네요. 요즘 제가 조금 더 나이를 먹기전에 더 좋은, 더 재미있는 일을 해야하는 것은 아닐까 고민한답니다. 사실 직장인들이 다 그렇지만, 요즘 전 하나의 아이템이 머리에서 계속 맴돌고 있거든요. 어떻게든 실현해 보고 싶다는 생각을 많이 하고 있지요^^. 아무튼, 아주 예전부터, 그러니까, 2016년 10월/11월경에 처음 강의를 시작했었답니다. 그렇게 첫 기수를 시작해서 8주간 매주 토요일 수업을 하고, 또 3주 정도를 쉬고, 또 8주간 매주 토요일 수업을 하는 패턴을 가졌네요. 그러다가, 최근 회사일로 너무 바빠 좀 길게 쉬고, 다시 수업을 시작했답니다. 이제 3월 말부터 11기가 시작됩니다. 와우... 지금까지 총 수업을 한 주차가 80주차이네요. ㅎㅎ. 패스트 .. Theory/DataScience 2019. 3. 11. 07:00
mahotas를 이용한 유사 이미지 찾기 Mahotas를 소개해 드린 적이 있습니다. 월리를 찾아라~에서요^^ 그 mahotas를 사용해서 어떤 이미지와 유사한 이미지를 찾아볼 수 있습니다. 오늘 예지는 Building Machine Learning Systems with Python라는 책의 예제입니다. 이미지 데이터는 해당 책의 github 사이트에서 받을 수 있습니다.이미지를 보면, 저렇게 건물 사진 30장,자연 경관 사진 30장,문서 사진 30장이 있습니다. 각각 용량이 1~1.5메가 정도라 생각보다는 전체 용량이 좀 됩니다. import mahotas as mh import numpy as np from matplotlib import pyplot as plt %matplotlib inline image = mh.imread('Simp.. Theory/DataScience 2018. 10. 24. 07:00
