정말 왜 한다고 결심하고 시작했지?? 하고 후회하는 일이 있었습니다. 최근 저는 책을 한 권 집필했는데요. 나같은 어중이 떠중이가 뭐 대단하다고 이렇게 책을 쓰겠다는 거지? 하면서 몇번을 후회하다가 결국 모든 작업이 마쳐졌네요...
저는 출판이라는 작업이 그렇게 어려운지 몰랐습니다. 저자는 그저 아이디어와 글과 자료만 있을 뿐 그건 책이 아니더라구요. 디자인하시는분, 교정, 기획, 편집.. 휴.. 정말 많은 분들의 손길이 거치는 것이 책인것 같습니다. 그래서 더더욱 중간중간 후회했지요..ㅠㅠ. 아무튼.... 사실 저의 공식적인 출판은 NCS의 학습모듈을 집필할 때였습니다만, 그건 일종의 국책사업이고, 이번에는 순수하게 제 의지로 수행하는 거니 첫 출판 책이지요. 이 책의 구성을 하게 된 히스토리가 있습니다만.. 그건 한 번 더 시간을 내서 이야기하는 걸로 하죠^^ 일단. 이 책에서 다루는 데이터와 소스코드는 모두 Github[바로가기]에 있습니다. 창피하지만 책 소개는 아래와 같습니다.^^
파이썬으로 데이터 주무르기
ISBN 979-11-86697-47-4 (93000)
책 소개
독특한 예제를 통해 배우는 데이터 분석 입문
이 책은 누구나 한 권 이상 가지고 있을 파이썬 기초 문법책과 같은 내용이 아닌, 데이터 분석이라는 특별한 분야에서 초보를 위해 처음부터 끝까지 파이썬으로 진행되는 과정을 다룹니다. 서울시 범죄 현황 분석, 셀프 주유소 가격 정보 분석, 19대 대선 결과 분석 등 흥미 있는 목표를 이루기 위해서 파이썬의 기초를 익히고, 데이터를 다루고 분석하는 데 필요한 과정을 대화 형식으로 전개하면서 필요한 기초 내용은 그때 그때 습득하고자 합니다. 마치 파이썬에 대해 잘 모르는 독자가 구글에서 검색하며 코드 한 줄 한 줄을 완성해가는 느낌으로 기술했습니다. 대부분의 장에는 뚜렷한 목표가 있습니다. 항상 시작은 데이터를 얻는 법을 먼저 다루게 되고, 그 데이터를 정제하거나 변경해가며 목표를 이루는 과정을 보여줍니다. 필요하다면 해당 모듈의 튜토리얼을 가지고 와서 기초를 설명하고자 합니다. 아마 이 책을 다 읽고 나면 파이썬이, 또 파이썬으로 수행하는 데이터 분석의 세계가 아주 흥미롭다는 것을 알게 될 것입니다
이 책의 특징
- Pandas, Matplotlib, numpy, folium, KoNLPy, Beautiful Soup, Selenium 등 데이터 분석과 시각화에 필요한 많은 모듈을 다룬다.
- 정확한 목표를 가진 실제 프로젝트를 다수 수행하면서 프로젝트 단위로 데이터 분석을 학습할 수 있다.
- 파이썬이 처음인 독자라도 프로젝트를 수행할 수 있도록 설명한다.
- 파이썬을 공부했지만 실제로 어디에 어떻게 적용하는지 궁금한 독자
- 데이터 분석을 통해 얻을 수 있는 결과를 학습과 동시에 경험하고 싶은 독자
- 프로그래밍 언어가 처음이지만 단기간에 성과를 얻고 싶은 독자
목차
- 서울시 구별 CCTV 현황 분석
- CCTV 현황과 인구 현황 데이터 구하기
- 파이썬에서 텍스트 파일과 엑셀 파일을 읽기 – pandas
- pandas 기초 익히기
- pandas를 이용해서 CCTV와 인구 현황 데이터 파악하기
- pandas 고급 기능 – 두 DataFrame 병합하기
- CCTV 데이터와 인구 현황 데이터를 합치고 분석하기
- 파이썬의 대표 시각화 도구 Matplotlib
- CCTV 현황 그래프로 분석하기
- 서울시 범죄 현황 분석
- 데이터 획득하기
- pandas를 이용하여 데이터 정리하기
- 지도 정보를 얻을 수 잇는 Google Maps
- Google Maps를 이용해서 주소와 위도, 경도 정보 얻기
- pandas의 pivot_table 학습하기
- Pivot_table을 이용해서 데이터 정리하기
- 데이터 표현을 위해 다듬기
- 좀 더 편리한 시각화 도구 – Seaborn
- 범죄 데이터 시각화하기
- 지도 시각화 도구 – Folium
- 서울시 범죄율에 대한 지도 시각화
- 서울시 경찰서별 검거율과 구별 범죄 발생율을 동시에 시각화하기
- 시카고 샌드위치 맛집 분석
- 웹 데이터를 가져오는 Beautiful Soup 익히기
- 크롬 개발자 도구를 이용해서 원하는 태그 찾기
- 실전: 시카고 샌드위치 맛집 소개 사이트에 접근하기
- 접근한 웹 페이지에서 원하는 데이터 추출하고 정리하기
- 다수의 웹 페이지에 자동으로 접근해서 원하는 정보 가져오기
- Jupyter Notebook에서 상태 진행바를 쉽게 만들어주는 tqdm 모듈
- 상태 진행바까지 적용하고 다시 샌드위치 페이지 50개에 접근하기
- 50개 웹 페이지에 대한 정보 가져오기
- 맛집 위치를 지도에 표기하기
- 네이버 영화 평점 기준 영화의 평점 변화 확인하기
- 영화별 날짜 변화에 따른 평점 변화 확인하기
- 셀프 주유소는 정말 저렴할까
- Selenium 사용하기
- 서울시 구별 주유소 가격 정보 얻기
- 구별 주유 가격에 대한 데이터의 정리
- 셀프 주유소는 정말 저렴한지 boxplot으로 확인하기
- 서울시 구별 주유 가격 확인하기
- 서울시 주유 가격 상하위 10개 주유소 지도에 표기하기
- 우리나라 인구 소멸 위기 지역 분석
- 목표 명확히 하기
- 인구 데이터 확보하고 정리하기
- 인구 소멸 위기 지역 계산하고 데이터 정리하기
- 대한민국 지도 그리는 방법에 대한 소개
- 지도 시각화를 위해 지역별 고유 ID 만들기
- Cartogram으로 우리나라 지도 만들기
- 인구 현황 및 인구 소멸 지역 확인하기
- 인구 현황에서 여성 인구 비율 확인하기
- Folium에서 인구 소멸 위기 지역 표현하기
- 19대 대선 결과 분석
- Selenium과 Beautiful Soup을 이용한 데이터 획득 준비 작업
- 19대 대선 개표 결과 데이터 획득하기
- 각 후보의 득표율과 지역 ID 정리
- 19대 대선 결과 득표율 시각화하기
- 시계열 데이터를 다뤄보자
- Numpy의 polyfit으로 회귀(regression) 분석하기
- Prophet 모듈을 이용한 forecast 예측
- Seasonal 시계열 분석으로 주식 데이터 분석하기
- Growth Model과 Holiday Forecast
- 자연어 처리 시작하기
- 한글 자연어 처리 기초 - KoNLPy 및 필요 모듈의 설치
- 한글 자연어 처리 기초
- 워드 클라우드
- 육아휴직 관련 법안에 대한 분석
- Naïve Bayes Classifier 의 이해 – 영문
- Naïve Bayes Classifier 의 이해 – 한글
- 문장의 유사도 측정하기
- 여자친구 선물 고르기
'Theory > Review' 카테고리의 다른 글
| 책리뷰) 엣지있게 설명한 텐서플로우 (24) | 2018.01.22 |
|---|---|
| 책리뷰) 딥러닝 부트캠프 with 케라스 (28) | 2018.01.11 |
| 책 리뷰) Wolfram 언어 기초 입문 (4) | 2017.12.26 |
| PinkWink의 데이터 사이언스 관련 책이 출판됩니다. - 파이썬으로 데이터 주무르기 (60) | 2017.12.20 |
| 수술용 로봇 다빈치의 리서치 킷을 이용한 오픈 소스 플랫폼 개발에 관련된 논문 (6) | 2016.05.18 |
| 길 찾기. Path Finding에 관한 논문 (6) | 2011.10.03 |
| 공학도 예술이 될까?? Kinetic Artist - Theo Jansen (14) | 2011.07.25 |
| 초보 공학도에게 추천하는 책 - 칼만필터의 이해 (20) | 2011.07.08 |
와~ 축하드려요. ^^ 책 한권 내는게 산고라고 하더라고요. 수고하셨어요. ^^
많이 팔리길 바랍니다. ^^
출간 축하드립니다.
책 한 권 내기가 쉬운 일은 아니지요.
하지만 덕분에 독자들은 좋은 정보를 접할 수 있을 겁니다..^^
출판 축하드립니다. 파이썬 공부에 도움되는 블로그였는데 책까지 출판하다니 꼭 읽어보고 싶습니다.
혹시 folium choropleth에 대해서 자세히 설명이 되어있습니까?
와우.... 축하드립니다.
정말 멋지세요. ^^
관심에 대한 열정이 이룩한 결과겠네요.
우아아아~~ 어메이징!!합니다^^ 책을 출판하시다니...파이썬에 관심이 많으시다고 하시더니..책을 출판하실 정도면 관심 그 이상이신데 겸손하셨던 거네요!!! 축하드립니다^^ 새해의 좋은 기운 받아 쭉쭉 잘 팔리길 바래봅니다^^
축하드립니다.
책 목차는 활용적인 내용들인데. 기초부터 작성하셨다니. 대단하시네요.
주문하러 가겠습니다!
와우 축하드립니다 정말 대단하시네요
우왓!!
책 출간하셨군요~
축하드립니다!
축하드려요!!
저에게 꼭 필요한 책이라 더더더더더더 반갑네요.
좋은 책 내주셔서 감사합니다!
import folium
import json
geo_path = 'c:/data/skorea_municipalities_geo_simple.json'
geo_str = json.load(open(geo_path,encoding='utf-8'))
map = folium.Map(location=[37.5502,126.982],zoom_start=11,
tiles='Stamen Toner')
map.choropleth(geo_data=geo_str,
data = crime2016T_norm['살인'],
columns = [crime2016T_norm.index, crime2016T_norm['살인']],
fill_color = 'PuRd',
key_on = 'feature.id')
map
##########################
책 사서 공부하고 있는 대학생입니다 ㅎㅎㅎ
다름이 아니라 위 코드 (folium으로 그리는 살인발생건수 지도시각화) 했는데
그림처럼 살인발생건수에 따라 빨간색이 나오지 않고
그냥 지도만 출력되는데 왜 그런거죠??
안녕하세요! 책 구입해서 열심히 따라해보려 노력중입니다.
다름이 아니라 anaconda에서 wordcloud 설치까지는 되는 것 같은데..(터미널에서 pip install wordcloud 입력해서 설치) 실제로 책 p.297처럼 from wordcloud import WordCloud, STOPWORDS 코드를 입력하면 아래와 같은 오류메시지가 나옵니다. 이 댓글창에 긴 오류메시지를 붙이는 게 죄송스럽지만 ㅠㅠ 해결되면 오류메시지는 삭제하도록 하겠습니다!
ImportError Traceback (most recent call last)
<ipython-input-3-12da445271f7> in <module>()
----> 1 from wordcloud import WordCloud, STOPWORDS
C:\ProgramData\Anaconda3\lib\site-packages\wordcloud\__init__.py in <module>()
----> 1 from .wordcloud import (WordCloud, STOPWORDS, random_color_func,
2 get_single_color_func)
3 from .color_from_image import ImageColorGenerator
4
5 __all__ = ['WordCloud', 'STOPWORDS', 'random_color_func', 'get_single_color_func', 'ImageColorGenerator']
C:\ProgramData\Anaconda3\lib\site-packages\wordcloud\wordcloud.py in <module>()
17 from operator import itemgetter
18
---> 19 from PIL import Image
20 from PIL import ImageColor
21 from PIL import ImageDraw
C:\ProgramData\Anaconda3\lib\site-packages\PIL\Image.py in <module>()
54 # Also note that Image.core is not a publicly documented interface,
55 # and should be considered private and subject to change.
---> 56 from . import _imaging as core
57 if PILLOW_VERSION != getattr(core, 'PILLOW_VERSION', None):
58 raise ImportError("The _imaging extension was built for another "
ImportError: DLL load failed: 지정된 모듈을 찾을 수 없습니다.
감사합니다!
저도 책 한권 내보는게 꿈인데 부럽습니다. ㅠㅠ
github 에서 파일을 다운받으려고하는데요 xls 파일은 다운로드 가있는데
csv 파일은 어떻게 다운을받아야하는지 모르겠습니다. 알려주세요!
안녕하세요. 현재 작가님의 책 '파이썬으로 데이터 주무르기'를 보고 있는 독자입니다. 궁금한 게 있어 부득이하게연락드립니다. 책에 있는 xslx 데이터 파일을 쥬피터노트북에 업로드하고 해당 데이터 파일을 utf-8으로 인코딩 되지 않았다. saving disavbled 라고 뜨는데 해당 문제를 어떻게 해결해야 할까요?
프로그래밍에 관심갖고 처음 배우고 있는 경제학과 학생입니다..
지금 파이썬 주무르기를 통해서 배우고 잇는데요.. 한가지 막히는게 있어서 질문 드려요..
서울시 구별 주유가격과 구별 인구수의 상관관계를 알아보기 위해
책에 있는 내용 피벗테이블을 이용해 구별 평균 주유가격 뽑는것까지 봤습니다.
여기서 서울시 구별 인구수 엑셀파일을 load해서 두 데이터(구별평균주유가격,구별인구수)를 merge 하고 싶은데요
공통의 column을 '구'로 가져야 merge가 될텐데
구별평균주유가격의 경우 index가 '구'로 돼있어서 merge가 안되네요..
잘 설명이 되지않아.. 관련사진을 메일로 보낼께요. 바쁘시겠지만 답변 해주시면 정말 감사하겠습니다..
깃헙에 나온것 외에도 오타들이 몇몇 있는데
풀리퀘 보내면 안되는건가요?
비밀댓글입니다
비밀댓글입니다
깃허브 아래 내용에 코드[56]이 아닌가 싶습니다.
P151, 첫 줄, 코드 [105]를 --> 코드 [51]을 (조힘찬빛님 감사합니다.)
안녕하세요 파이썬으로 데이터 주무르기 책을 구입하여 공부하고 있는 독자입니다.
2장 서울시 범죄 현황 분석을 보고 따라하는데
from sklearn import preprocessing
col=["강간","강도","살인","절도","폭력"]
x = crime_anal[col].values
min_max_scaler = preprocessing.MinMaxScaler()
x_scaled = min_max_scaler.fit_transform(x.astype(float))
crime_anal_norm = pd.DataFrame(x_scaled, columns = col, index = crime_anal.index)
col2 = ["강간검거율","강도검거율","살인검거율","절도검거율","폭력검거율"]
crime_anal_norm[col2] = crime_anal[col2]
crime_anal_norm.head()
위의 코딩을 입력하면
ImportError Traceback (most recent call last)
<ipython-input-42-1283e7c133ba> in <module>()
----> 1 from sklearn import preprocessing
2
3 col=["강간","강도","살인","절도","폭력"]
4
5 x = crime_anal[col].values
~\Anaconda3\lib\site-packages\sklearn\__init__.py in <module>()
132 else:
133 from . import __check_build
--> 134 from .base import clone
135 __check_build # avoid flakes unused variable error
136
~\Anaconda3\lib\site-packages\sklearn\base.py in <module>()
11 from scipy import sparse
12 from .externals import six
---> 13 from .utils.fixes import signature
14 from . import __version__
15
~\Anaconda3\lib\site-packages\sklearn\utils\__init__.py in <module>()
7 import warnings
8
----> 9 from .murmurhash import murmurhash3_32
10 from .validation import (as_float_array,
11 assert_all_finite,
ImportError: cannot import name 'murmurhash3_32'
이런 에러가 나오는데 초보인 저에겐 너무 어렵네요
2시간째 못잡고 있어요 ㅠㅠ
혹시 도와주실 수 있을까요??