IT is Smart

☆★♡♥블로그 방문자분들께 책 선물 드려요!☆★♡♥ 텍스트 마이닝이란 탄광에서 광물을 캐어내 듯이 사람들이 자연스럽게 만들어낸 문장에서 의미있는 정보를 찾아내는 작업을 말합니다. 광물이 많이 포함되어 있는 지역에서 원석들을 캐어내어야 정제를 하더라도 필요한 광물을 더 많이 얻어낼 수 있겠죠. 텍스트 마이닝도 마찬가지입니다. 필요한 정보가 있는 곳(웹사이트)를 찾아서 그 중에서도 내가 얻어내고자 하는 정보가 포함되어 있는 문서(웹페이지)를 수집하는 것이 가장 먼저 해야 할 일입니다. 파이썬을 이용해서 손쉽게 인터넷 상의 정보를 수집하는 기본적인 방법을 알아보겠습니다. urllib와 BeautifulSoap4를 활용해서 아주 심플하게 예제를 만들어보겠습니다. urllib는 인터넷에서 웹 상의 문서, 이미지 ..

Bucky Roberts는 thenewboston이라는 온라인 동영상 커뮤니티 설립자입니다. 직접 오픈소스도 진행을 하면서 프로그래밍, 게임개발, 웹디자인 등 다양한 주제로 튜토리얼 비디오를 제작해서 공유하고 있네요. 이번에 스터디해 본 Spider 프로젝트는 파이썬으로 구현한 웹크롤러입니다.웹크롤러는 웹사이트를 자동으로 이동하면서 정보를 수집하는 일종의 자동화 봇(bot)인데요.Roberts가 이 프로젝트에서 구현한 것은 특정사이트 내부의 링크정보를 수집하는 크롤러입니다.. 웹크롤러 구현은 다양한 형태로 구현되고 있습니다. 완성된 프레임워크 수준의 Scrapy를 사용하는 방법도 있고, BeautifulSoap위주로 사용하는 프로젝트도 많지만,Roberts는 urllib모듈과 html.parser만을 사..