목록Spider (1)
IT is Smart
buckyroberts/Spider from GitHub
Bucky Roberts는 thenewboston이라는 온라인 동영상 커뮤니티 설립자입니다. 직접 오픈소스도 진행을 하면서 프로그래밍, 게임개발, 웹디자인 등 다양한 주제로 튜토리얼 비디오를 제작해서 공유하고 있네요. 이번에 스터디해 본 Spider 프로젝트는 파이썬으로 구현한 웹크롤러입니다.웹크롤러는 웹사이트를 자동으로 이동하면서 정보를 수집하는 일종의 자동화 봇(bot)인데요.Roberts가 이 프로젝트에서 구현한 것은 특정사이트 내부의 링크정보를 수집하는 크롤러입니다.. 웹크롤러 구현은 다양한 형태로 구현되고 있습니다. 완성된 프레임워크 수준의 Scrapy를 사용하는 방법도 있고, BeautifulSoap위주로 사용하는 프로젝트도 많지만,Roberts는 urllib모듈과 html.parser만을 사..
Case Study/Open Sources
2016. 8. 27. 08:06