IT is Smart

정보처리기술을 데이터 수집 기술, 데이터 구조화 저장 기술, 데이터 분석 기술로 나누어 볼 때 처리 대상이 ‘빅데이터’인 경우 그 빅데이터의 형태에 따라 데이터 수집하고 저장하는 기술이 새롭게 필요합니다. 구조화된 이후의 데이터는 기존의 분석 기술을 적용하면 되는 것입니다. 빅데이터와 관련된 IT분야는 빅데이터를 관리하고 분석할 수 있도록 도와주는 플랫폼을 다루는 영역과 빅데이터를 처리하고 분석하는 영역으로 크게 나뉩니다. 빅데이터 플랫폼은 크게 다음 2가지로 나눌 수 있습니다. 하나는 오픈소스인 아파치 하둡을 중심으로 빅데이터를 분산하여 저장하고 병렬로 처리 할 수 있는 일련의 기능 플랫폼들이 생태계의 구성요소처럼 상호작용하도록 구성된 하둡 에코 시스템이고, 다른 하나는 기존 상업적인 벤더들이 자사의 ..

Bucky Roberts는 thenewboston이라는 온라인 동영상 커뮤니티 설립자입니다. 직접 오픈소스도 진행을 하면서 프로그래밍, 게임개발, 웹디자인 등 다양한 주제로 튜토리얼 비디오를 제작해서 공유하고 있네요. 이번에 스터디해 본 Spider 프로젝트는 파이썬으로 구현한 웹크롤러입니다.웹크롤러는 웹사이트를 자동으로 이동하면서 정보를 수집하는 일종의 자동화 봇(bot)인데요.Roberts가 이 프로젝트에서 구현한 것은 특정사이트 내부의 링크정보를 수집하는 크롤러입니다.. 웹크롤러 구현은 다양한 형태로 구현되고 있습니다. 완성된 프레임워크 수준의 Scrapy를 사용하는 방법도 있고, BeautifulSoap위주로 사용하는 프로젝트도 많지만,Roberts는 urllib모듈과 html.parser만을 사..

분산 버전 관리 툴인 Git을 사용하는 프로젝트를 유/무상으로 지원하는 오픈소스 코드 저장소입니다.검색을 통해 글로벌하게 진행되고 있는 다양한 오픈소스 프로젝트를 소스코드까지 확인할 수 있는 사이트이죠.적극적인 활동을 통해 세계적인 프로젝트에 직접 참여할 수도 있는 만큼 자유로움을 꿈꾸는 개발자에게 필수적인 도구라고 할 수 있습니다. https://github.com/