IT is Smart

이번에 스터디해 본 ChineseWordSegmentation 프로젝트는 중국어 문장을 언어사전없이 분리하는 형태소 분석기를 파이썬으로 구현한 것입니다.. 형태소 분석기는 텍스트마이닝 분야에서 일상 언어를 컴퓨터가 처리할 수 있도록 처리하는 자연어처리(NLP, Natural Language Processing)에 필요한 기능입니다. 띄어쓰기나 어간/어미 구분, 복합단어, 신조어, 쓰기오류 등 다양하게 생산된 인간의 언어를 형태소(명사, 형용사, 동사 등)으로 분해하는 것은 자연어처리의 가장 첫번째 단계입니다. 형태소를 분석하는 방법으로는 대표적으로 Corpus, 단어뭉치라고 부르는 언어사전을 사용해서 분해하는 방식과 n-gram방식이 있습니다.사전방식은 말 그대로 사전에 있는 단어인지를 비교해서 확인하는..

Bucky Roberts는 thenewboston이라는 온라인 동영상 커뮤니티 설립자입니다. 직접 오픈소스도 진행을 하면서 프로그래밍, 게임개발, 웹디자인 등 다양한 주제로 튜토리얼 비디오를 제작해서 공유하고 있네요. 이번에 스터디해 본 Spider 프로젝트는 파이썬으로 구현한 웹크롤러입니다.웹크롤러는 웹사이트를 자동으로 이동하면서 정보를 수집하는 일종의 자동화 봇(bot)인데요.Roberts가 이 프로젝트에서 구현한 것은 특정사이트 내부의 링크정보를 수집하는 크롤러입니다.. 웹크롤러 구현은 다양한 형태로 구현되고 있습니다. 완성된 프레임워크 수준의 Scrapy를 사용하는 방법도 있고, BeautifulSoap위주로 사용하는 프로젝트도 많지만,Roberts는 urllib모듈과 html.parser만을 사..