IT is Smart

데이터마이닝과 텍스트마이닝 데이터와 텍스트의 차이만큼이나 데이터마이닝과 텍스트마이닝은 비슷한 듯하면서도 다르다. 앞에서 말했듯이 데이터는 컴퓨터로 분석을 하기 위한 목적으로 만들어진, 컴퓨터가 이해하기 좋게 구조화된 정보이다. 이런 데이터는 기업의 데이터베이스나 정부의 공공 데이터베이스에 존재한다. 그에 반해 텍스트는 사람이 사람에게 전달하는 정보이기 때문에 논문이나 신문, 잡지의 기사와 같은 형식이거나 조직의 다양한 보고서와 같은 형식 또는 블로그, 인터넷카페 게시판, e-mail 이나 메신저 글과 같이 매우 개인적인 형식 등 정형화되지 않은 다양한 모습으로 존재를 한다. 텍스트는 이렇게 다양한 형식과 함께 사람들의 다양한 언어사용 방식(문법을 무시하거나 띄워쓰기, 오탈자 등등) 때문에 분석의 대상이 ..

데이터는 처음부터 분석되어질 목적으로 구조화해서 만들어진 정보인 반면, 텍스트는 소설이나 뉴스기사 심지어 대화내용과 같이 사람과 사람 사이에 의사소통을 위해 만들어진 비구조적인 정보이다. 데이터검색, 데이터분석, 데이터마이닝 데이터의 간단한 사례를 들어보면 제조공장에서 제품을 만든 기록이나 상품매장에서 상품을 판매한 기록이 데이터가 될 수 있다. 공장의 경우는 생산일자, 제품코드, 제품명, 일련번호, 생산수량, 생산담당자명과 같이 필요한 정보를 연결하면 생산데이터가 되는 것이고, 매장의 경우는 판매일자, 판매시간, 상품코드, 상품명, 일련번호, 판매수량, 판매담당자명과 같이 정보를 연결하면 판매데이터가 되는 것이다. { 공장그림 : 생산일자, 제품코드, 제품명, 일련번호, 생산수량, 생산담당자명 데이터이..

오피니언 마이닝은 텍스트마이닝에서 발전된 분석기법으로 소셜미디어 등에서 여론의 향방을 긍정(Positive), 부정(Negative), 중립(Neutral)로 구분하여 선호도를 판별하는 기술입니다. 특정 상품의 선호도나 정치인에 대한 호감도를 판별해 내는 데 주로 활용되며, 분석 대상인 키워드와 긍정, 부정, 중립을 뜻하는 단어가 자주 출현하는 빈도수를 측정하여 해당 키워드에 대한 여론을 측정합니다. 오피니언마이닝은 텍스트마이닝에 근거를 둔 분석기법으로, 주로 블로고스피어나 소셜네트워크 서비스의 여론 향방을 추적하는데 사용되는 기술입니다. 이는 텍스트마이닝이 특정 단어와 문맥의 연관성을 분석하는데 비해, 오피니언 마이닝은 문맥과 연계된 감성분석(Sentiment Analysis)을 활용하여 특정 텍스트의..

텍스트마이닝은 텍스트 형태로 이루어진 비정형 데이터를 자연어처리 방식을 이용하여 정보를 추출하는 기법입니다. 텍스트마이닝을 활용하면 텍스트 정보에서 문맥을 파악하고 텍스트 간 연계를 분석하는 등 비정형화된 문서에서 정보를 얻을 수 있다는 장점이 있습니다. 텍스트마이닝은 비정형 데이터에서 특정 키워드나 문맥을 기반으로 의미를 추출해 내는 기법을 의미합니다. 텍스트마이닝은 웹문서에서 키워드와 매칭되는 단어를 찾아 인덱싱하는 검색 기법에서 발전되어 왔으며, 점차 데이터의 숨은 맥락을 파악하는데 활용되고 있습니다. 특히 텍스트마이닝이 두드러지는 분야는 뉴스기사 분석으로, 기사에서 특정 단어와 관련된 논조를 분석하는데 활용된 사례가 있습니다. 텍스트마이닝은 주로 작성이 완료된 뉴스기사나 잡지 등을 분석하는데 활용..

인터넷과 스마트폰이 보급되면서 세상에는 그 어느때 보다 많은 정보가 생겨나고 있습니다. 기하급수적으로 늘어나는 정보에서 중요한 정보와 중요하지 않은 정보를 구분하는 것이 무어보다 중요한 일이 되었습니다. 정보는 크게 정형화된 데이터와 정형화되지 않은 데이터로 구분됩니다. 데이터를 반복해서 사용할 목적으로 일정한 형식으로 구조화한 데이터를 정형화데이터(Structured Data)라고 합니다. 정형화된 데이터에서 정보를 찾는 방법을 데이터마이닝(Data Mining)이라고 하는데 현재 가장 많이 사용하는 데이터베이스 시스템과 정보분류체계에 활용되고 있습니다. 비정형데이터는 그림이나 사진 같은 이미지나 동영상, 텍스트문서처럼 형태와 구조가 다른 구조화 되지 않은 데이터를 말합니다. 책, 음성 정보, 영상 정..

☆★♡♥블로그 방문자분들께 책 선물 드려요!☆★♡♥ 텍스트 마이닝이란 탄광에서 광물을 캐어내 듯이 사람들이 자연스럽게 만들어낸 문장에서 의미있는 정보를 찾아내는 작업을 말합니다. 광물이 많이 포함되어 있는 지역에서 원석들을 캐어내어야 정제를 하더라도 필요한 광물을 더 많이 얻어낼 수 있겠죠. 텍스트 마이닝도 마찬가지입니다. 필요한 정보가 있는 곳(웹사이트)를 찾아서 그 중에서도 내가 얻어내고자 하는 정보가 포함되어 있는 문서(웹페이지)를 수집하는 것이 가장 먼저 해야 할 일입니다. 파이썬을 이용해서 손쉽게 인터넷 상의 정보를 수집하는 기본적인 방법을 알아보겠습니다. urllib와 BeautifulSoap4를 활용해서 아주 심플하게 예제를 만들어보겠습니다. urllib는 인터넷에서 웹 상의 문서, 이미지 ..