IT is Smart

데이터는 처음부터 분석되어질 목적으로 구조화해서 만들어진 정보인 반면, 텍스트는 소설이나 뉴스기사 심지어 대화내용과 같이 사람과 사람 사이에 의사소통을 위해 만들어진 비구조적인 정보이다. 데이터검색, 데이터분석, 데이터마이닝 데이터의 간단한 사례를 들어보면 제조공장에서 제품을 만든 기록이나 상품매장에서 상품을 판매한 기록이 데이터가 될 수 있다. 공장의 경우는 생산일자, 제품코드, 제품명, 일련번호, 생산수량, 생산담당자명과 같이 필요한 정보를 연결하면 생산데이터가 되는 것이고, 매장의 경우는 판매일자, 판매시간, 상품코드, 상품명, 일련번호, 판매수량, 판매담당자명과 같이 정보를 연결하면 판매데이터가 되는 것이다. { 공장그림 : 생산일자, 제품코드, 제품명, 일련번호, 생산수량, 생산담당자명 데이터이..

소셜 네트워크 분석은 소셜 네트워크 서비스(SNS)에 내포되어 있는 정보들과 시스템을 분석하는 기법입니다. 소셜 네트워크의 연결 구조 및 연결 강도 분석을 바탕으로 소셜 네트워크 상에서 입소문의 중심이나 허브 역할을 하는 영향 요소를 찾는데 주로 활용됩니다. 기업에 있어서 영향 요소의 모니터링 및 관리는 신제품 기획 방향 설정 및 관리에 이르기까지 다양한 측면에서 중요합니다. 또한 영향 요소의 파악 외에도 소셜 네트워크 상에서 실시간으로 수집되는 대화 정보를 통해 신제품 반응 관찰, 기업 및 브랜드와 상품에 대한 평가, 불만 모니터링, 상품 및 서비스에 대해 소비자들이 드러낸 행적을 토대로 추출한 성향 파악과 숨은 니즈 등의 다양한 정보를 얻을 수 있습니다. 다른 마이닝 기법들이 주로 일정한 구조를 갖춘..

오피니언 마이닝은 텍스트마이닝에서 발전된 분석기법으로 소셜미디어 등에서 여론의 향방을 긍정(Positive), 부정(Negative), 중립(Neutral)로 구분하여 선호도를 판별하는 기술입니다. 특정 상품의 선호도나 정치인에 대한 호감도를 판별해 내는 데 주로 활용되며, 분석 대상인 키워드와 긍정, 부정, 중립을 뜻하는 단어가 자주 출현하는 빈도수를 측정하여 해당 키워드에 대한 여론을 측정합니다. 오피니언마이닝은 텍스트마이닝에 근거를 둔 분석기법으로, 주로 블로고스피어나 소셜네트워크 서비스의 여론 향방을 추적하는데 사용되는 기술입니다. 이는 텍스트마이닝이 특정 단어와 문맥의 연관성을 분석하는데 비해, 오피니언 마이닝은 문맥과 연계된 감성분석(Sentiment Analysis)을 활용하여 특정 텍스트의..

텍스트마이닝은 텍스트 형태로 이루어진 비정형 데이터를 자연어처리 방식을 이용하여 정보를 추출하는 기법입니다. 텍스트마이닝을 활용하면 텍스트 정보에서 문맥을 파악하고 텍스트 간 연계를 분석하는 등 비정형화된 문서에서 정보를 얻을 수 있다는 장점이 있습니다. 텍스트마이닝은 비정형 데이터에서 특정 키워드나 문맥을 기반으로 의미를 추출해 내는 기법을 의미합니다. 텍스트마이닝은 웹문서에서 키워드와 매칭되는 단어를 찾아 인덱싱하는 검색 기법에서 발전되어 왔으며, 점차 데이터의 숨은 맥락을 파악하는데 활용되고 있습니다. 특히 텍스트마이닝이 두드러지는 분야는 뉴스기사 분석으로, 기사에서 특정 단어와 관련된 논조를 분석하는데 활용된 사례가 있습니다. 텍스트마이닝은 주로 작성이 완료된 뉴스기사나 잡지 등을 분석하는데 활용..

인터넷과 스마트폰이 보급되면서 세상에는 그 어느때 보다 많은 정보가 생겨나고 있습니다. 기하급수적으로 늘어나는 정보에서 중요한 정보와 중요하지 않은 정보를 구분하는 것이 무어보다 중요한 일이 되었습니다. 정보는 크게 정형화된 데이터와 정형화되지 않은 데이터로 구분됩니다. 데이터를 반복해서 사용할 목적으로 일정한 형식으로 구조화한 데이터를 정형화데이터(Structured Data)라고 합니다. 정형화된 데이터에서 정보를 찾는 방법을 데이터마이닝(Data Mining)이라고 하는데 현재 가장 많이 사용하는 데이터베이스 시스템과 정보분류체계에 활용되고 있습니다. 비정형데이터는 그림이나 사진 같은 이미지나 동영상, 텍스트문서처럼 형태와 구조가 다른 구조화 되지 않은 데이터를 말합니다. 책, 음성 정보, 영상 정..

뭐시 중헌디 위의 이야기에서 핵심이 되는 내용을 몇가지 뽑아보자.1) 의료기록을 표준화했다.2) 모든 의료상황을 빠짐없이 기록했다.3) 기록을 통계로 정리했다. 4) 데이터를 이해하기 쉽게 도식화했다.5) 사람들에게 널리 알렸다. 나이팅게일의 위대함을 이 5가지 때문이라고 설명할 수는 없지만, 나이팅게일의 성공에 이 5가지 중 어느 1가지도 뺄 수 없다. 1, 2, 3번을 묶어서 데이터 분석라고 할 수 있고, 4, 5번이 데이터 시각화이다. 결국 나이팅게일의 성공 키워드를 뽑자면 데이터 분석과 데이터 시각화가 바로 그것이다. 160년 전의 일이다. 안타깝게도 나이팅게일 이후 100년이 넘도록 이 강력한 힘들은 제대로 빛을 보지 못했다. 그 이유는 이 두 힘 모두 많은 시간과 돈이 필요했기 때문이다. 먼저..