IT is Smart

필요한 정보를 수집하기 위해 크롤링 작업을 수행하다보면 어떤 주소는 웹브라우저에 직접 입력하면 페이지를 확인할 수 있는데 크롤러를 돌리면 HTTP 403 Forbidden 에러를 띄우고 크롤링이 되지 않는 경우를 만날 수 있습니다. 이는 각 사이트마다 비정상적인 접근을 차단하기 위한 조치 때문에 발생하는 현상입니다. 정상적으로 웹브라우저를 통해 접근하면 우리쪽에서 상대방 사이트서버로 HTTP Request메시지를 보내게 되는데 이때 우리쪽의 작업환경에 대한 정보를 보내줍니다. 사이트에서는 이 정보를 이용해서 접속자들의 OS, 브라우저1 종류나 버전 등을 파악해서 대응하게 되는 거죠. 근데 python과 같은 도구를 사용해서 사이트에 접속하게 되는 경우 브라우저를 통해 접속하는 경우와 다른 HTTP Req..

https://en.wikipedia.org/wiki/List_of_HTTP_header_fields 클로링할 때 헤더정보를 확인해야 하는 경우가 있어서 우선 참조로 링크 게시합니다.이후에 세부적으로 확인 필요한 항목을 추가로 편집하겠습니다.

#coding=utf-8 #!/usr/bin/python from bs4 import BeautifulSoup html_doc = """ IT is SmartIT is Smart IT is Smart Once upon a time there were three little sisters; and their names were Elsie, Lacie and Tillie; and they lived at the bottom of a well. ... """ soup = BeautifulSoup(html_doc) # HTML 들여쓰기하여 출력하기 # ----------------------------------- # print(soup.prettify()) # # # IT is Smart # # # # #....

☆★♡♥블로그 방문자분들께 책 선물 드려요!☆★♡♥ 텍스트 마이닝이란 탄광에서 광물을 캐어내 듯이 사람들이 자연스럽게 만들어낸 문장에서 의미있는 정보를 찾아내는 작업을 말합니다. 광물이 많이 포함되어 있는 지역에서 원석들을 캐어내어야 정제를 하더라도 필요한 광물을 더 많이 얻어낼 수 있겠죠. 텍스트 마이닝도 마찬가지입니다. 필요한 정보가 있는 곳(웹사이트)를 찾아서 그 중에서도 내가 얻어내고자 하는 정보가 포함되어 있는 문서(웹페이지)를 수집하는 것이 가장 먼저 해야 할 일입니다. 파이썬을 이용해서 손쉽게 인터넷 상의 정보를 수집하는 기본적인 방법을 알아보겠습니다. urllib와 BeautifulSoap4를 활용해서 아주 심플하게 예제를 만들어보겠습니다. urllib는 인터넷에서 웹 상의 문서, 이미지 ..