IT is Smart

필요한 정보를 수집하기 위해 크롤링 작업을 수행하다보면 어떤 주소는 웹브라우저에 직접 입력하면 페이지를 확인할 수 있는데 크롤러를 돌리면 HTTP 403 Forbidden 에러를 띄우고 크롤링이 되지 않는 경우를 만날 수 있습니다. 이는 각 사이트마다 비정상적인 접근을 차단하기 위한 조치 때문에 발생하는 현상입니다. 정상적으로 웹브라우저를 통해 접근하면 우리쪽에서 상대방 사이트서버로 HTTP Request메시지를 보내게 되는데 이때 우리쪽의 작업환경에 대한 정보를 보내줍니다. 사이트에서는 이 정보를 이용해서 접속자들의 OS, 브라우저1 종류나 버전 등을 파악해서 대응하게 되는 거죠. 근데 python과 같은 도구를 사용해서 사이트에 접속하게 되는 경우 브라우저를 통해 접속하는 경우와 다른 HTTP Req..

https://en.wikipedia.org/wiki/List_of_HTTP_header_fields 클로링할 때 헤더정보를 확인해야 하는 경우가 있어서 우선 참조로 링크 게시합니다.이후에 세부적으로 확인 필요한 항목을 추가로 편집하겠습니다.

파이썬 Class 구현하기 다시 보기 이번에는 Class를 초기화하는 좀더 고급진 방법을 알아보겠습니다. class Enemy: def __init__(self, x): self.energy = x def get_energy(self): print(self.energy) jason = Enemy(5) sandy = Enemy(18) jason.get_energy() sandy.get_energy() Class를 선언할 때 변수를 선언하고 변수값을 지정하는 것으로 초기화하는 방법과 함께 __init__() 메소드를 선언해서 사용하는 방법이 있습니다. __init__() 메소드는 별도로 호출을 하지 않아도 Class의 Instance가 생성이 되는 순간 자동으로 실행됩니다. 해당 Instance를 초기화하기..

이번에는 파이썬으로 Class를 정의하고 Class 개체를 생성해서 사용하는 방법을 알아보겠습니다. class Enemy: life = 3 def attack(self): print("ouch!") self.life -=1 def checkLife(self): if self.life

이번에는 에러를 처리하는 방법을 알아보겠습니다. while True: try: number = int(input("What's your fav number hoss?\n")) print(18/number) break except ValueError: print("Make sure and enter a number") # except ZeroDivisionError: # print("Don't pick zero") except Exception as e: print(str(e)) break finally: print("loop complete") 이 코드는 외부에서 입력을 받아서 계산한 결과를 출력하는 기능을 구현한 것입니다. number = int(input("What's your fav number h..

소스부터 보도록 하겠습니다. import requests from bs4 import BeautifulSoup def trade_spider(max_pages): page = 1 while page