Python urllib의 requests 모듈, BeautifuleSoup 설치

1. 준비

인터넷 자원을 접근할 수 있도록 해주는 urllib가 있습니다

​

urllib는 파이썬에 기본적으로 내장되어 있기때문에 파이썬을 깔면 바로 사용하실 수 있습니다.

ex) import urllib

하지만 urllib패키지는 사용법이 쉽지 않고 간단한 처리에도 꽤 많은 라인의 코딩이 필요합니다.

 그래서 최근 urllib패키지 대신에 requests모듈도 많이 사용합니다.

 -- requests 모듈 설치

​

cmd 창에

C:\>pip install requests

​

​를 입력하면 바로 설치할 수 있습니다.

​

 -- BeautifulSoup4 설치​ (긁어온 정보를 가독성이 좋게 바꿔줍니다)

​

C:\>pip install beautifulsoup4

​

​

예제 코딩​

​ 

import requests from bs4 import BeautifulSoup def trade_spider(max_pages):     page=1     while page<=max_pages:         url='http://itissmart.tistory.com/'         source_code=requests.get(url,allow_redirects=False)         plain_text=source_code.text         soup=BeautifulSoup(plain_text,'html.parser')         for link in soup.findAll('a',{'class':'link_post'}):             href=link.get('href')             title=link.findAll('string')             for t in title:                 print(t.text)             print(href)         page+=1 ​ ​ trade_spider(5)

들여쓰기 ,글자 틀림 주의 하시면 실행가능 합니다.

​

​

참조 http://itissmart.tistory.com/51

파이썬 requests모듈 사용하기, use requests module

앞에서 인터넷 자원에 접근할 수 있도록 해주는 urllib에 대해 알아봤었습니다. (여기참조) urllib는 파이썬에 기본적으로 내장되어 있기 때문에 python을 설치하면 바로 사용할 수 있었습니다. 하지만 urllib패키지는 사용법이 쉽지 않고 간단한 처리에도 꽤 많은 라인의 코딩을 해야 하곤 합니다. 그래서 최근에는 urllib패키지 대신에 requests모듈도 많이 이용되고 있습니다. requests모듈은 별개로 개발된 open source 라이..

itissmart.tistory.com

​