3-7_웹스크래핑(크롤링) 기초 (feat. 네이버 영화 평점 사이트 크롤링, beautifulsoup, select_one, select)

Ⅰ. 이번 회차 학습 목표 (goal)

---

1. 배우고자 하는 것

• 제목 & 평점 등을 가져오기

 

---

Ⅱ. 크롤링을 하려면 2가지를 해야 함

---

1. 해당 주소에 요청해서 해당 html 을 가져오는 것!

• 이 주소에 가서 html 을 가져와야 함.

• 이건 requests 를 가지고 이미 했음.

👉 즉, requests 패키지를 통해 html 을 가져오는 작업을 이미 했음.

⭐ 아, `requests` 를 통해 하는게 html 을 가져오는 거 구나! ⭐⭐⭐⭐⭐⭐

2. 가져온 html 안에서 '제목' 을 찾으려면? : beautifulsoup 라이브러리 활용

1) beautifulsoup 설치

1. pip 업그레이드

python3 -m pip install --upgrade pip

❓ 이 업그레이드를 왜 해야 하는 거지? 아직 잘 모르겠음

2. beautifulsoup4 설치

pip install beautifulsoup4

• 결과물

2) 뽑고 싶은 것 우클릭 > 검사에서 copy selector

1. 뽑고 싶은 것 > 우클릭 > 검사
   
2. copy selector
   

3) beautifulsoup 기본 예제 코드 넣어보기

#python_beaufifulsoup_크롤링_예제코드

import requests
from bs4 import BeautifulSoup

# 실제 사람인 것 처럼 해주려고 (마치, 브라우저에서 call 을 날리는 것 처럼 해주려고, 사람인 것 처럼 해주려고)
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}

# 해당 url 에서 html 을 받아온다. (✅ url 변경해서 사용)
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# html에서 원하는 부분을 솎아낸다.
soup = BeautifulSoup(data.text, 'html.parser')

# 이제 부터 나오는 문법은 beaurifulsoup 라이브러리 자체의 문법(syntax)
print(soup)

• 결과물 - 그러면, 진짜, html 덩어리 가 들어온다.

4) soup.select_one 과 하나의 copy selector 를 이용해서 html 덩어리에 중 원하는 부분을 추리기

#python_beaufifulsoup_크롤링_예제코드

import requests
from bs4 import BeautifulSoup

# 실제 사람인 것 처럼 해주려고 (마치, 브라우저에서 call 을 날리는 것 처럼 해주려고, 사람인 것 처럼 해주려고)
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}

# 해당 url 에서 html 을 받아온다. (✅ url 변경해서 사용)
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# html에서 원하는 부분을 솎아내기 위해 우선 '전체를 담아온다.' 
soup = BeautifulSoup(data.text, 'html.parser')

# 이제 부터 나오는 문법은 beaurifulsoup 라이브러리 자체의 문법(syntax)
# 담아 온 것 중 copy selector 를 이용해서 솎아낸다. 
    # 결과물은 a 태그 와 텍스트로 나온다. 
title = soup.select_one('#old_content > table > tbody > tr:nth-child(2) > td.title > div > a')

print(title)
print(title.text)
print(title['href']) 

• print(title) 결과물

>>> print(title)
<a href="/movie/bi/mi/basic.naver?code=186114" title="밥정">밥정</a>

• 느낀점
  • 여기서 말끔하게 나오는건 아니구나,
  • 즉, 내가 원하는 건, '밥정' 글씨 인데, ==한 번에 나오는게 아니라, a 태그랑 섞여서 나오게 된다. 그러므로 잘 솎아 내줘야 한다. ==

• print(title.text) 결과물

>>> print(title.text)
밥정

• print(title['href']) 결과물

>>> print(title['href'])
/movie/bi/mi/basic.naver?code=186114

5) soup.select 와 여러개의 copy selector 를 이용해서 html 덩어리에 중 원하는 부분을 추리기

a) 어디까지 똑같은지 확인

• 네이버 영화의 경우, old_content > table > tbody > tr 까지는 동일

b) 그걸 select 에 넣고 실행하면?

import requests
from bs4 import BeautifulSoup

# 실제 사람인 것 처럼 해주려고 (마치, 브라우저에서 call 을 날리는 것 처럼 해주려고, 사람인 것 처럼 해주려고)
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}

# 해당 url 에서 html 을 받아온다. (✅ url 변경해서 사용)
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# html에서 원하는 부분을 솎아내기 위해 우선 '전체를 담아온다.' 
soup = BeautifulSoup(data.text, 'html.parser')

# 이제 부터 나오는 문법은 beaurifulsoup 라이브러리 자체의 문법(syntax)
# 담아 온 것 중 copy selector 를 이용해서 솎아낸다. 
    # 결과물은 a 태그 와 텍스트로 나온다. 
title = soup.select_one('#old_content > table > tbody > tr:nth-child(2) > td.title > div > a')

• 실행하면, 이렇게 무시무시 하게 찍힘 ⭐⭐⭐⭐⭐⭐

👉 이게 의미하는 건? 좀 더 확인해보자.

c) copy selector 와 검사를 눌러서 볼 수 있는 걸 비교하면, 힌트를 얻을 수 있음.

• copy selector 한 부분 #old_content > table > tbody > tr:nth-child(2) > td.title > div > a
• select 함수에 넣은 부분 movies = soup.select('#old_content > table > tbody > tr')

• 검사 눌러서 나온 결과 tr 까지만 했기 때문에 전체가 나오게 되었음. 이때, 전체가 '리스트' 에 담겨 나오게 됨. 그래서 무시무시 한거 였음.

• 그러면, 이걸 어째?
  • 리스트로 담겨 왔으니까 for 반복문으로 특정 값에 접근하고 -> 그 값의 구조를 이용해서 원하는 제목 까지 갈 수 있을 것

d) 결과적으로, 1) 공통 부분 까지를 추출 했기 때문에, 전체가 나오게 되고 2) 해당 부분은 리스트에 담겨 있기 때문에 3) 리스트 + 반복문을 통해 원하는 값으로 접근할 수 있음.

• 리스트 + 반복문이 작동하는 코드

import requests
from bs4 import BeautifulSoup

# 실제 사람인 것 처럼 해주려고 (마치, 브라우저에서 call 을 날리는 것 처럼 해주려고, 사람인 것 처럼 해주려고)
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}

# 해당 url 에서 html 을 받아온다. (✅ url 변경해서 사용)
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# html에서 원하는 부분을 솎아내기 위해 우선 '전체를 담아온다.' 
soup = BeautifulSoup(data.text, 'html.parser')


# 복수개의 copy selector 를 활용하고 싶음. 
# '밥정' 과 '그린 북' copy selector 를 찍어봄
#old_content > table > tbody > tr:nth-child(2) > td.title > div > a
#old_content > table > tbody > tr:nth-child(3) > td.title > div > a
# 공통되는 부분을 select 함수에 넣기 

movies = soup.select('#old_content > table > tbody > tr')

for movie in movies:
    a = movie.select_one('td.title > div > a')
    print(a)

• 과정 설명

• 결과물

e) 밑줄(none) 없애고 제목 뽑기

• 밑줄 의 흔적
  
  
• 작동하는 코드

import requests
from bs4 import BeautifulSoup

# 실제 사람인 것 처럼 해주려고 (마치, 브라우저에서 call 을 날리는 것 처럼 해주려고, 사람인 것 처럼 해주려고)
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}

# 해당 url 에서 html 을 받아온다. (✅ url 변경해서 사용)
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# html에서 원하는 부분을 솎아내기 위해 우선 '전체를 담아온다.' 
soup = BeautifulSoup(data.text, 'html.parser')


# 복수개의 copy selector 를 활용하고 싶음. 
# '밥정' 과 '그린 북' copy selector 를 찍어봄
#old_content > table > tbody > tr:nth-child(2) > td.title > div > a
#old_content > table > tbody > tr:nth-child(3) > td.title > div > a
# 공통되는 부분을 select 함수에 넣기 

movies = soup.select('#old_content > table > tbody > tr')

for movie in movies:
    a = movie.select_one('td.title > div > a')
    if a != None:   # if a is not None ({동일})
        print(a.text)

• 결과물
• 

---

💭 What i learned

---

• 크롤링에서 필요한 과정 1) 해당 url 에서 html 가져오기 2) 가져온 html 에서 필요한 부분 뽑아내기 구나!!! ⭐⭐⭐ 이렇게 단계화 할 수 있겠네.
• select 를 쓴다고 해서 ==한 번에 나오는게 아니라, a 태그랑 섞여서 나오게 된다. 그러므로 잘 솎아 내줘야 한다. ==