3-8_Quiz_웹스크래핑(크롤링) 연습 1

Ⅰ. 이번 회차 학습 목표 (goal)

---

1. 배우고자 하는 것

• 순위 및 평점 크롤링
  • https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829
    

• 순위 는 오른쪽 검사 클릭 -> 이거 가져오기

• 평점 은 오른쪽 검사클릭 -> 이거 가져오기
  

---

Ⅱ. 해보기

---

1.

• 해당값은 이렇게 접근하라고 힌트를 준다.
  

• 잘 몰랐던 것

  • tr 까지 가져왔으니까, 뒤에걸 붙이면된다. 혹은 html 구조를 보면서 가져오는거 ⭐⭐⭐⭐⭐
  • .text 를 위로 가져와도 된다는 것 ⭐⭐⭐⭐⭐

02-02 2차 복습

• 우선 돌아가는 코드

  import requests
  from bs4 import BeautifulSoup
  

실제 사람인 것 처럼 해주려고 (마치, 브라우저에서 call 을 날리는 것 처럼 해주려고, 사람인 것 처럼 해주려고)

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}

해당 url 에서 html 을 받아온다. (✅ url 변경해서 사용)

data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

html에서 원하는 부분을 솎아내기 위해 우선 '전체를 담아온다.'

soup = BeautifulSoup(data.text, 'html.parser')

이제 부터 나오는 문법은 beaurifulsoup 라이브러리 자체의 문법(syntax)

담아 온 것 중 copy selector를 select_one 에 넣어서 솎아내기.

title = soup.select_one('#old_content > table > tbody > tr:nth-child(2) > td.title > div > a')

# .text, ['href'] 문법으로 원하는 값에 접근하기

print(title)

print(title.text)

print(title['href'])

공통의 copy selector 를 쓰면 select 함수에 복수개의 copy selector 를 넣을 수 있음.

ex) '밥정' 과 '그린 북' copy selector 를 찍어봄

#old_content > table > tbody > tr:nth-child(2) > td.title > div > a
#old_content > table > tbody > tr:nth-child(3) > td.title > div > a
# 공통되는 부분을 select 함수에 넣기 

movies = soup.select('#old_content > table > tbody > tr')

for movie in movies:
a = movie.select_one('td.title > div > a')
if a != None: # if a is not None ({동일})
print(a.text)

[목표] 1) rank 2) title 3) star 가져오기

rank = soup.select_one('#old_content > table > tbody > tr:nth-child(2) > td:nth-child(1) > img')['alt']

title = soup.select_one('#old_content > table > tbody > tr:nth-child(2) > td.title > div > a').text

star = soup.select_one('#old_content > table > tbody > tr:nth-child(2) > td.point').text

print(rank,title,star)

movies = soup.select('#old_content > table > tbody > tr')
print(movies)

for movie in movies:

a = movie.select_one('td:nth-child(1) > img')
if a != None:
    rank = a['alt']

    title = movie.select_one('td.title > div > a').text # title 까지 오는 html 덩어리 내에서도 None 이 존재하지 않았을까? 그런데 왜 이 부분에서는 결측값이 안 나오는거지? 

    star = movie.select_one('td.point').text
    print(rank, title, star)

```

• 중요한 것
  • 구체적으로 원하는 값을 가져올 때, html 구조 아래에서 어떻게 지칭 할 것 인가.

• select 로 '공통부분' 을 가져올 때, 원치 않게 None 을 가져오게 되는 경우도 분명히 생김 ⭐⭐⭐

• 따라서, select 로 공통 부분 가져오는 경우엔 결측값 유의!

• 의문점

  • 결측값 검사를 할 때, 왜 한 번만 하면 되는거지❓❓❓❓❓
  • title 을 먼저 빼주고, rank 를 돌려도 문제가 없게 된다. 이게 왜 그런거지...
  • 반대로 어제는 title 을 먼저 했고, 오늘은 rank 를 먼저 했는데...

• 중요한 점
  • select_one 에 기반에서 , 그 루트를 복붙해서 select 한다.

2. 우선 작동하는 코드

#jquery_변수활용꽂아주기_예시코드
#jquery_append_추가로붙이기_예시코드

3. design critic

• 
  
  

Ⅲ. 해보기

---

1. 해봐

• 
  
  

2. 우선 작동하는 코드

#jquery_변수활용꽂아주기_예시코드
#jquery_append_추가로붙이기_예시코드

3. design critic

---

💭 What i learned

---

-