[1-4] 뉴스 기사 제목 가져오기 [python beautifulsoup request 활용 crwaling] (Feat. 스파르타 코딩클럽_데이터분석 수업)

1️⃣ '해킹 아닌 해킹' 을 통한 브라우저 및 스크래핑의 원리 이해

 

'삼성전자' 기사를 '으랏찻차' 로 바꿔보기

네이버 뉴스에서, 삼성전자 검색하고 (어떠한 웹 페이지 에서건) > 검사 > 삼성전자를 '으랏찻차' 로 바꿔보자.

우클릭 > 검사

그러면, '삼성전자' 기사가 나와야 하는데, '으랏찻차' 에 대한 기사가 나온다. 🤷‍♂️

텍스트로 된 부분을 바꿔야

 

왜 그런거지?

쉽게 말하면, 이미 브라우저가 다운 받아온 '내 꺼'  를 바꾼 것 이기 때문.

 

 

'내꺼?' 뭐가 내껀데 ?

내꺼는 서버를 통해서 '이미 받아온 HTML, CSS, Javascript 삼형제 덩어리' 를 의미.
이미 받아왔고, 그래서 내꺼기 때문에, 아무리 바꿔도 내꺼에만 영향을 미치고 다른사람이 삼성 전자 검색을 해도 영향이 없음.

 

 

이를 통해 알 수 있는 웹페이지의 원리는?

우리가 네이버에서 검색을 하면 다음과 같은 일이 벌어진다.
1) 검색어를 넣고 > enter 를 친다.
2) 네이버 서버는 그에 해당하는 HTML(뼈대), CSS(꾸며주는놈), Javascript(동작) 를 준다. ( 삼형제 덩어리 )
3) 브라우저는 이 삼형제를 받아서 '그리기만 한다.'
4) (여기에서 내가 한 건) 브라우저가 받아온 이미 받아온 삼형제를 나는 수정 한 것
5) 브라우저가 받아온 삼형제를 잘 솎아내면 > 크롤링이 된다.

---

2️⃣ 뉴스 하나의 '제목' 가져오기

 

제목을 가져온다는 건?

이놈들을 가져와보겠다는 말! 

 

 

이 순간 드는 몇가지 질문

1️⃣ [실무에서] '이걸 가져와야 해!' 라는 그 순간, 뭐가 떠올라야 할까?
2️⃣ [공부할 때] 코딩 공부를 했다는 건 '어디까지 해야 했다고 할 수 있을까?' (어디까지 정리해야 하는걸까? 어디까지 암기해야 할까, 어디까지 구글링을 해야하는 걸까?)  

 

 

이에 대한 나 스스로의 (불확실한) 대답 (그리고 몇개의 가정) 

 

Q. 1️⃣ '[실무에서] '이걸 가져와야 해!' 라는 그 순간, 뭐가 떠올라야 할까?' 

가장 베스트는, 내가 외울 수 있어서, 바로 쓸 수 있는거? 
가장 베스트는, 내가 비슷한 문제를 풀어본거? 
가장 베스트는, 구글링을 해서 바로 나온거? 
가장 베스트는, 교재에서 나온거? 

아직, 잘 모르겠다. 

확실한건, '아, 할 수 있네.' 라는 자신감이 드는 상태인 것 같다. 
또 이어지는 질문. 
'어떨 때, 자신감이 들까?' 
많이 해봐야 알 것 같다. 
 
다만, 확실한건 
쉬운 말로 '읽을 수 있는 상태' 라면, 지금 단계에서는 넘어가도 된다고 생각함. 

 

 

 

그러면, 이런 가설을 세워보자 

1️⃣ 처음 보는 문제가 있음 
2️⃣ '읽을 수 있는 상태' 와 '정확한 코드'로 학습을 했음 
3️⃣ '읽을 수 있는 상태' 와 '정확한 코드' 로 다시 그 문제를 봄. 
4️⃣ 그러면, 코드를 보면서, 주어진 (관련된) 문제를 풀 수 있지 않을까?
5️⃣ 그게 '자신감' 이 되지 않을까? 
6️⃣ 그렇다면, '어떤 문제별' 로 '정확한 코드' 와 그걸 '읽을 수 있는 상태' 가 될 수 있도록 준비하자! ( 이게, 'Q2[공부할 때] 코딩 공부를 했다는 건 '어디까지 해야 했다고 할 수 있을까?'' 에 대한 답이 되었음) 

 

 

근데, 이런 문제가 생겨 '이제 하루에 수 많은 것들을 따라해보게 될 텐데, 언제 필기 노트를 찾아보고 있지?' 

 

- 노션 검색을 해봐도 크게 잘 검색되지 않음.

 

자, 그러면,
1️⃣  '어떤 문제별' 로 '정확한 코드' 와 그걸 '읽을 수 있는 상태' 가 기록되어 있는 '콘텐츠' 를 만든다. 
2️⃣ 검색기능은 'google' 의 검색기능을 써서, 내가 만든 콘텐츠 안에서 찾는다. 
3️⃣ 구글링 할 떄는 'site:https://hello-5200.tistory.com/ 언리얼 레벨디자인' 

site:https://hello-5200.tistory.com/ 언리얼 레벨디자인

이렇게 검색한다. ( 내부 검색 기능인 site 를 활용한다.) 

 

이렇게 하면, 

- 내가 풀었던 문제라고 느껴지는 건 > 이곳에서 찾아서 이제 해결해 나가면 된다. 

- 그게 아니면, Top ~ down 방식으로 해서 검색하자.

  python(언어) > beutifulsoup(라이브러리) > select_one(함수, task 등) 

 

 

똑똑똑, 정리하면 👏 

- 뭔가를 학습할 때,
1️⃣ '읽을 수 있을 정도' 의 수준으로 '정확한 코드' 와 '콘텐츠(글, 설명)' 가 있으면, 털고 나오자. (다시 비슷한 문제가 나오면, 내 블로그 or 다른 사이트 구글링해서 풀어나가면 된다.) 

- 글로 정리할 때
✅ (내가 연습한 문제가 1천개 쯤 된다고 가정하면, 필기 노트를 일일이 찾는건 불가능하다고 본다.) 
1️⃣ 1초 안에 생각해 낼 수 있는 hierarchy 를 제목에 최대한 많이 담아낸다. (검색이 되도록) (Top - down 방식 / 위에서 아래로 내려가는 방식으로 쓴다.) 
2️⃣ '아리까리 했던 부분(키워드) ex) a.text, a['href'] select, select_one 함수가 헷갈렸음', '관련 개념 ex) parsing, crawling, scraping' 까지 모두 쓴다.   

- 필수적으로 있어야 하는 것들 정리 ⭐⭐⭐
1️⃣ 문제 상황 
2️⃣ 쉽게 말로 읽어낼 수 있을 정도의 설명 
3️⃣ 아리까리 했던 부분(키워드) 
4️⃣ 관련개념(유사어, 동의어) 

 

 

다시 그래서, 어떻게 하면 '한개의 뉴스 기사' 를 가져올 수 있는데? 

https://colab.research.google.com/drive/1coeNsJQ7EH-J-ZxL3XCECYPFGqkVZ1a3#scrollTo=uWGtVdWvpOCw&line=24&uniqifier=1

스파르타코딩_국비_데이터분석.ipynb의 사본

반응형

# 두 번째 (내 코드)

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
  # 어떤 기능? 

data = requests.get('https://search.naver.com/search.naver?where=news&ie=utf8&sm=nws_hty&query=삼성전자',headers=headers)
  # 해당 url 에 요청 > '상태 코드와 HTML 내용을 응답' 받음(get) (https://library.gabia.com/contents/9239/)
  # request 는 enter 를 쳐서 삼형제를 받아오는 기능 

soup = BeautifulSoup(data.text, 'html.parser')
  # 응답받은 HTML 내용을 BeautifulSoup 클래스의 객체 형태로 생성/반환합니다. BeautifulSoup 객체를 통해 HTML 코드를 파싱하기 위한 여러 가지 기능을 사용할 수 있습니다.
  # beutifulsoup 은 '솎아주는 애들' 

a = soup.select_one('#sp_nws6 > div.news_wrap.api_ani_send > div > a') 
  # BeautifulSoup 가 제공하는 기능 중 CSS 셀렉터를 이용하여 원하는 정보를 찾을 수 있음. 
  # copy selector 를 넣는 곳, 문자열로 넣어줌⭐⭐⭐⭐⭐ 
  # ❓select_one 이라는 함수는 어떻게 기억하지?
    # 내가 한번 한거는 👉 기억이 잘 안날 수 있으니, 명확하게 표시
    # 시간을 어떻게 줄일 수 있을까? > 앞으로 수 많은 task 를 만나게 될 텐데... 다시 노트를 일일이 찾는건... 으음... 
    # 내가 정리한 거에 국한해서, 구글링 검색을 이용할 수 없을까 ⭐⭐⭐ 
    # 특정 라이브러리 주소를 찾고, site 를 지정하고 구글링 ⭐⭐⭐ 📛📛📛 라이브러리는 큰 소용이 없네 으음.... 
    # 암튼, 그러면, 내가 검색할 수 있게 만들어야 겠네. 으음... ⭐⭐⭐⭐⭐ ok 

  # 만약 내가 해본것도 아니라면, 어떻게 검색해야 할까❓❓❓ 
    # 뭐 최대한 알고 있는 개념을 동원해서 검색해야 겠지. 

 
print(a)
print(a.text)
print(a['title'])

(좀 짤려서 나오니, colab 참고 필수) 

 

 

---

3️⃣ '여러개의 뉴스' 기사 제목을 가져오기

https://colab.research.google.com/drive/1coeNsJQ7EH-J-ZxL3XCECYPFGqkVZ1a3#scrollTo=h7MoUKfMtD_n&line=8&uniqifier=1

스파르타코딩_국비_데이터분석.ipynb의 사본

이것도 비슷해  
지금 기억 나는 건, '상위 폴더로, 뭉텅이로 가져온다.' 'li 하나 하나에 접근'  

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://search.naver.com/search.naver?where=news&ie=utf8&sm=nws_hty&query=삼성전자',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

lis = soup.select('#main_pack > section > div > div.group_news > ul > li ') # 지금은 이걸 다 이해할 수 없어 ⭐⭐⭐⭐⭐⭐⭐ / 가벼운 말로, 이런거구나 하고, 넘어가야 해 / 
	#select 함수를 사용 ⭐⭐⭐⭐⭐ 
	#li 를 추가 했다. ⭐⭐⭐⭐⭐ li 로 한번 더 들어가라 

a = lis[0].select_one('a.news_tit') #li 들 중  의 첫 번째 기사 가져오기 #📛📛📛📛📛 여기가 애매

print(a)
a.text 
a['href']

# print(lis[0].text)
# print(lis[0]['data-url'])

 

 

 

4️⃣ 반복문을 사용해서 가져와보기 

https://colab.research.google.com/drive/1coeNsJQ7EH-J-ZxL3XCECYPFGqkVZ1a3#scrollTo=xVcirTditMy7&line=7&uniqifier=1

스파르타코딩_국비_데이터분석.ipynb의 사본

 

 

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://search.naver.com/search.naver?where=news&ie=utf8&sm=nws_hty&query=삼성전자',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

lis = soup.select('#main_pack > section > div > div.group_news > ul > li') #li 를 추가 했다. ⭐⭐⭐⭐⭐ li 로 한번 더 들어가라 

for a in lis:
  news = a.select_one('a.news_tit')
  print(news.text)
  print(news['href'])

# print(lis[0].text)
# print(lis[0]['data-url'])

 

 

---

 

 

5️⃣ '함수' 사용해서 가져오기 

 

https://colab.research.google.com/drive/1coeNsJQ7EH-J-ZxL3XCECYPFGqkVZ1a3#scrollTo=oUc1dwQN4W5S&line=9&uniqifier=1

스파르타코딩_국비_데이터분석.ipynb의 사본

def get_news_1208 (keywords):
  
  headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
  data = requests.get(f'https://search.naver.com/search.naver?where=news&ie=utf8&sm=nws_hty&query={keywords}',headers=headers)

  soup = BeautifulSoup(data.text, 'html.parser')

  lis = soup.select('#main_pack > section > div > div.group_news > ul > li') #li 를 추가 했다. ⭐⭐⭐⭐⭐ li 로 한번 더 들어가라 

  for a in lis:
    news = a.select_one('a.news_tit')
    print(news.text)
    print(news['href'])

# print(lis[0].text)
# print(lis[0]['data-url'])

 

---

👌 수업 출처

스파르타 코딩클럽_데이터분석 참고 

https://spartacodingclub.kr/nb

스파르타 내일배움단 | 국비지원 코딩