3주차_Quiz_웹스크래핑(크롤링) 풀이 되새김

 

 

선생님 : "되게 만드는 것이 중요합니다"

 

나 : 그니까.. 방법을 좀 더 디테일하게.. 알려주시면 안될까요...?

 

 

 

[다 이해하는 것도 좋지만, 최대한 이렇게 흘러가는구나 라고 보며 익숙해지자!!]

---

 

웹스크래핑 (네이버 영화 페이지에서 순위, 제목, 별점만 따로 스크랩 해보자)

 

import 할 bs4를 설치

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.nhn?sel=pnt&date=20200303',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

 

 

범위 지정

경로를 가져올 때는 검사로 들어가서 copy > copyselector 클릭으로 복사한다.

# old_content > table > tbody > tr:nth-child(2) > td.title > div > a  #그린 북
# old_content > table > tbody > tr:nth-child(3) > td.title > div > a  #가버나움
# old_content > table > tbody > tr:nth-child(4) > td.title > div > a  #베일리 어게인
# old_content > table > tbody > tr:nth-child(5) > td.title > div > a  #주전장

:nth-child(2) > td.title > div > a 이 부분 까지는 각 개별 경로이기 때문에 제외

# old_content > table > tbody > tr

그 다음 trs = soup.select('#old_content > table > tbody > tr') 지정

  내가 스크랩 하고자 하는 경로를 검사를 통해 찾고 공통된 범위까지 지정 기입

trs = soup.select('#old_content > table > tbody > tr')

 

그린 북 : 제목 의 경로 찾기

# old_content > table > tbody > tr:nth-child(2) > td.title > div > a

위의 '그린 북'이 위치한 경로 = td.title > div > a

 

for 를 사용해서 a_tag 에 이름이 들어갈 자리 지정

.select_one 은 특정 부분만 선택

for tr in trs:
    a_tag = tr.select_one('td.title > div > a')

 

위의 코드를 실행시키면

중간에 None 이 들어가 있는 것을 확인할 수 있다.

 

이 None 을 생략하기 위헤 if 를 써주고 

for tr in trs:
    a_tag = tr.select_one('td.title > div > a')
    if a_tag is not None:

 

밑으로 순위, 제목, 별점 지정

 

순위 = rank

for tr in trs:
    a_tag = tr.select_one('td.title > div > a')
    if a_tag is not None:
        rank = tr.select_one('td:nth-child(1) > img')['alt']

여기서 순위를 나타내는 alt 부분만 가져오기 ( '' 누락 주의 )

 

제목 = title

.text 를 사용하여 '그린 북' 만 추출

for tr in trs:
    a_tag = tr.select_one('td.title > div > a')
    if a_tag is not None:
        title = a_tag.text

 

별점 = star

for tr in trs:
    a_tag = tr.select_one('td.title > div > a')
    if a_tag is not None:
        star = tr.select_one('td.point').text

 

 

정리하면

for tr in trs:
    a_tag = tr.select_one('td.title > div > a')
    if a_tag is not None:
        rank = tr.select_one('td:nth-child(1) > img')[alt]
        title = a_tag.text
        star = tr.select_one('td.point').text

        print(rank, title, star)

 

실행하면

정상적으로 순위, 제목, 별점이 출력

 

 

---

 

 

점점 난이도가 어려워지면서 배움의 속도도 더뎌지고 있음을 느낀다.

 

또, 연습 문제임에도 즉각 반응하지 못하고 이번 퀴즈 문제같이 함께 풀어야 할 때가 많다..

 

그래도 조금씩..

 

껍질 벗고 싹이 트는 새싹처럼

 

아직 제대로 활짝 피어보지 않았으니까

 

포기하지 말고, 더 해보자!!