[스파르타코딩클럽] 웹개발 종합반 - 3주차 개발일지 / 숙제(실습/풀이)

 

벌써 3주차 개발일지..

 

빨리 배우고 싶은 욕구와 열정으로 지금까지 달려올 수 있었다.

 

숙제도 퀴즈도 정말정말 어렵지만 뭔가 수강하는 학생들의 자발적으로 유도하는 교육 내용들이 나쁘지만은 않다.

개인적으로 야속할 뿐.. (억울함, 답답함, 분노 등)

 

그래도 시간이 걸려도 이뤄낸 결과를 볼 때 정말로 값진 성취감은 매우 형용할 수가 없다.

 

이 상태로 더 증진하고 더 나아가자

 

---

 

문제) 지니뮤직의 1~50위 곡을 스크래핑 해보세요.

순위 / 곡 제목 / 가수를 스크래핑 하면 됩니다.

 

이렇게 정돈되게 나온다면 성공!

 

---

 

실습)

import requests
from bs4 import BeautifulSoup

from pymongo import MongoClient
client = MongoClient('localhost', 27017)
db = client.dbsparta

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=D&ymd=20200403&hh=23&rtm=N&pg=1',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

 

전에 배운 내용의 코드를 가지고 입력할 준비를 한다.

 

#body-content > div.newest-list > div > table > tbody > tr:nth-child(1) > td.number
#body-content > div.newest-list > div > table > tbody > tr:nth-child(1) > td.info > a.title.ellipsis
#body-content > div.newest-list > div > table > tbody > tr:nth-child(1) > td.info > a.artist.ellipsis

trs = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

특정 가지고 오고자 하는 코드의 경로를 검색하고 공통된 부분까지 스크랩

trs 로 지정한다.

 

 

음악의 순위를 스크랩 해보자

for tr in trs:
    rank = tr.select_one('td.number').text
    print(rank)

첫 번째부터 난관에 봉착..

 

해당 코드를 실행하게 되면

이런 식으로 정리되지 않은 부분별한 결과값이 표시된다. 공백 파티..

문제는 이러하다.

해당 순위의 경로

불러오고 싶은 정보만 표시되게 하고 싶은건데, td.number 는 텍스트 1과 span 의 정보가 포함되어 있다.

 

구분을 주지 않는다면 저런 현상은 계속 될 것이다.

 

당연히 당황스러운 이 결과값은 멘붕에 빠뜨리게 하였고, 기껏 힌트를 얻어 사용한 함수 strip() 하지만 여기에서는 전혀 응용할 수 없었다.

 

그래서 이 부분만 몇십분을 매달려 있었는데..

 

번뜩 떠오른 split()

 

저번에도 이런 구분이 되어있지 않은 경로는 이런 식으로 불러내왔던 것이 생각났다.

 

바로 실행!!

 

for tr in trs:
    rank = tr.select_one('td.number').text.split()
    print(rank[0])

효과는 굉장했다.

정말 배운걸 써먹는다는 이런거구나를 말하는 거일 것이다.

 

확연히 다른 결과값에 만세를 외치며 다음 정보를 불러온다.

 

 

음원 타이틀, 즉 제목을 불러와보자.

for tr in trs:
    title = tr.select_one('td.info > a.title').text

 

위에는 좀 어려웠으니 이번껀 쉽겠지 했던 나의 안일한 생각을 확실하게 부셔주었다.

어우.. 여백의 미 그런건가..

 

바로 힌트를 여기에 적용시켜보았다.

 

for tr in trs:
    title = tr.select_one('td.info > a.title').text.strip()
    print(title)

.strip() 은 가지고 오고자 하는 정보의 양 옆의 공백 및 입력한 내용을 생략해주는 역할을 한다고 한다.

 

그 많던 공백이 사라진 것을 확인할 수가 있다.

 

편 ㅡ 안

 

제목까지도 성공적!! 다음 가수명까지!!

 

for tr in trs:
    name = tr.select_one('td.info > a.artist').text

이 카테고리는 기특하게도 단순하게 넘어갈 수 있었다.

 

공백도 없어~ 너무 좋아~

 

이제 변수 지정한 3가지를 한번에 표시할 수 있도록 하자.

 

for tr in trs:
    rank = tr.select_one('td.number').text.split()
    title = tr.select_one('td.info > a.title').text.strip()
    name = tr.select_one('td.info > a.artist').text

    print(rank[0], title, name)

아주 대만족!!

 

문제 예시와 동일하게 표시가 되었음을 알 수 있다.

 

 

---

 

해답코드와 비교)

 

직접 코딩)

import requests
from bs4 import BeautifulSoup

from pymongo import MongoClient
client = MongoClient('localhost', 27017)
db = client.dbsparta

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=D&ymd=20200403&hh=23&rtm=N&pg=1',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

trs = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

for tr in trs:
    rank = tr.select_one('td.number').text.split()
    title = tr.select_one('td.info > a.title').text.strip()
    name = tr.select_one('td.info > a.artist').text

    print(rank[0], title, name)

 

해설)

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=D&ymd=20200403&hh=23&rtm=N&pg=1',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

trs = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

for tr in trs:
    title = tr.select_one('td.info > a.title.ellipsis').text.strip()
    rank = tr.select_one('td.number').text[0:2].strip()
    artist = tr.select_one('td.info > a.artist.ellipsis').text
    print(rank, title, artist)

 

비교해 봤을 때 나의 코드에 확실한 경로 설정과 해설 코드에서는 split() 이 보이지 않았다

 

.text[0:2] 가 같은 역할을 하는 것 같다.

 

 

---

 

 

같은 결과 값 속에도 역시 다른 코드를 볼 수 있다.

 

앞으로도 이런 부분을 경험하고 코드를 비교하면서 어떤 코딩을 해야 더 보기 쉽고 간편하고 효율적으로 할 수 있는지 안목을 넓힐 필요가 있다.

 

간단한 문제라 여기고 할 순 없었지만, 그래도 이렇게 하나 하나 해결해 나아가면서 결과를 만들어 낼 수 있는 능력을 기르는 것.

 

정말 값진 경험이고 꾸준힌 노력이 필요할 것 같다.

 

더 정진해서 나아가자.