Day 7 - 크롤링 (2)
이번 글에서도 파이썬에서 크롤링을 하는 법을 다룰 것이다. 우선 크롤링을 통해 얻어낸 데이터를 텍스트로 저장하는 법에 이어, 그 텍스트를 csv 파일로 변환하는 방법에 대해 공부했다. csv형식으로 데이터를 읽기 위해 텍스트 파일을 만들 때는, 원 데이터에 쉼표가 존재하는지 확인하고 제거해주어야 한다. csv에서 데이터를 쉼표로 구분하기 때문이다. 또한, 순회 크롤링에 대해 배웠다. 순회 크롤링은 같은 양식의 페이지를 순회하며 데이터를 크롤링하는 것으로, 기본적으로 반복문을 통해 제작한다. 다음은 교보문고 베스트셀러 페이지를 이용해 순회 크롤링을 실습한 것이다. 실습할 때 어려웠거나 새로 알게된 점은 다음과 같다. 소스코드나 파싱된 소스코드를 위한 빈 리스트는 굳이 만들 필요 없다는 점 교보문고 사이트의..
2022.10.13