Crawling 2

Crawling[Crawling, Basic] 네이버 주식 크롤링

이전 포스팅을 통해 가상환경 설치와 간단한 크롤링 하는 코드를 작성했음. 또한 해당 포스팅은 나도 코딩님의 강의를 통해 학습한 내용을 포스팅 함. 본격적인 크롤링을 위해 가상환경에 pandas, selenium, lxml 설치하기 pip install pandas selenium lxml 우선 각각의 라이브러리가 어떤 것인지에 대한 간단한 설명으로 아래와 같다. Pandas - 데이터 조작과 분석을 위한 파이썬 라이브러리 - 주로 표 형식의 데이터를 다루는 데 사용되며, 데이터를 읽고 쓰는 기능을 포함 Selenium - 웹 애플리케이션을 테스트하기 위한 도구로 시작되어 - 웹 브라우저 자동화를 위한 강력한 라이브러리로 널리 사용됨. - 웹 페이지를 제어하고 데이터를 스크래핑하는 데 사용됨. Xml - ..

Crawling 2024.03.13

[Crawling, Basic] 기초

해당 포스팅은 추후에 기억을 상기시키기 위한 목적으로 작성하는 것으로 혹시 잘못된 부분이나 해당 글에 대한 문제가 있다면 댓글로 남겨주시면 감사하겠습니다. # 크롤링(Crawling) # 순서 # 웹 사이트 접속 행위(요청,Req) # HTML 데이터를 가져오기(조회,Res) -> Parsing from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen("https://news.naver.com/") bsObject = BeautifulSoup(html, "html.parser") # 위 네이버 뉴스 링크 경로에서 img 태그를 모두 찾은 다음 # 해당 link에 있는 scr 경로를 조회하는 코드 for link in b..

Crawling 2024.03.13