Web Study/practice 4

Python) 네이버 뉴스 기사 크롤링 & HTML 파싱 필요성

import requestsfrom bs4 import BeautifulSoupimport jsonimport reimport sysimport time, randomimport pandas as pddef get_naver_news(query, s_date, e_date, max_pages=1): news_list = [] s_from = s_date.replace('.', '') # 시작 날짜 형식을 'YYYYMMDD'로 변경 e_to = e_date.replace('.', '') # 종료 날짜 형식을 'YYYYMMDD'로 변경 for page in range(1, max_pages + 1): # 페이지 단위로 데이터를 가져옴 url = ( ..

Web Study/practice 2024.12.17

Python) 대학교 공지사항 크롤링

import requestspage = requests.get("URL")pagedcu = page.textrequests.get : 메서드를 사용해 지정된 URL에 HTTP GET 요청: 데이터를 가져와 page 변수에 저장:text는 http 응답의 본문 데이터를 가져오지만, 만약 JSON 데이터를 반환하는 API라면 page.json 사용 from bs4 import BeautifulSoupsoup = BeautifulSoup(page.content, 'html.parser')table = soup.find('tbody')rows = table.find_all('tr')print(table)print(rows): HTML 구조를 분석 가능한 객체로 변환(파싱): 태그 내에서 모든 태그를 찾아 리..

Web Study/practice 2024.12.16

VS Code + 미니콘다: Python 개발 환경 구축하기

ubuntu 환경에서 실행(22.04.5 LTS)home/user 디렉토리에서 진행mkdir –p ~/miniconda3wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh–O ~/miniconda3/miniconda.sh: 위 명령어는 **Anaconda, Inc.**에서 공식적으로 제공하는 Miniconda 설치 스크립트를 다운로드하기 위한 명령어입니다.: 해당 명령어는 공식적으로 제공된 URL을 활용하여 설치 파일을 다운로드하는 방법을 설명할 뿐, 설치 파일 자체를 직접 배포하지 않습니다.bash ~/miniconda.sh: miniconda 설치 스크립트를 실행하여 miniconda 설치rm ~/miniconda.sh..

Web Study/practice 2024.12.11