목록
반응형
python (36)

SW

[Python] CSS selector를 이용하여 Daum 뉴스기사 제목 크롤링하기

CSS selector란? CSS selector는 직역하면 CSS 선택자이며 의미는 특정 요소를 선택하여 스타일을 적용할 수 있도록 도와준다. 위 그림을 보면 선택자로 p태그에 정의되어 있으며 해당 태그를 여러 속성을 주어 스타일을 적용했다. 이처럼 { 기호가 나오기 이전의 부분을 선택자(selector) 라고 표현하며 파이썬에서 크롤링을 할 때 HTML에 정의되어 있는 많은 selector를 이용하여 데이터를 추출할 수 있다. 쉽게 생각하면 CSS selector는 태그의 연속으로 이루어진 문자열 이라고 생각할 수 있다. (태그 말고도 클래스명, 아이디값 등 다양한 값이 올 수 있으며 아래에서 다룰 예정이다.) 사용방법 기존에는 find(), findAll() 등의 함수를 사용했다면 CSS Sele..
Python 2022. 5. 8. 16:43
[Python] HTML 코드를 이해하여 크롤링 다루기

이전 포스팅 글에서는 태그의 클래스명(class=”...”) 을 가지고 내용을 추출하는 방법을 알아보았다. 이번 포스팅 글에서는 임의로 작성된 HTML 코드를 이해하여 작성된 HTML Content를 가지고 파이썬으로 크롤링 하는 다양한 방법들을 살펴볼 예정이다. 먼저 데이터를 추출하기 위한 임의의 HTML 코드는 다음과 같이 작성했다. 임의로 작성된 HTML 코드 타이틀 크롤링이란? 예시로 크롤링 이해하기 HTML 코드를 이해하여 크롤링 다루기 태그를 이용한 데이터 추출 content = """ 임의로 작성된 HTML 코드 타이틀 크롤링이란? 예시로 크롤링 이해하기 HTML 코드를 이해하여 크롤링 다루기 """ soup = BeautifulSoup(content, 'html.parser') data =..
Python 2022. 5. 8. 16:23
[Python] 크롤링이란? 예시로 크롤링 이해하기

크롤링(Crawling)이란? 크롤링이란 쉽게 설명하면 웹사이트에서 내가 원하는 데이터를 추출하는 것이다. 크롤링이라는 의미의 이해를 돕고자 예시를 가져왔다. 특정 쇼핑몰 인기순위 top10 제품의 이름과 가격 가져오기 네이버 블로그 검색 결과 가져오기 특정 인터넷 기사의 기사 제목 가져오기 쿠팡 검색창에서 노트북 검색 후 상위 4개 상품의 상품명 가져오기 이처럼 사용자가 원하는 웹사이트에 들어가서 원하는 데이터를 추출하여 가져오는 것을 말한다. 파이썬은 크롤링을 위한 많은 라이브러리를 제공하고 있으며 라이브러리를 통해 편리하게 크롤링 기능을 구현할 수 있다. 주로 파이썬에서 크롤링을 위해 필요한 라이브러는는 requests, BeautifulSoap 이다. requests library 페이지를 가져오..
Python 2022. 5. 8. 16:19
[Python] 리스트, 튜플, 셋, 딕셔너리 정리하기

[Python] 리스트, 튜플, 셋, 딕셔너리 정리하기 Python Collections 리스트, 튜플, 셋, 딕셔너리 4가지가 존재 List : 원소들이 순서가 있는 상태로 나열되어 있는 것 Set : 원소들이 순서가 없는 상태로 나열되어 있는 것 인덱스 접근이 불가능하다. Tuple : 리스트와 비하지만 원소들의 값을 바꿀 수 없다는 특징이 있음 Dictionary : key - value 쌍으로 이루어져 있고, 순서가 없다. key 값을 기준으로 인덱싱을 하기 때문이다. List Constructor 을 통해서 생성할 수 있다. 서로 다른 타입의 데이터를 담을 수 있다. 가변적이고 순차적인 특징을 가지고 있다. # list 라는 메소드를 통해서 만든 예시 thislist = list(("apple"..
Python 2022. 5. 7. 15:30
Fast API란? 튜토리얼을 통해 이해하기

What is Fast API? FastAPI는 타입 힌트(Type hint)를 제공하는 파이썬 웹 프레임워크로 현대적이고 빠른(고성능) 개발을 지원한다. Type hint 알고가기 def foo(a: int) -> int: b: int = 10 return a*b 타입 힌트는 python 3.5 버전 이상에서 사용할 수 있으며, 코드 가독성 향상 및 사용자가 프로그래밍을 할 때 인자 및 변수에 대한 타입을 정의할 때 헷갈리지 않게 도와준다. 위처럼 변수에 타입 힌트를 정의할 수 있으며 언뜻 보면 타입스크립트와 비슷하다. 그러나, 파이썬은 정적 타입을 지향하는 것이 아니다. 타입 힌트는 언어 그대로 힌트를 제공하는 것이며 파이썬은 동적 타입을 지향하는 언어이다. 그래서 인자 a에 정수 값이 아닌 str..
Python 2022. 5. 7. 15:19
[Django] CORS 에러 해결하기

서론 가끔씩 로컬에서 서버를 실행시키고 Front-end, 클라이언트에서 실행시킨 해당 서버에 접근 하려고 할 때 CORS 에러가 발생한다. CORS (Crosss Origin Resource Sharing) 브라우저는 보안상의 이유로 corss-origin http 요청을 거부하는 특징을 가지고 있다. 따라서 이러한 요청을 가능하게 하려면 서버에서 특정 주소를 허락해주어야 한다. CORS는 직역하면 교차 출처 리소스 공유로 표현할 수 있는데 쉽게 설명하면 브라우저에서 다른 출처의 리소스를 공유하는 방법을 말한다. 그래서 이번 글에서는 Django에서 CORS 에러를 해결하는 방법을 다뤄보고자 한다. STEP 1 CORS 에러 해결에 필요한 모듈을 설치한다. pip install django-cors-h..
Django 2022. 5. 7. 15:07
Prev 1 2 3 4 Next