본문 바로가기

ALL124

웹API (JSON, XML) 1. 데이터수집의 3가지 유형 일반적인 데이터수집에는 3가지 유형이 있다. - DB(데이터베이스)에 직접 접근하여 데이터를 가져오기 - 웹 API를 통하여 데이터를 가져오기 - 웹 스크래핑(크롤링)를 통하여 필요한 데이터 가져오기 데이터베이스에 직접 접근하여 데이터를 가져와도 되지만, 회사의 보안 정책등에 의해 직접 접근 할 수 없는 경우가 많다. 이럴 경우 웹API나 웹스크래핑으로 필요한 데이터를 가져와 수집하게 된다. 2. 웹 API 란? - API(Application Programming Interface) - 두 어플리케이션이 데이터를 주고 받기 위한 규칙 - 웹 API는 HTTP 프로토콜을 사용하여 웹 서버측(프로그램A)에서 클라이언트(프로그램B)에게 데이터를 전달하는 방식 - 웹 API의 사.. 2023. 4. 17.
데이터프레임_도서관대출데이터 1. CSV 파일 - CSV 파일은 콤마(,)로 구분된 텍스트파일 - 한줄을 하나의 레코드(Record)라고 함 - 레코드는 콤마로 구분된 여러 필드(Field)로 구성 - 엑셀(xlsx)의 행은 CSV로 한줄로 표현, 열은 콤마로 구분 - 데이터분석 분야에는 엑셀보다 단순한 텍스트 파일인 CSV 파일을 더 선호함. 2. 데이터 다운로드 import gdown # gdown 패키지 모듈 # gdown 패키지는 구글 드라이브를 포함하여 웹에서 대용량 파일을 다운로드 할 수 있는 패키지 gdown.download('http://bit.ly/3eecMKZ','남산도서관 장서 대출목록 (2023년 03월).csv', quiet = False) # 가장 최신 데이터로 받음 3. csv 파일 출력 import ch.. 2023. 4. 16.
데이터분석 파이썬 필수 라이브러리 1. 넘파이(Numpy) - 넘파이는 numerical python의 약자 - 고성능 과학 계산과 다차원 배열을 위한 라이브러리 - 대부분 파이썬 데이터 분석 패키지는 데이터를 다룰때 넘파이 배열을 사용 2. 판다스(Pandas) - 판다스는 데이터 분석을 위한 전문 패키지 - 넘파이 배열과 다르게 엑셀의 시트처럼 숫자와 문자를 섞어 표 형태로 저장할 수 있는 데이터프레임 (DataFrame)을 사용 - 데이터 분석에서 기본 자료 구조로 넘파이와 판다스를 자주 사용함 3. 맷플롯립(Matplotlib) - 파이썬 데이터 시각화를 위한 기본 패키지 - 고품질의 매우 다양한 그래프를 제공함 - 맷플롯립 외에 시본Seaborn, 보케 bokeh 와 같은 시각화 패키지를 많이 사용함 4. 사이파이(SciPy) .. 2023. 4. 15.
SQL 데이터형식 정리 테이블을 생성할때는 데이터의 형식을 설정해야한다. 각 데이터에 맞는 데이터 형식을 지정함으로써 효율적으로 저장할 수 있다. 1. 정수형 DataType Byte Range TINYINT 1 -128 ~ 127 SMALLINT 2 -32,768 ~ 32,767 INT 4 약 -21억 ~ +21억 BIGINT 8 약 -900경 ~ +900경 2. 문자형 DataType Byte 설명 CHAR 1 ~ 255 고정형 VARCHAR 1 ~ 16383 가변형 - VARCHAR가 CHAR보다 메모리를 효율적으로 운영할 수 있지만 MySQL 내부적으로 성능 면에서는 CHAR로 설정하는 것이 더 좋다. - 전화번호와 같은 숫자로써 의미가 없고 연산에 의미가 없다면 문자형으로 지정하는 것이 좋다. (더하기 빼기 등의 연산.. 2023. 4. 15.
입/출력 임피던스(Impedance, Z) 임베디드 회로를 공부하고, 여기저기 찾아다니다 보면 "임피던스"라는 용어를 말을 자주 듣게 된다. 특히 "입력 임피던스가 세다", "출력 임피던스가 세다" 이런 말을 자주 들었는데 이번에 임베디드 회로 영역에서 매우 중요한 만큼 의미를 정리하고자 한다. 1. 리액턴스 (Reactance) tip : 리액턴스 (주파수의 저항) = 커패시터에서 발생하는 용량성 리액턴스(Xc) + 인덕터에서 발생하는 유도성 리액턴스(Xl) 리액턴스는 주파수에 따라 변하는 교류AC의 흐름을 막는 저항 성분의 크기를 의미한다. 단위는 저항과 마찬가지로 옴Ω 단위를 사용한다. 저항은 전력을 소모를 의미하지만, 리액턴스는 에너지를 저장 할뿐 전력 소비는 없다. 리액턴스는 커패시턴스와 인덕턴스에서 생기는데 커패시턴스는 용량성 리액턴스.. 2023. 4. 14.
리스트와 for문 1. 리스트 리스트는 여러가지 자료를 저장할 수 있는 자료형이다. C언어와는 다르게 한가지 자료형으로 구성할 수도 있고 여러 종류의 자료형으로 구성할 수도 있다. # 리스트 생성 ary = [1,2,3,"문자열",True, False ] # 여러가지 자료형 리스트 ary2 = [1,2,3] # 한가지 자료형(int) 리스트 ary3 = ['p','y','t','h','o','n'] # 한가지 자료형(str) 리스트 print(ary); print(ary2); print(ary3); 리스트에 들어 있는 자료들을 각각 요소(element)라고 하며, 리스트 기호인 [ ]안에 들어간 숫자를 인덱스(index)라고 한다. ary = [1,2,3,4,5] print(ary[0]); print(ary[1]); pr.. 2023. 4. 14.

티스토리툴바