AI/데이터분석4 회원별 당구 에버리지 데이터 분석 (feat. Pandas) 1. Data 분석 동기Python과 데이터분석을 활용하지 않은지 꽤 오래되어서 Pandas와 Matplotlib라이브러리 사용법을 잊어버리고 있었다...최근에 취미생활로 활동 중인 당구 동호회에서 회원별 에버리지 Data를 수집하고 있는데 이를 활용하여 그동안 잊고 지냈던 Python 감각을 일깨워 주고자 했다. 임베디드 영역에서도 온 디바이스 AI 열풍으로 AI 관련 기술을 익히는 건 아깝지 않다고 생각한다. (데이터분석은 AI 알고리즘을 활용하기 위해 매우 필요한 기술스택이다.)2. 원천 데이터 xlsx 파일을 csv 파일로 변환하기pip install pandas openpyxl # 당연히 Pandas는 설치되어야 한다.import pandas as pdavg_file = "AVG_Data.xl.. 2024. 9. 16. 웹API (JSON, XML) 1. 데이터수집의 3가지 유형 일반적인 데이터수집에는 3가지 유형이 있다. - DB(데이터베이스)에 직접 접근하여 데이터를 가져오기 - 웹 API를 통하여 데이터를 가져오기 - 웹 스크래핑(크롤링)를 통하여 필요한 데이터 가져오기 데이터베이스에 직접 접근하여 데이터를 가져와도 되지만, 회사의 보안 정책등에 의해 직접 접근 할 수 없는 경우가 많다. 이럴 경우 웹API나 웹스크래핑으로 필요한 데이터를 가져와 수집하게 된다. 2. 웹 API 란? - API(Application Programming Interface) - 두 어플리케이션이 데이터를 주고 받기 위한 규칙 - 웹 API는 HTTP 프로토콜을 사용하여 웹 서버측(프로그램A)에서 클라이언트(프로그램B)에게 데이터를 전달하는 방식 - 웹 API의 사.. 2023. 4. 17. 데이터프레임_도서관대출데이터 1. CSV 파일 - CSV 파일은 콤마(,)로 구분된 텍스트파일 - 한줄을 하나의 레코드(Record)라고 함 - 레코드는 콤마로 구분된 여러 필드(Field)로 구성 - 엑셀(xlsx)의 행은 CSV로 한줄로 표현, 열은 콤마로 구분 - 데이터분석 분야에는 엑셀보다 단순한 텍스트 파일인 CSV 파일을 더 선호함. 2. 데이터 다운로드 import gdown # gdown 패키지 모듈 # gdown 패키지는 구글 드라이브를 포함하여 웹에서 대용량 파일을 다운로드 할 수 있는 패키지 gdown.download('http://bit.ly/3eecMKZ','남산도서관 장서 대출목록 (2023년 03월).csv', quiet = False) # 가장 최신 데이터로 받음 3. csv 파일 출력 import ch.. 2023. 4. 16. 데이터분석 파이썬 필수 라이브러리 1. 넘파이(Numpy) - 넘파이는 numerical python의 약자 - 고성능 과학 계산과 다차원 배열을 위한 라이브러리 - 대부분 파이썬 데이터 분석 패키지는 데이터를 다룰때 넘파이 배열을 사용 2. 판다스(Pandas) - 판다스는 데이터 분석을 위한 전문 패키지 - 넘파이 배열과 다르게 엑셀의 시트처럼 숫자와 문자를 섞어 표 형태로 저장할 수 있는 데이터프레임 (DataFrame)을 사용 - 데이터 분석에서 기본 자료 구조로 넘파이와 판다스를 자주 사용함 3. 맷플롯립(Matplotlib) - 파이썬 데이터 시각화를 위한 기본 패키지 - 고품질의 매우 다양한 그래프를 제공함 - 맷플롯립 외에 시본Seaborn, 보케 bokeh 와 같은 시각화 패키지를 많이 사용함 4. 사이파이(SciPy) .. 2023. 4. 15. 이전 1 다음
