파워쿼리를 이용한 데이터 정규화를 진행해 보도록 하겠습니다.공공데이터를 보는 중 예전에는 보지 못한 데이터가 있어서 살펴보려고 합니다.최근 수능이 끝나서 이러한 자료도 올라오는 게 아닌가 하는 생각도 많이 듭니다.데이터를 아래 공공데이터에서 다운 받으실 수 있습니다. 한국전문대학교육협의회_신입생 입시통계현황_202403282024학년도 전문대학 신입생 모집결과(대학교명,계열명,중분류명,모집단위명,학제,주야구분,전형명,모집인원,지원인원,등록인원등)www.data.go.kr 데이터 불러오기 아래와 같이 데이터를 다운 받았습니다.전문대학별 전공학과 모집에 관한 내용으로 보이는데 전처리를 진행해 보도록 하겠습니다.  파워쿼리 편집기로 데이터를 불러오도록 하겠습니다.이번에는 엑셀이 아닌 Power BI로 작업 진..

파워쿼리를 이용한 PDF에서 데이터를 가져오는 것을 알아보도록 하겠습니다.가끔 데이터를 엑셀, csv 파일이 아닌 PDF 파일로 주는 경우가 있습니다.이때 사용할 수 있는 방법입니다.아래와 같이 일자별 데이터가 pdf파일 형식의 데이터가 있습니다.요즘에는 다양하게 PDF를 추출하는 방법들이 있어서 해당 항목을 데이터로 전환할 수 있겠지만 테이블 형식이기 때문에 파워쿼리를 이용한 추출을 진행해 보도록 하겠습니다.  [ 데이터 ] - [ 파일에서 ] - [ PDF에서 ]를 클릭 해 보도록 하겠습니다.파일에서의 옵션 중에서Excel, CSV, 폴더에서, SharePoint 폴더에서, 그리고 PDF 파일순서로 사용 빈도가 있을 거 같습니다. 자주 사용하지 않지만 알아두면 매우 유용할 것이라고 생각합니다.  탐색..

파워쿼리를 이용한 테이블의 짝수( 홀수 ) 행만 구하는 방법을 알아보도록 하겠습니다.우선 데이터를 파워쿼리 편집기로 불로와 보도록 하겠습니다.불러오는 방법은 아래의 글을 참고해 주십시오. [ 파워쿼리 ] 데이터 불러오기( with. Excel )파워쿼리의 시작인 데이터 불러오기를 해 보도록 하겠습니다.아래와 같이 엑셀 데이터를 준비해 준 후 바탕화면에 저장해 주었습니다.원본은 건드리지 않는 것이 가장 좋기 때문에새로운 엑셀sunconnector.tistory.com 아래와 같이 20행의 테이블을 가져왔습니다.짝수 or 홀수행만 남기고 필터링을 해 보겠습니다.우선 짝수행을 제거하는 방법을 시행하도록 해 보겠습니다.[ 홈 ] - [ 행 제거 ] - [ 교대로 행 삭제 ]를 클릭해 줍니다.그리고 오른쪽에 나온..

csv 파일을 파워쿼리로 불러오는 방법을 알아보도록 하겠습니다.데이터 관리를 위해서 사용하는 파일형식 중 가장 대중적인 것이 엑셀과 csv 파일입니다엑셀을 쓰면 되는데 왜 csv 파일을 사용할까요?우선 csv 파일은 무엇일까요? Comma-separated values 콤마로 분리된 값이라는 의미입니다.csv 파일을 사용하는 이유는 주로 아래와 같습니다.#1. 라이센스( 엑셀은 어떤 기업의 소유일까요? ) - 저작권 문제에서 자유로울 수 없습니다.#2. 엑셀 Sheet의 한계 극복 가능 ( 1,048,576행 이상 저장 가능 )      ( 엑셀로 작업하면 2개 이상의 Sheet를 하나로 관리가 가능 )#3. 메모리 관리 ( 엑셀보다 메모리를 덜 차지합니다 )python polars 라이브러리를 활용해서..

엑셀 이중 헤더 데이터를 정규화 하는 방법에 대해서 알아 보도록 하겠습니다.최근 서울페이_업종별_지역화폐_매출_24년08월 데이터를 받았는데 데이터이 이중헤더로 되어 있어서 작업하다가 소개해 드립니다.※ 이번에 소개해 드릴 방법은 파워쿼리가 주로 사용 예정입니다 ( 엑셀 2019 이상 or Power BI 사용자 참고 ) 열린데이터광장 메인데이터분류,데이터검색,데이터활용data.seoul.go.kr해당 참조 파일은 열린데이터 광장에서 다운로드 가능합니다.① 데이터 탐색데이터는 가로로 더 넓은 데이터이나 간단하게 3개의 카테고리를 가지고 전처리를 진행해 보도록 하겠습니다.이런 데이터는 보기는 좋은데 분석하기에는 다소 어려운 상황이 발생할 수 있어 정규화가 필요한 경우가 있습니다.② 데이터 불러오기엑셀 데이..

대구 지하철 역별 일별 시간별 승하차 인원 현황을 알아보도록 하겠습니다. 대구 교통 공사에서 제공하는 공공데이터를 활용하였습니다. 대구교통공사_역별일별시간별승하차인원현황_20231231 대구교통공사 역별 일별 시간별 수송인원현황(2023. 1. 1.~2023. 12. 31.)에 대한 데이터로 역별, 일자별, 시간대별로 승하차인원을 조회할 수 있는 자료입니다. www.data.go.kr | 데이터 전처리 폴더에서 파워쿼리 편집기로 데이터를 불러온 후 Cvs.Document 함수를 활용해서 테이블로 변경해 주었습니다. Content의 테이블에는 연도가 없기 때문에 Name의 연도를 활용하기 위해서 Name을 남겨 줍니다. 맨 오른쪽에서 "_"의 뒤를 추출해주는 작업을 해준 후 앞의 4개의 문자만 남겨 연도를..