이번 프로젝트에서는 교통사고분석시스템 TAAS의 데이터를 시각화하여 2017 ~ 2021년 사이의 교통사고 데이터를 분석해 보려 합니다. 1. 교통사고 추세 출처 : http://taas.koroad.or.kr/sta/acs/exs/typical.do?menuId=WEB_KMP_OVT_UAS_ASA 현재 우리나라의 교통사고 건수는 2019년 ...

최근 Analytics on AWS workshop를 진행하며 처음에는 몇만 원 과금되었던 것이 눈덩이처럼 불어더니 결국 10만 원을 넘어갔고, 그제서야 무언가 잘못되었다는 것을 깨달았으나 대체 뭘 해야할지 몰라 일단 두었습니다.(당시 Warehouse on Redshift 과정 하나만 남겨두고 있었는데, 얼른 끝내고 Clean up 해버리자는 생각으...

이 모듈에서는 매우 구체적인 사용 사례 예제로 Lambda 함수를 생성 할 것입니다. 우리가 작성할 람다 함수는 Athena가 S3의 processsed data에서 Hits 별 Top 5 Popular Songs를 쿼리하고 가져 오는 코드를 호스팅합니다. 1. Lambda 함수 생성 Lambda 콘솔 https://us-east-1.conso...

이번에는 Amazon Quicksight를 사용하여 S3에 수집, 저장된 데이터에 대해 몇 가지 시각화를 구축할 것입니다. 1. QuickSight 셋팅 이 단계에서는 QuickSight를 사용하여 processsed data를 시각화합니다. 먼저 Quicksight 콘솔 https://us-east-1.quicksight.aws.amazon...

저번 시간까지 Glue와 Glue Studio를 이용해 데이터를 변환하는 방법을 알아보았는데, AWS Glue DataBrew와 EMR 부분은 생각보다 이번 달 비용 발생이 커 우선 패스하고 Analyze with Athena부터 진행해보려 합니다. 이 단계에서는 Amazon Athena를 사용하여 변환 된 데이터를 분석합니다. 우선 Amazo...

AWS Glue Studio는 AWS Glue에서 추출, 변환 및 로드(ETL) 작업을 쉽게 생성, 실행 및 모니터링 할 수 있는 새로운 그래픽 인터페이스 입니다. 데이터 변환 워크플로우를 시각적으로 구성하고 AWS Glue의 Apache Spark 기반 서버리스 ETL 엔진에서 원활하게 실행할 수 있습니다. 이 실습에서는 Transform Data...

이 모듈에서는 AWS Glue ETL을 사용하여 데이터를 처리하고 결과를 다시 S3에 저장합니다. Glue 개발 엔드포인트와 Sagemaker 노트북을 사용하여 데이터 변환 단계를 진행합니다. 1. Glue 개발 엔드포인트 생성 이 단계에서는 PySpark를 사용하여 Glue ETL 스크립트를 대화식으로 개발하기 위해 AWS Glue Dev E...

이번 Catalog Data에서는 AWS Glue Data Catalog에 데이터 세트를 등록하여 Glue Crawlers의 도움으로 메타 데이터 캡처를 자동화 한다고 합니다. 카탈로그 엔터디가 생성되면 Amazon Athena에서 데이터의 raw 포맷의 데이터에 대해 쿼리를 시작할 수 있습니다. 1. IAM Role 생성 IAM 콘솔 http...

Analytics on AWS 워크샵에서는 분석 플랫폼을 구축하는 다양한 모듈 중 일부를 살펴보며 AWS Glue, Amazon Athena, Amazon EMR, Amazon QuickSight, AWS Lambda 및 Amazon Redshift와 같은 여러 분석 서비스를 사용하여 데이터를 수집, 저장, 변환, 소비하는 방법을 배웁니다. 이 ...

이번 장에서는 저번 장에서 배운 개념을 실제 코드로 구현해 보는 것이 주 내용입니다. 합성곱 신경망을 구성하는 코드를 먼저 봅시다. 1. 합성곱 신경망 만들기 from tensorflow import keras from sklearn.model_selection import train_test_split (train_input, train_tar...