cloud bee

EMR과 S3를 활용하여 amazon web service console 환경에서 해당 아키텍처를 구축해 보도록 할 것이다. 아키텍처 이미지 블로그 과정에서 필요로 하는 서비스 목록 ✅ Amazon EMR ✅ Amazon S3 ✅ IAM ( Identity and Access Management ) 블로그 실습 조건 ✅ amazon console account ✅ region: ap-northeast-2( 서울 리전 ) Amazon Web Service Steps Step1. Create default vpc Step2. Create Key Pair & Security Group Step3. Create S3 Bucket Step4. Create a Role in Identity and Access Ma..

이번에 구현해 볼 다이어그램은 다음과 같이 구성되어 있다. amazon web service console에서 사용한 서비스 목록 Amazon Virtual Private Cloud Amazon Elastic Compute Cloud AWS Identity and Access Management Amazon Simple Queue Service Amazon CloudWatch 다이어 그램 동작과정 1. Amazon Ec2 instance를 Root 계정으로 접속한다. 2. Root 계정으로 접속 시 자동으로 root_log 파일이 생성된다. ( root_log 안에는 로그인 날짜가 기록되어 있다. ) 3. Root 계정으로 접속 시 SQS에 메시지를 자동으로 전송한다. 4. root_log 파일이 생기면..

오늘은 ec2 instance에서 발생하는 access log를 cloudwatch-agent로 로그를 수집할 것이다. 해당 다이어그램은 다음과 같다. 블로그 과정에서 필요로 하는 서비스 목록 ✅ Amazon ec2( Amazon Elastic Compute Cloud ) ✅ IAM ( Identity and Access Management ) ✅ Amazon CloudWatch 블로그 실습 조건 ✅ amazon console account ✅ region: ap-northeast-2( 서울 리전 ) Amazon Web Service Steps Step1. Create vpc for 10.0.0.0/16 band Step2. Create a public subnet with availability zon..

다이어 그램은 위 사진과 같이 구성되어 있다. 총 3가지로 구성할 것이다. 1. S3를 생성하여 demo.csv file을 업로드한다. 2. glue catalog와 glue crawler을 생성하여 실행할 것이다. 3. 이제 크롤링된 데이터를 바탕으로 athena를 통해 쿼리를 진행할 것이다. 우선 먼저 S3를 생성하도록 해주자. windows powershell이나 cmd를 준비하여 rootcsv파일을 통해 "aws configure" 명령어를 통해 사용자 인증을 해주도록 한다. 이제 cmd에서 다음과 같은 명령어를 사용해 S3를 생성하도록 해준다. aws s3 mb s3://demo-korea-s3 이제 S3를 생성하였다면 아래 csv파일을 다운로드하여 S3에 업로드하도록 해준다. amazon we..

나는 해당 깃허브와, AWS 공식문서를 통해 실습을 진행하였다. 데이터 스트림을 소스 및 싱크로 사용하여 flink용 kinesis data analytics를 생성하였다. https://github.com/aws-samples/amazon-kinesis-data-analytics-flink-starter-kit GitHub - aws-samples/amazon-kinesis-data-analytics-flink-starter-kit: Amazon Kinesis Data Analytics Flink Starter Kit helps you Amazon Kinesis Data Analytics Flink Starter Kit helps you with the development of Flink Applic..