cloud bee

오늘은 kubernetes 이론 중 하나인 daemonset에 대해 알아보도록 할 것이다. Daemonset의 동작과정은 다음과 같다. 1. daemonset은 kubernetes cluster 모든 노드에 특정 파드를 실행하고자 할 때 사용하는 컨트롤러이다. 2. daemonset은 kubernetes cluster 내에서 노드가 하나 생성되었을 때 자동으로 daemonset이 자동으로 생성된 노드에 pod를 실행시킨다. 3. 노드가 사라지면 노드에 위치한 pod도 같이 사라진다. 주로 Daemonset이 어디에 쓰일까? Daemonset 같은 경우는 주로 cluster 내에 있는 containers log를 수집하는 fluetd에 주로 쓰인다. 간단하게 amazon console 환경에서 Daemon..

EMR과 S3를 활용하여 amazon web service console 환경에서 해당 아키텍처를 구축해 보도록 할 것이다. 아키텍처 이미지 블로그 과정에서 필요로 하는 서비스 목록 ✅ Amazon EMR ✅ Amazon S3 ✅ IAM ( Identity and Access Management ) 블로그 실습 조건 ✅ amazon console account ✅ region: ap-northeast-2( 서울 리전 ) Amazon Web Service Steps Step1. Create default vpc Step2. Create Key Pair & Security Group Step3. Create S3 Bucket Step4. Create a Role in Identity and Access Ma..

이번에 구현해 볼 다이어그램은 다음과 같이 구성되어 있다. amazon web service console에서 사용한 서비스 목록 Amazon Virtual Private Cloud Amazon Elastic Compute Cloud AWS Identity and Access Management Amazon Simple Queue Service Amazon CloudWatch 다이어 그램 동작과정 1. Amazon Ec2 instance를 Root 계정으로 접속한다. 2. Root 계정으로 접속 시 자동으로 root_log 파일이 생성된다. ( root_log 안에는 로그인 날짜가 기록되어 있다. ) 3. Root 계정으로 접속 시 SQS에 메시지를 자동으로 전송한다. 4. root_log 파일이 생기면..

오늘은 ec2 instance에서 발생하는 access log를 cloudwatch-agent로 로그를 수집할 것이다. 해당 다이어그램은 다음과 같다. 블로그 과정에서 필요로 하는 서비스 목록 ✅ Amazon ec2( Amazon Elastic Compute Cloud ) ✅ IAM ( Identity and Access Management ) ✅ Amazon CloudWatch 블로그 실습 조건 ✅ amazon console account ✅ region: ap-northeast-2( 서울 리전 ) Amazon Web Service Steps Step1. Create vpc for 10.0.0.0/16 band Step2. Create a public subnet with availability zon..

다이어 그램은 위 사진과 같이 구성되어 있다. 총 3가지로 구성할 것이다. 1. S3를 생성하여 demo.csv file을 업로드한다. 2. glue catalog와 glue crawler을 생성하여 실행할 것이다. 3. 이제 크롤링된 데이터를 바탕으로 athena를 통해 쿼리를 진행할 것이다. 우선 먼저 S3를 생성하도록 해주자. windows powershell이나 cmd를 준비하여 rootcsv파일을 통해 "aws configure" 명령어를 통해 사용자 인증을 해주도록 한다. 이제 cmd에서 다음과 같은 명령어를 사용해 S3를 생성하도록 해준다. aws s3 mb s3://demo-korea-s3 이제 S3를 생성하였다면 아래 csv파일을 다운로드하여 S3에 업로드하도록 해준다. amazon we..

오늘은 아래와 같은 다이어그램으로 amazon web service serverless를 구현해 보았다. 해당 다이어그램에서 사용한 서비스는 아래와 같다. - cloud cloudfront - api gateway - amazon simple storage service(S3) - lambda - Amazon dynamodb 번외로 실제 실습을 진행하면서, "identity and access management(IAM)"도 사용하여 실습을 하였었다. 이 다이어그램으로 실습을 진행하였을 때 어떤 식으로 표시가 되고 동작되는지 알아보도록 하겠다. 우선 나는 이걸 실습을 진행하였을 때 다음과 같은 방법으로 진행하였다. 1. amazon simple storage service(S3) 생성 2. amazon ..

위에 있는 사진은 해당 실습에서 사용할 아키텍처이다. 해당 아키텍처를 참고하여 codepipeline에 관한 실습을 진행하도록 할 것이다. 목표: codecommit에 업로드된 test.txt를 codebuild를 통해 test.txt 내용물 안에 있는 'a'라는 알파벳을 'ㅁ'으로 치환한 후 S3에 업로드하도록 한다. 우리가 해당 목표를 구현하기 위한 단계이다. 요구사항 1. amazon web service console 계정을 준비한다. 2. 적절한 IAM 권한을 생성해 준다. 3. code commit을 생성한다. 4. S3를 생성한다. 5. codecommit에 test.txt, buildspec.yml을 업로드한다. 6. codebuild를 생성하도록 한다. 7. codepipeline을 생성..

amazon web service에서 인프라 서비스를 구축하고자 할 때, 멀티 가용영역(availability zone)을 활용하여 구축하는 경우가 많다. 보통 region안에 2개의 가용영역(availability zone)을 사용하거나 3개의 가용영역(availability zone)을 사용한다. amazon web service 공식문서에는 2개의 AZ(availability zone)를 가지는 VPC를 생성하는 예제가 있으나, 3개의 AZ(availability zone)를 가지는 VPC를 생성하는 예제는 보이지 않았다. 그래서 나중에 편리하게 참고하고자 3개의 AZ(availability zone)를 가지는 VPC를 생성하도록 할 것이다. 해당 VPC stack을 생성하기에 앞서 나는 AWS E..

나는 해당 깃허브와, AWS 공식문서를 통해 실습을 진행하였다. 데이터 스트림을 소스 및 싱크로 사용하여 flink용 kinesis data analytics를 생성하였다. https://github.com/aws-samples/amazon-kinesis-data-analytics-flink-starter-kit GitHub - aws-samples/amazon-kinesis-data-analytics-flink-starter-kit: Amazon Kinesis Data Analytics Flink Starter Kit helps you Amazon Kinesis Data Analytics Flink Starter Kit helps you with the development of Flink Applic..

오늘은 EKS에서 EFS 기능을 구현할 것이다. https://beecloud.tistory.com/7 AWS EKS 실습 입문( EKS 생성&연결, 도커 이미지 작성) 오늘은 EKS를 실습해보도록 한다. 우선 EKS를 시작하기전에 VPC, 서브넷, 라우팅 테이블, 인터넷 게이트웨이, 보안그룹 등 기본적인 네트워킹 설정을 한다. vpc.yml 파일로 stack을 작성하고 cloudformation beecloud.tistory.com 위 링크에서 생성하였던 instance를 통해 cluster를 사용할 것이다. 우선 CSI를 사용하기 위해 정책부터 생성하도록 한다. curl -o iam-policy-example.json https://raw.githubusercontent.com/kubernetes-s..