본문 바로가기
반응형

전체 글

 (249)
EMR Elastic MapReduce mapreduce: EMR (Elastic MapReduce): EC2에서 사용 가능한 Hadoop 프레임워크 spark, hbase, presto, flink, hive 등 포함 AWS 와 연동 가능한 부분이 꽤 있음 EMR 클러스터 구성 (각 node는 ec2인스턴스이다): master node: 클러스터 매니징 single EC2 instance core node: HDFS 데이터 호스팅 태스크 실행 scale up, down 가능하지만 리스크가 따름 task node: 태스크 실행, 데이터는 호스팅 안함 삭제 시 데이터 리스크 없음 EMR notebook: Zeppling 과 유사하지만 aws 와 더 연동 가능 s3에 백업됨 VPC 내에서 호스팅됨 AWS콘솔로만 접근 가능함 EMR보안: IAM p..
Amazon Athena, QuickSight Athena: S3에 사용 가능한 interactive query service 내부적으로 presto serverless 다양한 데이터 포맷 지원 구조화 되어있거나 구조화되어 있지 않은 데이터 모두 가능 QuickSight: 클라우드 기반 비즈니스 분석 시스템
AWS Glue, Data Pipeline, Batch, DMS **내가 이해한대로 아무렇게나 메모... Glue: metadata 저장소 자동으로 스키마를 유추하고 버전매김 Athena, Redshift Spectrum 등과 연동해서 쓸 수 있음 Glue Crawlers가 Glud Data Catalog를 만들고 데이터 스키마와 파티셔닝 관련된 기능 Glue ETL: 데이터 추출, 가공, 적재까지 분석 전에 가능 python, scala 기반 머신러닝을 위한 AWS 데이터 적재: Redshift RDS, Aurora Dynamo DB S3 OpenSearch(기존 ElasticSearch) ElastiCache Data Pipeline: S3, RDS, DynamoDB, Readshift, EMR에 데이터 적재 on-premises 데이터 받아 올 수 있음 환경 조..
메타데이터 metadata
ETL
AWS Kinesis apache kafka 같은 실시간 데이터 분석처리 시스템 실시간 빅데이터 처리에 용이 producer -> Kinesis Streams -> Kinesis Analytics -> Kinesis Firehose -> 저장소 stream은 ordered shards/partitions으로 되며 실시간임 24시간 데이터 보유 및 1년까지도 가능 한번 kinesis 에 데이터가 들어가면 삭제할 수 없음 provisioned mode: provision 될 shard 수를 정하고 수동으로 또는 API로 scale한다 각 shard는 1MB/s in(또는 1000 records per second) 각 shard는 2MB/s out 시간 당 provision된 shard 만큼 지불한다 on-demand mode:..
aws ml 자격증 시험 등록 https://www.certmetrics.com/amazon/default.aspx AWS Training & Certification - Error static.aws.training 하려는데.... 시험 등록 아무리 눌러도 아무것도 안나온다... 보면 안되려나;; 날 말리는 느낌인것같기도 다음날 신청 됐다! 제발 붙어라~!!!!!!!!!!!
DMZ Demilitarized Zone NAT
Next.js
월드 프리미어 world premiere ces같은게 아니라 그냥 사전적인 의미인건가...
반응형

티스토리툴바