본문 바로가기
반응형

1차완료

 (76)
Feature Engineering 개인의 지식이나 생각을 데이터 모델 트레이닝에 적용하는 것 (하기 목록 등을 결정하는 것) 어떤 걸 기준삼아 트레이닝 할 지 어떻게 데이터를 가공할지 어떻게 누락된 데이터를 처리할지 어떻게 새로운 모델을 기존거에서 만들어 낼 지 등 the curse of dimensionality 너무 많은 feature가 있으면 오히려 안좋음 누락된 데이터 처리 방법: Mean Replacement 평균값으로 대체하기 중간 값을 사용하기도 함(outlier가 있는 경우 더 좋을 수도 있음) 보통 좋은 방법은 아님 삭제 Machine Learning KNN(find K nearest) Deep Learning Regression MICE (Multiple Imputation by Chained Equations) 데이터..
EMR Elastic MapReduce mapreduce: EMR (Elastic MapReduce): EC2에서 사용 가능한 Hadoop 프레임워크 spark, hbase, presto, flink, hive 등 포함 AWS 와 연동 가능한 부분이 꽤 있음 EMR 클러스터 구성 (각 node는 ec2인스턴스이다): master node: 클러스터 매니징 single EC2 instance core node: HDFS 데이터 호스팅 태스크 실행 scale up, down 가능하지만 리스크가 따름 task node: 태스크 실행, 데이터는 호스팅 안함 삭제 시 데이터 리스크 없음 EMR notebook: Zeppling 과 유사하지만 aws 와 더 연동 가능 s3에 백업됨 VPC 내에서 호스팅됨 AWS콘솔로만 접근 가능함 EMR보안: IAM p..
Amazon Athena, QuickSight Athena: S3에 사용 가능한 interactive query service 내부적으로 presto serverless 다양한 데이터 포맷 지원 구조화 되어있거나 구조화되어 있지 않은 데이터 모두 가능 QuickSight: 클라우드 기반 비즈니스 분석 시스템
AWS Glue, Data Pipeline, Batch, DMS **내가 이해한대로 아무렇게나 메모... Glue: metadata 저장소 자동으로 스키마를 유추하고 버전매김 Athena, Redshift Spectrum 등과 연동해서 쓸 수 있음 Glue Crawlers가 Glud Data Catalog를 만들고 데이터 스키마와 파티셔닝 관련된 기능 Glue ETL: 데이터 추출, 가공, 적재까지 분석 전에 가능 python, scala 기반 머신러닝을 위한 AWS 데이터 적재: Redshift RDS, Aurora Dynamo DB S3 OpenSearch(기존 ElasticSearch) ElastiCache Data Pipeline: S3, RDS, DynamoDB, Readshift, EMR에 데이터 적재 on-premises 데이터 받아 올 수 있음 환경 조..
ETL
AWS Kinesis apache kafka 같은 실시간 데이터 분석처리 시스템 실시간 빅데이터 처리에 용이 producer -> Kinesis Streams -> Kinesis Analytics -> Kinesis Firehose -> 저장소 stream은 ordered shards/partitions으로 되며 실시간임 24시간 데이터 보유 및 1년까지도 가능 한번 kinesis 에 데이터가 들어가면 삭제할 수 없음 provisioned mode: provision 될 shard 수를 정하고 수동으로 또는 API로 scale한다 각 shard는 1MB/s in(또는 1000 records per second) 각 shard는 2MB/s out 시간 당 provision된 shard 만큼 지불한다 on-demand mode:..
aws ml 자격증 시험 등록 https://www.certmetrics.com/amazon/default.aspx AWS Training & Certification - Error static.aws.training 하려는데.... 시험 등록 아무리 눌러도 아무것도 안나온다... 보면 안되려나;; 날 말리는 느낌인것같기도 다음날 신청 됐다! 제발 붙어라~!!!!!!!!!!!
과학 5호기 이거 이렇게 갖구 싶다...
기아차 RV 트림 종류, 2024.01.13 기아닷컴 기준으로 작성
기아차 승용차 트림 종류, 2024.01.13 기아닷컴 기준으로 작성
반응형

티스토리툴바