목록Tips(Reference)/aws (4)

Developing

AWS CLI S3 작업 업무 효율높이기(PS 스크립트화,pandas 활용)

[상황]AWS CLI를 활용하여 수만 ~ 수십만 건의 데이터를 S3 Bucket->S3 Bucket, Local->S3 Bucket 등으로 여러 차례 마이그레이션하면서 다음과 같은 불편함을 느꼈다. 1. AWS CLI Command를 실행하였을 때 작업 예상 대기시간을 알기 어렵다.(소요시간 제공 기능이 따로 없음) 2. 숫자네이밍으로 구성된 폴더 단위로 업로드하는데 업로드 현황 파악을 하기가 매우 힘들었다. 잘 업로드되었는지 AWS 콘솔에서 여러 폴더를 검색해야 했고 굉장한 피로감이 느껴졌다.(--debug 옵션을 주어서 로그를 남기는 경우 로그파일이 너무 커져서 notepad로 열리지도 않았다.) 3. 폴더 네이밍을 고려하여 범위지정 업로드를 위해 include, exclude 옵션으로 wildcar..
Tips(Reference)/aws 2023. 11. 5. 02:52
AWS 다른 계정으로 S3 Data Migration 하는 방법

S3 데이터를 AWS 다른계정으로 이관해야 할 일이 생겨서 관련 포스팅을 진행하고자 한다. A -> B 계정으로 S3 이관을 진행한다고 가정할 때, 이루어지는 과정은 다음과 같다. 1. A계정 S3 Bucket Policy 변경 1-1) 기존에 Bucket Policy가 이미 설정되있는 경우 Bucket Policy에 cloudfront같은 설정이 포함되어있을 수 있다. 기존에 작성된 내용에서 "Statement"의 마지막 부분에 다음의 내용을 추가해준다. 여기서의 {B계정에 IAM 권한 설정한 사용자이름}에 관한 부분은 2~3번 내용을 먼저 참고한 뒤에 작성하면 된다! { "Sid": "DelegateS3Access", "Effect": "Allow", "Principal": { "AWS": "arn:..
Tips(Reference)/aws 2023. 8. 9. 22:33
AWS 키페어 pem->ppk , ppk->pem 파일 변경하기

1) .ppk -> .pem 파일로 변환하고 싶은 경우 Load 버튼으로 ppk 파일을 불러온 뒤 상단의 Conversions > Export OpenSSH Key 를 선택 후 .pem 파일로 저장한다. 2) .pem -> .ppk 파일로 변환하고 싶은 경우 Load 버튼으로 pem 파일을 불러온 뒤 Save private Key를 선택해 저장하면 된다. AWS 공식문서에 command를 활용하는방법도 있는 듯 하다! https://aws.amazon.com/ko/premiumsupport/knowledge-center/ec2-ppk-pem-conversion/
Tips(Reference)/aws 2022. 6. 1. 11:29
aws cli "You must specify a region. You can also configure your region by running "aws configure" 현상

aws ecs create-cluster --cluster-name fargate-cluster 위의 명령어로 aws cli를 활용하여 ecs cluster를 생성하려던 중, You must specify a region. You can also configure your region by running "aws configure". 문구가 출력되는 현상이 발생하였습니다. 해당 문구는 aws configure 시에 default region name을 입력하지 않아서 생긴 현상입니다. aws configure 명령어를 다시 해주면 해당 현상이 해결됩니다. aws configure AWS Access Key Id : AWS Secret Access Key : Default region name : [여기에..
Tips(Reference)/aws 2022. 5. 25. 21:37
이전 Prev 1 Next 다음