목록aws s3 cp (1)

Developing

AWS CLI S3 작업 업무 효율높이기(PS 스크립트화,pandas 활용)

[상황]AWS CLI를 활용하여 수만 ~ 수십만 건의 데이터를 S3 Bucket->S3 Bucket, Local->S3 Bucket 등으로 여러 차례 마이그레이션하면서 다음과 같은 불편함을 느꼈다. 1. AWS CLI Command를 실행하였을 때 작업 예상 대기시간을 알기 어렵다.(소요시간 제공 기능이 따로 없음) 2. 숫자네이밍으로 구성된 폴더 단위로 업로드하는데 업로드 현황 파악을 하기가 매우 힘들었다. 잘 업로드되었는지 AWS 콘솔에서 여러 폴더를 검색해야 했고 굉장한 피로감이 느껴졌다.(--debug 옵션을 주어서 로그를 남기는 경우 로그파일이 너무 커져서 notepad로 열리지도 않았다.) 3. 폴더 네이밍을 고려하여 범위지정 업로드를 위해 include, exclude 옵션으로 wildcar..
Tips(Reference)/aws 2023. 11. 5. 02:52
이전 Prev 1 Next 다음