목록Tips(Reference) (16)

Developing

AWS CLI S3 작업 업무 효율높이기(PS 스크립트화,pandas 활용)

[상황]AWS CLI를 활용하여 수만 ~ 수십만 건의 데이터를 S3 Bucket->S3 Bucket, Local->S3 Bucket 등으로 여러 차례 마이그레이션하면서 다음과 같은 불편함을 느꼈다. 1. AWS CLI Command를 실행하였을 때 작업 예상 대기시간을 알기 어렵다.(소요시간 제공 기능이 따로 없음) 2. 숫자네이밍으로 구성된 폴더 단위로 업로드하는데 업로드 현황 파악을 하기가 매우 힘들었다. 잘 업로드되었는지 AWS 콘솔에서 여러 폴더를 검색해야 했고 굉장한 피로감이 느껴졌다.(--debug 옵션을 주어서 로그를 남기는 경우 로그파일이 너무 커져서 notepad로 열리지도 않았다.) 3. 폴더 네이밍을 고려하여 범위지정 업로드를 위해 include, exclude 옵션으로 wildcar..
Tips(Reference)/aws 2023. 11. 5. 02:52
AWS 다른 계정으로 S3 Data Migration 하는 방법

S3 데이터를 AWS 다른계정으로 이관해야 할 일이 생겨서 관련 포스팅을 진행하고자 한다. A -> B 계정으로 S3 이관을 진행한다고 가정할 때, 이루어지는 과정은 다음과 같다. 1. A계정 S3 Bucket Policy 변경 1-1) 기존에 Bucket Policy가 이미 설정되있는 경우 Bucket Policy에 cloudfront같은 설정이 포함되어있을 수 있다. 기존에 작성된 내용에서 "Statement"의 마지막 부분에 다음의 내용을 추가해준다. 여기서의 {B계정에 IAM 권한 설정한 사용자이름}에 관한 부분은 2~3번 내용을 먼저 참고한 뒤에 작성하면 된다! { "Sid": "DelegateS3Access", "Effect": "Allow", "Principal": { "AWS": "arn:..
Tips(Reference)/aws 2023. 8. 9. 22:33
DynamoDB와 DynamoDB Accelerator(DAX) 정리

DynamoDB VS RDB 용어 및 개념 비교  RDBDynamoDBTablesTablesRowsItemsColumnsAttributesPrimary Keys(Optional)Primary Keys(Mandatory / Minimum One and Maximum Two Attribtues)IndexesLocal Secondary IndexesViewsGlobal Secondary Indexes Strict Schema VS Flexible SchemaPredefined set of columns VS Unstructured dataEach record has same number of columns VS Different records can have different number of columnsE..
Tips(Reference)/etc 2023. 7. 9. 14:57
Windows,WSL2,Linux 환경에서 Redis-CLI 사용 Setting(Local,Server)

Windows Local 환경 Redis-CLI Installation Redis 공식문서에서 공식적으로 windows 환경을 제공하고 있지는 않다. Windows 환경의 경우 WSL2 환경에서 설치할 것을 권고하고있다. 하지만 Microsoft Archive Github Release에서 window환경에서 쉽게 사용할 수 있도록 방법을 제공해준다. 2가지의 방법 모두 기술하려고 한다. 1) Redis for Windows Release 다운로드 방식 https://github.com/microsoftarchive/redis/releases Releases · microsoftarchive/redis Redis is an in-memory database that persists on disk. The..
Tips(Reference)/etc 2023. 7. 5. 20:48
Ngrinder Stress Testing Tool Setting(download + Docker 활용 방식)

네이버 오픈소스 부하테스트 툴인 Ngrinder 환경 세팅을 위해서 controller/agent를 다운로드 하는 방식, Docker를 활용하는 방식이 있다. (windows 10기준으로 작성하고자 한다.) 1. Controller, Agent를 다운받는 방식 [선행조건] - Java 11 / 1.8버전 , Path 설정 1-1) ngrinder-controller-3.5.8.war 다운로드 https://github.com/naver/ngrinder/releases/tag/ngrinder-3.5.8-20221230 Release ngrinder-3.5.8 · naver/ngrinder Changes Shows error message when running without tmpdir property g..
Tips(Reference)/etc 2023. 6. 27. 19:06
Avast Security 구독취소하기(계정 모를때 해결방법)

[상황] Avast Security 제품을 2년간 구입했었는데, 결제일이 다가와서 구독을 취소하려는데 구매관련 이메일을 받은 계정의 ID를 찾을 수 없을 때 구독 취소방법 [해결과정] https://support.avast.com/en-ww/article/136/#mac Alternative methods for canceling an Avast subscription | Official Avast Support Step-by-step instructions to cancel an Avast subscription via Avast Support or the Nexway Avast Customer Portal. support.avast.com 이 링크의 내용을 참조하여 해결하였다. 1. Order ID가..
Tips(Reference)/etc 2023. 6. 11. 17:34
이전 Prev 1 2 3 Next 다음