목록분류 전체보기 (101)

Developing

Oracle Cloud Free tier를 향한 부정적인 시선에 관해(묻지마 서버 삭제,계정 Ban)

과거에 취업준비중인 대외활동 동료들을 위해 Oracle 쪽에 Free tier로 VM instance를 하나 생성했었는데, 도메인 갱신 기간이 임박했어서 오랜만에 Oracle Cloud과 관련된 소식들을 찾아보게 되었다.  본인이 Oracle Cloud Free tier를 사용했던 장점들로는 다음과 같다. 1. 평생 무료 Free tier2. AWS에 비해 인스턴스 성능이 x배 좋다.(한때 이걸로 광고하던데 지금은 그런 설명은 빠져있는듯하다.)3. 서버 2대/용량 200GB까지 무료4. 별도로 유료 서비스를 활용하는 것이 아니면 과금이 측정될 우려가 다른 서비스에 비해 덜하다. (현재는 그렇지 않아 보임)  AWS, Azure는 Free tier가 1년이 걸려있고, GCP는 3개월 정도 Free tier..
Diary/diary 2023. 12. 25. 18:55
AWS CLI S3 작업 업무 효율높이기(PS 스크립트화,pandas 활용)

[상황]AWS CLI를 활용하여 수만 ~ 수십만 건의 데이터를 S3 Bucket->S3 Bucket, Local->S3 Bucket 등으로 여러 차례 마이그레이션하면서 다음과 같은 불편함을 느꼈다. 1. AWS CLI Command를 실행하였을 때 작업 예상 대기시간을 알기 어렵다.(소요시간 제공 기능이 따로 없음) 2. 숫자네이밍으로 구성된 폴더 단위로 업로드하는데 업로드 현황 파악을 하기가 매우 힘들었다. 잘 업로드되었는지 AWS 콘솔에서 여러 폴더를 검색해야 했고 굉장한 피로감이 느껴졌다.(--debug 옵션을 주어서 로그를 남기는 경우 로그파일이 너무 커져서 notepad로 열리지도 않았다.) 3. 폴더 네이밍을 고려하여 범위지정 업로드를 위해 include, exclude 옵션으로 wildcar..
Tips(Reference)/aws 2023. 11. 5. 02:52
AWS S3 Bucket 삭제되지 않는 현상 해결방법

[현상] 미사용 AWS S3 Bucket을 삭제 하려함 -> AWS CLI와 AWS 콘솔상에서는 데이터가 존재하지 않는 것으로 나오는데 삭제되지 않음. [상세 증상] - AWS 콘솔에서 버킷 비우기 상태로 진입하면 삭제가 진행되는데 어느지점에 이르면 진행상황이 표기되지않음. - AWS CLI와 AWS 콘솔상에서는 데이터가 존재하지 않는 것으로 나오는데, Cloudwatch와 Bucket 지표를 확인하면 데이터가 남아있음 - 아래 레퍼런스를 주로 참고하였음. https://towardsthecloud.com/aws-cli-empty-s3-bucket => “the bucket you tried to delete is not empty. you must delete all versions in the buc..
Trouble Shooting 2023. 11. 5. 02:00
AWS 다른 계정으로 S3 Data Migration 하는 방법

S3 데이터를 AWS 다른계정으로 이관해야 할 일이 생겨서 관련 포스팅을 진행하고자 한다. A -> B 계정으로 S3 이관을 진행한다고 가정할 때, 이루어지는 과정은 다음과 같다. 1. A계정 S3 Bucket Policy 변경 1-1) 기존에 Bucket Policy가 이미 설정되있는 경우 Bucket Policy에 cloudfront같은 설정이 포함되어있을 수 있다. 기존에 작성된 내용에서 "Statement"의 마지막 부분에 다음의 내용을 추가해준다. 여기서의 {B계정에 IAM 권한 설정한 사용자이름}에 관한 부분은 2~3번 내용을 먼저 참고한 뒤에 작성하면 된다! { "Sid": "DelegateS3Access", "Effect": "Allow", "Principal": { "AWS": "arn:..
Tips(Reference)/aws 2023. 8. 9. 22:33
Redis-Cli Local환경에서 JSON.GET/PUT 사용가능하게 하는 법(Err unknown command 'JSON.GET' with args beginning 해결방법)

Elastic Cache Redis Cluster 환경에서는 redis-cli에서 JSON.GET/PUT 명령어를 사용할 수 있지만 local 환경에서는 별도의 조치를 취해야한다. RedisJSON Github을 참조해보면 Rust Install -> cargo build 하는 방법과 Docker를 활용하는 방법이 기재되어있다. Docker를 활용하는 방법이 가장 쉽고 빠른길이기에 관련 포스팅을 하고자한다. #Mac환경일때 Case : redis Port가 충돌하지 않게 redis-server를 우선 종료해주자. #brew services stop redis #Docker Image Pull docker pull redis/redis-stack:latest #Docker Run Container dock..
Trouble Shooting 2023. 7. 11. 22:09
DynamoDB와 DynamoDB Accelerator(DAX) 정리

DynamoDB VS RDB 용어 및 개념 비교  RDBDynamoDBTablesTablesRowsItemsColumnsAttributesPrimary Keys(Optional)Primary Keys(Mandatory / Minimum One and Maximum Two Attribtues)IndexesLocal Secondary IndexesViewsGlobal Secondary Indexes Strict Schema VS Flexible SchemaPredefined set of columns VS Unstructured dataEach record has same number of columns VS Different records can have different number of columnsE..
Tips(Reference)/etc 2023. 7. 9. 14:57
이전 Prev 1 2 3 4 ··· 17 Next 다음