Developing

Oracle Cloud Free tier를 향한 부정적인 시선에 관해(묻지마 서버 삭제,계정 Ban)

DEV_BLOG — Mon, 25 Dec 2023 18:55:13 +0900

과거에 취업준비중인 대외활동 동료들을 위해 Oracle 쪽에 Free tier로 VM instance를 하나 생성했었는데, 도메인 갱신 기간이 임박했어서 오랜만에 Oracle Cloud과 관련된 소식들을 찾아보게 되었다.

본인이 Oracle Cloud Free tier를 사용했던 장점들로는 다음과 같다.

1. 평생 무료 Free tier

2. AWS에 비해 인스턴스 성능이 x배 좋다.(한때 이걸로 광고하던데 지금은 그런 설명은 빠져있는듯하다.)

3. 서버 2대/용량 200GB까지 무료

4. 별도로 유료 서비스를 활용하는 것이 아니면 과금이 측정될 우려가 다른 서비스에 비해 덜하다. (현재는 그렇지 않아 보임)

AWS, Azure는 Free tier가 1년이 걸려있고, GCP는 3개월 정도 Free tier에 크레딧을 주는 것으로 알고 있었다.

다만 NCP 같은 경우 개인용으로 사용하기에는 비용적으로 부담이 될 듯 보인다. (3개월 credit 10만원)

종합적으로는 Oracle Cloud Free tier를 활용하면 개발자들이 사이드 프로젝트를 무료로 가볍게 돌리기 좋을 것이라고 생각하였는데,

Oracle Cloud Free tier를 활용하다 갑자기 서버가 없어지거나 계정자체가 사라져 버리는 사례가 꽤나 있었다.

Instance / Boot Volume 삭제사례

다수의 문의 거절 사례

더군다나 Boot Volume에 대해서 이제 과금을 부여하는 듯하다. 해외 유튜버분의 영상(https://www.youtube.com/watch?v=il8C9nIGgZk&ab_channel=IdeaSpot)을 통해 알게 된 사실인데, 실제로 VM을 1대 돌리고 있는 계정에 가서 확인해 보았다.

VM을 추가로 생성하려고 보니 상단에 '무료 계층 계정을 사용하고 있다'라고 명시되어 있음에도 부트 볼륨에 대한 과금이 발생한다.

'유료 업그레이드만 누르지 않으면 Oracle에서 과금당할 일이 없다'라는 것 때문에 Oracle Cloud Free tier를 사용했었는데, 이제는 메리트가 많이 사라져 버린 듯하다.

Oracle Cloud가 서버 세팅할 때 다른 클라우드랑 차이가 약간 있어서 관련 포스팅을 준비 중이었지만, 이제는 Oracle Cloud Free tier의 잠재적 위험성과 관련된 포스팅을 하고 있는 것이 아이러니한 상황이다.(게시자의 Oracle Free Tier Instance도 어느 날 갑자기 사라질 수도..^^;;;)

피해자들은 모두 '아무 이유도 알 수 없이 갑자기 서버/계정이 삭제되었다'라는 입장이다. 추측하는 분들의 입장으로는 90일간 유료 Free Trial의 기간이 끝난 후 Free Tier로 적용될 때 발생하는 버그이거나 트래픽이 거의 발생하지 않는 경우라고 하는데, 그 경우에 해당되지 않고 '묻지 마 삭제/Ban' 된 경우가 꽤 많아 보인다.

https://www.youtube.com/watch?v=iikyFD-GIvw&ab_channel=MinelsGO

https://www.youtube.com/watch?v=il8C9nIGgZk&ab_channel=IdeaSpot

AWS CLI S3 작업 업무 효율높이기(PS 스크립트화,pandas 활용)

DEV_BLOG — Sun, 5 Nov 2023 02:52:28 +0900

[상황]

AWS CLI를 활용하여 수만 ~ 수십만 건의 데이터를 S3 Bucket->S3 Bucket, Local->S3 Bucket 등으로 여러 차례 마이그레이션하면서 다음과 같은 불편함을 느꼈다.

1. AWS CLI Command를 실행하였을 때 작업 예상 대기시간을 알기 어렵다.(소요시간 제공 기능이 따로 없음)

2. 숫자네이밍으로 구성된 폴더 단위로 업로드하는데 업로드 현황 파악을 하기가 매우 힘들었다. 잘 업로드되었는지 AWS 콘솔에서 여러 폴더를 검색해야 했고 굉장한 피로감이 느껴졌다.(--debug 옵션을 주어서 로그를 남기는 경우 로그파일이 너무 커져서 notepad로 열리지도 않았다.)

3. 폴더 네이밍을 고려하여 범위지정 업로드를 위해 include, exclude 옵션으로 wildcard 활용을 강구하였다. 예시 폴더들을 만들어 여러 테스트를 해보았을 때는 와일드카드가 의도대로 전부 동작했지만, 실제로 업로드 업무를 위해 include로 여러 옵션을 주었을 때 한 개의 옵션만 지정되는 경우가 발생하였다.

4. 많은 폴더가 모여있는 path에서 AWS S3 커맨드를 실행하였을 때 굉장히 오랜 시간이 걸린 후에 작업이 시작되는 현상이 있었다. 따라서 사전에 실행되는 과정을 볼 수 있는 --dry-run 옵션을 주었을 때에도 시간이 소요되어서 피로감이 느껴졌다.

[개선 방향 아이디어]

1. 폴더별로 Command를 실행하였을 때는 대기시간이 delay 되지 않고 업로드 되었다. 따라서 예를 들어 업로드단위의 폴더가 10000개가 있다면 10000개의 폴더에 대해 각각 command를 실행하는 스크립트가 있으면 편리할 것으로 간주하였다.

2. 1번이 가능하면 업로드 현황을 공유하기에도 수월하다고 판단하였고, 소요시간에 따른 업로드 현황을 보면서 작업 완료 시간의 최대치를 유추할 수 있을 것이라 기대하였다.

3. ChatGPT를 괴롭혀서 작업에 필요한 예시코드를 작성하는 데에 공수가 덜 들게 작업하기

[게시물 선수조건]

- Bucket Policy설정, IAM 설정에 대한 내용은 전부 알고 있다고 간주

- AWS CLI 사용법 알고 있다고 간주

- Pycharm, Windows Terminal(powershell), NotePad+, Excel 같은 도구를 잘 활용할 수 있다고 간주

- NAS Server-> S3 BUCKET에 업로드하는 경우를 가정(드라이버 지정 및 경로접근 알고 있다고 간주)

[업무 프로세스]

1. Python Pandas 활용하기

NAS Server Directory 목록 가져오기
Directory 목록 엑셀로 만들기

import os
import pandas as pd

# NAS SERVER PATH
folder_path = '{NAS_SERVER_DRIVER_NAME}:\{filePath}'

folder_list = [folder for folder in os.listdir(folder_path) if os.path.isdir(os.path.join(folder_path,folder))]

df = pd.DataFrame({'폴더 이름' : folder_list})

# NAS Server의 파일명을 저장할 Local의 엑셀파일
excel_file_path = 'C:\\upload_file_list.xlsx'
df.to_excel(excel_file_path, index=False)

print(f'폴더 이름이 저장된 엑셀 파일 : {excel_file_path}')

2. AWS CLI Command 양식 저장하기

# --recursive: 하위의 디렉토리도 포함
# --dryrun: 어떻게 업로드가 진행되는지 관찰가능(실제로 업로드 되지는 않음) 

# 실제 업로드 이전에 테스트해보기
aws s3 cp {$NAS_SERVER_DRIVER_NAME}:\{$filePath} s3://{$bucketName}/{$bucketPath} -- recursive --dryrun

# 업로드 하기 (dryrun option 제거)
aws s3 cp {$NAS_SERVER_DRIVER_NAME}:\{$filePath} s3://{$bucketName}/{$bucketPath} -- recursive

3. NodePad + Excel 활용하여 AWS CLI Command 목록 만들기

엑셀에서 Command list 만들기

NotePad 활용하여 Script에 쓰일 수 있도록 문자열 치환하기

# 찾을내용 ( aws ) > 바꿀 내용( "aws )

# 찾을내용 ( --recursive ) > 바꿀 내용( --recursive", )

4. PowerShell Script로 AWS CLI Command 실행하기

엑셀의 Command 목록 복사 -> .PS1 으로 확장자 저장 -> 오른쪽마우스 -> PowerShell에서 실행하기

$commands = @(
"aws s3 cp Z:\data\1010\ s3://my_bucket/data/10/ --recursive",
"aws s3 cp Z:\data\100010\ s3://my_bucket/data/1000/ --recursive",
"aws s3 cp Z:\data\10000110\ s3://my_bucket/data/100001/ --recursive",
"aws s3 cp Z:\data\10000610\ s3://my_bucket/data/100006/ --recursive",
"aws s3 cp Z:\data\10000710\ s3://my_bucket/data/100007/ --recursive",
"aws s3 cp Z:\data\10000910\ s3://my_bucket/data/100009/ --recursive",
"aws s3 cp Z:\data\10001010\ s3://my_bucket/data/100010/ --recursive",
"aws s3 cp Z:\data\10001110\ s3://my_bucket/data/100011/ --recursive",
"aws s3 cp Z:\data\10001210\ s3://my_bucket/data/100012/ --recursive",
"aws s3 cp Z:\data\10001310\ s3://my_bucket/data/100013/ --recursive",
"aws s3 cp Z:\data\10001910\ s3://my_bucket/data/100019/ --recursive",
"aws s3 cp Z:\data\10002010\ s3://my_bucket/data/100020/ --recursive",
"aws s3 cp Z:\data\10002110\ s3://my_bucket/data/100021/ --recursive"
)

foreach ($command in $commands) {
    Write-Host "Executing: $command"
    Invoke-Expression $command

    # 명령어 실행 후 종료 코드 확인
    if ($LASTEXITCODE -ne 0) {
        Write-Host "Command exited with Error." 
    }
}

# PowerShell 창을 열어두기 위해 사용자 입력을 대기합니다.
Read-Host "Press Enter to exit"

$commands : 실행할 AWS CLI 명령어 배열
Write-Host : 현재 실행 중인 명령어 표시
Invoke-Expression : 명령어 실행하고 결과를 반환
$LASTEXITCODE : Exit Code 의미, 0: 성공, 0이 아닌 경우 메시지 출력
Read-Host : PowerShell이 닫히지 않고 실행과정을 볼 수 있도록 하기 위함

[기대결과]

1. Command 실행이 오래 걸리는 경우 + dry-run option Command 실행이 오래 걸리는 경우의 소요시간을 줄이고 빠르게 업로드를 진행할 수 있음.

2. 특정 주기마다 엑셀에 색깔별로 다르게 표기하면 업로드 현황내역을 알기가 쉽고 남은 내역도 공유해 주기 쉬움.

3. 최대 소요일을 예상할 수 있음.

4. 와일드카드를 고려하지 않고 작업량을 조절하기가 매우 수월해짐.

AWS S3 Bucket 삭제되지 않는 현상 해결방법

DEV_BLOG — Sun, 5 Nov 2023 02:00:28 +0900

[현상]

미사용 AWS S3 Bucket을 삭제 하려함

-> AWS CLI와 AWS 콘솔상에서는 데이터가 존재하지 않는 것으로 나오는데 삭제되지 않음.

[상세 증상]

- AWS 콘솔에서 버킷 비우기 상태로 진입하면 삭제가 진행되는데 어느지점에 이르면 진행상황이 표기되지않음.

- AWS CLI와 AWS 콘솔상에서는 데이터가 존재하지 않는 것으로 나오는데, Cloudwatch와 Bucket 지표를 확인하면 데이터가 남아있음

- 아래 레퍼런스를 주로 참고하였음.

https://towardsthecloud.com/aws-cli-empty-s3-bucket

=> “the bucket you tried to delete is not empty. you must delete all versions in the bucket.” 문구가 출력됨

[해결한 방안]

=> 수명 주기 규칙생성 후 버킷 비우기 작업이 정상적으로 수행되는 것을 확인.

AWS 다른 계정으로 S3 Data Migration 하는 방법

DEV_BLOG — Wed, 9 Aug 2023 22:33:34 +0900

S3 데이터를 AWS 다른계정으로 이관해야 할 일이 생겨서 관련 포스팅을 진행하고자 한다.

A -> B 계정으로 S3 이관을 진행한다고 가정할 때, 이루어지는 과정은 다음과 같다.

1. A계정 S3 Bucket Policy 변경

1-1) 기존에 Bucket Policy가 이미 설정되있는 경우

Bucket Policy에 cloudfront같은 설정이 포함되어있을 수 있다.

기존에 작성된 내용에서 "Statement"의 마지막 부분에 다음의 내용을 추가해준다.

여기서의 {B계정에 IAM 권한 설정한 사용자이름}에 관한 부분은 2~3번 내용을 먼저 참고한 뒤에 작성하면 된다!

{
            "Sid": "DelegateS3Access",
            "Effect": "Allow",
            "Principal": {
                "AWS": "arn:aws:iam::{B계정의 계정ID 띄어쓰기 없이 12자}:user/{B계정에 IAM 권한 설정한 사용자이름}"
            },
            "Action": [
                "s3:ListBucket",
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::{A계정의 Bucket이름}/*",
                "arn:aws:s3:::{A계정의 Bucket이름}"
            ]
}

1-2) 기존에 Bucket Policy가 설정되지 않은 경우

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "DelegateS3Access",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::{B계정의 계정ID 띄어쓰기 없이 12자}:user/{B계정에 IAM 권한 설정한 사용자이름}"
      },
      "Action": [
        "s3:ListBucket",
        "s3:GetObject"
      ],
      "Resource": [
        "arn:aws:s3:::{A계정의 Bucket이름}/*",
        "arn:aws:s3:::{A계정의 Bucket이름}"
      ]
    }
  ]
}

1-3) 공식문서 예제 참고용

{
  "Version": "2012-10-17",
  "Id": "Policy1611277539797",
  "Statement": \[
    {
      "Sid": "Stmt1611277535086",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::222222222222:user/Jane"
      },
      "Action": "s3:PutObject",
      "Resource": "arn:aws:s3:::destination-DOC-EXAMPLE-BUCKET/\*",
      "Condition": {
        "StringEquals": {
          "s3:x-amz-acl": "bucket-owner-full-control"
        }
      }
    },
    {
      "Sid": "Stmt1611277877767",
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::222222222222:user/Jane"
      },
      "Action": "s3:ListBucket",
      "Resource": "arn:aws:s3:::destination-DOC-EXAMPLE-BUCKET"
    }
  \]
}

2. B계정의 IAM 권한 설정

IAM > 정책 > 정책 생성 > JSON 항목으로 이동하여 다음의 내용을 입력한다.

2-1. 검색하여 작성한 예시

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::{A계정의 Bucket이름}",
                "arn:aws:s3:::{A계정의 Bucket이름}/*"
            ]
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:ListBucket",
                "s3:PutObjectAcl"
            ],
            "Resource": [
                "arn:aws:s3:::{B계정의 복사시킬 Bucket이름}",
                "arn:aws:s3:::{B계정의 복사시킬 Bucket이름}/*"
            ]
        }
    ]
}

2-2.AWS 공식문서 예시

{
  "Version": "2012-10-17",
  "Statement": \[
    {
      "Effect": "Allow",
      "Action": \[
        "s3:ListBucket",
        "s3:GetObject"
      \],
      "Resource": \[
        "arn:aws:s3:::source-DOC-EXAMPLE-BUCKET",
        "arn:aws:s3:::source-DOC-EXAMPLE-BUCKET/\*"
      \]
    },
    {
      "Effect": "Allow",
      "Action": \[
        "s3:ListBucket",
        "s3:PutObject",
        "s3:PutObjectAcl"
      \],
      "Resource": \[
        "arn:aws:s3:::destination-DOC-EXAMPLE-BUCKET",
        "arn:aws:s3:::destination-DOC-EXAMPLE-BUCKET/\*"
      \]
    }
  \]
}

3. B계정의 사용자 설정 및 권한 설정

직접 정책 연결 선택 뒤 2번에서 생성한 권한을 연결해준다. 4번에서 곧 얘기할 AWS-CLI가 잘 접속됬는지 확인하고 싶다면 "AmazonS3FullAccess" 권한도 넣어주자.

4. 3번에서 생성해준 B계정의 사용자로 AWS-CLI 접속

aws configure

AWS ACCESS KEY ID : {파일로 내려받은 ACCESS KEY ID입력하기}
AWS Secret Access Key : {파일로 내려받은 SECRET ACCESS KEY 입력하기}
Default region name : ap-northeast-2

만약 amazons3FullAccess 권한이 부여된 상태라면 다음 명령어를 통해 B계정의 사용자로 잘 aws-cli 접속하였는지 확인하자.

aws s3 ls

B계정의 Bucket 이름이 출력되면 성공적이다.

5. Migration 명령 수행

aws s3 sync s3://{A계정 복사하려는 Bucket이름}/{기타 자신이 원하는 경로} s3://{B계정 복사시킬 Bucket이름}/{기타 자신이 원하는 경로}

Reference

https://interconnection.tistory.com/119

https://velog.io/@unihit/계정간-S3-데이터-이전-방법

https://repost.aws/ko/knowledge-center/copy-s3-objects-account

Redis-Cli Local환경에서 JSON.GET/PUT 사용가능하게 하는 법(Err unknown command 'JSON.GET' with args beginning 해결방법)

DEV_BLOG — Tue, 11 Jul 2023 22:09:18 +0900

Elastic Cache Redis Cluster 환경에서는 redis-cli에서 JSON.GET/PUT 명령어를 사용할 수 있지만 local 환경에서는 별도의 조치를 취해야한다. RedisJSON Github을 참조해보면 Rust Install -> cargo build 하는 방법과 Docker를 활용하는 방법이 기재되어있다.

Docker를 활용하는 방법이 가장 쉽고 빠른길이기에 관련 포스팅을 하고자한다.

#Mac환경일때 Case : redis Port가 충돌하지 않게 redis-server를 우선 종료해주자.
#brew services stop redis

#Docker Image Pull
docker pull redis/redis-stack:latest

#Docker Run Container
docker run -p 6379:6379 --name redis-stack redis/redis-stack:latest

JSON.GET Command를 실행하였을때 Docker Container를 실행해주면

ERR unknown command 'JSON.GET', with args beginning with:

-> ERR wrong number of arguments for 'JSON.GET' command 문구로 바뀐 것을 확인할 수 있다. 이제 Redis JSON 명령어를 자유자재로 사용할 수 있게되었다.

local redis-cli 환경에서도 정상적으로 redisJSON Command가 사용가능해졌다.

RedisJson 문법은 aws 공식문서에도 나와있다.

https://docs.aws.amazon.com/ko_kr/AmazonElastiCache/latest/red-ug/json-list-commands.html

지원되는 Redis JSON 명령 - Amazon ElastiCache for Redis

이 페이지에 작업이 필요하다는 점을 알려 주셔서 감사합니다. 실망시켜 드려 죄송합니다. 잠깐 시간을 내어 설명서를 향상시킬 수 있는 방법에 대해 말씀해 주십시오.

docs.aws.amazon.com

Reference

https://github.com/RedisJSON/RedisJSON

GitHub - RedisJSON/RedisJSON: RedisJSON - a JSON data type for Redis

RedisJSON - a JSON data type for Redis. Contribute to RedisJSON/RedisJSON development by creating an account on GitHub.

github.com

DynamoDB와 DynamoDB Accelerator(DAX) 정리

DEV_BLOG — Sun, 9 Jul 2023 14:57:26 +0900

DynamoDB VS RDB 용어 및 개념 비교

RDB	DynamoDB
Tables	Tables
Rows	Items
Columns	Attributes
Primary Keys(Optional)	Primary Keys(Mandatory / Minimum One and Maximum Two Attribtues)
Indexes	Local Secondary Indexes
Views	Global Secondary Indexes

Strict Schema VS Flexible Schema
Predefined set of columns VS Unstructured data
Each record has same number of columns VS Different records can have different number of columns
Enforces strict ACID properties/Loss of flexibility VS Trades some ACID properties/Flexible data model
Vertical Scaling/You scale by adding more power(faster hardware,CPU,RAM) VS Horizontal Scaling/You scale by adding more machines,partitions or low-cost hardware

읽기 정합성(Read Consistency)

Strong Consistency(강력한 일관된 읽기) : 정확한 최신 데이터 제공
Eventual Consistency(최종적 일관된 읽기) : 최신 반영이 안되있을지도 모르는 데이터, Strong Consistency에 비해 50% 저렴하다.

데이터 핸들링

Item-based Actions : 하나의 Item에 대해 write,delete,update 가능
Query : Read-only action, 한번의 요청으로 여러 Item 처리 가능
Scan : 모든 Item을 보는 기능, 고비용으로 사용을 최대한 지양해야함.
Primary Key, Sort Key로 Access Pattern을 만족할 수 없을때 Secondary Index를 사용한다.

용량 유닛(Capacity Unit)

Capacity Unit : 1초당 읽거나 쓸 수 있는 데이터의 단위
RCU / WCU

RCU : Read Capacity Units

1RCU : 초당 1번의 Strongly Consistent Read 혹은 초당 2번의 Eventually Consistent Read

=>1RCU로 초당 4KB까지 읽을 수 있다.

WCU : Write Capacity Units

1WCU : 최대 1KB 데이터 쓰기 용량

RCU/WCU 예시

초당 10KB data를 읽는 RCU(Strong Consistency) : 10KB/4KB = 2.5 ⇒ rounded up ⇒ 3 RCUs

초당 10KB data를 읽는 RCU(Eventually Consistency) : 3 RCUs X 0.5 = 1.5 RCUs

초당 10KB data를 쓰기 위한 WCU : 10KB/1KB = 10 WCUs

초당 1.5KB data를 쓰기 위한 WCU : 1.5KB/1KB ⇒ 1.5 ⇒ rounded up ⇒ 2WCUs

DynamoDB에서는 1 Paritition 당 1000 WCUs 혹은 3000 RCUs를 처리 - WCU, RCU 조정값에 따라 몇개의 파티션이 생성될지 알 수 있다.

[예시]

Provisioned Capacity : 500 RCUs and 500 WCUs

⇒ Number of Partitions ⇒ 500 RCUs/ 3000 + 500 WCUs/1000 = 0.67 ⇒ rounded up ⇒ 1 partition

New Capacity : 1000 RCUs and 1000 WCUs

⇒ Number of Partitions ⇒ 1000 RCUs/3000 + 1000 WCUs / 1000 = 1.33 ⇒ rounded up ⇒ 2 partitions

Local Secondary Indexes

Local Secondary Index는 테이블 생성시 생성해주어야한다.
테이블당 5개까지 생성가능하다.
선택 기준

⇒ 같은 파티션키 사용이 요구될때 Sort Key를 수정하고싶을때

⇒ 추가적인 비용을 줄이고 싶을때

⇒ Strongly consistent index read가 필요할때(Strongly Consistent,Eventually Consistent Read 둘다 지원함)

Dept(Partition Key)	Emp Id(Sort Key)	Name	Age	Location	DOJ(Secondary Sort Key)
Training	1	Steve	26	SFO	08-03-2018
IT	2	Chris	24	NYC	18-02-2018
Sales	3	Tina	25	NYC	15-02-2018
Training	4	Bill	27	NJ	01-02-2018
IT	5	Alan	26	SFO	12-01-2018
Sales	6	Megan	24	NYC	01-01-2018

만약 위 테이블에서 DoJ에 Local Secondary Index를 적용한다면 IT부서에 일하고 있는 인력들의 리스트를 DoJ가 정렬된 형태로 만들 수 있다.

Global Secondary Indexes

파티션으로부터 독립적으로 보관되어 언제든지 생성가능하다.
테이블당 20개까지 생성가능하다. (19년도에는 5개까지 됬던듯.)
Strongly Consistent read는 지원하지 않는다.
duplicate item 가질 수 있음
선택 기준

⇒ 같거나 다른 파티션키 사용을 필요로 할때

⇒ 세밀한 throughput 통제가 필요할때 혹은 다른 partition key로 query해야 할 때

⇒ consistent index read가 필요할 때

Dept(Partition Key)	Emp Id(Sort Key)	Name	Age	Location(Seondary Partition Key)	DoJ(Seconary Sort Key)
Training	1	Steve	26	SFO	08-03-2018
IT	2	Chris	24	NYC	18-02-2018
Sales	3	Tina	25	NYC	15-02-2018
Training	4	Bill	27	NJ	01-02-2018
IT	5	Alan	26	SFO	12-01-2018
Sales	6	Megan	24	NYC	01-01-2018

만약 Location에 Global Secondary Index가 걸려있다면 ‘NYC’에서 일하는 인력들을 출력할 수 있을 것이다.

DynamoDB Accelerlator (DAX)

In-Memory Caching Service
Microsecond Latency
Eventual Consistency Read만 가능
Application과 DynamoDB 사이에서 proxy 역할

(Write 시)

DynamoDB에도 데이터를 쓴 후 DAX에도 데이터를 return해줌.

(Read 시)

[Cache Hit] : DAX가 데이터 가지고있을때 DynamoDB로 가지않고 바로 리턴

[Cache Miss] : DynamoDB로부터 데이터 리턴, update된 index Master Node에 반영

DynamoDB 적용 의사결정

규모가 매우 큰 데이터의 경우 RDB는 Cluster/Division 나누는 작업이 필요하지만 DynamoDB는 그에반해 latency가 적다.

Key 설계시 Single Table로 관리하면서 JOIN이 많이 발생하는 결과물을 빠르고 쉽게 가져쓸 수 있는 경우,페타바이트 규모의 데이터/트래픽이 많이 발생하는 경우 적용하기 좋다. 따라서 DB의 Size가 커진다면 DynamoDB가 유리하지만 국내에서 그정도 규모의 트래픽을 받는 회사는 매우적다.

한편 DAX 캐싱의 경우 도쿄 region만 제공되기에, ap-northeast-2 region의 EC2에서 도쿄 region의 DAX를 바라보는 구조는 네트워크 비용 + latency가 발생할 것으로 예상됨.

Udemy 강의자분께서 DynamoDB 사용해본 경험을 공유해주셨다.

하루에 50GB 처리 및 2백만 READ/WRITE 연산이 발생하는 SASS Service의 Trouble Shooting 사례는 다음과 같다.

⇒mysql 하나만 쓰다가 Database Lock 빈번하게 문제발생 ⇒ RDS DB로 하드웨어 업그레이드

⇒고객증가로 다시 Lock 문제 발생 => 데이터베이스 multi AZ 리플리케이션 적용 및 Read Replica 적용

⇒고객증가하니 또 문제 생김 ⇒ NOSQL dynamodb 전환하였더니 3년정도 운영하면서 사소한 문제도 잘 안생겨서 다른 서비스에서도 우선적으로 사용중이심.

Reference

https://www.udemy.com/course/dynamodb/

https://dynobase.dev/dynamodb-read-consistency/

https://velog.io/@soongjamm/Eventual-Consistency-란

https://blog.kico.co.kr/2022/03/17/aws-dynamodb/

https://www.youtube.com/watch?v=I7zcRxHbo98&ab_channel=AmazonWebServicesKorea

Putty Server Connection Timed Out (Inactive) 자주되는 현상 해결방법

DEV_BLOG — Thu, 6 Jul 2023 22:02:57 +0900

[상황] : Bastion Server를 띄운 Putty에서 자꾸 (Inactive) 상태가 되면서 다시 서버를 켜야하는 번거로움이 발생하는 경우를 해결하는 방법

서버 보안정책 설정을 건드리지 않고 Putty에서 옵션을 지정해 해결할 수 있는 방법이 있어 포스팅해본다.

Connection > Seceonds between keepalives (0 to turn off) 의 옵션을 0에서 120으로 변경(초단위)

Session > Save 하여 keepalives 설정 저장

원리는 SSH Session이 죽지 않도록 지정한 시간 간격으로 Null Packet을 지속적으로 보내주어서 Connection이 끊기지 않도록 한다.

Reference

https://orahow.com/keep-putty-ssh-connection-alive/

Windows,WSL2,Linux 환경에서 Redis-CLI 사용 Setting(Local,Server)

DEV_BLOG — Wed, 5 Jul 2023 20:48:07 +0900

Windows Local 환경 Redis-CLI Installation

Redis 공식문서에서 공식적으로 windows 환경을 제공하고 있지는 않다. Windows 환경의 경우 WSL2 환경에서 설치할 것을 권고하고있다. 하지만 Microsoft Archive Github Release에서 window환경에서 쉽게 사용할 수 있도록 방법을 제공해준다. 2가지의 방법 모두 기술하려고 한다.

1) Redis for Windows Release 다운로드 방식

https://github.com/microsoftarchive/redis/releases

Releases · microsoftarchive/redis

Redis is an in-memory database that persists on disk. The data model is key-value, but many different kind of values are supported: Strings, Lists, Sets, Sorted Sets, Hashes - microsoftarchive/redis

github.com

해당 페이지에서 MSI 파일을 다운로드 한다. Path Variable 옵션을 활성화하여 설치해주자!

redis-cli 명령어를 사용해 잘 설치되었는지 확인해주자.

2) WSL2 환경이 구축된경우 공식 문서방법을 따르는 방법

sudo apt install lsb-release curl gpg



curl -fsSL https://packages.redis.io/gpg | sudo gpg --dearmor -o /usr/share/keyrings/redis-archive-keyring.gpg

echo "deb [signed-by=/usr/share/keyrings/redis-archive-keyring.gpg] https://packages.redis.io/deb $(lsb_release -cs) main" | sudo tee /etc/apt/sources.list.d/redis.list

sudo apt-get update
sudo apt-get install redis


sudo service redis-server start

마찬가지로 redis-cli 명령어 잘 되는지 확인하자.

Server에서 Redis-CLI Installation

sudo yum install -y gcc


wget http://download.redis.io/redis-stable.tar.gz && tar xvzf redis-stable.tar.gz && cd redis-stable && make


sudo cp src/redis-cli /usr/bin

src/redis-server

#새롭게 terminal창 열고 전역에서 사용가능한지 확인 -> 127.0.0.1 > exit으로 빠져나가기
redis-cli

#AWS elastic cache Redis Cluster 엔드포인트로 접근
redis-cli -h {redis-cluster-endpoint} -p 6379

개발서버 등이 아닌 운영서버라면 wget으로 설치하는데에 제한사항이 있을 수 있다. 이런경우에는 로컬에 압축파일을 받고 sftp 방법으로 전송한 뒤에 파일 압축을 해제하는 방식으로 해결하였다.

공식문서에는 /usr/local/bin에 설치하라는데 별도의 path설정하는 번거로움이 생기지 않도록 redis-cli를 /usr/bin에 위치시켰다. 자기 의사로 선택하자.

Reference

https://github.com/microsoftarchive/redis/releases

https://redis.io/docs/getting-started/installation/install-redis-on-windows/

https://redis.io/docs/getting-started/installation/install-redis-from-source/

Ngrinder Stress Testing Tool Setting(download + Docker 활용 방식)

DEV_BLOG — Tue, 27 Jun 2023 19:06:05 +0900

네이버 오픈소스 부하테스트 툴인 Ngrinder 환경 세팅을 위해서 controller/agent를 다운로드 하는 방식, Docker를 활용하는 방식이 있다. (windows 10기준으로 작성하고자 한다.)

1. Controller, Agent를 다운받는 방식

[선행조건]

- Java 11 / 1.8버전 , Path 설정

1-1) ngrinder-controller-3.5.8.war 다운로드

https://github.com/naver/ngrinder/releases/tag/ngrinder-3.5.8-20221230

Release ngrinder-3.5.8 · naver/ngrinder

Changes Shows error message when running without tmpdir property

github.com

1-2) Ngrinder Controller(Web) 가동

java -jar ngrinder-controller-3-5-8.war --port={입력할 포트}
# EX : java -jar ngrinder-controller-3-5-8.war --port=8300

1-3) localhost:{입력한 포트} 접속 후 ID/PWD 'admin' 동일하게 입력 및 Download Agent

1-4) agent 배치파일 실행

# 압축 해제 후 run_agent.bat 실행
run_agent.bat

1-5) 과정 흐름 참고

1-6) Script → Create a Script → script 작성 후 Validate 하여 정상동작하는지 확인

한편, ngrinder를 사용할 때 특정 jdk 버전을 맞추어야하다보니 Path를 변경하는 번거로움이 있을 것이다.

예를 들어 IntelliJ에서 개발을 하다가 Ngrinder를 사용해야할 때 path를 변경해야하는데, 바뀐 path가 잘 적용되지 않는 경우가 있었다.

(다른 분도 이런 상황을 겪어서 wsl2+docker 환경을 만들어 드렸다.)

이때의 대처방법은 2가지 정도가 있는데,

1. Java path를 11버전으로 두고 IntelliJ 프로젝트별로 직접 jdk 버전을 설정한다.

2. Docker 환경으로 ngrinder를 사용해 path 변경을 신경쓰지 않도록 한다.

지금부터는 2번의 방법에 대해 설명하고자 한다!

2. Docker를 활용하는 방식

[선행조건]

- Docker Desktop, Windows Terminal + Ubuntu LTS WSL2 환경

2-1) Docker Hub에서 ngrinder/controller, ngrinder/agent 이미지 Pull 하기

docker pull ngrinder/agent:3.5.5
docker pull ngrinder/controller:3.5.5

#Docker Hub에서 Pull 해온 image 확인
docker images

2-2) Docker Image 기반의 Container 실행하기

docker run -d -v ~/ngrinder-controller:/opt/ngrinder-controller -p {지정할_PORT_번호}:80 -p 16001:16001 -p 12000-12009:12000-12009 ngrinder/controller:3.5.5
#(ex) docker run -d -v ~/ngrinder-controller:/opt/ngrinder-controller -p 8300:80 -p 16001:16001 -p 12000-12009:12000-12009 ngrinder/controller:3.5.5


docker run -v ~/ngrinder-agent:/opt/ngrinder-agent -d ngrinder/agent:3.5.5  {Controller 띄운 자신의 IP}:{Controller 띄운 port}
#(ex) docker run -v ~/ngrinder-agent:/opt/ngrinder-agent -d ngrinder/agent:3.5.5  123.45.678.1:8300

2-3) Docker Container 상태 Docker desktop 통해 확인 혹은 Command로 확인

#a OPTION이 붙지 않으면 현재 동작중인 컨테이너만 표기된다.(a 옵션으로 종료된 컨테이너도 표시함)
docker ps -a

Q. 왜 Docker 방식의 경우 3.5.8 최신버전으로 안하고 3.5.5로 하였는지?

A. 도커로 3.5.8 버전을 사용한 경우 script 생성시 validation Check 기능이 동작하지 않는 현상발생

https://bosungtea9416.tistory.com/entry/nGrinder-validation-fail-%ED%98%84%EC%83%81-%ED%95%B4%EA%B2%B0

Q. 굳이 docker를 사용하여서 ngrinder를 사용해야 할지?

A. Controller,Agent를 다운받는 방식의 경우 Java 1.8 / 11 버전을 쓸 것이 강제됨. IntelliJ에서 사용중인 JDK17버전 path에서 JDK11로 변경 후 반영할때 굉장히 곤란한 상황들을 겪음. 레지스트리에서 이전 path를 물고있는듯 하여 JAVA_HOME 등을 아예 삭제하여 재생성하고 jdk 이전버전 삭제 등등의 작업까지해야 path가 제대로 적용이 되는 현상이 생겨서 많은 피로도를 느낌. path 변경에 문제가 안생긴다면 굳이 docker 안써도 된다고 판단됨. 다만 jdk 변경하는 번거로움이 없다는장점 + Agent를 증가시키게 될 경우에도 docker를 찾게 될 것으로 예상하였음.

Q. 왜 일반적인 cmd로 안하고 windows terminal에 wsl2 ubuntu 환경으로 하였는지 ?

A. cmder 환경에서 잘 구동되는 것 확인하였는데 다른날 처음 발생한 에러에 대해 찾아보니 ngrinder-agent Docker 컨테이너가 실행되는 호스트 환경이 Linux임을 권장하고, ngrinder-agent는 Linux 기반 환경을 가정하고 설계되었다는 답변을 받음. 안정적으로 구동하려면 wsl2 ubuntu 환경을 써야할 것으로 보임

그 외에는.. M1 맥북으로도 Docker 환경에서 사용하는 방법을 강구해보았는데, 잘 안되서 Github discussions를 확인해보니 비슷한 환경에서 어려움을 겪는 분들이 꽤 있어보였다. mac환경에서는 path변경 후 source ~/.zshrc 이정도만 해도 path 적용 잘되서 agent&controller 다운받아서 실행하는 방식으로 사용하기 간편한듯.

Reference

https://github.com/naver/ngrinder/tree/develop/docker

GitHub - naver/ngrinder: enterprise level performance testing solution

enterprise level performance testing solution. Contribute to naver/ngrinder development by creating an account on GitHub.

github.com

https://velog.io/@injoon2019/%EB%B6%80%ED%95%98%ED%85%8C%EC%8A%A4%ED%8A%B8-z8jb3vvv

https://blog.naver.com/wideeyed/222173944239

https://velog.io/@hellonayeon/nGrinder-install-and-how-to-use-memo

AWS RDS를 활용한 부하분산 아키텍쳐 고민

DEV_BLOG — Mon, 19 Jun 2023 21:00:34 +0900

Relational Database - AWS RDS를 활용한 부하분산 아키텍쳐를 고안하다가 다른 방향으로 전환하였는데 기존에 정리해둔 내용을 노션에 묵혀두기 아까워서 약간의 내용을 가져와서 오랜만에 포스팅을 할까한다.

Goal

대부분의 Database Application에서 Read와 Write의 비율은 100:1 ~ 10000:1 가량이다.

트래픽이 급증하면 1대의 데이터베이스에 읽기(Read) / 쓰기(Write,Update,Delete)처리 요청시 많은 부하가 발생.

Primary DB에 write, Secondary DB에 Read 하도록 트래픽 분산처리를 적용하기 위한 고민.

비슷한 Terminology

- Primary DB <----> StandBy DB(Read도 불가능한 복제본 DB를 지칭하는 느낌이 강하다.)

- Primary DB <----> Secondary DB

=> Master DB <----> Slave DB(인종차별 문제로 해당 용어 사용은 지양하는 추세이다.)

=> Master DB <----> Replica DB

(Staging DB는 살짝 다른범주라고 생각해서 같이 두지는 않겠다.)

Multi A-Z

- Synchronous Replication : Primary Storage와 ReplicaDB에 동시에 data를 write함.

- Disaster Recovery 목적이 크다. 실제 서비스 시 필요한 옵션

=> application downtime(시스템을 이용할 수 없는 시간)이 발생하지 않는 real-time(instantaneous)방식으로 장애 대비 기능(fail-over)를 제공함.

- 예비 복제본 프로비저닝, Master DB 장애 발생시 StandBy Instance를 Master로 승격하며 새 StandBy DB Instance 생성하여 장애조치 수행

- Single AZ->Multi AZ 변경은 설정 몇번이 전부, Downtime 발생 X, DB정지 X, 내부적으로 DB의 스냅샷 생성 후 해당 스냅샷으로부터 다른 AZ에 새 DB가 생성되어 양 DB간의 동기화 수행

- 장애조치 완료 소요시간 : 대략 60~120초

Read Replica

- Asynchronous Replication : Primary Storage에 데이터를 write한 이후 ReplicaDB에 복사함.

- Traffic 대응 목적이 크다.

- 짧은 시간동안 Replica와 Master간의 데이터 차이 발생가능성 있음.

- Read Replica를 Master로 변경 가능

- Master DB에 write시 자동으로 Read Replica DB에 복제 수행. 즉시 복제 되는 것 아니며 약간의 시간차 발생

생각할거리

- Read Replica를 적용하였을때 master DB에 write 하는 경우 Replica DB에 반영되기까지 latency는 얼마나 소요되는가?

- latency가 많이 소요되는 경우 정확성이 높아야하는 최신 데이터가 요구되는경우에 MasterDB에서 read/write이 이루어지도록 해야하는가?

- Read Replica DB 장애발생하는 Case가 존재하면 수동으로 다른 Replica DB를 재활성해야하는지 여부.

Reference

Synchronous Replication VS asynchronous Replication

⇒ https://cloudbasic.net/white-papers/synchronous-vs-asynchronous-replication/

AWS RDS 공식문서

⇒ https://docs.aws.amazon.com/ko_kr/AmazonRDS/latest/UserGuide/USER_ReadRepl.html

AWS RDS Multi-AZ,Replica 관련

⇒ https://support.bespinglobal.com/ko/support/solutions/articles/73000544793--aws-rds-이중화-구성-multi-az-

⇒ https://cwal.tistory.com/76

⇒ https://boomkim.github.io/2018/07/13/rds-multiaz-readreplica-summary/

⇒ https://overcome-the-limits.tistory.com/294

Primary, Secondary DB Architecture

⇒ https://blog.naver.com/PostView.naver?blogId=techtrip&logNo=221965081270