[가상면접 사례로 배우는 대규모 시스템 설계 기초] Chap2. 개략적인 규모 추정

 

본 글은 가상면접 사례로 배우는 대규모 시스템 설계 기초를 읽고 정리한 글입니다.

---

2의 제곱수

• 데이터 볼륨의 단위를 2의 제곱수로 표현하면 어떻게 되는가?
• 최소 단위는 1바이트이고, 8비트로 구성
• ASCII 문자 하나가 차지하는 메모리 크기가 1바이트

2의 X 제곱 근사치 이름 축약형

10	1천	1킬로바이트	1KB
20	1백만	1메가바이트	1MB
30	10억	1기가바이트	1GB
40	1조	1테라바이트	1TB
50	1000조	1페타바이트	1PB

 

모든 프로그래머가 알아야 하는 응답지연 값

 

L1 캐시 참조	0.5ns
분기 예측 오류	5ns
L2 캐시 참조	7ns
뮤텍스 락/언락	100ns
주 메모리 참조	100ns
Zippy로 1KB 압축	10us
1 Gbps 네트워크로 2KB 전송	20us
메모리에서 1MB 순차적으로 read	250us
같은 데이터 센터 내에서의 메시지 왕복 지연시간	500us
디스크 탐색	10ms
네트워크에서 1MB 순차적으로 read	10ms
디스크에서 1MB 순차적으로 read	30ms
한 패킷의 CA로부터 네덜란드까지의 왕복 지연시간	150ms

• 메모리는 빠르지만, 디스크는 아직도 느리다.
• 디스크 탐색(seek)은 가능한 한 피하라.
• 단순한 압축 알고리즘은 빠르다.
• 데이터를 인터넷으로 전송하기 전에 가능하면 압축하라.
• 데이터 센터는 보통 여러 지역에 분산되어 있고, 센터들 간에 데이터를 주고 받는데는 시간이 걸린다.

가용성에 관계된 수치들

• 고가용성은 시스템이 오랜 시간 동안 지속적으로 중단 없이 운영될 수 있는 능력
• 고가용성을 표현하는 값은 퍼센트(percent)로 표현
• SLA(Service Level Agreement)는 서비스 사용자(service provider)가 보편적으로 사용하는 용어로 서비스 사업자와 고객 사이에 맺어진 합의를 의미한다.

예제: 트위터 QPS와 저장소 요구량 추정

 

가정

• 월간 능동 사용자(monthly active user)는 3억(300million) 명이다.
• 50% 사용자가 트위터를 매일 사용한다.
• 평균적으로 각 사용자는 매일 2건의 트윗을 올린다.
• 미디어를 포함하는 트윗은 10% 정도다.
• 데이터는 5년간 보관된다.

추정

• QPS(Query Per Second) 추정치
• 일간 능동 사용자(DAU) = 3억 * 50% = 1.5억(150million)
• QPS = 1.5억 * 2 트윗 / 24시간 / 3600초 = 약 3500
• 최대 QPS = 2 * QPS = 7000

미디어 저장을 위한 저장소 요구량

• 평균 트윗 크기
• tweet_id에 64바이트
• 텍스트에 140바이트
• 미디어에 1MB
• 미디어 저장소 요구량: 1.5억 * 2 * 10% * 1MB = 30TB
• 5년간 미디어를 보관하기 위한 저장소 요구량 : 30TB * 365 * 5 = 약 55PB