Blobasaur의 빠른 쓰기에는 서로 다른 성공 시점이 있다
SQLite 기반 Blobasaur는 쓰기 응답과 커밋, 디스크 동기화의 시점을 나눠 지연을 줄인다. 공식 발표와 현재 소스의 읽기 경로를 대조하고, 허용할 데이터 유실과 장애 복구를 기준으로 도입 조건을 살펴본다.
설정 저장 버튼에 성공 표시가 떴다. 곧바로 다시 읽어도 값이 나온다. 그래도 서버가 갑자기 꺼진 뒤 그 값이 남는다고 단정할 수는 없다. SQLite 기반 블롭 저장소 Blobasaur를 읽으며 주목한 것은 처리량보다 이 성공의 의미다. 요청을 받았다는 것, 트랜잭션을 커밋했다는 것, 전원이 끊겨도 남는다는 것은 서로 다른 약속이다.
Zerodha의 공식 글은 2026년 11월 19일 공개됐고, GeekNews에는 20일 02시 34분, 한국 시각으로 등록됐다. 아래는 발표와 공개 저장소의 b4d8512 커밋을 SQLite 문서와 대조한 분석이다. 서버를 실행하거나 성능·장애 복구를 직접 시험하지 않았다.
작은 저장 엔진 위에 쓰기 경로를 만든다
Blobasaur는 Rust로 만든 서버다. 바이너리 데이터를 덩어리로 다루는 블롭 저장에 SQLite를 쓰고, 클라이언트에는 Redis 프로토콜을 제공한다. Zerodha는 유지보수가 중단된 SSDB를 대체하면서 기존 서비스의 키·값 접근을 이어 가려 했다. 저장 대상은 거래 원장이 아니라 차트 배치와 작업 공간 같은 UI 설정이며, 최근 변경 일부가 유실되는 비용을 받아들였다고 설명한다. 도입 배경
SQLite의 WAL은 변경을 별도 로그에 먼저 쓰는 방식이다. 읽기와 쓰기를 함께 진행할 수 있지만, 데이터베이스 하나에서 동시에 쓰는 주체는 하나다. SQLite의 동시성 설명 Blobasaur는 파일을 여러 샤드로 나누고 샤드마다 쓰기 담당 작업을 둔다. 대기한 요청을 한 트랜잭션으로 묶어 커밋 비용을 나눈다. 엔진의 제약을 없애기보다 데이터 배치와 요청 처리 방식을 그 제약에 맞춘 설계다. 샤드와 일괄 처리
발표의 쓰기 처리량 3.3배 향상은 샤드 1개와 16개를 비교한 결과다. 데이터 디렉터리는 메모리 파일시스템인 tmpfs에 있었고, 동시 연결 64개와 64 KiB JSON, 일괄 크기 50을 사용했다. 디스크 편차를 제외한 측정이므로 영구 저장 장치의 성능 보장으로 읽을 수 없다. 우리 환경에서는 압축률과 CPU, 디스크 동기화 비용을 다시 확인해야 한다. 측정 조건
동기 쓰기와 디스크 동기화는 다른 설정이다
Blobasaur의 async_write는 언제 응답할지를 정한다. SQLite의 synchronous는 언제 저장 장치에 동기화할지를 정한다. 두 이름을 같은 축으로 읽으면 동기 쓰기를 골랐으니 전원 장애에도 안전하다고 오해하기 쉽다. 쓰기 모드, SQLite 설정
| 구분 | 성공 응답 때 확인된 단계 | 남는 위험 |
|---|---|---|
| 비동기 쓰기 | 샤드의 메모리 큐에 수락 | 커밋 전 프로세스 종료로 유실 가능 |
| 동기 쓰기 + WAL/NORMAL | SQLite 트랜잭션 커밋 | OS 장애·전원 손실 뒤 최근 커밋 유실 가능 |
| 동기 쓰기 + WAL/FULL | 커밋마다 WAL 동기화 | 저장 장치의 정상적인 동기화 이행이 전제 |
표의 동기 쓰기는 클라이언트 응답을 커밋 뒤에 보내는 경로다. 커밋 실패도 응답 결과에 반영한다. 반면 비동기 쓰기는 그 결과가 나오기 전에 응답하므로 이후 실패를 별도 관측해야 한다. 커밋과 응답 코드
SQLite 공식 문서는 WAL/NORMAL에서 일관성은 유지되지만 전원 손실이나 시스템 장애로 커밋이 되돌아갈 수 있다고 설명한다. FULL은 커밋마다 WAL을 동기화한다. 따라서 NORMAL의 최근 쓰기 유실 가능성을 곧 데이터베이스 손상으로 표현해서도 안 된다. 또 FULL로 바꾸어도 비동기 응답을 이미 받은 메모리 큐의 쓰기까지 보호되지는 않는다. 동기화 수준의 차이
내가 먼저 정할 것은 허용할 유실 범위다. 다시 만들 수 있는 화면 설정과 사용자가 저장을 확정한 계약 문서는 같은 성공 표시를 쓰더라도 필요한 약속이 다르다. 낮은 지연을 얻는 대신 어느 장애에서 무엇을 잃을 수 있는지 제품 요구로 적어야 한다.
다시 읽히는 값이 복구 가능성을 증명하지는 않는다
비동기 쓰기에는 별도의 읽기 일관성 문제도 있다. 큐에 들어간 새 값이 아직 SQLite에 없다면 곧바로 읽었을 때 예전 값이 나올 수 있다. 저장소는 대기 중 변경을 메모리에도 두어 여러 읽기 경로가 먼저 확인하도록 한다. 이 장치로 당장 새 값을 읽어도 그 값의 영구 저장이 끝났다는 뜻은 아니다. 비동기 쓰기의 읽기 경로
발표와 현재 소스를 대조할 이유도 여기서 보인다. 공식 글은 TTL까지 대기 맵을 확인하도록 고쳤다고 설명하지만, 확인한 커밋의 README는 비동기 SET ... EX 직후 TTL이 키 없음인 -2를 반환할 수 있다는 제한을 남긴다. TTL은 남은 유효 시간을 읽는 명령이다. 현재 문서의 제한
같은 커밋의 구현은 대기 중 삭제 표식은 확인하지만, 새로 쓴 값의 만료 시각은 DB에서 조회한다. 따라서 새 키의 커밋 전에 이런 차이가 생길 수 있다는 설명과 맞는다. 이는 소스에서 확인한 경로이며 실행으로 재현한 결과는 아니다. TTL 구현
나는 이 차이를 특정 출시 버전 전체의 결함으로 일반화하지 않겠다. 배포할 태그와 설정을 고정하고, 실제 애플리케이션이 쓰는 명령 조합을 검사할 근거로 삼겠다. 값 조회뿐 아니라 저장 직후 만료 확인이나 삭제까지 연결하는 코드라면 명령별로 관찰되는 상태가 중요하다.
분산 배치 다음에는 복구 절차가 남는다
여러 노드에 키를 나누는 기능이 있어도 장애 복구가 자동으로 따라오지는 않는다. 공식 글은 노드 사이의 슬롯 배치가 정적이고, 실행 중 재배치와 자동 장애 조치는 아직 구현되지 않았다고 명시한다. 노드 내부 샤드 수 변경도 서버를 멈추고 옮기는 작업이다. 확장 범위, 이전 절차 AGPLv3로 공개된 프로젝트이므로 사용·수정 방식에 맞는 라이선스 검토도 도입 비용에 넣어야 한다. 라이선스
UI 설정처럼 키로 통째로 읽고 덮어쓰며 최근 변경의 유실을 허용할 수 있는 데이터라면 시험할 이유가 있다. 반대로 잃을 수 없는 기록이나 자동 복구가 필수인 저장소라면, 먼저 그 요구를 충족할 구성을 찾겠다. 기존 데이터베이스에 계속 보관하거나 객체 저장소와 메타데이터 저장을 나누는 대안도 같은 요청 지연과 운영 비용으로 비교할 수 있다.
시험에서는 처리량과 함께 다음을 확인하겠다.
- 큐가 찼을 때의 대기 시간과 커밋 실패를 관측할 수 있는지 확인한다.
- 저장 직후 값·만료·삭제를 조회해 애플리케이션이 기대한 상태와 대조한다.
- 정상 종료와 강제 종료를 나눠, 성공 응답을 받은 키 중 복구되는 범위를 확인한다.
- 노드 장애 뒤 백업에서 복원하고 요청을 다시 받기까지의 시간을 측정한다.
Blobasaur의 선택이 설득력 있는 이유는 저장할 데이터의 중요도와 쓰기 경로를 함께 설명하기 때문이다. 도입 판단도 그 순서를 따르겠다. 더 빠른 성공 응답을 고르기 전에, 그 성공 뒤에 남아 있어야 할 데이터를 먼저 정해야 한다.
참고 자료
이 이야기가 도움이 되었나요?