Data & Pipeline
Airflow 백필, 멱등성, PostgreSQL 운영과 데이터 파이프라인의 재처리·정합성 문제를 다룹니다.
Airflow 백필(Backfill) 멱등성 회고: 에러 나면 Clear 누르고 재실행하면 되나?
대규모 데이터 파이프라인을 운영하다 보면 필연적으로 원천 로그 재수집이나 과거 데이터 재적재(Backfill) 상황을 마주하게 됩니다. 이때 가장 치명적인 문제는 재실행 시 중복 적재(Duplicate Insert)나 데이터 유실이 발생하는 것입니다. “Airflow DAG? 그냥 실패하면 웹 UI에서…
PostgreSQL MVCC와 Vacuum: 데이터 지우는데 용량이 왜 더 늘어날까?
데이터 지우는데 용량이 왜 더 늘어날까? 서론 PostgreSQL을 운용하던 중, 이런 의문이 들었다. “오래된 데이터를 DELETE로 몇 백만 건 지웠는데 왜 디스크 용량은 줄어들기는커녕 더 늘어나지?” 그렇게 궁금해하며 서버 모니터링을…