1. 개요최근 AWS DMS를 사용하여 운영계 Source DB에서 IDC Target DB로 데이터를 마이그레이션하는 과정에서 CDC Latency가 지속적으로 증가하고, Replication Task에서 OOM(Out Of Memory)이 발생하는 현상이 있었습니다.당시 약 80개 테이블을 대상으로 Full Load + CDC 방식의 마이그레이션을 진행하였으며, 대용량 테이블의 경우 약 4억 건의 데이터를 보유하고 있었습니다. 초기에는 대용량 데이터 처리로 인한 복제 인스턴스의 메모리 부족 문제로 판단하여 인스턴스 사양과 Task 메모리 관련 파라미터를 조정하였으나, OOM 현상이 지속적으로 발생하였습니다.이에 따라 AWS DMS의 CloudWatch 지표와 Task 로그를 확인하고, AWS Supp..

안녕하세요. 오늘은 지난 포스팅에 이어서 PostgreSQL의 기본 아키텍처를 공부하고, 정리해보려고 합니다. 지난 포스팅과 함께 보면 좋을 듯하여 첨부합니다. [PostgreSQL] PostgreSQL 기본 아키텍처 - 1안녕하세요. 오늘은 PostgreSQL 의 기본 아키텍처에 대해서 공부해보려고 합니다. Oracle과 호환성이 좋기도하고, Oracle을 사용하는 서비스들이 라이선스 비용등의 이유로 PostgreSQL로 마이그레이션을hyungyun.tistory.com 지난번에는 WAL Buffer에 대한 간략한 개념을 공부했는데요.이번에는 WAL이 필요한 이유, UPDATE 처리 과정, COMMIT 의 의미 및 과정 등 쿼리가 수행되고 변경 사항이 적용될 때에, 내부 동작에 대해서 공부해보려 합니다..

안녕하세요. 오늘은 PostgreSQL 의 기본 아키텍처에 대해서 공부해보려고 합니다. Oracle과 호환성이 좋기도하고, Oracle을 사용하는 서비스들이 라이선스 비용등의 이유로 PostgreSQL로 마이그레이션을 진행하기도 합니다. 개요기본적으로 Postgres의 경우는 사용자의 요청을 받은 Postmaster에서 클라이언트의 연결을 받아 Backend Process를 생성하고 연결이 수립된 이후에는 Client와 해당 Backend Process가 직접 통신하게 된다. Client │ │ C..

안녕하세요 어제는 이전 글에 뒤이어서 k8s를 사용하여 PostgreSQL DB를 자동으로 관리하고 pod 단에서 관리할 수 있게끔 실습 및 개념 공부를 해보겠습니다. 지난 글에서는 EC2에 Docker를 설치하고, postgres:17 이미지로 컨테이너를 두 개(pg-test, pg-test2) 띄워서 인스턴스가 정상적으로 생성되는지 확인하였습니다. 오늘은 여기에 이어서 같은 EC2에 k3s를 설치하고, Docker 컨테이너와는 별개로 PostgreSQL을 Pod 단위로 관리하는 방법을 실습하려 합니다. [PostgreSQL] EC2 Docker 에서 k8s를 활용해 PostgreSQL 관리하기 - 1안녕하세요. 오늘은 AWS의 EC2 환경에서 Docker를 구성한 뒤 Kubernetes를 활용한 P..

안녕하세요. 오늘은 AWS의 EC2 환경에서 Docker를 구성한 뒤 Kubernetes를 활용한 PostgreSQL을 구성해보려고 합니다. 우선 AWS 환경에서 EC2와 Docker를 구성하기 위해서는 EC2, Docker,k8s가 어떤건지 개념을 먼저 확인해야 할 것 같은데요.간략하게 개념에 대해서 확인해보겠습니다. EC2 / Docker / K8s 란 ?AWS EC2 란?- Elastic Compute Cloud로 Amazon Web Service 에서 제공하는 컴퓨트 자산이다. - EC2에 SSH로 접근하게 되면, On-prem 환경의 리눅스 컴퓨터 1대에 접속하는 것과 같다 Docker란 ?- Docker는 OS 커널을 호스트와 공유하면서 프로세스 단위로 격리하는 컨테이너 기술이다. - VM처..

안녕하세요 오늘은 최근 마이그레이션 프로젝트에서 MySQL Dump와 MyDumper를 사용하며 느꼈던 비교점과 장단점에 대해서 정리하고 비교해보려고 합니다. 정리에 들어가기 앞서 AWS RDS Maria 10.11.18 버전으로 테스트를 진행하였고, 보통 MySQLDump를 사용하는 것이 일반적이나, 정리 및 공부를 위해 두가지 경우 모두 테스트했다는 점 참고 부탁드립니다. 1. 핵심 아키텍처 MySQLDump vs MyDumper항목MySQLDumpMyDumper실행 구조단일 스레드멀티 스레드 (병렬 dump/load)출력 형식단일 SQL 파일(또는 단일 스트림)스키마별/테이블별 개별 파일 분리일관성 보장--single-transaction + FLUSH TABLES WITH READ LOCKName..

오늘은 지난 포스팅에 이어서 Vacuum이 실제 PostgreSQL DB 에 미치는 영향과 쿼리 성능에 어떤 영향을 미치는지,실습을 통해서 알아보려고 합니다. 개념적인 부분은 아래 링크에서 정리하였으니, 한번씩 확인하시면 좋을 것 같습니다. [PostgreSQL] PostgreSQL 기본 개념과 Vacuum이란?최근 Aurora PostgreSQL을 업그레이드 했는데, 이 과정에서 필수로 ANALYZE를 진행해야 하는 프로세스가 있었습니다.이것을 정리하면 좋을 것 같아, ANALYZE와 항상 함께 나오는 VACUUM도 함께 정리해보려hyungyun.tistory.com 환경구성 : EC2 (Red Hat Enterprise Linux release 8.10 (Ootpa) / psql (PostgreSQL..

최근 Aurora PostgreSQL을 업그레이드 했는데, 이 과정에서 필수로 ANALYZE를 진행해야 하는 프로세스가 있었습니다.이것을 정리하면 좋을 것 같아, ANALYZE와 항상 함께 나오는 VACUUM도 함께 정리해보려고 합니다. PostgreSQL을 다루는 첫 포스팅인 만큼, PostgreSQL이 어떤 데이터베이스인지부터 간단히 살펴본 뒤, VACUUM의 개념과 필요성, 방치했을 때 생기는 문제, Autovacuum의 동작 원리를 정리하고 마지막으로 직접 테스트해보는 것까지 공부해보겠습니다.PostgreSQL 이란?PostgreSQL은 1986년 버클리 대학의 POSTGRES 프로젝트에서 출발한 오픈소스 객체-관계형 데이터베이스(Object-Relational DBMS)입니다. 상용 DBMS에 ..

오늘은 AWS 에서 제공하는 DW, Data warehouse인 Redshift에 대해서 공부해보려고 합니다.DW 에 대한 필요성이 급증하고, 사용량이 증가함에 따라서 공부하고 정리하는 시간을 가지면 좋을 것 같아 공부한 내용을 포스팅해보려 합니다. 개요DW란? Data Warehouse 로 기업의 다양한 테이터를 통합하여 정보에 입각하여 보다 쉽고 정확하게 의사 결정을 내릴 수 있도록 분석 가능한 정보의 중앙 리포지토리 입니다.쉽게 생각하면 가공된 데이터들이 모여있는 데이터 집합소라고 생각하면 됩니다.이렇게 가공된 데이터들을 어플리케이션이나 시스템 내부에 관리하며 데이터 엔지니어가 BI나 SQL을 활용해 데이터를 액세스 하는 방식으로 사용됩니다. 일반적인 Database가 아닌 ata warehous..

오늘은 Database 에서 유용하게 많이 사용되는 가상 테이블인 View에 대해서 공부하고 정리해보려고 합니다.View의 목적, 특징, 장단점을 살펴보고 실무적으로도 활용이 가능한 활용 방안에 대해서도 공부 해보겠습니다. 개요View는 하나 이상의 기본 테이블로부터 유도된 가상 테이블(Virtual Table) 로, 물리적으로 데이터를 저장하지 않고 실행 시점에 SQL 쿼리를 통해 데이터를 보여주는 역할을 합니다. 뷰는 일반적으로 단순 뷰 (Simple View), 복합 뷰 (Complex View), 인라인 뷰 (Inline View) , 구체화 된 뷰 (Materialized View)의 4가지로 정의할 수 있으며 시스템에서 요청하는 정보나, 필요에 따라서 사용 방법이 조금씩 다릅니다. View의..