[MySQL & MariaDB - sync_binlog 0 vs 1 트랜잭션 보장 테스트]

배경 이전 글과 같이 갑작스런 Primary OS crash에 따른 Master-Slave 간 sync_binlog 파라미터의 값에 따라 데이터 정합성에 깨짐이 있는지 확인 해볼 생각입니다. sync_binlog 관련 내용은 이전 글 또는 docs를 참조해주세요. https://jhdatabase.tistory.com/entry/MySQL-MariaDB-Replication-%EB%B3%B5%EC%A0%9C-%EC%97%90%EB%9F%AC-errorcode-1236 [MySQL & MariaDB - Replication 복제 에러 error_code : 1236] 배경 최근 Replication 구조에서 Primary DB가 갑작스레 서버가 죽으며, DB가 내려갔다. 이후 Slave DB에서 repli..

• format_list_bulleted DataBase/MySQL & MariaDB
• · 2024. 2. 28.
• textsms

[MySQL & MariaDB - Replication 복제 에러 error_code : 1236]

배경 최근 Replication 구조에서 Primary DB가 갑작스레 서버가 죽으며, DB가 내려갔다. 이후 Slave DB에서 replication이 에라 발생과 함께 정상적으로 동작하지 않았다. 발생 에러 ■ Slave status MariaDB [(none)]> show slave status\G; *************************** 1. row *************************** Slave_IO_State: Master_Host: 192.168.152.128 Master_User: repl Master_Port: 3306 Connect_Retry: 10 Master_Log_File: mysql.000001 Read_Master_Log_Pos: 568519 Relay_..

• format_list_bulleted DataBase/MySQL & MariaDB
• · 2024. 2. 28.
• textsms

[MySQL & MariaDB - Federated Engine 사용 테스트]

Federated engine이란 FEDERATED 스토리지 엔진을 사용하면 복제 또는 클러스터 기술을 사용하지 않고도 원격 MySQL 데이터베이스의 데이터에 액세스 할 수 있습니다. 로컬 FEDERATED 테이블을 쿼리하면 원격 테이블에서 데이터를 자동으로 가져옵니다. 로컬 테이블에는 데이터가 저장되지 않습니다. 표준 스토리지 엔진 (예 : MyISAM, CSV 또는 InnoDB) 중 하나를 사용하여 테이블을 생성할 때 테이블은 테이블 정의 및 관련 데이터로 구성됩니다. FEDERATED 테이블을 생성할 때 테이블 정의는 동일하지만 데이터의 물리적 스토리지는 원격 서버에서 처리됩니다. FEDERATED 스토리지 엔진은 더 이상 지원되지 않는 레거시 스토리지 엔진입니다. MariaDB 10.0 부터 CO..

• format_list_bulleted DataBase/MySQL & MariaDB
• · 2024. 2. 7.
• textsms

[MySQL & MariaDB - Relay Log 변경 시 replication 복제 에러 해결방법]

발생 에러 MariaDB [(none)]> start slave; ERROR 1201 (HY000): Could not initialize master info structure for ''; more error messages can be found in the MariaDB error log ## 에러 로그 2023-12-20 16:42:39 0 [ERROR] Failed to open the relay log './kjh-relay-bin.000008' (relay_log_pos 633) 2023-12-20 16:42:39 0 [ERROR] Could not find target log during relay log initialization 2023-12-20 16:42:39 0 [ERROR] F..

• format_list_bulleted DataBase/MySQL & MariaDB
• · 2024. 1. 5.
• textsms

[MySQL & MariaDB - Partition Exchange]

Partition Exchange 란? 원본 테이블을 파티션 테이블로 생성한 후 원본 테이블의 데이터가 너무 커지면 파티션을 다른 테이블로 이관할 수 있는 기능으로 MariaDB Partition Exchange는 MariaDB에서 파티셔닝된 테이블에서 데이터를 교환하고 재조정하기 위한 기능입니다. 이 기능은 특히 대량의 데이터를 효과적으로 관리하고 쿼리 성능을 최적화하는 데 사용됩니다. 파티셔닝은 테이블을 논리적 또는 물리적으로 분할하여 데이터를 더 쉽게 관리하고 쿼리 성능을 향상시키는 기술입니다. MySQL 5.6 버전/MariaDB 10.0 버전부터 지원가능. 목적 및 장점 ■ 목적 : 보관주기가 지난 파티션을 삭제전 삭제 대상 데이터를 백업하기 위한 목적 ■ 장점 1) 특정 파티션에 대한 삭제 시..

• format_list_bulleted DataBase/MySQL & MariaDB
• · 2024. 1. 4.
• textsms

[PostgreSQL - Vacuum Lock 확인]

Vacuum이란? Vacuum은 PostgreSQL의 MVCC 구현 방법이 Oracle이나 MySQL 등 다른 DBMS와 다르고 그 차이로 인해 발생하는 문제점을 해결하기 위한 PostgreSQL만의 특별한 동작인데요. Vacuum을 DB단에서 자동으로 수행하는 동작을 AutoVacuum이라고 하며 Vacuum & AutoVacuum(이하 Vacuum으로 통일)을 통해 아래 4가지 작업을 수행합니다. - 임계치 이상으로 발생한 Dead Tuple을 정리하여 FSM (Free Space Map) 으로 반환 - Transaction ID Wraparound 방지 - 통계정보 갱신 - visibility map을 갱신하여 index scan 성능 향상 위 4개의 동작 모두 중요하지만 그 중 특히 중요한 것은 ..

• format_list_bulleted DataBase/PostgreSQL
• · 2024. 1. 4.
• textsms

[Oracle - PostgreSQL to Oracle DBLink] use. FDW

Oracle FDW란. Postgresql 에서 Oracle에 있는 데이터를 가져오기 위해서는 FDW를 이용할 수 있다. FDW는 Foreign Data Wrapper 의 약자로 이기종 데이터베이스의 외래테이블 간에 연결하여 사용할 수 있는 솔루션이다. 테스트 환경 postgresql : 13.7 Oracle : 11.2.0.4 ※ oracle 부분 확인 필요 사항 오라클 클라이언트 다운로드가 필요(zip 파일) - 오라클 계정 필요 오라클 서버와 버전이 맞는 버전을 사용하는 것이 좋음(이슈 관련) 32비트 오라클 서버와 64비트 PostgreSQL 서버는 동작 불가.(동일한 bit의 프로그램 필요) #SELECT * FROM v$version; 로 oracle 버전 정보 확인 ----------Orac..

• format_list_bulleted DataBase/Oracle
• · 2023. 5. 25.
• textsms

[Oracle - 리눅스 서버에서 RDS 접속 방법] use. oracle client

■ Oracle버전에 맞는 client 다운로드 basic & sqlplus https://www.oracle.com/database/technologies/instant-client/linux-x86-64-downloads.html Instant Client for Linux x86-64 (64-bit) Base - one of these packages is required Tools - optional packages Development and Runtime - optional packages www.oracle.com [root@ip-172-31-38-100 ~]# wget https://download.oracle.com/otn_software/linux/instantclient/1919000..

• format_list_bulleted DataBase/Oracle
• · 2023. 5. 25.
• textsms

[MySQL - 로컬 컴퓨터 to MySQL 서버 데이터 이관] use.MySQL workbench

데이터 사이즈가 크다면 물론 마이그레이션 전용 서버를 만드는 것이 좋습니다. 하지만 덤프파일 사이즈가 크지않고 로컬 컴퓨터의 여유공간이 있다면 따로 마이그레이션 전용 서버 생성하지 않고 데이터를 Export/Import 할 수 있습니다. Workbench 툴을 이용해 로컬 컴퓨터로 덤프파일을 export 후 import 해보았습니다. Test Data Export ■ Data Export 상단 바에서 Server -> Data Export 클릭 ■ Dump 대상 데이터베이스 선택 좌측이 database, 우측이 table 선택 후 덤프 받을 경로 지정 ■ Start Export ■ 덤프파일 확인 Import ■ Data Import 상단 바에서 Server -> Data Import 클릭 ■ Import..

• format_list_bulleted DataBase/MySQL & MariaDB
• · 2023. 2. 10.
• textsms

[MySQL - Orchestrator VIP설정 part 3 use. Keepalived]

Orchestrator 나 MHA 와 같은 HA 툴의 경우 Failover 등의 가용성 기능을 제공을 하지만 VIP 리소스 에 대한 기능은 제공하지 않아 별도의 스크립트 등으로 구현 해서 사용 해야 합니다. 물론 hooking이 되는 파라미터 나 스크립트 내 호출 함수 등에 대한 정보, 사용시 수정 해야할 사항 등은 정보가 제공되지만 VIP 를 Assign 하고 Relocate 하는 등의 실제 동작하는 부분에 해당하는 스크립트나 프로그램은 별도로 작성이 필요로 합니다. 따라서 저같은 경우에는 keepalived 툴을 사용하여 VIP 관리 할 예정입니다. Keepalived란? '로드밸런싱'과 '고가용성(HA)'를 제공하는 프레임워크. -. 로드밸런싱은 L4 수준의 로드 밸런싱(HAProxy와 함께 사용하..

• format_list_bulleted DataBase/MySQL & MariaDB
• · 2023. 2. 5.
• textsms