[MySQL & MariaDB - sync_binlog 0 vs 1 트랜잭션 보장 테스트]

배경 이전 글과 같이 갑작스런 Primary OS crash에 따른 Master-Slave 간 sync_binlog 파라미터의 값에 따라 데이터 정합성에 깨짐이 있는지 확인 해볼 생각입니다. sync_binlog 관련 내용은 이전 글 또는 docs를 참조해주세요. https://jhdatabase.tistory.com/entry/MySQL-MariaDB-Replication-%EB%B3%B5%EC%A0%9C-%EC%97%90%EB%9F%AC-errorcode-1236 [MySQL & MariaDB - Replication 복제 에러 error_code : 1236] 배경 최근 Replication 구조에서 Primary DB가 갑작스레 서버가 죽으며, DB가 내려갔다. 이후 Slave DB에서 repli..

• format_list_bulleted DataBase/MySQL & MariaDB
• · 2024. 2. 28.
• textsms

[MySQL & MariaDB - Replication 복제 에러 error_code : 1236]

배경 최근 Replication 구조에서 Primary DB가 갑작스레 서버가 죽으며, DB가 내려갔다. 이후 Slave DB에서 replication이 에라 발생과 함께 정상적으로 동작하지 않았다. 발생 에러 ■ Slave status MariaDB [(none)]> show slave status\G; *************************** 1. row *************************** Slave_IO_State: Master_Host: 192.168.152.128 Master_User: repl Master_Port: 3306 Connect_Retry: 10 Master_Log_File: mysql.000001 Read_Master_Log_Pos: 568519 Relay_..

• format_list_bulleted DataBase/MySQL & MariaDB
• · 2024. 2. 28.
• textsms

[MySQL & MariaDB - Federated Engine 사용 테스트]

Federated engine이란 FEDERATED 스토리지 엔진을 사용하면 복제 또는 클러스터 기술을 사용하지 않고도 원격 MySQL 데이터베이스의 데이터에 액세스 할 수 있습니다. 로컬 FEDERATED 테이블을 쿼리하면 원격 테이블에서 데이터를 자동으로 가져옵니다. 로컬 테이블에는 데이터가 저장되지 않습니다. 표준 스토리지 엔진 (예 : MyISAM, CSV 또는 InnoDB) 중 하나를 사용하여 테이블을 생성할 때 테이블은 테이블 정의 및 관련 데이터로 구성됩니다. FEDERATED 테이블을 생성할 때 테이블 정의는 동일하지만 데이터의 물리적 스토리지는 원격 서버에서 처리됩니다. FEDERATED 스토리지 엔진은 더 이상 지원되지 않는 레거시 스토리지 엔진입니다. MariaDB 10.0 부터 CO..

• format_list_bulleted DataBase/MySQL & MariaDB
• · 2024. 2. 7.
• textsms

[MySQL & MariaDB - Relay Log 변경 시 replication 복제 에러 해결방법]

발생 에러 MariaDB [(none)]> start slave; ERROR 1201 (HY000): Could not initialize master info structure for ''; more error messages can be found in the MariaDB error log ## 에러 로그 2023-12-20 16:42:39 0 [ERROR] Failed to open the relay log './kjh-relay-bin.000008' (relay_log_pos 633) 2023-12-20 16:42:39 0 [ERROR] Could not find target log during relay log initialization 2023-12-20 16:42:39 0 [ERROR] F..

• format_list_bulleted DataBase/MySQL & MariaDB
• · 2024. 1. 5.
• textsms

[MySQL & MariaDB - Partition Exchange]

Partition Exchange 란? 원본 테이블을 파티션 테이블로 생성한 후 원본 테이블의 데이터가 너무 커지면 파티션을 다른 테이블로 이관할 수 있는 기능으로 MariaDB Partition Exchange는 MariaDB에서 파티셔닝된 테이블에서 데이터를 교환하고 재조정하기 위한 기능입니다. 이 기능은 특히 대량의 데이터를 효과적으로 관리하고 쿼리 성능을 최적화하는 데 사용됩니다. 파티셔닝은 테이블을 논리적 또는 물리적으로 분할하여 데이터를 더 쉽게 관리하고 쿼리 성능을 향상시키는 기술입니다. MySQL 5.6 버전/MariaDB 10.0 버전부터 지원가능. 목적 및 장점 ■ 목적 : 보관주기가 지난 파티션을 삭제전 삭제 대상 데이터를 백업하기 위한 목적 ■ 장점 1) 특정 파티션에 대한 삭제 시..

• format_list_bulleted DataBase/MySQL & MariaDB
• · 2024. 1. 4.
• textsms

[PostgreSQL - Vacuum Lock 확인]

Vacuum이란? Vacuum은 PostgreSQL의 MVCC 구현 방법이 Oracle이나 MySQL 등 다른 DBMS와 다르고 그 차이로 인해 발생하는 문제점을 해결하기 위한 PostgreSQL만의 특별한 동작인데요. Vacuum을 DB단에서 자동으로 수행하는 동작을 AutoVacuum이라고 하며 Vacuum & AutoVacuum(이하 Vacuum으로 통일)을 통해 아래 4가지 작업을 수행합니다. - 임계치 이상으로 발생한 Dead Tuple을 정리하여 FSM (Free Space Map) 으로 반환 - Transaction ID Wraparound 방지 - 통계정보 갱신 - visibility map을 갱신하여 index scan 성능 향상 위 4개의 동작 모두 중요하지만 그 중 특히 중요한 것은 ..

• format_list_bulleted DataBase/PostgreSQL
• · 2024. 1. 4.
• textsms

[Oracle - PostgreSQL to Oracle DBLink] use. FDW

Oracle FDW란. Postgresql 에서 Oracle에 있는 데이터를 가져오기 위해서는 FDW를 이용할 수 있다. FDW는 Foreign Data Wrapper 의 약자로 이기종 데이터베이스의 외래테이블 간에 연결하여 사용할 수 있는 솔루션이다. 테스트 환경 postgresql : 13.7 Oracle : 11.2.0.4 ※ oracle 부분 확인 필요 사항 오라클 클라이언트 다운로드가 필요(zip 파일) - 오라클 계정 필요 오라클 서버와 버전이 맞는 버전을 사용하는 것이 좋음(이슈 관련) 32비트 오라클 서버와 64비트 PostgreSQL 서버는 동작 불가.(동일한 bit의 프로그램 필요) #SELECT * FROM v$version; 로 oracle 버전 정보 확인 ----------Orac..

• format_list_bulleted DataBase/Oracle
• · 2023. 5. 25.
• textsms

[Oracle - 리눅스 서버에서 RDS 접속 방법] use. oracle client

■ Oracle버전에 맞는 client 다운로드 basic & sqlplus https://www.oracle.com/database/technologies/instant-client/linux-x86-64-downloads.html Instant Client for Linux x86-64 (64-bit) Base - one of these packages is required Tools - optional packages Development and Runtime - optional packages www.oracle.com [root@ip-172-31-38-100 ~]# wget https://download.oracle.com/otn_software/linux/instantclient/1919000..

• format_list_bulleted DataBase/Oracle
• · 2023. 5. 25.
• textsms

[AWS - RDS(Aurora MySQL) 데이터 이관] use. S3

RDS(Aurora MySQL) -> S3버킷으로 데이터 로드하는 과정과 반대로 S3 -> RDS(Aurora MySQL)로 데이터 로드 하는 테스트를 해보았습니다! 사전 테스트 준비 ■ Test Data mysql> select * from name; +------+------+ | a | b | +------+------+ | 1 | 김 | | 2 | 정 | | 3 | 현 | +------+------+ 3 rows in set (0.00 sec) ■ Dump export [root@ip-172-31-47-148 ~]# mysqldump -uroot -proot --single-transaction --databases kim > kim.sql ■ 덤프파일 S3에 업로드 ■ RDS - S3 연동 RD..

• format_list_bulleted Cloud/AWS(Amazon Web Service)
• · 2023. 5. 24.
• textsms

[AWS - RDS(Aurora MySQL) 와 S3 연동]

■ S3 버킷 생성 모든 퍼블릭 액세스 차단으로 설정돼있는데 차단하면 안될거같다.. ■ IAM 정책 생성 ■ IAM 역할 생성 ■ 이전에 생성한 정책 추가 ■ RDS에 S3통합 옵션 추가 ■ Aurora MySQL에서 데이터 저장 권한 부여 https://docs.aws.amazon.com/ko_kr/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Integrating.SaveIntoS3.html admin유저에게는 default로 S3명령어 권한이 부여된다. 다른 user들에게는 권한을 부여해야함. GRANT SELECT INTO S3 ON *.* TO 'kim'@'%'; GRANT LOAD FROM S3 ON *.* TO 'kim'@'%'; ■ S3 → RDS 데이터 ..

• format_list_bulleted Cloud/AWS(Amazon Web Service)
• · 2023. 5. 24.
• textsms