[AWS - Role 전환 설정]

AWS관리자 계정에서 다른 관리대상 계정에 접속하기 위해 cross-account access를 설정하여 로그아웃->로그인을 하는 번거로움을 없애고 Role전환하며 편하게 관리할 수 있습니다. ■ 새로운 역할 구성 AWS 관리 콘솔 > IAM > 역할 > 역할만들기 ■ Administrator Access 선택 ■ 정책 생성 ■ 사용자 생성 ■ 사용자 재로그인 후 역할 전환 ■ 역할 전환 확인

• format_list_bulleted Cloud/AWS(Amazon Web Service)
• · 2023. 5. 24.
• textsms

[AWS - Local(Window)에서 ec2(Linux)로 파일 전송 방법]

■ SCP 형식 scp -i [키페어의 위치와 키페어] -r [보내는 파일] [우분투서버에서 저장할 위치] ■ Window powershell 에서 scp 실행 ※ permissions for pem are too open 에러 발생 PS C:\AWS_key> scp -i C:\AWS_key\kimjeonghyun.pem -r C:\install ec2-user@43.201.30.75:/home/ec2-user Bad permissions. Try removing permissions for user: BUILTIN\\Users (S-1-5-32-545) on file C:/AWS_key/kimjeonghyun.pem. @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@..

• format_list_bulleted Cloud/AWS(Amazon Web Service)
• · 2023. 5. 24.
• textsms

[MySQL - Transaction Isolation Levels]

■ MySQL 격리 수준(from Real MySQL 8.0) 여러 트랜잭션이 동시에 처리될 때 특정 트랜잭션이 다른 트랜잭션에서 변경하거나 조회하는 데이터를 볼 수 있게 허용할지 말지를 결정하는 것 크게 "READ UNCOMMITTED" "READ COMMITTED" "REPEATABLE READ" " SERIALIZABLE"로 나뉜다. 하지만 일반적인 데이터베이스에서 READ UNCOMMITTED는 거의 사용하지 않고, SERIALIZABLE또한 동시성이 중요한 데이터베이스에서는 거의 사용되지 않는다. 격리 수준이 높아질수록 성능 개선이나 저하는 발생하지 않는다. ※ 일반적인 온라인 서브스 용도에서는 READ COMMITTED와 REPEATABLE READ 중 하나를 사용합니다. READ UNCOMM..

• format_list_bulleted DataBase Admin/DB Admin
• · 2023. 2. 10.
• textsms

[MySQL - 강제 복구 모드 innodb_force_recovery]

테이블 손상이 발생할 수 있는 경우 1. InnoDB 테이블이 손상되는 경우는 상당히 희박 - Double write, Checksum 그리고 기타 Validation 로직들과 버그 보완으로 인해서, 실제로 MyISAM에 비해서 InnoDB 테이블 스페이스 및 데이터 파일은 상당히 안정적이다. 2. 대부분의 손상은 인덱스에서 발생 - 많은 사람들이 경험하는 InnoDB 데이터 파일의 손상은 80~90% 정도가 InnoDB 인덱스 (Secondary index)에 발생한 손상인 경우이며, 이 경우에는 단순히 ALTER TABLE 또는 데이터 덤프 및 재 적재만으로 해결된다. 복구 모드 "1 ( SRV_FORCE_IGNORE_CORRUPT )" 참조. 3. 이외 - InnoDB 테이블의 문제점들의 경우는 덤..

• format_list_bulleted DataBase Admin/DB Admin
• · 2023. 2. 10.
• textsms

[MySQL - 로컬 컴퓨터 to MySQL 서버 데이터 이관] use.MySQL workbench

데이터 사이즈가 크다면 물론 마이그레이션 전용 서버를 만드는 것이 좋습니다. 하지만 덤프파일 사이즈가 크지않고 로컬 컴퓨터의 여유공간이 있다면 따로 마이그레이션 전용 서버 생성하지 않고 데이터를 Export/Import 할 수 있습니다. Workbench 툴을 이용해 로컬 컴퓨터로 덤프파일을 export 후 import 해보았습니다. Test Data Export ■ Data Export 상단 바에서 Server -> Data Export 클릭 ■ Dump 대상 데이터베이스 선택 좌측이 database, 우측이 table 선택 후 덤프 받을 경로 지정 ■ Start Export ■ 덤프파일 확인 Import ■ Data Import 상단 바에서 Server -> Data Import 클릭 ■ Import..

• format_list_bulleted DataBase/MySQL & MariaDB
• · 2023. 2. 10.
• textsms

[MySQL - Online DDL] use. Gh-ost

Gh-ost란, MySQL에서 online alter 기능이 있지만 아직 완벽하지는 않습니다. 이를 보완하기 위해 percona 의 pt-online-schema-change 스크립트를 사용하기도 하는데요, 원본과 복사본 테이블의 sync 를 trigger 기반으로 맞춘다는 단점이 있습니다. 특수 케이스에서는 일관성 문제도 야기될 수 있고, trigger 가 유발할 수 있는 Lock 으로 인해서 마지막에 swap 할 때 쿼리들이 실패하기도 합니다. 이러한 컨셉은 2009년부터 이어져왔고 큰 변화가 없었습니다. gh-ost 가 이러한 단점을 보완해서 pt-online-schema-change 를 대체할 수 있을지 조심스레 살펴보고 있습니다. 원본과 복사본(ghost table) 간의 sync 를 맞추는데 ..

• format_list_bulleted Others/Opensource Tool
• · 2023. 2. 5.
• textsms

[MySQL - Orchestrator VIP설정 part 3 use. Keepalived]

Orchestrator 나 MHA 와 같은 HA 툴의 경우 Failover 등의 가용성 기능을 제공을 하지만 VIP 리소스 에 대한 기능은 제공하지 않아 별도의 스크립트 등으로 구현 해서 사용 해야 합니다. 물론 hooking이 되는 파라미터 나 스크립트 내 호출 함수 등에 대한 정보, 사용시 수정 해야할 사항 등은 정보가 제공되지만 VIP 를 Assign 하고 Relocate 하는 등의 실제 동작하는 부분에 해당하는 스크립트나 프로그램은 별도로 작성이 필요로 합니다. 따라서 저같은 경우에는 keepalived 툴을 사용하여 VIP 관리 할 예정입니다. Keepalived란? '로드밸런싱'과 '고가용성(HA)'를 제공하는 프레임워크. -. 로드밸런싱은 L4 수준의 로드 밸런싱(HAProxy와 함께 사용하..

• format_list_bulleted DataBase/MySQL & MariaDB
• · 2023. 2. 5.
• textsms

[MySQL - Orchestrator Takeover & Failover 테스트] part 2

Orchestrator 구축 이후 Takeover 및 Auto Failover를 설정하겠습니다. Orchestrator 구축 1편 : https://jhdatabase.tistory.com/134 [MySQL - Orchestrator 구축] part 1 Orchestrator란? MySQL용 복제 토폴로지 관리자로써 고가용성 및 복제 관리 툴입니다. 체인을 위아래로 훑으면서 마스터와 슬레이브를 찾아 MySQL 환경의 복제 토폴로지를 검색하는 기능을 제공합니다 jhdatabase.tistory.com Takeover Test ■ Master 확인 현재 Master -> 192.168.100.35 (DB 1번) mysql> show slave status\G; *************************..

• format_list_bulleted DataBase/MySQL & MariaDB
• · 2023. 2. 5.
• textsms

[MySQL - Orchestrator 구축] part 1

Orchestrator란? MySQL용 복제 토폴로지 관리자로써 고가용성 및 복제 관리 툴입니다. 체인을 위아래로 훑으면서 마스터와 슬레이브를 찾아 MySQL 환경의 복제 토폴로지를 검색하는 기능을 제공합니다. 또한 GUI를 통해 복제 토폴로지를 리팩터링하는 데도 사용할 수 있는데, 드래그 앤 드롭 인터페이스를 사용해서 슬레이브를 마스터로 승격할 수 있습니다. 상태 개념을 사용해서 올바른 복구 방법을 지능적으로 선택하고 사용할 적당한 마스터 승격 프로세스를 결정하므로 노드에 장애가 발생할 경우 복구를 지원합니다. Orchestrator 기능 복제 트리의 토폴로지 및 상태를 자동으로 감지하고 모니터링합니다. GUI, CLI 또는 API를 사용하여 상태를 확인하고 작업을 수행할 수 있습니다. 마스터의 자동 ..

• format_list_bulleted DataBase/MySQL & MariaDB
• · 2023. 2. 5.
• textsms

[MySQL - Read/Write Split 부하분산 구성] use. ProxySQL

MySQL 3node 운영중 Master노드의 리소스 과부화 현상을 해소하고자 Read/Write Split을 하게되었습니다. Proxy서버로 ProxySQL을 사용하여 최종적으로 Write트랜잭션은 Master노드로만, Read 트랜잭션은 모든 노드로 가도록 설정하습니다. 테스트 환경 Hostname IP VIP DB Version proxy 192.168.100.84 proxysql-2.4.4 master 192.168.100.80 192.168.100.88 MySQL 8.0 slave1 192.168.100.81 MySQL 8.0 slave2 192.168.100.83 MySQL 8.0 사전 구성 MySQL서버 3nodes MHA구성 MariaDB [(none)]> show slave hosts\G..

• format_list_bulleted DataBase/MySQL & MariaDB
• · 2023. 1. 27.
• textsms