[AWS - RDS(Aurora MySQL) 데이터 이관] use. S3

RDS(Aurora MySQL) -> S3버킷으로 데이터 로드하는 과정과 반대로 S3 -> RDS(Aurora MySQL)로 데이터 로드 하는 테스트를 해보았습니다!

 

 

사전 테스트 준비

■ Test Data

mysql> select * from name;
+------+------+
| a    | b    |
+------+------+
|    1 | 김   |
|    2 | 정   |
|    3 | 현   |
+------+------+
3 rows in set (0.00 sec)

 

 

■ Dump export

[root@ip-172-31-47-148 ~]# mysqldump -uroot -proot --single-transaction --databases kim > kim.sql

 

 

■ 덤프파일 S3에 업로드

 

 

■ RDS - S3 연동

RDS와 S3연동 방법 URL : https://jhdatabase.tistory.com/143

[AWS - RDS(Aurora MySQL) 와 S3 연동]

 

 

 

 

S3 -> RDS 데이터 로드

 

■ TO-BE에 기존 테이블 메타데이터 생성

<AS-IS>

mysql> show create table name;
+-------+------------------------------------------------------------------------------------------------------------------------------
| Table | Create Table                                                                                                                 
+-------+------------------------------------------------------------------------------------------------------------------------------
| name  | CREATE TABLE `name` (
  `a` int DEFAULT NULL,
  `b` varchar(40) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci |
+-------+------------------------------------------------------------------------------------------------------------------------------
1 row in set (0.00 sec)

 

<TO-BE>

CREATE TABLE `name` (
  `a` int DEFAULT NULL,
  `b` varchar(40) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci

 

 

■ Import

LOAD DATA FROM S3 's3://kimjeonghyun/name.csv' INTO TABLE name
FIELDS TERMINATED BY '\,'
LINES TERMINATED BY '\r\n'

 

 

■ 데이터 조회

 

 

 

 

RDS -> S3 데이터 추출

 

■ Test Data

 

 

■ S3로 csv 파일 전송

SELECT * FROM kim 
INTO OUTFILE S3 's3://kimjeonghyun/kim.csv'
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\r\n'

 

 

■ 버킷 조회