292 lines
9.4 KiB
Python
292 lines
9.4 KiB
Python
import os
|
|
import sys
|
|
import re
|
|
from pathlib import Path
|
|
from dotenv import load_dotenv
|
|
import pymysql
|
|
from typing import Optional, List, Tuple, Union
|
|
|
|
# 加载环境变量
|
|
load_dotenv()
|
|
|
|
# 数据库配置
|
|
class DBConfig:
|
|
MYSQL_HOST = os.getenv("MYSQL_HOST", "localhost")
|
|
MYSQL_PORT = int(os.getenv("MYSQL_PORT", 3306))
|
|
MYSQL_USER = os.getenv("MYSQL_USER", "root")
|
|
MYSQL_PASSWORD = os.getenv("MYSQL_PASSWORD", "123456")
|
|
MYSQL_DB = os.getenv("MYSQL_DB", "xpack")
|
|
|
|
def get_db_connection(db_config: Optional[DBConfig] = None):
|
|
"""获取数据库连接
|
|
|
|
Args:
|
|
db_config: 数据库配置,如果为 None 则使用默认配置
|
|
|
|
Returns:
|
|
数据库连接对象
|
|
"""
|
|
if db_config is None:
|
|
db_config = DBConfig()
|
|
|
|
return pymysql.connect(
|
|
host=db_config.MYSQL_HOST,
|
|
port=db_config.MYSQL_PORT,
|
|
user=db_config.MYSQL_USER,
|
|
password=db_config.MYSQL_PASSWORD,
|
|
database=db_config.MYSQL_DB,
|
|
charset='utf8mb4'
|
|
)
|
|
|
|
def get_current_version(db_config: Optional[DBConfig] = None) -> Optional[str]:
|
|
"""查询sys_config表中的version值
|
|
|
|
Args:
|
|
db_config: 数据库配置
|
|
|
|
Returns:
|
|
当前版本号,如果不存在则返回None
|
|
"""
|
|
try:
|
|
conn = get_db_connection(db_config)
|
|
cursor = conn.cursor()
|
|
|
|
cursor.execute("SELECT value FROM sys_config WHERE `key` = 'version'")
|
|
result = cursor.fetchone()
|
|
|
|
cursor.close()
|
|
conn.close()
|
|
|
|
if result:
|
|
return str(result[0])
|
|
return None
|
|
|
|
except pymysql.Error as err:
|
|
# 如果表不存在或其他数据库错误,返回None
|
|
print(f"查询版本信息失败: {err}")
|
|
return None
|
|
except Exception as e:
|
|
print(f"查询版本信息出错: {e}")
|
|
return None
|
|
|
|
def execute_sql_file(file_path: str, db_config: Optional[DBConfig] = None) -> bool:
|
|
"""执行 SQL 文件
|
|
|
|
Args:
|
|
file_path: SQL 文件路径
|
|
db_config: 数据库配置,如果为 None 则使用默认配置
|
|
|
|
Returns:
|
|
执行是否成功
|
|
"""
|
|
if db_config is None:
|
|
db_config = DBConfig()
|
|
|
|
sql = ""
|
|
try:
|
|
conn = get_db_connection(db_config)
|
|
cursor = conn.cursor()
|
|
|
|
# 禁用外键检查
|
|
cursor.execute('SET FOREIGN_KEY_CHECKS = 0')
|
|
|
|
# 读取SQL文件
|
|
with open(file_path, 'r', encoding='utf-8') as file:
|
|
content = file.read()
|
|
|
|
# 移除多行注释 /* ... */
|
|
import re
|
|
content = re.sub(r'/\*.*?\*/', '', content, flags=re.DOTALL)
|
|
|
|
# 按分号分割语句
|
|
statements = content.split(';')
|
|
statement_count = 0
|
|
|
|
for statement in statements:
|
|
# 清理语句:移除空行和注释行
|
|
lines = statement.strip().split('\n')
|
|
cleaned_lines = []
|
|
for line in lines:
|
|
line = line.strip()
|
|
if line and not line.startswith('--'):
|
|
cleaned_lines.append(line)
|
|
|
|
if not cleaned_lines:
|
|
continue
|
|
|
|
sql = '\n'.join(cleaned_lines)
|
|
statement_count += 1
|
|
|
|
# 跳过SET语句,单独处理
|
|
if sql.upper().startswith('SET '):
|
|
print(f"执行第{statement_count}个语句: {sql}")
|
|
try:
|
|
cursor.execute(sql)
|
|
print(f" -> 成功")
|
|
except pymysql.Error as e:
|
|
print(f" -> SET语句执行错误: {e}")
|
|
# SET语句失败不影响后续执行
|
|
continue
|
|
|
|
# 添加调试信息
|
|
if sql.upper().startswith('CREATE TABLE'):
|
|
table_match = re.search(r'CREATE TABLE.*?`(\w+)`', sql, re.IGNORECASE)
|
|
table_name = table_match.group(1) if table_match else 'unknown'
|
|
print(f"执行第{statement_count}个语句: 创建表 {table_name}")
|
|
elif sql.upper().startswith('INSERT INTO'):
|
|
table_match = re.search(r'INSERT INTO.*?`(\w+)`', sql, re.IGNORECASE)
|
|
table_name = table_match.group(1) if table_match else 'unknown'
|
|
print(f"执行第{statement_count}个语句: 插入数据到表 {table_name}")
|
|
else:
|
|
print(f"执行第{statement_count}个语句: {sql[:50]}...")
|
|
|
|
try:
|
|
cursor.execute(sql)
|
|
print(f" -> 成功")
|
|
except pymysql.Error as e:
|
|
if "Duplicate column name" in str(e):
|
|
print(f" -> 忽略重复列错误: {e}")
|
|
continue
|
|
else:
|
|
print(f" -> 执行错误: {e}")
|
|
print(f" -> 语句内容: {sql}")
|
|
raise
|
|
|
|
# 恢复外键检查
|
|
cursor.execute('SET FOREIGN_KEY_CHECKS = 1')
|
|
# 提交事务
|
|
conn.commit()
|
|
print(f"成功执行 SQL 文件: {file_path},共执行 {statement_count} 个语句")
|
|
|
|
cursor.close()
|
|
conn.close()
|
|
return True
|
|
|
|
except FileNotFoundError:
|
|
print(f"错误: SQL 文件不存在: {file_path}")
|
|
return False
|
|
except pymysql.Error as err:
|
|
print(f"数据库错误: {err}")
|
|
if sql:
|
|
print(f"出错的SQL语句: {sql}")
|
|
return False
|
|
except Exception as e:
|
|
print(f"未知错误: {e}")
|
|
return False
|
|
|
|
def get_version_files(sql_dir: Path) -> List[Tuple[str, Path]]:
|
|
"""获取所有版本SQL文件并按版本号排序
|
|
|
|
Args:
|
|
sql_dir: SQL文件目录
|
|
|
|
Returns:
|
|
排序后的版本文件列表,格式为[(版本号, 文件路径), ...]
|
|
"""
|
|
version_files = []
|
|
|
|
# 查找所有version-*.sql文件
|
|
for file_path in sql_dir.glob("version-*.sql"):
|
|
# 提取版本号
|
|
match = re.match(r'version-(.+)\.sql', file_path.name)
|
|
if match:
|
|
version_str = match.group(1)
|
|
version_files.append((version_str, file_path))
|
|
|
|
# 按版本号排序(简单的字符串排序)
|
|
version_files.sort(key=lambda x: x[0])
|
|
|
|
return version_files
|
|
|
|
def should_apply_version(current_version: Optional[str], target_version: str) -> bool:
|
|
"""判断是否需要应用指定版本的更新
|
|
|
|
Args:
|
|
current_version: 当前版本号
|
|
target_version: 目标版本号
|
|
|
|
Returns:
|
|
是否需要应用更新
|
|
"""
|
|
if current_version is None:
|
|
return True
|
|
|
|
# 简单的字符串比较
|
|
return target_version > current_version
|
|
|
|
def main():
|
|
"""主函数:实现版本化数据库迁移策略"""
|
|
print("开始数据库初始化和迁移...")
|
|
|
|
# 获取项目根目录
|
|
project_root = Path(__file__).parent
|
|
sql_dir = project_root / 'sql'
|
|
|
|
if not sql_dir.exists():
|
|
print(f"错误: SQL目录不存在: {sql_dir}")
|
|
sys.exit(1)
|
|
|
|
# 步骤1: 查询sys_config,获取当key=version的值
|
|
print("步骤1: 查询当前数据库版本...")
|
|
current_version = get_current_version()
|
|
|
|
# 步骤2: 当不存在该key时,执行init.sql
|
|
if current_version is None:
|
|
print("步骤2: 未找到版本信息,执行初始化SQL...")
|
|
init_sql_file = sql_dir / 'init.sql'
|
|
|
|
if not init_sql_file.exists():
|
|
print(f"错误: 初始化SQL文件不存在: {init_sql_file}")
|
|
sys.exit(1)
|
|
|
|
if not execute_sql_file(str(init_sql_file)):
|
|
print("初始化SQL执行失败")
|
|
sys.exit(1)
|
|
|
|
# 重新查询版本信息
|
|
current_version = get_current_version()
|
|
print(f"初始化完成,当前版本: {current_version}")
|
|
else:
|
|
print(f"当前数据库版本: {current_version}")
|
|
|
|
# 步骤3: 获取对应的版本号
|
|
# 步骤4: 依次读取sql下的version-*.sql文件,执行更新sql,直到所有sql执行完成
|
|
print("步骤3-4: 检查并执行版本更新...")
|
|
|
|
# 获取所有版本文件
|
|
version_files = get_version_files(sql_dir)
|
|
|
|
if not version_files:
|
|
print("未找到版本更新文件,数据库已是最新版本")
|
|
return
|
|
|
|
print(f"找到 {len(version_files)} 个版本更新文件")
|
|
|
|
# 依次执行需要的版本更新
|
|
updated_count = 0
|
|
for version_str, file_path in version_files:
|
|
if should_apply_version(current_version, version_str):
|
|
print(f"执行版本更新: {version_str} ({file_path.name})")
|
|
|
|
if execute_sql_file(str(file_path)):
|
|
print(f"版本 {version_str} 更新成功")
|
|
current_version = version_str
|
|
updated_count += 1
|
|
else:
|
|
print(f"版本 {version_str} 更新失败,停止后续更新")
|
|
sys.exit(1)
|
|
else:
|
|
print(f"跳过版本 {version_str}(已应用或版本较低)")
|
|
|
|
if updated_count > 0:
|
|
print(f"数据库迁移完成,共应用了 {updated_count} 个版本更新")
|
|
# 验证最终版本
|
|
final_version = get_current_version()
|
|
print(f"最终数据库版本: {final_version}")
|
|
else:
|
|
print("数据库已是最新版本,无需更新")
|
|
|
|
print("数据库初始化和迁移流程完成!")
|
|
|
|
if __name__ == '__main__':
|
|
main() |