import os import sys import re from pathlib import Path from dotenv import load_dotenv import pymysql from typing import Optional, List, Tuple, Union # 加载环境变量 load_dotenv() # 数据库配置 class DBConfig: MYSQL_HOST = os.getenv("MYSQL_HOST", "localhost") MYSQL_PORT = int(os.getenv("MYSQL_PORT", 3306)) MYSQL_USER = os.getenv("MYSQL_USER", "root") MYSQL_PASSWORD = os.getenv("MYSQL_PASSWORD", "123456") MYSQL_DB = os.getenv("MYSQL_DB", "xpack") def get_db_connection(db_config: Optional[DBConfig] = None): """获取数据库连接 Args: db_config: 数据库配置,如果为 None 则使用默认配置 Returns: 数据库连接对象 """ if db_config is None: db_config = DBConfig() return pymysql.connect( host=db_config.MYSQL_HOST, port=db_config.MYSQL_PORT, user=db_config.MYSQL_USER, password=db_config.MYSQL_PASSWORD, database=db_config.MYSQL_DB, charset='utf8mb4' ) def get_current_version(db_config: Optional[DBConfig] = None) -> Optional[str]: """查询sys_config表中的version值 Args: db_config: 数据库配置 Returns: 当前版本号,如果不存在则返回None """ try: conn = get_db_connection(db_config) cursor = conn.cursor() cursor.execute("SELECT value FROM sys_config WHERE `key` = 'version'") result = cursor.fetchone() cursor.close() conn.close() if result: return str(result[0]) return None except pymysql.Error as err: # 如果表不存在或其他数据库错误,返回None print(f"查询版本信息失败: {err}") return None except Exception as e: print(f"查询版本信息出错: {e}") return None def execute_sql_file(file_path: str, db_config: Optional[DBConfig] = None) -> bool: """执行 SQL 文件 Args: file_path: SQL 文件路径 db_config: 数据库配置,如果为 None 则使用默认配置 Returns: 执行是否成功 """ if db_config is None: db_config = DBConfig() sql = "" try: conn = get_db_connection(db_config) cursor = conn.cursor() # 禁用外键检查 cursor.execute('SET FOREIGN_KEY_CHECKS = 0') # 读取SQL文件 with open(file_path, 'r', encoding='utf-8') as file: content = file.read() # 移除多行注释 /* ... */ import re content = re.sub(r'/\*.*?\*/', '', content, flags=re.DOTALL) # 按分号分割语句 statements = content.split(';') statement_count = 0 for statement in statements: # 清理语句:移除空行和注释行 lines = statement.strip().split('\n') cleaned_lines = [] for line in lines: line = line.strip() if line and not line.startswith('--'): cleaned_lines.append(line) if not cleaned_lines: continue sql = '\n'.join(cleaned_lines) statement_count += 1 # 跳过SET语句,单独处理 if sql.upper().startswith('SET '): print(f"执行第{statement_count}个语句: {sql}") try: cursor.execute(sql) print(f" -> 成功") except pymysql.Error as e: print(f" -> SET语句执行错误: {e}") # SET语句失败不影响后续执行 continue # 添加调试信息 if sql.upper().startswith('CREATE TABLE'): table_match = re.search(r'CREATE TABLE.*?`(\w+)`', sql, re.IGNORECASE) table_name = table_match.group(1) if table_match else 'unknown' print(f"执行第{statement_count}个语句: 创建表 {table_name}") elif sql.upper().startswith('INSERT INTO'): table_match = re.search(r'INSERT INTO.*?`(\w+)`', sql, re.IGNORECASE) table_name = table_match.group(1) if table_match else 'unknown' print(f"执行第{statement_count}个语句: 插入数据到表 {table_name}") else: print(f"执行第{statement_count}个语句: {sql[:50]}...") try: cursor.execute(sql) print(f" -> 成功") except pymysql.Error as e: if "Duplicate column name" in str(e): print(f" -> 忽略重复列错误: {e}") continue else: print(f" -> 执行错误: {e}") print(f" -> 语句内容: {sql}") raise # 恢复外键检查 cursor.execute('SET FOREIGN_KEY_CHECKS = 1') # 提交事务 conn.commit() print(f"成功执行 SQL 文件: {file_path},共执行 {statement_count} 个语句") cursor.close() conn.close() return True except FileNotFoundError: print(f"错误: SQL 文件不存在: {file_path}") return False except pymysql.Error as err: print(f"数据库错误: {err}") if sql: print(f"出错的SQL语句: {sql}") return False except Exception as e: print(f"未知错误: {e}") return False def get_version_files(sql_dir: Path) -> List[Tuple[str, Path]]: """获取所有版本SQL文件并按版本号排序 Args: sql_dir: SQL文件目录 Returns: 排序后的版本文件列表,格式为[(版本号, 文件路径), ...] """ version_files = [] # 查找所有version-*.sql文件 for file_path in sql_dir.glob("version-*.sql"): # 提取版本号 match = re.match(r'version-(.+)\.sql', file_path.name) if match: version_str = match.group(1) version_files.append((version_str, file_path)) # 按版本号排序(简单的字符串排序) version_files.sort(key=lambda x: x[0]) return version_files def should_apply_version(current_version: Optional[str], target_version: str) -> bool: """判断是否需要应用指定版本的更新 Args: current_version: 当前版本号 target_version: 目标版本号 Returns: 是否需要应用更新 """ if current_version is None: return True # 简单的字符串比较 return target_version > current_version def main(): """主函数:实现版本化数据库迁移策略""" print("开始数据库初始化和迁移...") # 获取项目根目录 project_root = Path(__file__).parent sql_dir = project_root / 'sql' if not sql_dir.exists(): print(f"错误: SQL目录不存在: {sql_dir}") sys.exit(1) # 步骤1: 查询sys_config,获取当key=version的值 print("步骤1: 查询当前数据库版本...") current_version = get_current_version() # 步骤2: 当不存在该key时,执行init.sql if current_version is None: print("步骤2: 未找到版本信息,执行初始化SQL...") init_sql_file = sql_dir / 'init.sql' if not init_sql_file.exists(): print(f"错误: 初始化SQL文件不存在: {init_sql_file}") sys.exit(1) if not execute_sql_file(str(init_sql_file)): print("初始化SQL执行失败") sys.exit(1) # 重新查询版本信息 current_version = get_current_version() print(f"初始化完成,当前版本: {current_version}") else: print(f"当前数据库版本: {current_version}") # 步骤3: 获取对应的版本号 # 步骤4: 依次读取sql下的version-*.sql文件,执行更新sql,直到所有sql执行完成 print("步骤3-4: 检查并执行版本更新...") # 获取所有版本文件 version_files = get_version_files(sql_dir) if not version_files: print("未找到版本更新文件,数据库已是最新版本") return print(f"找到 {len(version_files)} 个版本更新文件") # 依次执行需要的版本更新 updated_count = 0 for version_str, file_path in version_files: if should_apply_version(current_version, version_str): print(f"执行版本更新: {version_str} ({file_path.name})") if execute_sql_file(str(file_path)): print(f"版本 {version_str} 更新成功") current_version = version_str updated_count += 1 else: print(f"版本 {version_str} 更新失败,停止后续更新") sys.exit(1) else: print(f"跳过版本 {version_str}(已应用或版本较低)") if updated_count > 0: print(f"数据库迁移完成,共应用了 {updated_count} 个版本更新") # 验证最终版本 final_version = get_current_version() print(f"最终数据库版本: {final_version}") else: print("数据库已是最新版本,无需更新") print("数据库初始化和迁移流程完成!") if __name__ == '__main__': main()