数据库系统工程师备考：高效日志轮转脚本编写指南

在数据库系统工程师的备考过程中，掌握日志管理是一项重要的技能。本文将详细介绍如何使用 Python 编写一个高效的日志轮转脚本，该脚本能够检测日志文件的大小，当文件超过 1GB 时进行重命名并压缩，同时保留最近 7 天的日志，并删除过期的文件。

一、日志轮转的重要性

日志文件记录了数据库的操作历史和错误信息，对于系统的维护和故障排查至关重要。然而，日志文件如果不加以管理，会占用大量磁盘空间，影响系统性能。因此，实现日志轮转是每个数据库管理员必须掌握的技能。

日志轮转的基本原理包括以下几个步骤：
1. 检测日志文件大小：定期检查日志文件的大小，当其超过预设的阈值（如 1GB）时，触发轮转操作。
2. 重命名并压缩旧日志：将超过大小的日志文件重命名为一个新的文件名，并对其进行压缩，以节省存储空间。
3. 保留最近 N 天的日志：设置一个时间窗口（如最近 7 天），只保留这段时间内的日志文件。
4. 删除过期文件：删除超过时间窗口的旧日志文件，确保磁盘空间的有效利用。

三、使用 Python 实现日志轮转

以下是一个使用 Python 编写的日志轮转脚本示例：

import os
import time
import gzip
from datetime import datetime, timedelta

LOG_DIR = '/path/to/logs'
LOG_FILE_PREFIX = 'database_log_'
LOG_FILE_EXTENSION = '.log'
MAX_LOG_SIZE = 1 * 1024 * 1024 * 1024  # 1GB
RETENTION_DAYS = 7

def rotate_logs():
    now = datetime.now()
    cutoff_date = now - timedelta(days=RETENTION_DAYS)
    
    for filename in os.listdir(LOG_DIR):
        if filename.startswith(LOG_FILE_PREFIX) and filename.endswith(LOG_FILE_EXTENSION):
            file_path = os.path.join(LOG_DIR, filename)
            file_mtime = datetime.fromtimestamp(os.path.getmtime(file_path))
            
            if file_mtime < cutoff_date:
                os.remove(file_path)
                print(f"Deleted old log file: {filename}")
                continue
            
            if os.path.getsize(file_path) > MAX_LOG_SIZE:
                new_filename = f"{LOG_FILE_PREFIX}{now.strftime('%Y%m%d%H%M%S')}{LOG_FILE_EXTENSION}.gz"
                new_file_path = os.path.join(LOG_DIR, new_filename)
                
                with open(file_path, 'rb') as f_in:
                    with gzip.open(new_file_path, 'wb') as f_out:
                        f_out.writelines(f_in)
                
                os.remove(file_path)
                print(f"Rotated and compressed log file: {new_filename}")

if __name__ == "__main__":
    rotate_logs()