2018年春节后第一天上班就遇到一个审计日志无法写入的问题,具体解决思路如下。
一、错误日志
数据库错误日志内容:
Fri Feb 23 11:16:30 2018
OS Audit file could not be created; failing after 6 retries
Fri Feb 23 11:16:36 2018
OS Audit file could not be created; failing after 6 retries
Fri Feb 23 11:16:43 2018
OS Audit file could not be created; failing after 6 retries
Fri Feb 23 11:16:57 2018
OS Audit file could not be created; failing after 6 retries
Fri Feb 23 11:17:25 2018
OS Audit file could not be created; failing after 6 retries
OS Audit file could not be created; failing after 6 retries
Fri Feb 23 11:17:33 2018
OS Audit file could not be created; failing after 6 retries
Fri Feb 23 11:17:35 2018
OS Audit file could not be created; failing after 6 retries
程序错误日志内容:
ORA-09925: Unable to create audit trail file
Linux-x86_64 Error: 28: No space left on device
二、问题原因
出现这个原因常见的有:
1、磁盘空间爆满导致审计日志无法写入
2、磁盘目录权限不够导致无法写入磁盘空间
3、数据库表空间爆满无法写入数据文件
4、磁盘审计目录文件过多导致写入失败
5、磁盘损坏有坏道等
三、解决方案
1、首先检查磁盘空间是否爆满
2、查看数据库审计类型
3、查看审计日志所在目录空间
4、查看审计日志目录文件数
5、检查磁盘是否有损坏
6、为尽快恢复业务,采取紧急清理adump审计目录的方法
因为日志内容较多,无法直接按时间清理的情况下(一般通过ls *.aud|xargs -n 10 rm -rf),可以通过清理目录的方式清理
7、查看审计日志内容、频率等排查具体问题
经过排查发现每分钟生成18个审计日志,而且连接进程号都不同(说明是短连接,不断的断开重连),然后根据日志内容找到具体的连接用户、程序IP,联系相关程序沟通处理。