故障描述

早上8点30左右，有个客户核心数据库连接数异常增长，8点业务开始运行时，连接数1400，一个小时不到突然增长到5000多(最高限制8000)，前台应用报连接会话超时，无法连接数据库，第一时间查看数据库集群状态，后台LOCAL=NO已经超出了数据库的最大连接数，紧急Kill 会话后，有一定缓解，但运行不到五分钟，数据库连接又开始暴涨。

故障分析

• 数据库是部署在Centos 7.6上oracle 19.7 2-node RAC， 用户连的服务名是emrtaf, 是通过工具srvctl add service...方式创建的服务。 问题很奇怪，当时做过测试，一个C端工具通过服务名连进来，产生有近20个会话， 而在单节点的环境，只会产生1-2个会话。
• 通过srvctl start service的方式启动服务，提示无法启动，报错：

ORA-44787：service cannot be switched into 

• 期间多次尝试修改参数service_names的值，清空除db_name值之外的值，尝试无果，数据库能连，但是几分钟之内同样出现会话暴涨。
• 在查询MOS的时候，发现有个bug， 虽然情况不相同，提供了一个workaround, 通过调用存储过程的形式去启动service, 尝试了一下，果然凑效。 LOL.

EXEC DBMS_SERVICE.START_SERVICE('emrtaf');

总结

这两年，有大批客户已经陆陆续续升级到Oracle 19c， 因为国内客户很少定期打补丁的缘故， 运维过程中，发现的bug不少。 可能和之前用11.2.0.4的习惯有关，一个版本跑很多年，不需要打任何补丁。针对一些新的数据库版本，想要尝试其新的特性，建议还是按官方的节奏来，定期更新补丁。