• 博客访问: 211691
  • 博文数量: 296
  • 用 户 组: 普通用户
  • 注册时间: 2015-02-02 12:00
  • 认证徽章:
个人简介

OCM认证,2年运维团队管理经历,5年DBA经验,喜欢游泳和踢球,阿根廷球迷,欢迎朋友们与我一同讨论足球

文章分类

全部博文(296)

文章存档

2018年(30)

2017年(149)

2016年(106)

2015年(11)

分类: Oracle

2017-04-10 10:27:17

故障现象
5:00-5:05期间,负载突然上升,随机查询进程发现来自192.168.30.69服务器
 
 
     
5:05-5:10期间,把192.168.130.69应用重启后,负载在5分钟之内恢复正常 
 




AWR报告信息如下
1.并发有增加


2.硬解析很多

 

3.整个15分钟期间的CPU使用率并不高(因为负载一上来就马上去关闭应用了,所以负载满核的时候大概就3分钟左右,CPU核数16 *4*60=2880秒左右,比DB TIME小一点)



4.两个SQL的CPU和其他SQL的CPU不是一个数量级的,差距10倍以上(195秒不到2880秒的十分之一) 



5.某表的逻辑读的占用比特别突出

 




分析
1. 通过以上AWR的信息,第一印象就是感觉硬解析引起的大量等待引起的CPU暴涨,查询下来也确实发现太多没有绑定变量的SQL,而且还发现逻辑读高的表UF_KQ_HRANALYZE_DT2没有绑定变量的SQL就达500多条。自以为找到了原因,通知开发去绑定变量(从DBA的角度看,一般不建议改参数cursor_sharing值,怕引发其他问题)。
2. 谁知第二天负载又开始上来,不过不是5分钟内暴涨,而是爬升(30分钟内从30%达到100%状态),期间数据库连上去可以抓取耗CPU百分百进程SPID对应的SQL了(昨天暴涨,数据库都连不上),发现SQL就是昨天AWR报告里面的那段insert的SQL,细查下来发现insert那段就是share_fordoc存储过程里面的一部分。再抓取几分钟内的AWR报告(显示insert居然78分钟都没有跑完),AWR报告中TOP SQL和抓取CPU百分百进程SPID对应的SQL一致。就是insert那段SQL慢导致整个存储过程慢,insert慢要么是insert的数据量太大或IO太慢,要么是insert后面的select太慢,具体查下来发现insert后面的select有死循环,至此找到原因,通知开发修改程序,彻底搞定。
 
抓取SPID对应的SQL的语句如下
select s.sid,s.serial#,p.spid,s.terminal,s.LOGON_TIME,s.status,s.PROGRAM,s.CLIENT_IDENTIFIER,s.machine,s.action,s.PROCESS "客户端机器进程号",s.osuser from v$session s,v$process p where  s.paddr=p.addr and p.spid=XX

select username,sid,SERIAL#,LOGON_TIME,status,PROGRAM,CLIENT_IDENTIFIER,machine,action,PROCESS "客户端机器进程号",osuser,sql_text from v$session a,v$sqltext_with_newlines b

  where DECODE(a.sql_hash_value, 0, prev_hash_value, sql_hash_value)=b.hash_value and a.sid=&sid order by piece;



总结
1. 数据库出现性能问题,一般都在三个地方,io,内存,cpu,这三个又是息息相关的,当io负载增大时,肯定需要更多的内存来存放,同时也需要cpu花费更多的时间来过滤这些数据,相反,cpu时间花费多的话,有可能 是解析sql语句,也可能是大量逻辑读过滤太多的数据,到不一定是和io或内存有关系
2. 有的时候等待事件是最好的入手点,但是引发等待事件的原因有很多,遇到突然异常的情况下,最简单粗暴的方法还是去看TOP SQL,看哪些SQL特别突出
3. 出现异常苗头时,一定要及时去创建快照,抓取短暂的5分钟或10分钟都可以,查看这几分钟内的AWR基本都可以定位到故障。一旦数据库hang住了,1小时的默认自动创建快照动作都不会执行的,这样后续故障现象的一手资料都会拿不到
exec DBMS_WORKLOAD_REPOSITORY.CREATE_SNAPSHOT();




阅读(1263) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~
评论热议
请登录后评论。

登录 注册

/bbs/685B.html /ymw/567I.html /bbsy/173S.html /ymw/482g.html /bbsy/381j.html /ks/411v.html /55901/277X.html /pmw/116H.html /bosoo/460G.html /ks/376z.html /88410/531n.html /wb/130o.html /0088/745R.html /3088/048j.html /pmw/023q.html /gpw/678F.html /boss/807m.html /888/808d.html /8888/507g.html /88410/228t.html /bg88/485x.html /88410/043w.html /boss/103B.html /ggs/086R.html /bbsy/362m.html /ks/663j.html /bbs/520E.html /wb/571T.html /gpw/764w.html /xyw/125H.html /gupiao/038z.html /bbs/636W.html /0088/526g.html /gupiao/700q.html /gpw/703o.html /3088/287k.html /gpw/788k.html /wb/178d.html