Re: OEM 12c (12.1.0.5) generating too many alerts on Metrics "Logons Per Sec"

  • From: ramukam <ramukam1983@xxxxxxxxx>
  • To: jonathan@xxxxxxxxxxxxxxxxxx
  • Date: Thu, 18 Jan 2018 18:09:16 -0600

Dear all,

Thank you for all your help with the notes. I finally was able to disable
the Metrics "Logons Per Sec" using the following steps.

The “Cumulative logons Per Sec” is part of Throughput metric.

Navigate to the database (Groups -> MTC_MECC_DMAS -> Dashboard -> Select
the database)

 Up/Left corner of the page under the DB name you have selected !!!!

              Choose the tab Oracle Database

             Monitoring

             Metric and Collection Settings

             Change the View (located on the left upper side right under
“Other Collected Items”  Tab) to All Metrics.

Scroll down to Throughput Metric -> Click on collection schedule under
collection schedule column -> Disable -> Continue -> OK -> Should see
“Update succeeded” -> OK

You also need to follow the following steps to remove ‘Logons Per Sec’ as
this is under adaptive threshold in OEM 12c.

* Remove the adaptive and static thresholds*

Both adaptive and static thresholds can be removed from:

   - database home page/performance/adaptive thresholds
   - locate the metric, click on Edit Thresholds
   - click on the button Clear Thresholds (or remove any critical and
   warning values so that the Critical and Warning threshold setting boxes are
   blank)

and ok this

Ashoke

On Thu, Dec 28, 2017 at 4:22 AM, Jonathan Lewis <jonathan@xxxxxxxxxxxxxxxxxx

wrote:


Jay,

It's a possible source of excessive logons - but it doesn't explain
(directly) why the upgrades to the Oracle Server and OEM would result in a
change to the number of logons/sec reported.
On the other hand, there's a common complaint that the 12c upgrade has
resulted in slower response times - mainly due to extra time spent on
dynamic statistics and optimisations so it's possible that an increase in
CPU usage and disk I/O due to the upgrade has resulted in the connection
pool manager seeing a need to grow the pool.

Ashoke,

One thing to check for consistency (if you've stilll got some around) is
the 11g AWR reports to see if they show the same number of logons per
second over selected hours as the 12c reports. Its also worth checking
whether the figures for the 12c AWR reports are consistent with the timing
on alerts you're getting.


Regards
Jonathan Lewis



________________________________________From: Jay.Miller@xxxxxxxxxxxxxxxx
<Jay.Miller@xxxxxxxxxxxxxxxx>
Sent: 27 December 2017 20:54
To: Jonathan Lewis; mwf@xxxxxxxx
Cc: oracle-l@xxxxxxxxxxxxx
Subject: RE: OEM 12c (12.1.0.5) generating too many alerts on Metrics
"Logons Per Sec"

Just to add, one possible source of multiple logins is if you have a lot
of connection pools where the minimum pool size is much smaller than the
maximum pool size resulting in the pools constantly releasing old
connections and creating new ones.

Jay Miller
Sr. Oracle DBA
201.369.8355

From: oracle-l-bounce@xxxxxxxxxxxxx [mailto:oracle-l-bounce@xxxxxxxxxxxxx]
On Behalf Of Jonathan Lewis
Sent: Wednesday, December 27, 2017 1:43 PM
To: Mark W. Farnham
Cc: ORACLE-L
Subject: Re: OEM 12c (12.1.0.5) generating too many alerts on Metrics
"Logons Per Sec"


3b) Is the current OEM connecting and disconnecting much more frequently
than the previous one and making itself the source of the alerts it's
raising?

Regards
Jonathan Lewis
(From my iPad mini; please excuse typos and auto-correct)


On 27 Dec 2017, at 16:09, Mark W. Farnham <mwf@xxxxxxxx<mailto:mwf@rsiz.
com>> wrote:
This begs for the answer to the three part excluded middle question:


1)      Was OEM 11g failing to report this enormous number of logins per
second, but they were there all along?

2)      Is your current release of OEM falsely reporting a high number?

3)      Did something new happen such that both OEM 11g and the current
OEM are correct, but now you do have this huge number of logins per unit
time?

If the answer is 1, then regardless of any urgent action to silence the
alarm, you almost certainly need to take action to prevent this rapid rate
of logins.
Likewise, number 3.

Only in the case of 2 do you need to just silence the alarms until OEM is
corrected. (I believe Kellyn gave you the recipe card for doing that and I
doubt you can find a better source for that info.)

Rarely have I seen that rapid a rate and the only cases that were
marginally justifiable resulted in a pool of service demons being
constructed that remained logged in to absorb a high rate of arriving
distinct transactions (thereby requiring a secure handshake in place of the
thousands of statements executed for a login).

JL mentioned a bit about WHY such a rapid rate of logins is bad. No need
to repeat that, but please do not underestimate the bad effects he
mentioned.

The login version of slow by slow (row by row) is indeed to log in for
each fresh single transaction. Of course that does not scale.

good luck,

mwf

From: oracle-l-bounce@xxxxxxxxxxxxx<mailto:oracle-l-bounce@xxxxxxxxxxxxx>
[mailto:oracle-l-bounce@xxxxxxxxxxxxx] On Behalf Of Ashoke Mandal
Sent: Wednesday, December 27, 2017 10:41 AM
To: jonathan@xxxxxxxxxxxxxxxxxx<mailto:jonathan@xxxxxxxxxxxxxxxxxx>
Cc: ORACLE-L
Subject: Re: OEM 12c (12.1.0.5) generating too many alerts on Metrics
"Logons Per Sec"

Hi Kellyn, Jonathan,Mladen,Thank you all for the reply. Here are some
answer to some of your points.

I never had this type of flooding alerts in OEM 11g.
It is happening for each of my server(host) not from one ow two.
So I would like to disable this alert if there is an option.
Ideally it maybe good to investigate why so many logins happening but it
is very hard for me to spend time to do that instead I would like to simply
disable it.
Any further tips will be appreciated.

Ashoke

On Tue, Dec 26, 2017 at 3:49 PM, Jonathan Lewis <
jonathan@xxxxxxxxxxxxxxxxxx<mailto:jonathan@xxxxxxxxxxxxxxxxxx>> wrote:

Ashoke,

The correct way to fix this problem is to find out what is logging on 146
times per second and stop it - it can't possibly be necessary and it's
probably having an appalling effect on the performance of the database. I'd
expect to see lots of time lost on library cache latch and dictionary cache
latch activity, probably with plenty of mutex sleeps as well and
"connection management" showing up with a significant (though relatively
small) amount of time in the Time Model report.

If you want to avoid too many messages flooding your inbox (until you've
fixed the important problem) create a rule that redirects the incoming
alert messages to a separate file based on the subject and some aspect of
the message content.

Regards
Jonathan Lewis

________________________________________
From: oracle-l-bounce@xxxxxxxxxxxxx<mailto:oracle-l-bounce@xxxxxxxxxxxxx>
<oracle-l-bounce@xxxxxxxxxxxxx<mailto:oracle-l-bounce@xxxxxxxxxxxxx>> on
behalf of Ashoke Mandal <ramukam1983@xxxxxxxxx<mailto:
ramukam1983@xxxxxxxxx>>
Sent: 26 December 2017 13:17
To: Kellyn Pot'Vin-Gorman
Cc: Mladen Gogala; ORACLE-L
Subject: Re: OEM 12c (12.1.0.5) generating too many alerts on Metrics
"Logons Per Sec"

Hi Kellyn, Here is the details of the alert. This alert is is coming too
many times and flooding my Inbox. Any help will be appreciated. Thanks,
Ashoke

Host=<Host_Name>
Target type=Database Instance
Target name=<DB_Name>
Categories=Load
Message=Metrics "Logons Per Sec" is at 149.676<https://gva04cn1.lau.
medtronic.com:7800/em/redirect?pageType=sdk-core-
event-console-detailEvent&issueID=600D37F6B8350327E054001B2194CD2D<
https://urldefense.proofpoint.com/v2/url?u=https-
3A__gva04cn1.lau.medtronic.com-3A7800_em_redirect-3FpageType-3Dsdk-2Dcore-
2Devent-2Dconsole-2DdetailEvent-26issueID-3D600D37F6B8350327E054001B2194
CD2D&d=DwMFaQ&c=nulvIAQnC0yOOjC0e0NVa8TOcyq9jNhjZ156R-JJU10&r=
aiKV3Uv2Wo7GqYQcis9TSvB1MZslPOnintrOY1rjG58&m=
4yDeCMO8aMHeUZaKh6rVbpMExEeDpLRHrl358Kqltvs&s=J7eHWRSsoxGx4hS4VYqAnf-ESBz-
3qrvC077V0cCJWs&e=>>
Severity=Warning
Event reported time=Dec 26, 2017 6:02:38 AM MST
Operating System=SunOS
Platform=sparc
Associated Incident Id=2606<https://gva04cn1.lau.medtronic.com:7800/em/
redirect?pageType=sdk-core-event-console-detailIncident&issueID=
613EE5C7DFBA26EDE054001B2194CD2D<https://urldefense.
proofpoint.com/v2/url?u=https-3A__gva04cn1.lau.medtronic.
com-3A7800_em_redirect-3FpageType-3Dsdk-2Dcore-2Devent-2Dconsole-
2DdetailIncident-26issueID-3D613EE5C7DFBA26EDE054001B2194CD2D&d=DwMFaQ&c=
nulvIAQnC0yOOjC0e0NVa8TOcyq9jNhjZ156R-JJU10&r=
aiKV3Uv2Wo7GqYQcis9TSvB1MZslPOnintrOY1rjG58&m=
4yDeCMO8aMHeUZaKh6rVbpMExEeDpLRHrl358Kqltvs&s=ewLF6mnusXRtW-
zfRyKfQf8golUzT8vFJ58HM_zhWiQ&e=>>
Associated Incident Status=New
Associated Incident Owner=
Associated Incident Acknowledged By Owner=No
Associated Incident Priority=None
Associated Incident Escalation Level=0
Event Type=Metric Alert
Event name=Server_Adaptive_Threshold_Metric:instance_throughput__logons_ps
Metric Group=Server_Adaptive_Threshold_Metric
Metric=Cumulative Logons Per Sec<https://gva04cn1.lau.
medtronic.com:7800/em/redirect?pageType=sdk-core-
metric-details&timePeriod=byDay&metric=Server_Adaptive_
Threshold_Metric&target=thdmas.dmas.medtronic.com&metricColumn=instance_
throughput__logons_ps&type=oracle_database&keyValue=SYSTEM<
https://urldefense.proofpoint.com/v2/url?u=https-
3A__gva04cn1.lau.medtronic.com-3A7800_em_redirect-3FpageType-3Dsdk-2Dcore-
2Dmetric-2Ddetails-26timePeriod-3DbyDay-26metric-3DServer-5FAdaptive-
5FThreshold-5FMetric-26target-3Dthdmas.dmas.medtronic.com-
26metricColumn-3Dinstance-5Fthroughput-5F-5Flogons-5Fps-
26type-3Doracle-5Fdatabase-26keyValue-3DSYSTEM&d=DwMFaQ&c=
nulvIAQnC0yOOjC0e0NVa8TOcyq9jNhjZ156R-JJU10&r=
aiKV3Uv2Wo7GqYQcis9TSvB1MZslPOnintrOY1rjG58&m=
4yDeCMO8aMHeUZaKh6rVbpMExEeDpLRHrl358Kqltvs&s=KcTBM3zRE79OrP7P-
HkLNrD6GKuFYq92bfef3cW1DjY&e=>>
Metric value=149.675702644271
Key Value=SYSTEM
Rule Name=MTC_MECC_DMAS Incident All Targets,Create incident for critical
metric alerts
Rule Owner=SYSMAN
Update Details:
Metrics "Logons Per Sec" is at 149.676
Incident created by rule (Name = MTC_MECC_DMAS Incident All Targets,
Create incident for critical metric alerts; Owner = SYSMAN).


On Mon, Dec 25, 2017 at 8:42 PM, Kellyn Pot'Vin-Gorman <
dbakevlar@xxxxxxxxx<mailto:dbakevlar@xxxxxxxxx><mailto:dbakevlar@xxxxxxxxx
<mailto:dbakevlar@xxxxxxxxx>>> wrote:
Can you please paste the alert you receive, editing out andy company Info
here?  The alert contains the data to isolate the metric.
Thank you,
Kellyn

On Sun, Dec 24, 2017 at 2:16 PM Ashoke Mandal <ramukam1983@xxxxxxxxx
<mailto:ramukam1983@xxxxxxxxx><mailto:ramukam1983@xxxxxxxxx<mailto:r
amukam1983@xxxxxxxxx>>> wrote:
I have disabled the entire Throughput Metric (containing Cumulative Logons
Per Sec) but it doesn't help and still receiving too many alerts  on
Metrics "Logons Per Sec".

I am still looking for help on how to turn off this alert.

Thanks,
Ashoke

On Fri, Dec 22, 2017 at 3:55 PM, Ashoke Mandal <ramukam1983@xxxxxxxxx
<mailto:ramukam1983@xxxxxxxxx><mailto:ramukam1983@xxxxxxxxx<mailto:r
amukam1983@xxxxxxxxx>>> wrote:
Hello Kellyn and Mladen, Thanks for your reply.

So far I found out Throughput Metric and that has Cumulative Logons Per
Sec. I have disabled the entire Throughput Metric and will see if that
stops this warning alert.
under Oracle Database -> Monitoring -> All Metrics -> Throughput

Ashoke

On Fri, Dec 22, 2017 at 1:14 PM, Mladen Gogala <gogala.mladen@xxxxxxxxx<
mailto:gogala.mladen@xxxxxxxxx><mailto:gogala.mladen@xxxxxxxxx<mailto:
gogala.mladen@xxxxxxxxx>>> wrote:
The most probable cause is having both OEM with Grid Control DB and a
local EM running.
Regards


On Fri, 22 Dec 2017 09:43:32 -0600
Ashoke Mandal <ramukam1983@xxxxxxxxx<mailto:ramukam1983@xxxxxxxxx><mailto:
ramukam1983@xxxxxxxxx<mailto:ramukam1983@xxxxxxxxx>>> wrote:

Dear All,

I have migrated some of our databases from OEM 11g to OEM 12c (12.1.0.5).
It working OK but getting too many extra warning like this.

EM Event: Warning:thdmas.dmas.medtronic.com<https://urldefense.
proofpoint.com/v2/url?u=http-3A__thdmas.dmas.medtronic.com&d=DwMFaQ&c=
nulvIAQnC0yOOjC0e0NVa8TOcyq9jNhjZ156R-JJU10&r=
aiKV3Uv2Wo7GqYQcis9TSvB1MZslPOnintrOY1rjG58&m=
4yDeCMO8aMHeUZaKh6rVbpMExEeDpLRHrl358Kqltvs&s=j1W04-O2nogit_
eEv_Xh8zCSk6STAa8KHv-OZoG_-Qo&e=><http://thdmas.dmas.medtronic.com<
https://urldefense.proofpoint.com/v2/url?u=http-3A__thdmas.dmas.
medtronic.com&d=DwMFaQ&c=nulvIAQnC0yOOjC0e0NVa8TOcyq9jNhjZ156R-JJU10&r=
aiKV3Uv2Wo7GqYQcis9TSvB1MZslPOnintrOY1rjG58&m=
4yDeCMO8aMHeUZaKh6rVbpMExEeDpLRHrl358Kqltvs&s=j1W04-O2nogit_
eEv_Xh8zCSk6STAa8KHv-OZoG_-Qo&e=>> - Metrics "Logons Per Sec" is
at 105.409


I would like to disable this but not able to locate the related metric in
12c OEM console.

I logged into the database via OEM 12C and checked under the following
area
but not able to find the  Metrics "Logons Per Sec" .

Oracle Database -> Monitoring -> Metric and collection settings

Oracle Database -> Monitoring -> All Metrics

Any help will be highly appreciated.

Thanks,
Ashoke


--
Mladen Gogala
Oracle DBA
Tel: (347) 321-1217<tel:%28347%29%20321-1217><tel:%28347%29%20321-1217>


--
<http://about.me/dbakevlar<https://urldefense.proofpoint.
com/v2/url?u=http-3A__about.me_dbakevlar&d=DwMFaQ&c=
nulvIAQnC0yOOjC0e0NVa8TOcyq9jNhjZ156R-JJU10&r=
aiKV3Uv2Wo7GqYQcis9TSvB1MZslPOnintrOY1rjG58&m=
4yDeCMO8aMHeUZaKh6rVbpMExEeDpLRHrl358Kqltvs&s=
oZz5L7aC9s8ss3o0p0u1eAkzxjdr0r8S6ueYiiM1cdU&e=>>

[Kellyn Pot'Vin on about.me<https://urldefense.
proofpoint.com/v2/url?u=http-3A__about.me&d=DwMFaQ&c=
nulvIAQnC0yOOjC0e0NVa8TOcyq9jNhjZ156R-JJU10&r=
aiKV3Uv2Wo7GqYQcis9TSvB1MZslPOnintrOY1rjG58&m=
4yDeCMO8aMHeUZaKh6rVbpMExEeDpLRHrl358Kqltvs&s=
qhHNUAbQ9gDaRV10ul4kCvJ1CEDoQlaHgh2YDv1T45c&e=>]

Kellyn Pot'Vin-Gorman
about.me/dbakevlar<https://urldefense.proofpoint.com/v2/
url?u=http-3A__about.me_dbakevlar&d=DwMFaQ&c=
nulvIAQnC0yOOjC0e0NVa8TOcyq9jNhjZ156R-JJU10&r=
aiKV3Uv2Wo7GqYQcis9TSvB1MZslPOnintrOY1rjG58&m=
4yDeCMO8aMHeUZaKh6rVbpMExEeDpLRHrl358Kqltvs&s=
oZz5L7aC9s8ss3o0p0u1eAkzxjdr0r8S6ueYiiM1cdU&e=>



--
//www.freelists.org/webpage/oracle-l<https://
urldefense.proofpoint.com/v2/url?u=http-3A__www.freelists.
org_webpage_oracle-2Dl&d=DwMFaQ&c=nulvIAQnC0yOOjC0e0NVa8TOcyq9jN
hjZ156R-JJU10&r=aiKV3Uv2Wo7GqYQcis9TSvB1MZslPOnintrOY1rjG58&m=
4yDeCMO8aMHeUZaKh6rVbpMExEeDpLRHrl358Kqltvs&s=nXnQ42SbsR5X3I4Sv9b_
qhonnKNTuceHl5RD-ePBtw4&e=>



--
//www.freelists.org/webpage/oracle-l



Other related posts: