RE: sql_id in ADS trace

  • From: Noveljic Nenad <nenad.noveljic@xxxxxxxxxxxx>
  • To: 'Jonathan Lewis' <jonathan@xxxxxxxxxxxxxxxxxx>, 'Stefan Koehler' <contact@xxxxxxxx>, "ORACLE-L (oracle-l@xxxxxxxxxxxxx)" <oracle-l@xxxxxxxxxxxxx>
  • Date: Tue, 3 Jul 2018 07:43:11 +0000

=> My point was only that Tanel's conversion applied to the "traditional" 
(i.e.v$sql) SQL_ID would get you to the trace version of the SQL_ID 
(kkoadsComputeSqlid: sql_id=9093421488918569282:) if you used mod(,64) on the 
value generated rather than the mod(,32) that was built into his SQL, whereas 
using mod(,32) would get you to the v$sql.hash_value

Thank you very much for providing the key information for understanding the 
sql_id encoding in the trace file.

=> Reversing the logic of the code is left as an exercise.

Based on your input I wrote the following SQL statement that reverses Tanel's 
SQL - it will show the conventional sql_id for a hashed sql_id in the trace 
file:

select
    listagg(
        substr(
          '0123456789abcdfghjkmnpqrstuvwxyz',
          mod(
            trunc(&hash_trace/power(32,level-1)),
            32
          ) + 1,
          1
        ) 
    ) within group (order by level desc) sql_id  
  from dual 
  connect by level <= ceil(log(32,&hash_trace))
;
For example, let &hash_trace= 9093421488918569282:

SQL_ID
7wckkp93ya8a2

Best regards,

Nenad Noveljic

http://nenadnoveljic.com/blog/


-----Original Message-----
From: Jonathan Lewis [mailto:jonathan@xxxxxxxxxxxxxxxxxx] ;
Sent: Freitag, 29. Juni 2018 12:04
To: Noveljic Nenad; 'Stefan Koehler'; ORACLE-L (oracle-l@xxxxxxxxxxxxx)
Subject: Re: sql_id in ADS trace


Probably it was just some ambiguity in what I said - possibly a complete error 
in how I explained my thoughts.

My point was only that Tanel's conversion applied to the "traditional" 
(i.e.v$sql) SQL_ID would get you to the trace version of the SQL_ID 
(kkoadsComputeSqlid: sql_id=9093421488918569282:) if you used mod(,64) on the 
value generated rather than the mod(,32) that was built into his SQL, whereas 
using mod(,32) would get you to the v$sql.hash_value.

Regards
Jonathan Lewis

________________________________________
From: Noveljic Nenad <nenad.noveljic@xxxxxxxxxxxx>
Sent: 29 June 2018 10:15:32
To: Jonathan Lewis; 'Stefan Koehler'; ORACLE-L (oracle-l@xxxxxxxxxxxxx)
Subject: RE: sql_id in ADS trace

Thank you, Jonathan.

Actually , Tanel's SQL was one of the first things I tried. What I overlooked 
was that only the less significant bytes carry the sql_id information.

When you say " The SQL id in the trace is the bottom 8 bytes" is it possible 
that the SQL_ID is actually stored in the bottom 4 (not 8) bytes?

9093421488918569282 is 0x 7E3252AA47E52142

The bottom 4 bytes are 0x47E52142.

This is exactly what we will get if we convert sql_id to hash with 
DBMS_UTILITY.sqlid_to_sqlhash:

select TO_CHAR (DBMS_UTILITY.sqlid_to_sqlhash ('7wckkp93ya8a2'), 
'XXXXXXXXXXXX') from dual ;

     47E52142

Best regards,

Nenad

http://nenadnoveljic.com/blog/


-----Original Message-----
From: Jonathan Lewis [mailto:jonathan@xxxxxxxxxxxxxxxxxx]
Sent: Donnerstag, 28. Juni 2018 18:47
To: 'Stefan Koehler'; ORACLE-L (oracle-l@xxxxxxxxxxxxx); Noveljic Nenad
Subject: Re: sql_id in ADS trace


As so often, Tanel Poder has the answer:  
https://blog.tanelpoder.com/2009/02/22/sql_id-is-just-a-fancy-representation-of-hash-value/

The "ordinary" hash value is the bottom 4 bytes of a number that can be 
generated from the SQL_ID using Tanel's script.
The SQL id in the trace is the bottom 8 bytes (change Tanel's script to use 
mod(X,power(2,64)).

select
    lower(trim('7wckkp93ya8a2')) sql_id
  , 
trunc(mod(sum((instr('0123456789abcdfghjkmnpqrstuvwxyz',substr(lower(trim('7wckkp93ya8a2')),level,1))-1)
                       
*power(32,length(trim('7wckkp93ya8a2'))-level)),power(2,64))) hash_value
from
    dual
connect by
    level <= length(trim('7wckkp93ya8a2'))
/

SQL_ID                          HASH_VALUE
------------- ----------------------------
7wckkp93ya8a2    9,093,421,488,918,569,282

1 row selected.


Reversing the logic of the code is left as an exercise.


Regards
Jonathan Lewis


________________________________________
From: oracle-l-bounce@xxxxxxxxxxxxx <oracle-l-bounce@xxxxxxxxxxxxx> on behalf 
of Noveljic Nenad <nenad.noveljic@xxxxxxxxxxxx>
Sent: 28 June 2018 15:21:54
To: 'Stefan Koehler'; ORACLE-L (oracle-l@xxxxxxxxxxxxx)
Subject: RE: sql_id in ADS trace

Thank you, Stefan.


=> Just remove the hints in the external query block (from SQL trace) and then 
you got the stored SQL_ID

This was helpful. I ran the DS sql and queried the v$sql.sql_id

SELECT /* DS_SVC */  NVL(SUM(C1),0) FROM (SELECT /*+ qb_name("innerQuery") 
NO_INDEX_FFS( "T1#1")  */ 1 AS C1 FROM "T1" "T1#1", "T2" "T2#0" WHERE 
("T2#0"."N2"=2) AND ("T1#1"."N1"="T2#0"."N1") AND ("T1#1"."N2"=2) AND 
("T1#1"."N3"=2)) innerQuery ;

select sql_id from v$sql where sql_text like 'SELECT /* DS_SVC */  NVL(%' ;

SQL_ID
7wckkp93ya8a2


=> set fix_control #22760704 to 0 to get rid of this mix-up

As a result, the stored sql_id doesn't match any more, because the hints are 
not removed after deactivating the bug fix.


I'm still wandering whether there's a simple function for converting the sql_id 
encoded in the ADS trace to the conventional format.

Best regards,

Nenad

http://nenadnoveljic.com/blog/






-----Original Message-----
From: Stefan Koehler [mailto:contact@xxxxxxxx]
Sent: Donnerstag, 28. Juni 2018 15:52
To: ORACLE-L (oracle-l@xxxxxxxxxxxxx); Noveljic Nenad
Subject: Re: sql_id in ADS trace

Hello Nenad,

How can I convert the sql_id from the RDBMS.ADS into the conventional format?

Short version: Just remove the hints in the external query block (from SQL 
trace) and then you got the stored SQL_ID or set fix_control #22760704 to 0 to 
get rid of this mix-up.

Long version: Mauro's blog post - 
https://mauro-pagano.com/2016/11/28/something-new-about-sql-plan-directives-and-12-2/

Best Regards
Stefan Koehler

Independent Oracle performance consultant and researcher
Website: http://www.soocs.de
Twitter: @OracleSK

Noveljic Nenad <nenad.noveljic@xxxxxxxxxxxx> hat am 28. Juni 2018 um 15:42 
geschrieben:

A DYNAMIC_SAMPLING_RESULT sql plan directive got created for a join 
cardinality misestimate.

The dynamic sampling sql_id stored in notes is 7wckkp93ya8a2:

NEWNO{(V.T1, num_rows=1001000) - (V.T2, num_rows=1001) - 
(SQL_ID:7wckkp93ya8a2, T.CARD=943807[-2 -2])}

The sql_id in the RDBMS.ADS trace is encoded differently:

kkoadsComputeSqlid: sql_id=9093421488918569282: newText=SELECT /* DS_SVC */  
NVL(SUM(C1),0) FROM (SELECT /*+ qb_name("innerQuery") NO_INDEX_FFS( "T1#1")  
*/ 1 AS C1 FROM "T1" "T1#1", "T2" "T2#0" WHERE ("T2#0"."N2"=2) AND 
("T1#1"."N1"="T2#0"."N1") AND ("T1#1"."N2"=2) AND ("T1#1"."N3"=2)) 
innerQuery, startPos = 20, stopPos = 120, newTextLen = 244, sqlLen = 343

How can I convert the sql_id from the RDBMS.ADS into the conventional format?

Many thanks in advance.

Nenad
http://nenadnoveljic.com/blog/
____________________________________________________
Please consider the environment before printing this e-mail.
Bitte denken Sie an die Umwelt, bevor Sie dieses E-Mail drucken.

Important Notice

 This message is intended only for the individual named. It may contain 
confidential or privileged information. If you are not the named addressee you 
should in particular not disseminate, distribute, modify or copy this e-mail. 
Please notify the sender immediately by e-mail, if you have received this 
message by mistake and delete it from your system.
 Without prejudice to any contractual agreements between you and us which shall 
prevail in any case, we take it as your authorization to correspond with you by 
e-mail if you send us messages by e-mail. However, we reserve the right not to 
execute orders and instructions transmitted by e-mail at any time and without 
further explanation.
 E-mail transmission may not be secure or error-free as information could be 
intercepted, corrupted, lost, destroyed, arrive late or incomplete. Also 
processing of incoming e-mails cannot be guaranteed. All liability of Vontobel 
Holding Ltd. and any of its affiliates (hereinafter collectively referred to as 
"Vontobel Group") for any damages resulting from e-mail use is excluded. You 
are advised that urgent and time sensitive messages should not be sent by 
e-mail and if verification is required please request a printed version.
 Please note that all e-mail communications to and from the Vontobel Group are 
subject to electronic storage and review by Vontobel Group. Unless stated to 
the contrary and without prejudice to any contractual agreements between you 
and Vontobel Group which shall prevail in any case, e-mail-communication is for 
informational purposes only and is not intended as an offer or solicitation for 
the purchase or sale of any financial instrument or as an official confirmation 
of any transaction.
 The legal basis for the processing of your personal data is the legitimate 
interest to develop a commercial relationship with you, as well as your consent 
to forward you commercial communications. You can exercise, at any time and 
under the terms established under current regulation, your rights. If you 
prefer not to receive any further communications, please contact your client 
relationship manager if you are a client of Vontobel Group or notify the sender.
 Please note for an exact reference to the affected group entity the corporate 
e-mail signature.
 For further information about data privacy at Vontobel Group please consult 
www.vontobel.com.

!��� 0~���+-����
������rW�

Important Notice

 This message is intended only for the individual named. It may contain 
confidential or privileged information. If you are not the named addressee you 
should in particular not disseminate, distribute, modify or copy this e-mail. 
Please notify the sender immediately by e-mail, if you have received this 
message by mistake and delete it from your system.
 Without prejudice to any contractual agreements between you and us which shall 
prevail in any case, we take it as your authorization to correspond with you by 
e-mail if you send us messages by e-mail. However, we reserve the right not to 
execute orders and instructions transmitted by e-mail at any time and without 
further explanation.
 E-mail transmission may not be secure or error-free as information could be 
intercepted, corrupted, lost, destroyed, arrive late or incomplete. Also 
processing of incoming e-mails cannot be guaranteed. All liability of Vontobel 
Holding Ltd. and any of its affiliates (hereinafter collectively referred to as 
"Vontobel Group") for any damages resulting from e-mail use is excluded. You 
are advised that urgent and time sensitive messages should not be sent by 
e-mail and if verification is required please request a printed version.
 Please note that all e-mail communications to and from the Vontobel Group are 
subject to electronic storage and review by Vontobel Group. Unless stated to 
the contrary and without prejudice to any contractual agreements between you 
and Vontobel Group which shall prevail in any case, e-mail-communication is for 
informational purposes only and is not intended as an offer or solicitation for 
the purchase or sale of any financial instrument or as an official confirmation 
of any transaction.
 The legal basis for the processing of your personal data is the legitimate 
interest to develop a commercial relationship with you, as well as your consent 
to forward you commercial communications. You can exercise, at any time and 
under the terms established under current regulation, your rights. If you 
prefer not to receive any further communications, please contact your client 
relationship manager if you are a client of Vontobel Group or notify the sender.
 Please note for an exact reference to the affected group entity the corporate 
e-mail signature.
 For further information about data privacy at Vontobel Group please consult 
www.vontobel.com.


Important Notice
 
 This message is intended only for the individual named. It may contain 
confidential or privileged information. If you are not the named addressee you 
should in particular not disseminate, distribute, modify or copy this e-mail. 
Please notify the sender immediately by e-mail, if you have received this 
message by mistake and delete it from your system.
 Without prejudice to any contractual agreements between you and us which shall 
prevail in any case, we take it as your authorization to correspond with you by 
e-mail if you send us messages by e-mail. However, we reserve the right not to 
execute orders and instructions transmitted by e-mail at any time and without 
further explanation.
 E-mail transmission may not be secure or error-free as information could be 
intercepted, corrupted, lost, destroyed, arrive late or incomplete. Also 
processing of incoming e-mails cannot be guaranteed. All liability of Vontobel 
Holding Ltd. and any of its affiliates (hereinafter collectively referred to as 
"Vontobel Group") for any damages resulting from e-mail use is excluded. You 
are advised that urgent and time sensitive messages should not be sent by 
e-mail and if verification is required please request a printed version.
 Please note that all e-mail communications to and from the Vontobel Group are 
subject to electronic storage and review by Vontobel Group. Unless stated to 
the contrary and without prejudice to any contractual agreements between you 
and Vontobel Group which shall prevail in any case, e-mail-communication is for 
informational purposes only and is not intended as an offer or solicitation for 
the purchase or sale of any financial instrument or as an official confirmation 
of any transaction.
 The legal basis for the processing of your personal data is the legitimate 
interest to develop a commercial relationship with you, as well as your consent 
to forward you commercial communications. You can exercise, at any time and 
under the terms established under current regulation, your rights. If you 
prefer not to receive any further communications, please contact your client 
relationship manager if you are a client of Vontobel Group or notify the sender.
 Please note for an exact reference to the affected group entity the corporate 
e-mail signature.
 For further information about data privacy at Vontobel Group please consult 
www.vontobel.com.

Other related posts: