[wdmaudiodev] Re: SYSVAD & Certification Process Failures...

  • From: "Matthew van Eerde" <dmarc-noreply@xxxxxxxxxxxxx> (Redacted sender "Matthew.van.Eerde" for DMARC)
  • To: "wdmaudiodev@xxxxxxxxxxxxx" <wdmaudiodev@xxxxxxxxxxxxx>
  • Date: Wed, 5 Sep 2018 08:26:14 +0000

  *   What happen if the collaborate support procedure does not work

Then I look up who owns Collaborate internally and I ask them about it. But 
let’s give the established procedures a chance first.

________________________________
From: wdmaudiodev-bounce@xxxxxxxxxxxxx <wdmaudiodev-bounce@xxxxxxxxxxxxx> on 
behalf of Vincent Burel (VB-Audio) <vincent.burel@xxxxxxxxxxxx>
Sent: Wednesday, September 5, 2018 12:11:18 AM
To: wdmaudiodev@xxxxxxxxxxxxx
Subject: [wdmaudiodev] Re: SYSVAD & Certification Process Failures...

HLK certification process does not work for audio driver, anyone can reproduce 
it.
(including the SYSVAD example, since your developers do not test the 
certification process in their dev cycle).
The HLK support procedure does not work also…
What happen if the collaborate support procedure does not work?
Is there a support procedure to report problem on collaborate support ?
At the end you recommend to buy a MAC for audio maybe no ?

Where is your Joke Ending ?


De : wdmaudiodev-bounce@xxxxxxxxxxxxx [mailto:wdmaudiodev-bounce@xxxxxxxxxxxxx] ;
De la part de Matthew van Eerde (Redacted sender "Matthew.van.Eerde" for DMARC)
Envoyé : mardi 4 septembre 2018 18:09
À : wdmaudiodev@xxxxxxxxxxxxx
Objet : [wdmaudiodev] Re: SYSVAD & Certification Process Failures...

You should definitely be able to attach files to problem reports – if that’s 
not working, please contact Collaborate Support (problem could be on your end 
or ours)

https://docs.microsoft.com/en-us/collaborate/support<https://na01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fdocs.microsoft.com%2Fen-us%2Fcollaborate%2Fsupport&data=02%7C01%7CMatthew.van.Eerde%40microsoft.com%7C4a8524e6d2c3421a538908d612fedade%7C72f988bf86f141af91ab2d7cd011db47%7C1%7C0%7C636717283177975728&sdata=bKK3jKs1zbKGnxJEXRyedusCaNnUP0JEhIpkt3Tpc9o%3D&reserved=0>

________________________________
From: wdmaudiodev-bounce@xxxxxxxxxxxxx<mailto:wdmaudiodev-bounce@xxxxxxxxxxxxx
<wdmaudiodev-bounce@xxxxxxxxxxxxx<mailto:wdmaudiodev-bounce@xxxxxxxxxxxxx>> on 
behalf of Vincent Burel (VB-Audio) 
<vincent.burel@xxxxxxxxxxxx<mailto:vincent.burel@xxxxxxxxxxxx>>
Sent: Tuesday, September 4, 2018 2:53:17 AM
To: wdmaudiodev@xxxxxxxxxxxxx<mailto:wdmaudiodev@xxxxxxxxxxxxx>
Subject: [wdmaudiodev] Re: SYSVAD & Certification Process Failures...

Ok, just started the procedure and submit feedback in Collaborate (for the 
SYSVAD certification test failures)
But I did not see any way to attach something…

Do I have to submit the HLKX  as new hardware in Windows Hardware Dev Center 
dashboard ?


De : wdmaudiodev-bounce@xxxxxxxxxxxxx<mailto:wdmaudiodev-bounce@xxxxxxxxxxxxx
[mailto:wdmaudiodev-bounce@xxxxxxxxxxxxx] De la part de Matthew van Eerde ;
(Redacted sender "Matthew.van.Eerde" for DMARC)
Envoyé : mardi 14 août 2018 12:31
À : wdmaudiodev@xxxxxxxxxxxxx<mailto:wdmaudiodev@xxxxxxxxxxxxx>
Objet : [wdmaudiodev] Re: SYSVAD & Certification Process Failures...

Thanks – please file a bug on Collaborate for the .hlk failures and attach the 
.hlkx with the full logs.

File a separate bug for each failing test so they can be routed individually 
(tests have different owners and the underlying problems are usually different.)

________________________________
From: wdmaudiodev-bounce@xxxxxxxxxxxxx<mailto:wdmaudiodev-bounce@xxxxxxxxxxxxx
<wdmaudiodev-bounce@xxxxxxxxxxxxx<mailto:wdmaudiodev-bounce@xxxxxxxxxxxxx>> on 
behalf of Vincent Burel (VB-Audio) 
<vincent.burel@xxxxxxxxxxxx<mailto:vincent.burel@xxxxxxxxxxxx>>
Sent: Tuesday, August 14, 2018 2:52:20 AM
To: wdmaudiodev@xxxxxxxxxxxxx<mailto:wdmaudiodev@xxxxxxxxxxxxx>
Subject: [wdmaudiodev] Re: SYSVAD & Certification Process Failures...

Ok ! Matthew finally cleared up the issue related to SYSVAD manual installation 
with devcon!
https://github.com/Microsoft/Windows-driver-samples/issues/268<https://na01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com%2FMicrosoft%2FWindows-driver-samples%2Fissues%2F268&data=02%7C01%7CMatthew.van.Eerde%40microsoft.com%7C4a8524e6d2c3421a538908d612fedade%7C72f988bf86f141af91ab2d7cd011db47%7C1%7C0%7C636717283177975728&sdata=MDYQo%2FA3D7gDXaB8bjEI7a%2FLH0bJyMSoTbZpgEKpQ84%3D&reserved=0>
Great! However we will see that it changes nothing to our SYSVAD certification 
problem.

So the SYSVAD README is/was simply wrong on the following command line (bad 
inf, and additional “*”):
c:\tools\devcon install sysvad.inf *ROOT\sysvad_TabletAudioSample

The working command line is:
c:\tools\devcon install tabletaudiosample.inf ROOT\sysvad_TabletAudioSample

SO LET’S INSTALL SYSVAD with DEVCON.EXE !!!
Ok, DEVCON now works but installs 2 times the same SYSVAD drivers (like with 
“Add legacy hardware” procedure). One is marked as not working “cannot start 
(code 10)”) and needs to be de-installed (see Control panel / Device Manager).

So, we run again HLK Studio (10.1.17134.17134) for WIN10 PRO Build 17134.RS4 
Release 180410-1804 with Latest Test Filters installed and we got different 
results on 3 different certification (24h00 test each). We usually got these 
errors list:


-          Audio Codec – AC3 Test – Certification – Desktop

-          Audio Codec – Audio Logo Test – Glitch – Desktop

-          Audio Codec – Class Driver Audio Logo Test – Certification – Desktop

-          Audio Codec – Hardware Offload of Audio processing Test – Basic

-          Audio Codec – Hardware Offload of Audio processing Test – 
Certification

-          Audio Codec – KS Position Test

And now we get the following errors (with details). The significant change 
compared to previous certification made on SYSVAD  installed by “Add Legacy 
Hardware” is that a second pass changes nothing to the result of the test 
(except some details).


-          Audio Codec – AC3 Test – Certification – Desktop
- KS Pin Tests\KSCreatePin Multiple (SYSVAD wave HDMI)
- KS Pin Tests\KSCreatePin Multiple (SYSVAD wave SPDIF)


-          Audio Codec – Audio Logo Test – Glitch – Desktop
- Glitch Testing\verify n-stream stressed render is glitch free
(or / and)
- Glitch Testing\verify n-stream capture is glitch free



-          Audio Codec – Class Driver Audio Logo Test – Certification – Desktop
- Glitch Testing\verify n-stream stressed capture is glitch free (External 
Microphone Headphone)
- Glitch Testing\verify n-stream capture is glitch free (Internal Microphone 
Array Front/Rear)
- Glitch Testing\verify n-stream stressed capture is glitch free (Internal 
Microphone Array Front/Rear)
- Glitch Testing\verify n-stream capture is glitch free (Internal Microphone 
Array Front)
- Glitch Testing\verify n-stream capture is glitch free (Internal Microphone 
Array Rear)
- Glitch Testing\verify n-stream render is glitch free (SPDIF Interface)
- Glitch Testing\verify n-stream stressed render is glitch free (SPDIF 
Interface)
- Glitch Testing\verify n-stream render is glitch free (Headphone)
- Glitch Testing\verify n-stream stressed render is glitch free (Headphone)
- Glitch Testing\verify n-stream render is glitch free (SinkDescription Sample)
- Glitch Testing\verify n-stream stressed render is glitch free 
(SinkDescription Sample)
- Glitch Testing\verify n-stream render is glitch free (Speakers)
- Glitch Testing\verify n-stream stressed render is glitch free (Speakers)


-          Audio Codec – Communications Audio Fidelity Test (Manual) – Desktop
- Cannot find Reference device with Loudspeaker and Microphone… (this test 
passed successfully on our previous certification test sessions)…



-          Audio Codec – Hardware Offload of Audio processing Test – Basic

-          Audio Codec – Hardware Offload of Audio processing Test – 
Certification
- CHapTest::VolumeImmediate#0
- CHapTest::VolumeImmediate#1
- CHapTest::VolumeImmediate#2
- CHapTest::Mix#0
- CHapTest::Mix#1
- CHapTest::Mix#2
- CHapTest::Raw#0
- CHapTest::Raw#1
- CHapTest::Raw#2
- CHapTest::Raw#3
- CHapTest::MixOffloadDifferentFormat#0
- CHapTest::MixOffloadDifferentFormat#1
- CHapTest::MixOffloadDifferentFormat#2


IF WE RESTART FROM SCRATCH
Starting again with a fresh installation of Windows… then we install SYSVAD + 
HLK Client and perform Certification (86 test / 24h00): then we got 4 errors 
only


-          Audio Codec – AC3 Test – Certification – Desktop
- KS Pin Tests\KSCreatePin Multiple (SYSVAD wave HDMI)
- KS Pin Tests\KSCreatePin Multiple (SYSVAD wave SPDIF)


-          Audio Codec – Class Driver Audio Logo Test – Certification – Desktop
- Glitch Testing\verify n-stream capture is glitch free (Internal Microphone 
Array Rear)
- Glitch Testing\verify n-stream stressed capture is glitch free (Internal 
Microphone Array Front/Rear)
- Glitch Testing\verify n-stream stressed capture is glitch free (External 
Microphone Headphone)
- Glitch Testing\verify n-stream render is glitch free (SPDIF Interface)
- Glitch Testing\verify n-stream stressed render is glitch free (SPDIF 
Interface)
- Glitch Testing\verify n-stream stressed render is glitch free (Speakers)
- Glitch Testing\verify n-stream render is glitch free (Headphone)
- Glitch Testing\verify n-stream stressed render is glitch free (Headphone)
- Glitch Testing\verify n-stream render is glitch free (SinkDescription Sample)


-          Audio Codec – Communications Audio Fidelity Test (Manual) – Desktop
- Cannot find Reference device with Loudspeaker and Microphone… (this test 
passed successfully on our previous certification test sessions)…


-          Audio Codec – MFCaptureEngine API Test – Capture PCM audio samples 
from the default capture pin
- no error notified in wtl file…

The second pass changed nothing (re-performing failed tests makes no change) 
except we got different error list for:


-          Audio Codec – Class Driver Audio Logo Test – Certification – Desktop
- Glitch Testing\verify n-stream capture is glitch free (Internal Microphone 
Array Front)
- Glitch Testing\verify n-stream capture is glitch free (Internal Microphone 
Array Front/Rear)
- Glitch Testing\verify n-stream capture is glitch free (External Microphone 
Headphone)
- Glitch Testing\verify n-stream stressed capture is glitch free (External 
Microphone Headphone)
- Glitch Testing\verify n-stream render is glitch free (SinkDescription Sample)
- Glitch Testing\verify n-stream stressed render is glitch free 
(SinkDescription Sample)
- Glitch Testing\verify n-stream render is glitch free (Speakers)
- Glitch Testing\verify n-stream render is glitch free (Headphone)
- Glitch Testing\verify n-stream stressed render is glitch free (Headphone)
- Glitch Testing\verify n-stream render is glitch free (SPDIF Interface)
- Glitch Testing\verify n-stream stressed render is glitch free (SPDIF 
Interface)


IN CONCLUSION
The first problem is not the way you install your audio driver for 
certification, but if it is the first or not the first installation you made.
Since you have done a first installation of an audio driver, even if you 
de-install it, it seems the next installation will be considered as an update 
and won’t be performed correctly (this is maybe explaining why all WIN10 update 
often fucked up all audio device driver configuration).

The second problem concerns the Audio Driver Certification process and 
specifically the test called:

-          Audio Codec – Class Driver Audio Logo Test – Certification – Desktop
After further test and checking, we don’t know if the problem comes from the 
SYSVAD or the HLK test…


So the question remain :
Does someone tried to pass the SYSVAD in the certification process  ?
(for WIN10 x64 PRO Build 17134.RS4 Release 180410-1804)

How can we build audio driver if Microsoft does not provide certifiable example 
?

Regards
Vincent Burel












De : wdmaudiodev-bounce@xxxxxxxxxxxxx<mailto:wdmaudiodev-bounce@xxxxxxxxxxxxx
[mailto:wdmaudiodev-bounce@xxxxxxxxxxxxx] De la part de Vincent Burel ;(VB-Audio)
Envoyé : lundi 23 juillet 2018 17:03
À : wdmaudiodev@xxxxxxxxxxxxx<mailto:wdmaudiodev@xxxxxxxxxxxxx>
Objet : [wdmaudiodev] SYSVAD & Certification Process Failures...

Hello,

So, we recompiled a SYSVAD Audio Tablet Sample Driver with Latest Source Code 
7/23/2018 version 10.41.14.806
And we installed it on our test machine: WIN10 PRO Build 17134.RS4 Release 
180410-1804

Installation note: Windows Hardware Installation procedure proposes 2 Audio 
Tablet Drivers with 2 different versions.
Even if selecting latest version, Windows installs 2x audio tablet drivers (one 
is set as non working driver and must be de-installed).

Then we run HLK Studio (10.1.17134.17134) with Latest Test Filters installed 
and the following test failed:


-          Audio Codec – AC3 Test – Certification – Desktop

-          Audio Codec – Audio Logo Test – Glitch – Desktop

-          Audio Codec – Class Driver Audio Logo Test – Certification – Desktop

-          Audio Codec – KS Position Test

-          Audio Codec – MFCaptureEngine API Test – Capture AMR-NB audio to a 
file from the default capture pin

-          Audio Codec – MFCaptureEngine API Test – Capture PCM audio samples 
from the default capture pin

-          Audio Codec – MFCaptureEngine API Test – Capture PCM audio to a wav 
file from the default capture pin

So the question is:
How are we expected to produce a certifiable audio driver if the Microsoft 
example cannot be certified ?

Regards
Vincent Burel

Other related posts: