[wdmaudiodev] Re: SYSVAD & Certification Process Failures...

  • From: "Vincent Burel \(VB-Audio\)" <vincent.burel@xxxxxxxxxxxx>
  • To: <wdmaudiodev@xxxxxxxxxxxxx>
  • Date: Wed, 5 Sep 2018 09:11:18 +0200

HLK certification process does not work for audio driver, anyone can
reproduce it. 

(including the SYSVAD example, since your developers do not test the
certification process in their dev cycle).

The HLK support procedure does not work also…

What happen if the collaborate support procedure does not work? 

Is there a support procedure to report problem on collaborate support ? 

At the end you recommend to buy a MAC for audio maybe no ? 

 

Where is your Joke Ending ? 

 

 

De : wdmaudiodev-bounce@xxxxxxxxxxxxx
[mailto:wdmaudiodev-bounce@xxxxxxxxxxxxx] De la part de Matthew van Eerde
(Redacted sender "Matthew.van.Eerde" for DMARC)
Envoyé : mardi 4 septembre 2018 18:09
À : wdmaudiodev@xxxxxxxxxxxxx
Objet : [wdmaudiodev] Re: SYSVAD & Certification Process Failures...

 

You should definitely be able to attach files to problem reports – if that’s
not working, please contact Collaborate Support (problem could be on your
end or ours)

 

https://docs.microsoft.com/en-us/collaborate/support

 

  _____  

From: wdmaudiodev-bounce@xxxxxxxxxxxxx <wdmaudiodev-bounce@xxxxxxxxxxxxx> on
behalf of Vincent Burel (VB-Audio) <vincent.burel@xxxxxxxxxxxx>
Sent: Tuesday, September 4, 2018 2:53:17 AM
To: wdmaudiodev@xxxxxxxxxxxxx
Subject: [wdmaudiodev] Re: SYSVAD & Certification Process Failures... 

 

Ok, just started the procedure and submit feedback in Collaborate (for the
SYSVAD certification test failures)

But I did not see any way to attach something… 

 

Do I have to submit the HLKX  as new hardware in Windows Hardware Dev Center
dashboard ?

 

 

De : wdmaudiodev-bounce@xxxxxxxxxxxxx
[mailto:wdmaudiodev-bounce@xxxxxxxxxxxxx] De la part de Matthew van Eerde
(Redacted sender "Matthew.van.Eerde" for DMARC)
Envoyé : mardi 14 août 2018 12:31
À : wdmaudiodev@xxxxxxxxxxxxx
Objet : [wdmaudiodev] Re: SYSVAD & Certification Process Failures...

 

Thanks – please file a bug on Collaborate for the .hlk failures and attach
the .hlkx with the full logs.

 

File a separate bug for each failing test so they can be routed individually
(tests have different owners and the underlying problems are usually
different.)

 

  _____  

From: wdmaudiodev-bounce@xxxxxxxxxxxxx <wdmaudiodev-bounce@xxxxxxxxxxxxx> on
behalf of Vincent Burel (VB-Audio) <vincent.burel@xxxxxxxxxxxx>
Sent: Tuesday, August 14, 2018 2:52:20 AM
To: wdmaudiodev@xxxxxxxxxxxxx
Subject: [wdmaudiodev] Re: SYSVAD & Certification Process Failures... 

 

Ok ! Matthew finally cleared up the issue related to SYSVAD manual
installation with devcon! 

https://github.com/Microsoft/Windows-driver-samples/issues/268
<https://na01.safelinks.protection.outlook.com/?url=https%3A%2F%2Fgithub.com
%2FMicrosoft%2FWindows-driver-samples%2Fissues%2F268&data=02%7C01%7CMatthew.
van.Eerde%40microsoft.com%7C63b404f89dee4b65b4e008d6124c5260%7C72f988bf86f14
1af91ab2d7cd011db47%7C1%7C0%7C636716516366446075&sdata=tapGO5%2FVSHLMRbpXf22
DxLC5eU0eSoleGq0BR0sDZVY%3D&reserved=0> 

Great! However we will see that it changes nothing to our SYSVAD
certification problem. 

 

So the SYSVAD README is/was simply wrong on the following command line (bad
inf, and additional “*”): 

c:\tools\devcon install sysvad.inf *ROOT\sysvad_TabletAudioSample

 

The working command line is:

c:\tools\devcon install tabletaudiosample.inf ROOT\sysvad_TabletAudioSample

 

SO LET’S INSTALL SYSVAD with DEVCON.EXE !!!

Ok, DEVCON now works but installs 2 times the same SYSVAD drivers (like with
“Add legacy hardware” procedure). One is marked as not working “cannot start
(code 10)”) and needs to be de-installed (see Control panel / Device
Manager). 

 

So, we run again HLK Studio (10.1.17134.17134) for WIN10 PRO Build 17134.RS4
Release 180410-1804 with Latest Test Filters installed and we got different
results on 3 different certification (24h00 test each). We usually got these
errors list:

 

-          Audio Codec – AC3 Test – Certification – Desktop

-          Audio Codec – Audio Logo Test – Glitch – Desktop

-          Audio Codec – Class Driver Audio Logo Test – Certification –
Desktop

-          Audio Codec – Hardware Offload of Audio processing Test – Basic

-          Audio Codec – Hardware Offload of Audio processing Test –
Certification

-          Audio Codec – KS Position Test 

 

And now we get the following errors (with details). The significant change
compared to previous certification made on SYSVAD  installed by “Add Legacy
Hardware” is that a second pass changes nothing to the result of the test
(except some details). 

 

-          Audio Codec – AC3 Test – Certification – Desktop

- KS Pin Tests\KSCreatePin Multiple (SYSVAD wave HDMI)

- KS Pin Tests\KSCreatePin Multiple (SYSVAD wave SPDIF)

 

-          Audio Codec – Audio Logo Test – Glitch – Desktop

- Glitch Testing\verify n-stream stressed render is glitch free 

(or / and)

- Glitch Testing\verify n-stream capture is glitch free

 

-          Audio Codec – Class Driver Audio Logo Test – Certification –
Desktop

- Glitch Testing\verify n-stream stressed capture is glitch free (External
Microphone Headphone)

- Glitch Testing\verify n-stream capture is glitch free (Internal Microphone
Array Front/Rear)

- Glitch Testing\verify n-stream stressed capture is glitch free (Internal
Microphone Array Front/Rear)

- Glitch Testing\verify n-stream capture is glitch free (Internal Microphone
Array Front)

- Glitch Testing\verify n-stream capture is glitch free (Internal Microphone
Array Rear)

- Glitch Testing\verify n-stream render is glitch free (SPDIF Interface)

- Glitch Testing\verify n-stream stressed render is glitch free (SPDIF
Interface)

- Glitch Testing\verify n-stream render is glitch free (Headphone)

- Glitch Testing\verify n-stream stressed render is glitch free (Headphone)

- Glitch Testing\verify n-stream render is glitch free (SinkDescription
Sample)

- Glitch Testing\verify n-stream stressed render is glitch free
(SinkDescription Sample)

- Glitch Testing\verify n-stream render is glitch free (Speakers)

- Glitch Testing\verify n-stream stressed render is glitch free (Speakers)

 

-          Audio Codec – Communications Audio Fidelity Test (Manual) –
Desktop

- Cannot find Reference device with Loudspeaker and Microphone… (this test
passed successfully on our previous certification test sessions)…

 

-          Audio Codec – Hardware Offload of Audio processing Test – Basic

-          Audio Codec – Hardware Offload of Audio processing Test –
Certification

- CHapTest::VolumeImmediate#0

- CHapTest::VolumeImmediate#1

- CHapTest::VolumeImmediate#2

- CHapTest::Mix#0

- CHapTest::Mix#1

- CHapTest::Mix#2

- CHapTest::Raw#0

- CHapTest::Raw#1

- CHapTest::Raw#2

- CHapTest::Raw#3

- CHapTest::MixOffloadDifferentFormat#0

- CHapTest::MixOffloadDifferentFormat#1

- CHapTest::MixOffloadDifferentFormat#2

 

 

IF WE RESTART FROM SCRATCH

Starting again with a fresh installation of Windows… then we install SYSVAD
+ HLK Client and perform Certification (86 test / 24h00): then we got 4
errors only 

 

-          Audio Codec – AC3 Test – Certification – Desktop

- KS Pin Tests\KSCreatePin Multiple (SYSVAD wave HDMI)

- KS Pin Tests\KSCreatePin Multiple (SYSVAD wave SPDIF)

 

-          Audio Codec – Class Driver Audio Logo Test – Certification –
Desktop

- Glitch Testing\verify n-stream capture is glitch free (Internal Microphone
Array Rear)

- Glitch Testing\verify n-stream stressed capture is glitch free (Internal
Microphone Array Front/Rear)

- Glitch Testing\verify n-stream stressed capture is glitch free (External
Microphone Headphone)

- Glitch Testing\verify n-stream render is glitch free (SPDIF Interface)

- Glitch Testing\verify n-stream stressed render is glitch free (SPDIF
Interface)

- Glitch Testing\verify n-stream stressed render is glitch free (Speakers)

- Glitch Testing\verify n-stream render is glitch free (Headphone)

- Glitch Testing\verify n-stream stressed render is glitch free (Headphone)

- Glitch Testing\verify n-stream render is glitch free (SinkDescription
Sample)

 

-          Audio Codec – Communications Audio Fidelity Test (Manual) –
Desktop

- Cannot find Reference device with Loudspeaker and Microphone… (this test
passed successfully on our previous certification test sessions)…

 

-          Audio Codec – MFCaptureEngine API Test – Capture PCM audio
samples from the default capture pin

- no error notified in wtl file…

 

The second pass changed nothing (re-performing failed tests makes no change)
except we got different error list for:

 

-          Audio Codec – Class Driver Audio Logo Test – Certification –
Desktop

- Glitch Testing\verify n-stream capture is glitch free (Internal Microphone
Array Front)

- Glitch Testing\verify n-stream capture is glitch free (Internal Microphone
Array Front/Rear)

- Glitch Testing\verify n-stream capture is glitch free (External Microphone
Headphone)

- Glitch Testing\verify n-stream stressed capture is glitch free (External
Microphone Headphone)

- Glitch Testing\verify n-stream render is glitch free (SinkDescription
Sample)

- Glitch Testing\verify n-stream stressed render is glitch free
(SinkDescription Sample)

- Glitch Testing\verify n-stream render is glitch free (Speakers)

- Glitch Testing\verify n-stream render is glitch free (Headphone)

- Glitch Testing\verify n-stream stressed render is glitch free (Headphone)

- Glitch Testing\verify n-stream render is glitch free (SPDIF Interface)

- Glitch Testing\verify n-stream stressed render is glitch free (SPDIF
Interface)

 

 

IN CONCLUSION

The first problem is not the way you install your audio driver for
certification, but if it is the first or not the first installation you
made. 

Since you have done a first installation of an audio driver, even if you
de-install it, it seems the next installation will be considered as an
update and won’t be performed correctly (this is maybe explaining why all
WIN10 update often fucked up all audio device driver configuration).

 

The second problem concerns the Audio Driver Certification process and
specifically the test called:

-          Audio Codec – Class Driver Audio Logo Test – Certification –
Desktop

After further test and checking, we don’t know if the problem comes from the
SYSVAD or the HLK test… 

 

 

So the question remain : 

Does someone tried to pass the SYSVAD in the certification process  ?

(for WIN10 x64 PRO Build 17134.RS4 Release 180410-1804)

 

How can we build audio driver if Microsoft does not provide certifiable
example ? 

 

Regards

Vincent Burel

 

 

 

 

 

 

 

 

 

 

De : wdmaudiodev-bounce@xxxxxxxxxxxxx
[mailto:wdmaudiodev-bounce@xxxxxxxxxxxxx] De la part de Vincent Burel
(VB-Audio)
Envoyé : lundi 23 juillet 2018 17:03
À : wdmaudiodev@xxxxxxxxxxxxx
Objet : [wdmaudiodev] SYSVAD & Certification Process Failures...

 

Hello,

 

So, we recompiled a SYSVAD Audio Tablet Sample Driver with Latest Source
Code 7/23/2018 version 10.41.14.806

And we installed it on our test machine: WIN10 PRO Build 17134.RS4 Release
180410-1804

 

Installation note: Windows Hardware Installation procedure proposes 2 Audio
Tablet Drivers with 2 different versions.

Even if selecting latest version, Windows installs 2x audio tablet drivers
(one is set as non working driver and must be de-installed).

 

Then we run HLK Studio (10.1.17134.17134) with Latest Test Filters installed
and the following test failed:

 

-          Audio Codec – AC3 Test – Certification – Desktop

-          Audio Codec – Audio Logo Test – Glitch – Desktop

-          Audio Codec – Class Driver Audio Logo Test – Certification –
Desktop

-          Audio Codec – KS Position Test 

-          Audio Codec – MFCaptureEngine API Test – Capture AMR-NB audio to
a file from the default capture pin

-          Audio Codec – MFCaptureEngine API Test – Capture PCM audio
samples from the default capture pin

-          Audio Codec – MFCaptureEngine API Test – Capture PCM audio to a
wav file from the default capture pin

 

So the question is: 

How are we expected to produce a certifiable audio driver if the Microsoft
example cannot be certified ? 

 

Regards

Vincent Burel

 

Other related posts: