[haiku-development] Re: Failing unit tests

  • From: "Mark Hellegers" <mark@xxxxxxxxxxxx>
  • To: haiku-development@xxxxxxxxxxxxx
  • Date: Tue, 24 May 2016 23:36:49 +0200 CEST

On Tue, May 24, 2016 at 08:31:05PM +0200, Mark Hellegers wrote:
Hello all,

I am trying to add a unit test for a fix I am working on, so I 
tried to 
build and run the current unit tests to see how it all works.
However, when running the current unit tests I get quite a lot of 
failures and even a crash of the UnitTester application for at 
least 
one test (BApplication::QuitTest4).

Am I doing something wrong or is this known already? I expected the 
unit tests to be run as part of the automated builds, but that 
seems 
unlikely if they are indeed broken.

Hi,

The tests are not run automatically because this would require an 
Haiku
host and our buildbots are running some other operating systems. At 
the
moment, the bots only check that the tests are compiling.

I saw several offers of help this week for extra hardware. Perhaps one 
could be used to run a build bot on a Haiku instance with tests 
enabled.

You can tell UnitTester to run only parts of the tests, either the
single one you are working on, or the component you are adding tests 
to.

Just tried that and the results were not encouraging so far. I'm not 
yet sure where my test needs to be exactly (ssl test), but the 
NetworkAddressTest set "only" produced two failures and no crash and 
the NetworkInterfaceTest landed me in kernel debugging land every time 
sa far. It also somehow caused the last several minutes of changes to 
the disk to go missing as if they were never really written to disk. At 
least, I had to compile part of the unit tests each time as they were 
gone again.
 
We are trying to get things fixed as we go, but there has not been 
much
interest from the devs so far...

I would guess there would be no complaints if someone sets up the build 
bot to run the tests after each commit. That should be step one.

Kind regards,

Mark Hellegers


--
Spangalese for beginners

'Mocha tar ah'
'The Gil man jiggled the wire'



Other related posts: