[py-lmdb] Weird performance issues with LMDB

  • From: Andrew Spott <andrew.spott@xxxxxxxxx>
  • To: py-lmdb@xxxxxxxxxxxxx
  • Date: Fri, 11 Oct 2019 11:27:23 -0600

Hi,

I'm running into a weird performance problem with LMDB.  Every once in a
while, when iterating over the whole thing, I'll have a major slowdown.  I
go from 70k records per second, down to between a hundred and a few
thousand records per second.  This usually continues for the entire read,
however, *sometimes* if I restart the python kernel or restart the script,
it will go back into high speed mode.  I don't have any idea what might be
causing this.

The machine is a shared machine, so it could be a resources thing, though a
cursory look at htop doesn't show excessive memory pressure or cpu usage.

Any ideas?  Places to look? I don't know how to investigate a memory
mapping performance issue... any suggestions?

Thanks,

-Andrew

Other related posts: