[codeface] Re: MySQL error - Out of memory

  • From: Wolfgang Mauerer <wolfgang.mauerer@xxxxxxxxxxxxxxxxx>
  • To: <codeface@xxxxxxxxxxxxx>
  • Date: Wed, 11 May 2016 19:55:46 +0200



Am 11/05/2016 um 19:46 schrieb Simone Magnoni:

Hello,

The project I am trying to analyse is LibreOffice and I am using a 3
months window range..
I have no problem with some ranges but one of them is now raising that
error. Every vcs_analysis.db is around 360MB and the memory of my
virtual machine is 10GB..
I directly changed innodb_buffer_pool_size in MySQL configuration file
and experimented using different GB.. but after that change the analysis
is halted during the first range analysis.. I am afraid that some other
attributes should be changed at the same time.

are there maybe any extraordinarily large patches in this time frame?

If you like, you can send the the configuration file, and I'll give the
analysis a shot on one of our big servers.

Thanks, Wolfgang

I will continue to experiment and googling a bit..
Mitchell, if you can I'd like to take a look at your configuration file.

Thank you,
Simone


Il 11/05/2016 17:56, Mitchell Joblin ha scritto:

Hi Simone,

Am 11.05.2016 4:20 nachm. schrieb "Andreas Ringlstetter"
<andreas.ringlstetter@xxxxxxxxxxxxxxxxxxxx
<mailto:andreas.ringlstetter@xxxxxxxxxxxxxxxxxxxx>>:

Hello Simone,

the only setting in MySQL relevant for Error #5 in combination with
InnoDB tables would be "innodb_buffer_pool_size". Depending on how large
the project is, you may need to provide several GB of RAM to MySQL. It
needs to be at least sufficient to fit the table indexes entirely
into RAM.

Connect to the database on the terminal using the credentials listed in
the config file, and run "SELECT SUM(Index_length) FROM
information_schema.TABLES ;". This is the current size of all indexes on
the codeface database and absolute minimum what you should dedicate for
"innodb_buffer_pool_size".

Yes, I recall also having issues like that when analyzing chrome. I
don't recall exactly the configuration change I had to make but what
Andreas suggested sounds familiar. Of that don't work, please let me
know and I will have a closer look on my configuration.

Are you analyzing using a time based or revision based configuration?
We could also consider shorting the range between revisions or time
slices to solve the problem.

Cheers,

Mitchell


"max_allowed_packet " is only for avoiding Error #1153.

Best whishes,
Andreas Ringlstetter

Am 11.05.2016 um 15:28 schrieb Simone Magnoni:
Dear all,

I am trying to perform the collaboration analysis of a "big" project.
Every range analysis take almost a day and when it is ended the MySQL
connection is no longer available and the analysis stops. However this
is not a problem as using --reuse-vcs-analysis option will resolve
this
issues.

However I am now incurring in the following error:
[codeface.dbmanager] MainProcess CRITICAL: MySQL error 5 during
"INSERT
INTO commit_dependency (commitId, file, entityId, entityType, size,
impl) VALUES (%s,%s,%s,%s,%s,%s)": Out of memory (Needed 430092088
bytes)

I have already modified the max_allowed_packet parameter in
dbmanager.py
and tried different mysql configurations while googling this isseue...
but none resolved this issues.

Did anyone faced this problem before? Any suggestion?

Bests,
Simone






Other related posts: