[codeface] Re: MySQL error - Out of memory

  • From: Simone Magnoni <smnmgn@xxxxxxxxx>
  • To: codeface@xxxxxxxxxxxxx
  • Date: Wed, 18 May 2016 19:58:53 +0200

Using previously computed "vcs_analysis.db" files end up in raising the same 
error. I will try to recompute collaboration analysis to understand if the .db files 
themselves are the problem..
In the meantime can you please share the my.cnf file of your machine?

Thank you,
Simone




Il 17/05/2016 14:17, Wolfgang Mauerer ha scritto:


Am 11/05/2016 um 20:38 schrieb Simone Magnoni:
Not that I am aware of..

The LibreOffice configuration I am considering is the following:

revisions: [ '83b507c0f0858471333e3a079aedb15327186742',
'697b1039bc1690dc8ec9aaa6faa0283cc57dee68',
'9ab844c7fa907e2d1119a316c695198ef888a059',
'ba9b0e9c1a48c612386be6e1acf6e39275ab30c6',
'1053688105c1064a4e04dcb2c6056b4326c4a880',
'821ab16a1fb0353397914131ab559685d12b92b7',
'22494121d72a2cc2da364d0d5f7f8236a9b42594',
'0efbd9931ea854cf71c4c54ca3f3d55d6db1fa13',
'4d7b194dd5910f19652e9fa997efbd947b20e570',
'420be486f04d99b08311151a4230699099184baa',
'a5d273d66d222cdcaf6edb63c82a886e19963357',
'e4b052842368658fcc36eac8a6564163845f6de4',
'2f3dcc44cecf34e00bf7bfc48640915ac87e29b5']

tagging: proximity


The range that raises the error should be
'ba9b0e9c1a48c612386be6e1acf6e39275ab30c6' ->
'1053688105c1064a4e04dcb2c6056b4326c4a880'
I've tried this one, and things worked fine on my machine. Maybe there
is indeed a shortage of RAM? You could perhaps mend this by using
more swap space.

What I've seen, though, are timeout problems with the mysql connection
that appear after working for more than 8 hours, which can be the case
for the range under consideration. After this interval, mysql needs a
reconnect (or whatever other measure to keep the connection alive)
that's currently not supported by codeface because I've never
encountered a project for which a single release range took so long
to analyse. Could this perhaps contribute to the problem?

Thanks, Wolfgang
Bests,
Simone


Il 11/05/2016 19:55, Wolfgang Mauerer ha scritto:
Am 11/05/2016 um 19:46 schrieb Simone Magnoni:
Hello,

The project I am trying to analyse is LibreOffice and I am using a 3
months window range..
I have no problem with some ranges but one of them is now raising that
error. Every vcs_analysis.db is around 360MB and the memory of my
virtual machine is 10GB..
I directly changed innodb_buffer_pool_size in MySQL configuration file
and experimented using different GB.. but after that change the analysis
is halted during the first range analysis.. I am afraid that some other
attributes should be changed at the same time.
are there maybe any extraordinarily large patches in this time frame?

If you like, you can send the the configuration file, and I'll give the
analysis a shot on one of our big servers.

Thanks, Wolfgang
I will continue to experiment and googling a bit..
Mitchell, if you can I'd like to take a look at your configuration file.

Thank you,
Simone


Il 11/05/2016 17:56, Mitchell Joblin ha scritto:
Hi Simone,

Am 11.05.2016 4:20 nachm. schrieb "Andreas Ringlstetter"
<andreas.ringlstetter@xxxxxxxxxxxxxxxxxxxx
<mailto:andreas.ringlstetter@xxxxxxxxxxxxxxxxxxxx>>:
Hello Simone,

the only setting in MySQL relevant for Error #5 in combination with
InnoDB tables would be "innodb_buffer_pool_size". Depending on how
large
the project is, you may need to provide several GB of RAM to MySQL. It
needs to be at least sufficient to fit the table indexes entirely
into RAM.
Connect to the database on the terminal using the credentials
listed in
the config file, and run "SELECT SUM(Index_length) FROM
information_schema.TABLES ;". This is the current size of all
indexes on
the codeface database and absolute minimum what you should dedicate
for
"innodb_buffer_pool_size".
Yes, I recall also having issues like that when analyzing chrome. I
don't recall exactly the configuration change I had to make but what
Andreas suggested sounds familiar. Of that don't work, please let me
know and I will have a closer look on my configuration.

Are you analyzing using a time based or revision based configuration?
We could also consider shorting the range between revisions or time
slices to solve the problem.

Cheers,

Mitchell

"max_allowed_packet " is only for avoiding Error #1153.

Best whishes,
Andreas Ringlstetter

Am 11.05.2016 um 15:28 schrieb Simone Magnoni:
Dear all,

I am trying to perform the collaboration analysis of a "big" project.
Every range analysis take almost a day and when it is ended the MySQL
connection is no longer available and the analysis stops. However
this
is not a problem as using --reuse-vcs-analysis option will resolve
this
issues.

However I am now incurring in the following error:
[codeface.dbmanager] MainProcess CRITICAL: MySQL error 5 during
"INSERT
INTO commit_dependency (commitId, file, entityId, entityType, size,
impl) VALUES (%s,%s,%s,%s,%s,%s)": Out of memory (Needed 430092088
bytes)
I have already modified the max_allowed_packet parameter in
dbmanager.py
and tried different mysql configurations while googling this
isseue...
but none resolved this issues.

Did anyone faced this problem before? Any suggestion?

Bests,
Simone





Other related posts: