[codeface] Re: MySQL error - Out of memory

  • From: Wolfgang Mauerer <wolfgang.mauerer@xxxxxxxxxxxxxxxxx>
  • To: <codeface@xxxxxxxxxxxxx>
  • Date: Thu, 12 May 2016 00:21:34 +0200

Am 11/05/2016 um 20:38 schrieb Simone Magnoni:

Not that I am aware of..

The LibreOffice configuration I am considering is the following:

revisions: [ '83b507c0f0858471333e3a079aedb15327186742',
'697b1039bc1690dc8ec9aaa6faa0283cc57dee68',
'9ab844c7fa907e2d1119a316c695198ef888a059',
'ba9b0e9c1a48c612386be6e1acf6e39275ab30c6',
'1053688105c1064a4e04dcb2c6056b4326c4a880',
'821ab16a1fb0353397914131ab559685d12b92b7',
'22494121d72a2cc2da364d0d5f7f8236a9b42594',
'0efbd9931ea854cf71c4c54ca3f3d55d6db1fa13',
'4d7b194dd5910f19652e9fa997efbd947b20e570',
'420be486f04d99b08311151a4230699099184baa',
'a5d273d66d222cdcaf6edb63c82a886e19963357',
'e4b052842368658fcc36eac8a6564163845f6de4',
'2f3dcc44cecf34e00bf7bfc48640915ac87e29b5']

tagging: proximity

on a standard machine with Ubuntu 12.04 and no mysql tweaking, things
work fine with committer2author, which is another indicator that the
problems might be related to large commits that are parsed during
proximity analysis. The latter is really time consuming, so I guess it
will take a while until I can say if the problem is reproducible on
our machines.

Best regards, Wolfgang


The range that raises the error should be
'ba9b0e9c1a48c612386be6e1acf6e39275ab30c6' ->
'1053688105c1064a4e04dcb2c6056b4326c4a880'

Bests,
Simone


Il 11/05/2016 19:55, Wolfgang Mauerer ha scritto:

Am 11/05/2016 um 19:46 schrieb Simone Magnoni:
Hello,

The project I am trying to analyse is LibreOffice and I am using a 3
months window range..
I have no problem with some ranges but one of them is now raising that
error. Every vcs_analysis.db is around 360MB and the memory of my
virtual machine is 10GB..
I directly changed innodb_buffer_pool_size in MySQL configuration file
and experimented using different GB.. but after that change the analysis
is halted during the first range analysis.. I am afraid that some other
attributes should be changed at the same time.
are there maybe any extraordinarily large patches in this time frame?

If you like, you can send the the configuration file, and I'll give the
analysis a shot on one of our big servers.

Thanks, Wolfgang
I will continue to experiment and googling a bit..
Mitchell, if you can I'd like to take a look at your configuration file.

Thank you,
Simone


Il 11/05/2016 17:56, Mitchell Joblin ha scritto:
Hi Simone,

Am 11.05.2016 4:20 nachm. schrieb "Andreas Ringlstetter"
<andreas.ringlstetter@xxxxxxxxxxxxxxxxxxxx
<mailto:andreas.ringlstetter@xxxxxxxxxxxxxxxxxxxx>>:
Hello Simone,

the only setting in MySQL relevant for Error #5 in combination with
InnoDB tables would be "innodb_buffer_pool_size". Depending on how
large
the project is, you may need to provide several GB of RAM to MySQL. It
needs to be at least sufficient to fit the table indexes entirely
into RAM.
Connect to the database on the terminal using the credentials
listed in
the config file, and run "SELECT SUM(Index_length) FROM
information_schema.TABLES ;". This is the current size of all
indexes on
the codeface database and absolute minimum what you should dedicate
for
"innodb_buffer_pool_size".
Yes, I recall also having issues like that when analyzing chrome. I
don't recall exactly the configuration change I had to make but what
Andreas suggested sounds familiar. Of that don't work, please let me
know and I will have a closer look on my configuration.

Are you analyzing using a time based or revision based configuration?
We could also consider shorting the range between revisions or time
slices to solve the problem.

Cheers,

Mitchell

"max_allowed_packet " is only for avoiding Error #1153.

Best whishes,
Andreas Ringlstetter

Am 11.05.2016 um 15:28 schrieb Simone Magnoni:
Dear all,

I am trying to perform the collaboration analysis of a "big" project.
Every range analysis take almost a day and when it is ended the MySQL
connection is no longer available and the analysis stops. However
this
is not a problem as using --reuse-vcs-analysis option will resolve
this
issues.

However I am now incurring in the following error:
[codeface.dbmanager] MainProcess CRITICAL: MySQL error 5 during
"INSERT
INTO commit_dependency (commitId, file, entityId, entityType, size,
impl) VALUES (%s,%s,%s,%s,%s,%s)": Out of memory (Needed 430092088
bytes)
I have already modified the max_allowed_packet parameter in
dbmanager.py
and tried different mysql configurations while googling this
isseue...
but none resolved this issues.

Did anyone faced this problem before? Any suggestion?

Bests,
Simone





Other related posts:

  1. Home
  2. codeface
  3. Archive
  4. 05-2016