[comixed] Coming to v2.1: Faster imports!

  • From: "Darryl L. Pierce" <mcpierce@xxxxxxxxx>
  • To: comixed@xxxxxxxxxxxxx
  • Date: Mon, 15 Apr 2024 09:16:35 -0400

Hey, all. Wanted to let you know some of what's coming up in ComiXed
v2.1 in June.

One of the biggest pain points for people is how slow it can be to
import comics. Specifically, you start importing 1k of comic files and
now you can't do anything for an hour or two.

The approach being taken to speed this up is two-fold:
1. make the various parts of the import process optional, and
2. separate the steps after the initial adding of the comic to the library.

I wanted to get some opinions on this. My hope is that, with this
approach, the actual import is strictly creating a record in the
comic_books and comic_details tables to represent the file, to mark it
as unprocessed, and nothing more.

The separate steps (loading the comic file's contents, marking blocked
pages for deletion, loading metadata) would each run as separate batch
processes after the import completes. To make them optional, I'm
thinking we add some configuration flags.

The one I've identified so far would be "Managed Blocked Hashes". If
it's disabled, then CX:
  1. doesn't collect page hashes during content loading, and
  2. doesn't run the batch job to mark blocked pages for deletion.

That would speed up those two processes, but at the cost of CX not
showing the Blocked Page Hash page link on the web and not
automatically marking unwanted pages for removal. Though now as I
write this I'm thinking we could have two configurable options:

1. Don't manage blocked page hashes
2. Don't automatically mark blocked pages for deletion.

Disabling the first option ignores the second option since it would
never have hashes to process.

Anyway, I wanted to get some thoughts from you all as to what you
would want in the application since, ultimately, it's to benefit you
all.

And, as always, thanks for supporting the project. I appreciate you all.

-- 
Darryl L. Pierce (he/him) <mcpierce@xxxxxxxxx>
"Le centre du monde est partout." - Blaise Pascal
"Let's try and find some point of transcendence and leap together." -
Gord Downie

The ComiXed Project : http://www.comixedproject.org
To report bugs or request features: https://github.com/comixed/comixed/issues

Other related posts:

  • » [comixed] Coming to v2.1: Faster imports! - Darryl L. Pierce