[comixed-dev] Improved import batch processing

  • From: "Darryl L. Pierce" <mcpierce@xxxxxxxxx>
  • To: comixed-dev@xxxxxxxxxxxxx
  • Date: Wed, 8 Jun 2022 20:54:46 -0400

I've checked in changes for improving the import process. I was able to
import just under 13k comics in a test in just over a day's time, which I
think is a huge improvement over the previous functionality. I had to make
the batch process more resilient, with each processor not raising
exceptions when an error occurs. Instead, they either return null or the
unprocessed comic to allow the batch to continue.

In the end, any comic that fails should end up remaining in the Unprocessed
comic view. Admins should be able to look over the comics and figure out
the problem with them. And it gives us an easier time of being able triage
problems when they occur.

-- 
Darryl L. Pierce <mcpierce@xxxxxxxxx>
"Le centre du monde est partout." - Blaise Pascal
"Let's try and find some point of transcendence and leap together." - Gord
Downie

Other related posts:

  • » [comixed-dev] Improved import batch processing - Darryl L. Pierce