Re: Processing new rows in staging table quickly...

  • From: Dominic Brooks <dombrooks@xxxxxxxxxxx>
  • To: "post.ethan@xxxxxxxxx" <post.ethan@xxxxxxxxx>
  • Date: Thu, 18 Apr 2019 06:54:42 +0000

FBI which has nulls for the rows which have already been processed.
Or partition by NULL/ NOT NULL.

Sent from my iPhone

On 18 Apr 2019, at 00:33, "post.ethan@xxxxxxxxx<mailto:post.ethan@xxxxxxxxx>" 
<post.ethan@xxxxxxxxx<mailto:post.ethan@xxxxxxxxx>> wrote:

I have a staging table in which 99% of the rows are going to have a date for 
stats_processed_time.

I will need to only select for rows that have not been processed.

What is the best strategy here? Should I allow nulls and select like below? Or 
should I put a date, way out in the future, say 2099, and select for that 
instead and then update to correct data once things are processed? Perhaps 
allow nulls and a bitmap or FBI solution (I would like to avoid solutions which 
can’t be ported to Postgres.)


where b.access_key=v_access_key
       and b.bucket=v_bucket
       and b.stats_processed_time is null

Other related posts: