[opendtv] Re: EE Times: Imaging Revolution: Forget Frames

  • From: Craig Birkmaier <brewmastercraig@xxxxxxxxxx>
  • To: opendtv@xxxxxxxxxxxxx
  • Date: Tue, 16 Feb 2016 06:31:49 -0500

Interesting....

But what took so long?

The use of entropy coding for image compression is based primarily on the 
removal of redundancy - we compare regions of the image (macroblocks), looking 
for matches. 

In areas where there is no motion in the image the blocks should not change 
significantly if at all - sensor noise and minor lighting shifts can cause 
small differences. In areas that are moving it is typically possible to match 
blocks that track the movement.

While we were creating the Task Force Report on Digital Image Architecture in 
1992, the subject of future imaging sensors and displays was discussed. One key 
finding was what we called "conditional replenishment." In essence, a sensor 
would only report sample sites as they changed over time. Likewise, only 
samples that changed would be sent to a display. Here is what we wrote in the 
report:

3.4.4 Conditional Replenishment

A significant portion of the data rate reduction achieved by digital image 
compression techniques deals with the elimination of interframe redundancies. 
In essence, much of the complexity, and hence the cost, of these encoding 
systems involves the processing required to analyze motion image data streams 
to determine which pixels have changed between temporal samples.
Over the next 10 to 15 years image acquisition and display technologies are 
likely to move to conditional replenishment. Image acquisition systems may 
evolve with on-board digital processing to implement conditional image 
acquisition. These cameras will be programmable, offering several advantages 
over scanning cameras that continuously update the entire image raster, 
including the ability to:

Acquire high spatial resolution and high temporal resolution data at 
different rates.
Adjust sensitivity as a function of the temporal update rate.
Output information about multiple objects within the image and their motion 
vectors.
Relate movement of the sensor (pan and tilt) to image content, allowing for 
update of only the newly acquired portions of the image.
Future display technologies are likely to evolve around direct view displays 
(possibly LCD) offered in different pixel densities. Direct addressing of LCD 
displays will allow the use of conditional refreshment of only those pixels 
that change from one refresh period to the next; the display itself may 
become the frame buffer, allowing portions of the image to be updated at 
different temporal rates. Or, combined with an appropriate multi-ported frame 
buffer design, such a display could support multiple temporal refresh rates 
simultaneously for different image streams.

Glad to see that some of these concepts are finally starting to see the light 
of day. 

Regards
Craig

Other related posts: