[liblouis-liblouisxml] Re: Analysis of regressions in ueb_update branch

  • From: Michael Gray <mgray@xxxxxxx>
  • To: "liblouis-liblouisxml@xxxxxxxxxxxxx" <liblouis-liblouisxml@xxxxxxxxxxxxx>
  • Date: Mon, 22 Feb 2016 19:41:04 +0000

The opcodes letsign and begcomp/endcomp are stopgaps to the larger issue in 
that LibLouis' concept of mode is inadequate.   Just as emphasis, mode is 
something that should be defined in the tables and not hardcoded several 
different ways.  LibLouis should do this in one consistent way.

One problem that we keep running into here is the inability to switch 
modes/grades in the middle of a translation.  While this may not be an issue 
for screenreaders, it is an issue more complex translating we here at APH 
require.

I have dealt with similar issues when writing compilers and such, and the 
solutions were not pretty but doable.  I have ideas on upgrading LibLouis and 
will organize and post them.

MRG
mgray@xxxxxxx


________________________________________
From: liblouis-liblouisxml-bounce@xxxxxxxxxxxxx 
[liblouis-liblouisxml-bounce@xxxxxxxxxxxxx] on behalf of Davy Kager 
[DavyKager@xxxxxxxxxx]
Sent: Monday, February 22, 2016 3:58 AM
To: 'Christian Egli'; liblouis-liblouisxml
Subject: [liblouis-liblouisxml] Re: Analysis of regressions in ueb_update branch

Hi Christian and all,

@egli: very clear, thanks much for the info!

In particular it seems we have two broken opcodes:

1. letsign, when used in the context of mixing letters and numbers, e.g. 
blah.t2t. I believe Mike added a new opcode for this, along with numericmode, 
but since I reverted numericmode we may need to revert some other stuff.
2. begcomp/endcomp. Specifically, if the text between begcomp and endcomp 
contains capitals, then after endcomp Mike's code inserts end indicators for 
these capitals.I just noticed that begcomp/endcomp isn't in the user docs, but 
I believe the idea is to suppress all indicators for text that contains some 
text defined by compbrl.

There is also a problem in Finnish:
The test specifies a phrase of words but doesn't emphasize the closing period. 
So Mike's code adds endemphword to indicate that the period is not emphasized. 
Arguably this is correct, but the test expects this to be ignored. For now I 
marked them as xfails. I think there are two solutions:

1. Indicate the period as emphasized.
2. Add functionality similar to capsmodechars that says "don't consider 
non-letters at the end of a word when determining emphasis."

Davy

-----Oorspronkelijk bericht-----
Van: Christian Egli [mailto:christian.egli@xxxxxx]
Verzonden: vrijdag 19 februari 2016 12:42
Aan: liblouis-liblouisxml <liblouis-liblouisxml@xxxxxxxxxxxxx>; Davy Kager 
<DavyKager@xxxxxxxxxx>
Onderwerp: Analysis of regressions in ueb_update branch

Hi all, hi Davy

I did some work on the regressions in the ueb_update branch. I cleaned the 
error output and unchecked the tests that were marked as expected failures 
previously but now actually work (150).

There are now 15 failing (yaml) test files with 248 failing test cases.
I think that these can be classified into a couple of main classes of
issues:

- Problems with in-word capitalization

  ar-ar-g1_harness has a test for 'MPower' which should apparently be
  translated as '⠠⠠⠍⠏⠕⠺⠑⠗' where as it comes out as '⠠⠠⠍⠏⠠⠄⠕⠺⠑⠗'. It
  appears that the end of the capitalized letters is indicated in the
  received output. Maybe the expected string is actually wrong.
  Similarly in ta-ta-g1_harness where 'GHz,' is expected as '⠠⠠⠛⠓⠵⠂' but
  actually comes out as '⠠⠠⠛⠓⠠⠄⠵⠂'.

  In en-ueb-g2-dictionary_harness.txt.bak there is a test for 'Ac' which
  is expected as '⠰⠠⠁⠉' but actually comes out as '⠠⠁⠉'. I don't speak
  ueb but the actual result seems more plausible to me.

- Problems with symbols in ueb

  en-ueb-symbols_harness has many tests for single symbols. At the
  moment I fail to see a common pattern there. For example
  '"' translates to '⠐' instead of '⠠⠶'.
  '`' translates to '⠈' instead of '⠨⠡'. and
  '│' (BOX DRAWINGS LIGHT VERTICAL) translates to '⠄⡳⠭⠆⠢⠴⠆⠄' instead of '⠸'

- Mixed numbers and letters

  da-dk-g26-dictionary_harness for example has a test for "1kg" and
  expects "⠼⠁⠠⠅⠛" as a translation. However the resulting translation is
  "⠼⠁⠅⠛". It appears that the indicator to indicate the end of the
  number is missing.

- Capitalization and backtranslation

  In one test It appears that some of backtranslation of capitalized
  braille is broken. Single letter capitals are translated correctly but
  stuff like '⠨⠨⠍⠧⠹⠕⠱' is not translated back to 'MVGYOSZ'. See
  tests/yaml/hu-hu-g1_backward.yaml:1179

- Emphasis

  fi_harness has failures in emphasis. It appears that the start
  indicator is doubled and an end indicator is added for single word
  emphasis where it shouldn't be (yaml/fi_harness.yaml:74). For
  multiword emphasis the closing indicator seems to be added at the and
  instead of at the beginning. Maybe just a problem in the table?

- Single word capitalization

  no_harness seems to have a problem with a single letter capital: 'I'
  is translated as '⠠⠄⠠⠊⠠⠄' instead of as '⠠⠊'. This is right after an
  emphasis word

Hope that helps
Christian

--
Christian Egli
Swiss Library for the Blind, Visually Impaired and Print Disabled Grubenstrasse 
12, CH-8045 Zürich, Switzerland

-----
Jetzt kostenlos bestellen: Eidgenoessische und kantonale Abstimmungsunterlagen 
fuer den 28. Februar zum Hoeren auf CD. Bestellungen an medienverlag@xxxxxx
DISCLAIMER:
De informatie verzonden met dit e-mail bericht is uitsluitend bestemd voor de 
geadresseerde. Indien u niet de beoogde geadresseerde bent, verzoeken wij u 
vriendelijk dit aan de afzender te melden (of via: 
info@xxxxxxxxxx<mailto:info@xxxxxxxxxx>) en het origineel en eventuele kopieën 
te verwijderen.

The information sent in this e-mail is solely intended for the individual or 
company to whom it is addressed. If you received this message in error, please 
notify the sender immediately (or mail to 
info@xxxxxxxxxx<mailto:info@xxxxxxxxxx>) and delete the original message and 
possible copies.

?��u�?�*m���~�^�����޶�h�yhiحjwe�y,��k�7����z�(��m����&�謢�
��u��*m���~�^�����޶�h�yhiحjwe�y,��k�7����z�(��m����&��謢�

Other related posts: