[idle] Malko se pozakuchi.

Preprocesora e gotov (s minor bugs). Obache tokenizer-a neshto mi se struva
zakuchen. Obshto vzeto dosta typo se obrabotvat chislovi konstantanti. I mislq
che moze da se poluchat nqkoi obyrkvaniq. Zamislqm se nad ideq da izpolzvam
nqkolko trie-q. I osven tova tokenite ni ne sa syvsem po standart. To tova
nqma nikakvo znachenie shtoto 'implementation defined' obache posle moze i
da si imame qdove pri parsevaneto na izrazi. Moze bi dvojkite i trojkite
specialni simvoli da gi napravq otdelni tokeni. t.e. <<, nqma da e
LESS_THAN, LESS_THAN, a primerno SHIFT_LEFT. Znam che go
mislihme togava no ne moga da se setq za edna osnovatelna prichina da
ostavim 10K tokenizer i posle dupe da nie qko dokato gi obrabotvat
sledvashtite etapi. Nqkoj ako pomni po dobre ot men da mi pishe.

Vtornik to kym 2:10 imam ruski taka che shte dojda malko po-kysno.

-- 
Rangel Dokov

Other related posts: