scanner: clarify the interaction between parsing marks and comments/strings

Signed-off-by: NeilBrown <neil@brown.name>

scanner: fix up detection of comments blended with marks.

If we see the start of a comment in an unknown mark, we need to
finish the mark before the start of the comment.

Signed-off-by: NeilBrown <neil@brown.name>

Scanner: Capital E and P should be usable for exponents/powers.

Signed-off-by: NeilBrown <neil@brown.name>

scanner: provide wchar includes for all clients of library.

As we tokens found by the scanner contain unicode, we should encourage
clients of the library to include the unicode/wchar headers.

Signed-off-by: NeilBrown <neil@brown.name>

mdcode.mdc: fix error message slightly.

It is only sections which code which need to be referenced.

Signed-off-by: NeilBrown <neilb@suse.de>

Add test parser for indent and linebreak handling.

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen: fix a couple of typos in text.

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen: improve tracing of parse for line-oriented details.

Report if each state is known to start a line, and if each
frame permits a newline.

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen: track when newline is permitted, and discard if not.

A newline is only permitted (as a recognised symbol) if we are
parsing a non-indented line-like segment.
If we have seen an internal indent since the last line-like start,
newline tokens should be ignored.

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen: compute starts_line for each state.

Using the per-symbol "can_eol" we can deduce for each state whether
it is expected to (sometime) start a line-oriented syntax element.

The flag is "starts_line" and is made available to the parser.

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen: compute "can_eol" for each symbol.

A symbol is "can_eol" if it can derive a phrase which ends with a
newlike token.
This will allow us to recognise line-like sections of code and
thus know when to ignore newlines and when not to.

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen: add handling for TK_IN and TK_OUT

Intents are tracked.  The end of an indented region forces certain
reductions.  And indents are managed during error handling.

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen: centralise (some of) the collecting of next token.

A future patch will introduce next sites where we want to
discard the current token.
Rather than calling "token_next" at each site, make it possible
to just set "tk = NULL", and the next token will automatically
be collected when needed.

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen: recorded a prefered shift-symbol for error recovery.

When we find there is no valid parse step, one option that we don't
currently try is to synthesize a symbol and shift it.  i.e. insert a
missing symbol.

A future patch will provide a circumstance where this is the ideal
response, so here we choose a symbol which could usefully be shifted.
We choose the one that will get us closest to the end of a production.

Signed-off-by: NeilBrown <neilb@suse.de>

parsegen: unify the "next" frame to go onto stack.

We current have a current 'state' in the parser and a 'sym'
which is a local variable passed around in different ways.
Both of these get pushed onto the stack at the next 'shift'.

We will shortly add some more fields to the stack frame, so unify
'state' and 'sym' in to a 'next' struct in the parser struct which can
easily be extended.

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen: various cosmetic fixes

- various typos
- remove double spaces
- re-arrange some text slightly.

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen: report some tokens better when tracing.

Some tokens are best traced by giving their name rather
than their content.  e.g. newline.  So make a special
case of those.

Signed-off-by: NeilBrown <neilb@suse.de>

Refresh boot-strap files.

There have been some changes to mdcode.mdc, so time to
update the generated files in 'boot-strap'

Signed-off-by: NeilBrown <neilb@suse.de>

Rename Indent and Undent to IN and OUT

These names work better for me.
There is an indent on every line, so the place where the
indent increases shouldn't be called "indent".
And "undent" isn't a word.

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen: remove 'depth' arg from do_reduce.

This was only used for tracing and now tracing is done differently.

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen: allow "$void" to remove current type.

This allows return to the initial state where nonterminals
have no type.

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen: improve tracing.

Change the tracing to print the full stack after every step.
This can be cross-referenced with the report that parsergen
can generate to get a full picture of how the parse is progressing.

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen: make sure we continue making states until all done.

Whenever we add a state, we need to check again, as it might have been
added early in the list.
There is probably a much more efficient way to do this....

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen: change sort order for items.

I want items with larger indexes to always preceed smaller
indexes.  This makes the report easier to follow.
So negate the index number (and add an offset) when sorting.

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen: change symset function to use 'unsigned short'.

To make full use of all 16 bits of a sym, we should make sure
we consistent use "unsigned".

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen: fix bug  testing return value for shift()

shift() returns 0 on failure, not negative.

Signed-off-by: NeilBrown <neilb@suse.de>

parsergen - adjust for recent scanner fix.

scanner was recently fixed to correctly skip over C code with
a string immediately after a '(', so we can remove the extra
spaces we inserted before.

For this to work, we need to stop ignoring TK_String

Signed-off-by: NeilBrown <neilb@suse.de>

scanner: don't allow an unknown mark to run into a string or comment

This means that e.g.
   printf("hello")
where no marks are declared will not treat
    ("
as an known mark, but instead find
    (
and then a string.

This is important for skipping over C code in 'parsergen'.

Signed-off-by: NeilBrown <neilb@suse.de>

scanner: initialise token state properly.

We need to call do_strip() at the start to ensure the correct
col and indent is used for the first token.

Signed-off-by: NeilBrown <neilb@suse.de>

scanner: fix do_strip bug.

do_strip wasn't striping tabs properly

Signed-off-by: NeilBrown <neilb@suse.de>

Makefile: if bootstrap was required, suggest "make" be run again

Signed-off-by: NeilBrown <neilb@suse.de>

Update .gitignore with new build targets

Signed-off-by: NeilBrown <neilb@suse.de>

New file: parsergen

This reads and analyses a grammar and generates a parser.

It include a simple calculator

Signed-off-by: NeilBrown <neilb@suse.de>

scanner: must call close_token before returning the token.

Signed-off-by: NeilBrown <neilb@suse.de>

scanner/numbers: fix typo that broken positive exponents.

Signed-off-by: NeilBrown <neilb@suse.de>

scanner: make the array of known words "const"

After all, it shouldn't change.

Signed-off-by: NeilBrown <neilb@suse.de>

mdcode: rename code_print to code_node_print and export it.

Signed-off-by: NeilBrown <neilb@suse.de>

Fix typo in mdcode.mdc

Signed-off-by: NeilBrown <neilb@suse.de>

scanner.mdc: lexical scanner for Ocean.

This scanner does lexical analysis and produces tokens.
It also handles numbers and escapes in strings.

Signed-off-by: NeilBrown <neilb@suse.de>

Makefile: auto-support .mdc files.

Any *.mdc cause "md2c" to be run to create a "*.mk" file which is
included and used.

Signed-off-by: NeilBrown <neilb@suse.de>

Record in a code_node whether it was indented or not.

This is needed to correctly adjust for this indent when processing the
code.

Signed-off-by: NeilBrown <neilb@suse.de>

mdcode, md2c - extract C code from a literate markdown program

All C programs here will be written in literate style using markdown.
md2c strips out the C code so that it can be compiled.

Signed-off-by: NeilBrown <neilb@suse.de>