oceani: improve construction of per-function stack frame

The stack-frame management was confused - not properly transitioned from
a single function to multiple functions.
Now we pass in the function to be processed, and it has a known list of
variables that were in-scope in that function.

We track when each variable went into or out-of scope, sort them, and
re-use frame space for variables which have already gone out-of-scope.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: pass a destination buffer into interp_exec to receive large result.

To handle assignment from large objects - particularly a structure
returned by a function - we cannot just pass back a 'struct value'.
Instead we need to pass in a sufficiently large buffer, and have
the value producer copy into it.

This patch passes in a 'dest' and 'dtype' for this purpose.  It is not
yet used to full potential.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: mark structure return from functions as not supported.

Functions can currently only return types that support ->dup.
So disallow anything that doesn't.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: add action tables when needed.

In most cases there is at most one reducible production per state, and
that is all we previously handled.
However occasionally it can be useful to have more than one, triggered
by different look-ahead symbols.

With this patch, we add entries to the go_to table in that case.  The
go_to table now has a flag to indicate if the symbol maps to a state (in
which case it can be SHIFTed if a terminal), or to a production (in
which case it triggers a reduction).

If the in-state production has the special value MANY_REDUCIBLE, when
the parser performs a lookup to see which production, if any, should be
reduced.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: move EOL handling out of shift()

shift() is called in several places, and in only one of those is there a
need to make NEWLINE to EOL.

Move the code out of shift() and instead make a second call to shift()
if shifting NEWLINE failed.  I think this make the code clearer.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: rearrange 'struct state' to reduce wastage.

Having a pointer between two shorts results in a lot of empty space
in the struct.  Remove this wastage.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: store reduction information separate from states.

There are more states than reductions (aka productions) so storing the
reduction data in the state table results in a lot of duplication - and
wasted space as some states have no reduction.

So create a separate table of reduction information.  This will also
make it easier to allow a state to have multiple reductions with LALR
and canonical-LR grammars.

Signed-off-by: NeilBrown <neil@brown.name>

boot-strap: update bootstrap code.

Run
  ../md2c ../mdcode.mdc
in boot-strap to get the latest code there.  Just because.

Signed-off-by: NeilBrown <neil@brown.name>

oceani-tests: add valgrind testing for 'special' tests

Make sure we clean up properly, even after a fatal error - just because.

Signed-off-by: NeilBrown <neil@brown.name>

oceani-tests: include failing test in valgrind testing

We want memory error caught in failing tests too.

Signed-off-by: NeilBrown <neil@brown.name>

oceani-tests: perform coverage test last.

I want to see valgrind test results even when I don't have full coverage
yet.  So move the coverage test last.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: add simple return type

This allow a simple typed value to be returned from a function using the
'use' statement.
It probably doesn't work for structs - don't try it.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: remove some stray white-space

Don't want no extra white space.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: Improve Rboolok handling.

When Rboolok, Tnone is also allowed.
When not Rboolok, and type is not Tnone, it is only the final
statement of a block that *must* return a value.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: fix parsing for function declaration parameters

Multiple lines of declarations weren't handle properly.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: factor our common code in DeclareFunction

Rather than writing the same thing three times, use a function.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: remove the need for 'then' in function declarations.

Previously an IN had to follow a terminal because it would never for a
reduce.
This made is a problem for
    func FuncName
          arguments
    do
          code

as the IN follows FuncName - a non-terminal.

Fix this by allowing an IN to force a reduce if nothing at all can be
shifted.
After "func IDENTIFIER", nothing can be shifted.  The IDENTIFIER must be
reduced to FuncName.  At that point, the IN is expected, so it won't be
ignored.

This allows the 'then' to be dropped.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: Add functions

As yet, functions cannot return a value, but they can be passed
parameters.
They are declared a bit like consts, but there isn't a common
header for multiple constants.

A pointer to the body of the function is stored in the 'global' area,
like the vale of any other constant.

Functions can be called as a statement - providing they don't return
anything - or as an expression, which will currently be a type error as
they cannot return the correct type.

We allocate a new 'local' frame for each function call, and free it when
the function completes.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: change variable name in "free global variables"

I'm using 't' as the name for a pointer to a variable.
Using 'v' makes more sense.  (t was short for 'temp').

Signed-off-by: NeilBrown <neil@brown.name>

mark-tested: don't fail if coverage is too low

As the whole point of mark-tested is to help improve coverage, it is
silly to rail if coverage is too low.
So make it possible to easily skip that test in the Makefile.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: improve reporting of variables being freed at end of block.

1/ if frame_pos hasn't been set, possibly because type propagation hit
   an error, don't report the offset.
2/ Don't report G or L for global/local, and this will always be a a
   local variable.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: guard against code section being empty.

If ->code is empty, we want an error message, not a crash.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: Make 'List' separate from Print

Create a stand-alone ExpressionList which uses the List binode rather
than the Print binode.

The Print statement no longer uses a NULL entry on the end of the list
to denode a trailing comma.  Rather ->left is used for a normal print
list and ->right is used for a print list that has a trailing comma.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: free variables as soon as they go out of scope.

Each 'exec' now keeps track of the variables that go out-of-scope when
the exec completes.
CondScope variables need to be re-linked when they get merged.

We now poison a variable when it is freed to ensure it doesn't get used
again by mistake.

The final cleanup now only needs to handle global variables

Signed-off-by: NeilBrown <neil@brown.name>

oceani: CloseParallel must mark anything not Pending as OutScope

Testing doesn't trip on this yet, but will in a future patch.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: add comments to var_block_close() and remove dead code.

This function is subtle and deserves good documentation for various
cases.
Some of the cases were dead, so remove them.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: update min_depth promptly.

As the loop in var_block_close() continues until min_depth is too low,
we need to set it promptly to stop the same variable being processed
again before it has been merged.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: perform analysis before printing

This will allow information attached during analysis to
be printed out as comments.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: add an 'interp' case for Func

For Func we jut call interp_exec on b->right.
This ensures that interp_exec() gets called on each exec, so
it can do cleanup (in future patch).

Signed-off-by: NeilBrown <neil@brown.name>

oceani: create separate scope for do part of while

Any variables created in the do part won't be created in the final
iteration, so we want them to be constrained to the do part, not seen as
part of the whole loop body.
This makes while/do match if/then better.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: create a separate 'exec' for the while/do part

As while/do is a sub-scope within a cond-statement, create a separate
'struct exec' for it (a binode/Loop) so there is an exec for each scope.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: move var_block_close() calls to the code sections that close the block

Rather than calling var_block_close() from common non-terminals, move
the calls into the body of the parent non-terminal.  This places them
after the 'struct exec' which represents the scope has been created.

This is needed to attach the variables to the point where their scope is
closed, so they can be freed.

This change helped me focus on some untested - and broken - code.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: fix up the while/do scope

The scope created for while/do does NOT extend into the case/else part.
This is because it is a repeating scope and needs to close and re-open.

We *could* include case/else in the final instance of that scope, but
I'm not at all sure that I want to.  Maybe later.

So close the scope properly and fix up the test code which depends on
the scope being extended.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: change variable.merged to never be NULL

variable.merged is now always the primary variable, so it is initialised
to the address of the variable itself.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: simplify loop in var_block_close()

The 'step' was not in the 'for' header, which makes it harder to follow
how the loop works.
Also add a comment to explain where is happening when ->name->var != v.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: simplify test in var_block_close.

v->depth is never less than v->min_depth, so checking that
both exceed ->scope_depth is pointless, only test ->min_depth.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: add lots of UNTESTED markers.

These serve to remind me what needs testing (or marking NOTEST), and
will make it easier to notice when new untested code is added.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: var storage needs to be free last

As type may store initializers in storage, but these might not get into
the var list in an error, we need to free that storage last.

Signed-off-by: NeilBrown <neil@brown.name>

oceani-tests: continue to improve test coverage

Add a couple of error tests, and mark some code as NOTEST

Signed-off-by: NeilBrown <neil@brown.name>

oceani-tests: add some NOTEST markings.

These lines don't need to be tested.

Signed-off-by: NeilBrown <neil@brown.name>

mark-untested: improve filter

Don't add the mark for any section lines.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: add test for duplicate main functions

Add a test so the check for duplicate main functions gets exercised.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: drop "program" in favour of "func"

Being to introduce functions.  Currently only the 'main' function which
receives an array of strings.
This array has a variable size.

Signed-off-by: NeilBrown <neil@brown.name>

oceani-tests: add test for declaring a CondScope variable

If a variable was declared in all branches of a structures command, it
may or may not be declared as something else afterwards.
We need to test both options.

Signed-off-by: NeilBrown <neil@brown.name>

oceani-tests: add test for unknown field name.

Test that we get error if unknown field is requested.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: improve test coverage

Add a tool 'mark-untest' which adds comments to untested lines.
Then resolve some of them, either adding more tests, or marking
lines as NOTEST

Signed-off-by: NeilBrown <neil@brown.name>

oceani-tests: make it possible to skip valgrind tests.

valgrind tests are slow and not always wanted, particilarly when
examining coverage.  So make it easy to skip them.

Signed-off-by: NeilBrown <neil@brown.name>

ocean: change program to receive argc and argv

Rather than a list of strings, a "program" now receives and arg count,
and an array of strings with that size.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: move variable values to a stack frame.

We have two frames - one for global values (currently always constant)
and one for local variables.
When we get functions, the local variable frame will be managed with a
stack of frames.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: fix some incorrect section headers.

section header that just introduce code are 6 deep, not 2.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: clean up interp_prog()

In particular, use dup_value() to save the command arguments.
But also re-arrange code to make steps a bit cleaner.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: add parse_context arg to all interp functions, and a few others.

When I switch variables to use a stack frame, I'll need the
parse_context available more broadly (as it will hold the stack).
So add it to a selection of functions now.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: differentiate static-sized arrays from others.

Some arrays will always have the same size - a static size.
Others might have a different size each time their scope is entered, if
the size is calculates from a variable.

The latter need to be reallocated whenever scope is entered, the former
do not.

This will matter when we create call frames to be able to handle
recursion.

So detect and handle the difference now.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: don't allocate init value for non-initialized fields.

Struct fields that aren't explicitly initialised must be initialized to
a 'null' value.  This can happen at interp-time.  There is no need to
allocate a null value when parsing.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: implement struct field initialisation properly.

I wasn't testing default initial values for struct fields, so of course
it didn't work.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: move ->prepare_type call (back) into val_alloc()

This ensures it is called for struct fields as well.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: handle variable-sized arrays better.

An array with size set by a constant variable(!) might have a different
size each time the declaration is encountered.  So we need to
re-evaluate the size each time.
We currently re-evaluate the size only if it is zero.

So for numerical-constant sized arrays, evaluate size during parsing.
For other arrays, re-evaulate each time using a new prepare_type method.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: fix a couple of issues

1/ when a variable declared in a loop was re-initialized, we didn't free
   the old value before allocating a new one.
2/ When assigning to an out-of-bounds array index, created an rval,
   but never freed it.

Signed-off-by: NeilBrown <neil@brown.name>

oceani - discard anon_typelist

Don't keep anon types on a separate list, use the same list but given
them an empty name.

This allows us to use add_type() for adding all types.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: drop 'array' field from the 'value' union.

This field was never used - we use the generic 'ptr'.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: require all terms to be declared if any are.

The previous implementation only required all terms used for the first
time after a $TERM declaration to be declared.  That isn't really
useful.

So change it to only set the default symbol type of Term after all the
grammar is parsed, and then only if not $TERM declarations were found.

This highlights that various terminals in ocean weren't declared, so
declare them now.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: drop parse_value method for types.

The args to 'program' are now all strings.  The program itself needs to
convert to numbers etc as needed.
So we don't need 'parse_value' any more.

Signed-off-by: NeilBrown <neil@brown.name>

ocean: introduce prefix op for string->number conversion.

Rather than having magic conversion of command line args to numbers as
needed, introduce '$' as a prefix op to to the conversion.
This is a step towards changing 'program' to be a 'main' function.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: separate types out from values

Rather than embed the type in ever value, keep it separate.
This allows arrays without duplicating the member-type information.

Also review and clean up the commentary.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: add missing {}

These have ALWAYS been missing, yet the code mostly worked.  Weird.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: doco updates

Minor revision to descriptive text following all the recent changes.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: don't bother with indent_depth

We don't need to store the indent_depth if we just shift the bit-stack
up and down.  <<1 pushes a zero, >>1 pops, |=1 changes the zero to one.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: updates for new approach to parsing indents.

Now that IN is a valid stand-alone token, it makes sense to change the
grammar for ocean.
We don't need the ':' before an indent if there is some other terminal
there.  So:

  while
     statements
  do
     statements

doesn't require any ':'.
We use the ':' to separate an expression from following statements,
in 'if' and 'while' and 'case'.

Signed-off-by: NeilBrown <neil@brown.name>

Update indent_test grammer to align with new approach

Indents are now now handled very differently.  Update itest
grammar to match.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: add support for EOL token

And EOL token is generated when a NEWLINE is found and an EOL can be
shifted.  This allows a product to declare that it must finish at the
end of a line, without consuming the NEWLINE.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: implement new handling of IN/OUT and NEWLINE

IN/OUT are now expected in the grammar.
In a state where an IN can be shifted, IN symbols are significant to the
grammar.  IN symbols appearing anywhere else are ignored (except for how
they affect NEWLINEs).

OUT symbols are ignored precisely when the matching IN was ignored.

NEWLINEs are ignored if the most recent IN was ignored, otherwise they
are significant for the grammar.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: split out heart-of-the-parser code

This finishes the break up of the core parser code.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: split out the "shift or ignore" section of parsing.

This will make it easier to document.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: split out reduce step of parser

Split out the "reduce" code so it can be more easily documented.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: split out error handling.

I want to split up the core parsing into the different parts so they can
be documented better.
Firstly: split out error handling.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: add support for "special" terminals.

We will want a new terminal "EOL", which is like "NEWLINE", but
different.  There is currently no room in the numbering for something
like that, so make some room.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: remove special case of newline conflicts

newlines are no longer interesting in avoiding conflicts, so remove the
special case handling.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: remove tracking of indents and line starts etc.

We will want some of this back, but in a very different form.
So remove it all for now.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: remove newline_only

newline_only is not wanted any more.  It wasn't being set anyway.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: remove starts_line and min_prefix

Neither of these are wanted any more.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: remove line_like information.

I'm going to change the 2D nature of the parser over several patches.
First I remove what I don't want, then I add what I do.
During this series, tests won't work!

First: line_like nad relate code is removed.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: don't use static buffer for result value.

Add the size of the result value to the per-state information, so it can
be allocated before calling do_reduce(), thus removing the need for a
overly large static buffer.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: do not create empty goto arrays

These empty arrays are a waste of space ...  assuming they take up
any(?).

Using NULL is more ideomatic.

Signed-off-by: NeilBrown <neil@brown.name>

parergen: fix bug in deriving itemsets

The code to check if an item had already been added, was wrong.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: make "code" arg to "gen_reduce" more obvious.

Call it "pre_reduce" so we know where the code goes.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: improve usage message

Now usage message is slightly better.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: add missing space in usage message.

Wrapping long strings is a bad idea anyway.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: fix some problems with choose_sym()

This would sometimes give wrong result, particularly bad when it is
larger than body_size.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: move the 'follow' declaration

The 'follow' field is currently used before declared, which is poor
form.  Move it.

Also remove a stray '## functions' section that is redundant.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: move "Memory allocation" section.

This movement isn't really significant yet, but it will help a bit
later, and I want to get it out of the way.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: some missing 'free' calls.

Well... one missing call, and some places were we need to do something a
bit more.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: change 'again' to 'check_again'.

Sometimes I use 'again', sometimes 'check_again'.
Change all to use 'check_again'.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: assorted updates to descriptive text.

Some of these are fixed for typos or poor grammar.  Others update the
text to more closely match the code.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen.mdc: remove tracking of left-recursive symbols.

left-recursive symbols are no longer interesting, so remove the code and
descriptions.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: guard against tos going negative.

Don't continue the parse loop if tos hits zero.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: change how reserved_words are stored

Rather than a simple array with holes, have a dense array mapping number
to name.  This will enable a future change which adds names that don't
have numbers assigned.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: rename item_index() to item_dot()

The name "dot" fits better with documentation which described the nature
of an "item" when generating LR parsing tables.

Also change the arg to item_num() from 'index' to 'dot'.

Signed-off-by: NeilBrown <neil@brown.name>

tests: restore coverage testing.

I don't know what changed, but coverage testing stopped working.
Fixed now.

Also add some "|| exit 1" to fail quickly when needed.

Signed-off-by: NeilBrown <neil@brown.name>

indent-test: enhance the tests a bit.

In particular, test for "else" both indented and unindented.

Signed-off-by: NeilBrown <neil@brown.name>

indent-test: minor improvements:

1/ add rule to build itest.code

2/ diffs now display correct as "old" and generated as "new"

3/ remove some noise that should never have been there.

Signed-off-by: NeilBrown <neil@brown.name>