Oceani - Jamison Creek Version

Clean up text and provide new version name.
Additions for this version include:
 - type identifiers
 - arrays and structs
 - global const
 - "and then" "or else" "if .. else"
 - test suite
 - valgrind testing, coverage testing

Signed-off-by: NeilBrown <neil@brown.name>

oceani-tests: add tests for str/bool command line args

This brings test coverage over 94%

Signed-off-by: NeilBrown <neil@brown.name>

oceani: cleanup "sayhello" output

This had become unreadable due to the long arrays.
A few other little cleanups and comments.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: add structs

This is just basic struct support, showing how they
are declared and used.

There is more sophistication to be added such as anonymous
fields and per-field attributes.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: fix merging of conditionally-scoped variables.

The problem here was that the list seen in ->in_scope
includes more than just what is currently in-scope.
It also contains things that have been replaced by new instances
of the name.
These can be detected a they aren't the first variable listed
under their name any more.

Signed-off-by: NeilBrown <neil@brown.name>

oceani-tests: delay valgrind tests

As valgrind can be slow, separate the valgrind tests out to
after the main tests.  That was failing that can be found quickly
are found quickly.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: fix indent for Xval propagate

this is double-indented.  I wonder why.

Signed-off-by: NeilBrown <neil@brown.name>

oceani-tests: test code that has been printed

Test that the printed code actually works, as well as being re-printable.
Also simplify the messages so they don't use as much space
and fix a typo "exit1" -> "exit 1"

Signed-off-by: NeilBrown <neil@brown.name>

oceani: print pre-declared constants when printing program.

The program is no more than just an 'exec'.  We need to print
the declarations too. As yet, there are only constants.

Signed-off-by: NeilBrown <neil@brown.name>

scanner: handle missing newline at EOF

If there is no newline at EOF, we can see EOF immediately after
a valid symbol.  This can lead to calling close_token() when
state->node is NULL, which crashes.
The code in close_token() only makes sense if state->node is still the
same as token->node.  If it isn't, the token must be at the very end of
its code-node, so a different calculation is needed.

This avoids the NULL deref.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: add the option for "const" sections

These are introduced with "const" and can define one or
more constants - on one line with ';' or multiple lines
with {} or :

Signed-off-by: NeilBrown <neil@brown.name>

oceani: allow list of declarations as top level structure

We can have constants, types, etc at top level, as well
a program

Signed-off-by: NeilBrown <neil@brown.name>

oceani: mark code that doesn't need testing.

Some code is included to check and report impossible
conditions.  Failure to exercise this code shouldn't
be seen as a failure of test coverage.
So mark such code as //NOTEST and exclude it
from statistics.

This brings test coverage up to 93%

Signed-off-by: NeilBrown <neil@brown.name>

oceani: move "complex types" earlier.

I think this fits better before "language elements",
as part of "data structures".  Nearly everything it needs
is defined by there.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: fix valgrind-reported errors.

The test suite wasn't running valgrind in a useful way, and wasn't
actually reporting errors.
So fix it to report leaks and unfreed memory, and then fix the
bugs that it finds.

Signed-off-by: NeilBrown <neil@brown.name>

oceani tests: check for conflicts.

If the grammar, when analysed as LR1, contains conflicts, then
don't proceed until they are resolved.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: don't report expected shift/reduce conflicts.

If a NEWLINE is being treated as a grammar symbol which will sometimes
force a reduction, then an apparent SHIFT/REDUCE conflict that could be
resolved to REDUCE by a newline and would default to shift, is expected
and not really a conflict.  So don't report those.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: add conditional expression

[value] if [condition] else [alternate value]

is a conditional expression which will only evaluate and return one of
the two values, depending on the condition.
This has lowest precedence of all expressions.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: add "and then" and "or else"

"and then" and "or else" are short-circuit versions
of "and" and "or" - they only evaluate second arg if it
is needed.

Signed-off-by: NeilBrown <neil@brown.name>

oceani-tests: assorted more tests.

Assorted tests chosen after examining lines of
code that were not being run.
This pushes the coverage over 90% !!!

Also a bugfix - test suites are good !!!

Signed-off-by: NeilBrown <neil@brown.name>

oceani-tests: add tests for various type errors.

Now we have test coverage for all tok_err and type_err
calls, and have exceeded 85% total.

Signed-off-by: NeilBrown <neil@brown.name>

oceani-tests: add tests for various token-errors

This pushes our coverage over 80%

Signed-off-by: NeilBrown <neil@brown.name>

oceani-tests: add tests for error cases.

Only one test so far, but this infrastructure will be useful
for others.

Signed-off-by: NeilBrown <neil@brown.name>

oceani-tests: add tests for bad command line args.

Ensuring the correct behaviour with bad command line args
helps increase coverage.

Signed-off-by: NeilBrown <neil@brown.name>

mdcode: indent must start with a TAB

For Makefiles, indent must start with a TAB.  So
insert a TAB if there are 8 or more spaces of indent.

Signed-off-by: NeilBrown <neil@brown.name>

oceani-tests: add test suite.

This is the beginning of a test suite.  It guards
against errors, memory leaks, etc.

Signed-off-by: NeilBrown <neil@brown.name>

mdcode: don't include blank lines at end of section.

completely blank lines (no indent) at the end of a section
should not be considered part of that section, but rather
separation between this and the next section.
So don't include them in the code.

When a section is used, for example, as sample output to
test against actual output in a test suit, having the
stray blank at the end can be problematic.

Signed-off-by: NeilBrown <neil@brown.name>

mdcode: allow a specific section to be extracted.

Previously, the md2c tool only extracted "File:" sections.
Sometimes we need more control, so allow a second argument
to identify a single section to be extracted.  This will
be written to stdout.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: add array type.

I can now declare arrays and access or assign
members there-of.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: prepare for adding new types with new syntax.

1/ 'Variable' now returns an 'exec', so other things returning
   and 'exec' can be the LHS of an assignment.
2/ provide forward-decls of generic functions so that
   new type functions can use them to work with
   components of the types.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: add "remainder" operator.

a % b
treats a and b as integers, does a division, and reports
the remainder.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: add some support for lvalues.

New linterp_exec() returns an lvalue, (pointer to value)
and individual cases can provide either an lvalue or an rvalue.

This means the RHS of assignment might not be a simple variable,
so we leave the "v = v->merged" part to the "interp exec" for Xvar.
Also, linterp_exec() might return NULL, so be careful.
This might happen, e.g., when an array index is out of bounds.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: fix up test program.

The messages being printed didn't make sense - weird.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: delay constant assignment test to type analysis.

When we get more complex types, it will be easier to
guard against assigning to a constant during type analysis.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: allow a type to control how it is printed.

this is needed for e.g. printing the program when there
are declared types.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: delegate type compatability to type.

Rename vtype_compat to type_compat, and have it
call the ->compat function if the required type
provides it.
Otherwise require type equivalence.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: introduce type->prepare()

During parsing and analysis we don't want to "init" a
variable as that can allocate memory - when we add arrays,
we might not know yet how much memory.

So introduce 'prepare' to prepare a value - such that calling
free on it will work - without allocating.

'init' is then called when a variable is declared - unless something
is assigned to it instead.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: disallow assignment if no 'dup' operation.

'dup' is needed for assignment, so if it isn't present
it must be forbidden.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: allow a variable to be declared with no value

 var:type

is now allowed.  "var:" is not - there must be either a
type or an initial value.

If only the type is given, the type's 'init' function
is called to provide an initial value.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: := is no longer a token.

It was always intended that a type could come between
the : and = of a declaration.
It makes more sense, and simplifies the grammar, if
we stop treating  := as ever being a token.
So now : and = are separate tokens.
If the parse sees ":=", it will happily treat that
as two separate tokens, which is what we want.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: make "Base Types" a subsection of "Types"

I don't think it deserved to stand alone.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: move free_value() to the other generic value code.

This doesn't belong wit the base types.

Signed-off-by: NeilBrown <neil@brown.name>

oceani - assorted cleanups.

Reading through the whole document found a few typos,
and few things in the wrong place, some areas where
a better explanation would help etc.

This patch combines several such improvements.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: initial support for named types.

The base types are now stored in a symbol table (linked list)
and can be fetched by name.
  name:type = value

now works to declare 'name' as of the given type.

The narrative needs to be improved to include a clear
section on types, and variable declarations of the form
   name:type

with no assignment still need to be added.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: make set of types extensible.

Rather than a enum listing allowed types, we now
have a 'struct type' which can contain any type.
For now it just has an enum and function pointer
to the existing function, but that can be extended.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: fix a couple of typos.

There is always one more typo...

Signed-off-by: NeilBrown <neil@brown.name>

oceani: discard Vnolabel infavour of rules.

Instead Vnolabel as a type, change "bool_permitted" to
a set of rules (Rboolok) and add a new rule: Rnolabel.

This requires changes to type_err() and elsewhere.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: don't store 'tail' in 'struct value'.

It is never used so there isn't much point
storing it.  If/When we do use it, we'll
parse it immediately and store the meaning.
And in any case, it should be char[3].

Signed-off-by: NeilBrown <neil@brown.name>

oceani.mdc: fix assorted typos.

Little errors mostly.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: detect and report tails on numbers and strings.

Currently illegal, so we should say so.

Signed-off-by: NeilBrown <neil@brown.name>

scanner: capture the tail of a string.

A string can have a tail,
   "hello"xy

where the "xy" might one day have a meaning (utf8? utf16??).

We should capture that.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: track where each variable was declared.

This allows better error messages when they are
redeclared.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: minimal error tracking.

1/ If the parser hits an error, catch it at eof by having
    Program -> ERROR
2/ Allow the presence of and error to be recorded in the context.
3/ If an error occured, don't try to run, and do exit with an error
   status.

Now, at last, we get told where the error was.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: handle NULL from parse_oceani()

If the parsed finds nothing, it will return a pointer
to a NULL.  We need to be careful not to deref this
in printing, analysis, or execution.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: Expression etc should be 'exec', not 'binode'.

As a 'var' and a 'val' are possible expressions,
'binode' isn't correct.  This is obvious when you
consider that I needed to case $1 for a var or var
before assigning it to $0 for Factor -> Value etc.

So change all these to expect the more generic 'struct exec *'.

Without this change, error handling can try to free a var as though it
was a binode, and get into trouble.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: enable error handling.

The error handling code currently aborts early because
it was badly broken.
After recent changes it works well enough for experimenting,
so remove the exit(1) and other unnecessary code, and
let's experiment.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: improve symbol-discard in error handling.

As we don't keep the full look-ahead set, we need to pay a
bit more attention when discarding input symbols, looking
for one we recognize.  We need to consider anything
that can be shifted in any state we can reach by simple
shifting.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: be careful shifting TK_error

shift() behaved a little differently when p.tos == 0,
and if the stack is completely empty, there is little
point trying to shift TK_error as there is no state
to work with.

So rearrange the loop slightly.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: document min_prefix and starts_line.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: remove symbol synthesis option.

This idea never worked, and cannot work as we cannot
magically synthesis the ast node to go with a synthesized
symbol.
If we want to synthesize something on error, we just use
a production like
   foo -> ERRROR ${ $0 = a_new_for(); }$

Signed-off-by: NeilBrown <neil@brown.name>

scanner: fix calculation of column.

When we stripe the expected indent from the
start of each line, we need to update 'col'
to correctly account for tabs.
Previous code effectively assumed tabs were 4 spaces.

Signed-off-by: NeilBrown <neil@brown.name>

scanner: improve text and fix typos.

Improve the text about 'marks' to explain the difficulty
with comments and '/'.
Fix a few typos.

Signed-off-by: NeilBrown <neil@brown.name>

oceani - add error reporting for type errors

This is still rough, but it is at least a
basis to work on.

Signed-off-by: NeilBrown <neil@brown.name>

scanner: fix silly error calling indent_tab()

Wrong sort of value is passed.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: pass parse_context through propagate_types

This will allow more context for error messages.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: fix type analysis for 'while' condition.

The condition in a 'while' can always return Bool,
or may return some other consistent type.
This requires extra subtlety in analysis.

Signed-off-by: NeilBrown <neil@brown.name>

New lang: Stoney Creek

This is the second iteration of language design.
it adds scopes variables.
Variables must be declared before use, but they
can be declared in both branches of an 'if', then
used afterwards as the one variable.

No hole-in-scope is allowed: names that are declared
cannot be redeclared in a subordinate scope.

A test program is included:
   make sayhello

Note that there are no useful error messages yet.
That is the next step.

Signed-off-by: NeilBrown <neil@brown.name>

scanner: fix parsing of comments.

If '/' is a known mark, then "//" and "/*" comments don't get
parsed properly.  Add handling for this case.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen.mdc: add precedence handling

This hasn't been documented properly in the text yet, but
the example has been changed to work and it seems good.

There is no support for precedence to select between two
reductions because I don't believe that ever happens :-) and
I haven't done anything special for non-associative because
I don't know what I would do.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: record line number of reduce fragments.

If there is an error in a code fragment used to handle
a 'reduce' action, we need the compiler to report the
correct line from the grammar file.
This information is easily available from the scanner,
we just need to pass it along.

Signed-off-by: NeilBrown <neil@brown.name>

oceani/parsergen: assorted text improvements.

Mostly typo fixes with a few improvements to clarity
or content.

Signed-off-by: NeilBrown <neil@brown.name>

oceani.mk: make sure libstring.o gets built

There is probably a nicer way to do this, but this seems to work.

Signed-off-by: NeilBrown <neil@brown.name>

More new files to .gitignore

Signed-off-by: NeilBrown <neil@brown.name>

oceani: propagate_types should  ignore NULL better.

A 'NULL' is an empty statement (e.g. 'skip') or something else
that is expected to be absent, like the left-hand-side of a unary operator.

So report that it returns Vnone, but don't worry about what is
expected.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: accept newlines at start of {block}

This  is needed for

~~~~~~
program {
code
}
~~~~~~

to work.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: accept MULTI_STRING as well as STRING

The scanner produces two types of strings - we need to accept
them both.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: allow number of command line to be negative.

number_parse doesn't expect leading sign, so handle it explicitly.

Signed-off-by: NeilBrown <neil@brown.name>

Parsergen: abort on error.

The error handling is currently completely broken and goes
into an infinite loop.
Just abort for now.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: don't try to print a 'then' clause for a switch.

'switch' doesn't have a 'then', so don't try to print it.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: memdup argument strings when assigning to a variable.

string values are assumed to be in malloced memory, so
when assigning a string from the command line, copy it to malloced
memory.

Signed-off-by: NeilBrown <neil@brown.name>

oceani: remove the 'style' link

Signed-off-by: NeilBrown <neil@brown.name>

oceani: add proper 'then' handling.

I hadn't thought about this properly before..

Signed-off-by: NeilBrown <neil@brown.name>

oceani: initial interpreted for "ocean".

This is a very preliminary interpreter for a preliminary
language which is building towards being "ocean".
I call this the "Falls Creek" version.

Signed-off-by: NeilBrown <neilb@suse.de>

pargergen: typo: i, not 1.

This makes some newline handling break.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: update description to match current reality.

In partcular, the handling of indents and newlines was a
bit out-dated.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: remove special casing for pop(0).

If pop() is asked to remove nothing from the stack, it now
does exactly the right thing and returns the value that we want.
So some special-casing can be removed.

Signed-off-by: NeilBrown <neil@brown.name>

indent_test: integrate into Makefile scheme nicely.

The test code is now included in indent_test.mdc,
and there is a '.mk'.
  make tests

will run the test.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: update doc for change from 'starts line' to 'line like'

Signed-off-by: NeilBrown <neil@brown.name>

parse trace: report since_newline rather than newline_permitted

The number in newline_permitted isn't interesting.
The number in since_newline is.  So print that.

Signed-off-by: NeilBrown <neil@brown.name>

indent test: various fixed to match new design.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: revise rule for NEWLINE forcing reduce

If the whole line is a single symbol, then it isn't appropriate
for a NEWLINE to force a reduce (it may be for an OUT, but as the
NEWLINE shifts (the OUT doesn't) we don't need to push so hard).

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: fix incorrect 'newline_permitted' setting.

If a state 'starts_line', then a newline is explicitly permitted
(once indents have gone), not explicitly denied!

Signed-off-by: NeilBrown <neil@brown.name>

parsegen: pop was not computing start_of_line properly.

In there is any line start in the sequence being popped,
then the new symbol is considered to start a line.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: get rid of 'next' in parser_run()

It isn't used for anything useful any more.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: next.indents in parser_run is always zero.

now that indents are counted with the previous symbol,
next.indents is always zero.  So stop using it or updating it.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: don't pass full frame to parser_trace()

parser_trace() only uses 2 fields, so only pass those.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: don't use 'frame' to pass args to shift() or receive from pop()

'struct frame' holds a number of fields that shift()
ignores and pop() doesn't fill in.
So it is a bit confusing to see a frame passed in
and mostly ignored.

So just pass in the fields that are actually needed.
This fixes a bug where 'since_newline' was set wrongly when a newline
is shifted.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: fix handling of Newline in parse.

The required handling for 'newline' when not ignored is:

    if the current state can REDUCE and the reduction length is no
    more symbols than the frames-since-start-of-line count, we REDUCE.

'can REDUCE' removes "reduce_size >= 0", not ">".
'not more symbols' means "reduce_size <= tos->since_newline", not "<".

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: fix handling of TK_in during parse.

Now that an 'in'  it always considered to be *after* a symbol,
we want to apply 'in' token to the current top-of-stack, not to the
'next' frame.

Signed-off-by: NeilBrown <neil@brown.name>

parsergen: remove starts_indented.

This is no longer used.

Signed-off-by: NeilBrown <neil@brown.name>