ocean-lang.org Git - ocean/blob - csrc/oceani.mdc

   1 # Ocean Interpreter - Jamison Creek version
   2
   3 Ocean is intended to be a compiled language, so this interpreter is
   4 not targeted at being the final product.  It is, rather, an intermediate
   5 stage and fills that role in two distinct ways.
   6
   7 Firstly, it exists as a platform to experiment with the early language
   8 design.  An interpreter is easy to write and easy to get working, so
   9 the barrier for entry is lower if I aim to start with an interpreter.
  10
  11 Secondly, the plan for the Ocean compiler is to write it in the
  12 [Ocean language](http://ocean-lang.org).  To achieve this we naturally
  13 need some sort of boot-strap process and this interpreter - written in
  14 portable C - will fill that role.  It will be used to bootstrap the
  15 Ocean compiler.
  16
  17 Two features that are not needed to fill either of these roles are
  18 performance and completeness.  The interpreter only needs to be fast
  19 enough to run small test programs and occasionally to run the compiler
  20 on itself.  It only needs to be complete enough to test aspects of the
  21 design which are developed before the compiler is working, and to run
  22 the compiler on itself.  Any features not used by the compiler when
  23 compiling itself are superfluous.  They may be included anyway, but
  24 they may not.
  25
  26 Nonetheless, the interpreter should end up being reasonably complete,
  27 and any performance bottlenecks which appear and are easily fixed, will
  28 be.
  29
  30 ## Current version
  31
  32 This third version of the interpreter exists to test out some initial
  33 ideas relating to types.  Particularly it adds arrays (indexed from
  34 zero) and simple structures.  Basic control flow and variable scoping
  35 are already fairly well established, as are basic numerical and
  36 boolean operators.
  37
  38 Some operators that have only recently been added, and so have not
  39 generated all that much experience yet are "and then" and "or else" as
  40 short-circuit Boolean operators, and the "if ... else" trinary
  41 operator which can select between two expressions based on a third
  42 (which appears syntactically in the middle).
  43
  44 The "func" clause currently only allows a "main" function to be
  45 declared.  That will be extended when proper function support is added.
  46
  47 An element that is present purely to make a usable language, and
  48 without any expectation that they will remain, is the "print" statement
  49 which performs simple output.
  50
  51 The current scalar types are "number", "Boolean", and "string".
  52 Boolean will likely stay in its current form, the other two might, but
  53 could just as easily be changed.
  54
  55 ## Naming
  56
  57 Versions of the interpreter which obviously do not support a complete
  58 language will be named after creeks and streams.  This one is Jamison
  59 Creek.
  60
  61 Once we have something reasonably resembling a complete language, the
  62 names of rivers will be used.
  63 Early versions of the compiler will be named after seas.  Major
  64 releases of the compiler will be named after oceans.  Hopefully I will
  65 be finished once I get to the Pacific Ocean release.
  66
  67 ## Outline
  68
  69 As well as parsing and executing a program, the interpreter can print
  70 out the program from the parsed internal structure.  This is useful
  71 for validating the parsing.
  72 So the main requirements of the interpreter are:
  73
  74 - Parse the program, possibly with tracing,
  75 - Analyse the parsed program to ensure consistency,
  76 - Print the program,
  77 - Execute the "main" function in the program, if no parsing or
  78   consistency errors were found.
  79
  80 This is all performed by a single C program extracted with
  81 `parsergen`.
  82
  83 There will be two formats for printing the program: a default and one
  84 that uses bracketing.  So a `--bracket` command line option is needed
  85 for that.  Normally the first code section found is used, however an
  86 alternate section can be requested so that a file (such as this one)
  87 can contain multiple programs.  This is effected with the `--section`
  88 option.
  89
  90 This code must be compiled with `-fplan9-extensions` so that anonymous
  91 structures can be used.
  92
  93 ###### File: oceani.mk
  94
  95         myCFLAGS := -Wall -g -fplan9-extensions
  96         CFLAGS := $(filter-out $(myCFLAGS),$(CFLAGS)) $(myCFLAGS)
  97         myLDLIBS:= libparser.o libscanner.o libmdcode.o -licuuc
  98         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
  99         ## libs
 100         all :: $(LDLIBS) oceani
 101         oceani.c oceani.h : oceani.mdc parsergen
 102                 ./parsergen -o oceani --LALR --tag Parser oceani.mdc
 103         oceani.mk: oceani.mdc md2c
 104                 ./md2c oceani.mdc
 105
 106         oceani: oceani.o $(LDLIBS)
 107                 $(CC) $(CFLAGS) -o oceani oceani.o $(LDLIBS)
 108
 109 ###### Parser: header
 110         ## macros
 111         struct parse_context;
 112         ## ast
 113         ## ast late
 114         struct parse_context {
 115                 struct token_config config;
 116                 char *file_name;
 117                 int parse_error;
 118                 ## parse context
 119         };
 120
 121 ###### macros
 122
 123         #define container_of(ptr, type, member) ({                      \
 124                 const typeof( ((type *)0)->member ) *__mptr = (ptr);    \
 125                 (type *)( (char *)__mptr - offsetof(type,member) );})
 126
 127         #define config2context(_conf) container_of(_conf, struct parse_context, \
 128                 config)
 129
 130 ###### Parser: reduce
 131         struct parse_context *c = config2context(config);
 132
 133 ###### Parser: code
 134         #define _GNU_SOURCE
 135         #include <unistd.h>
 136         #include <stdlib.h>
 137         #include <fcntl.h>
 138         #include <errno.h>
 139         #include <sys/mman.h>
 140         #include <string.h>
 141         #include <stdio.h>
 142         #include <locale.h>
 143         #include <malloc.h>
 144         #include "mdcode.h"
 145         #include "scanner.h"
 146         #include "parser.h"
 147
 148         ## includes
 149
 150         #include "oceani.h"
 151
 152         ## forward decls
 153         ## value functions
 154         ## ast functions
 155         ## core functions
 156
 157         #include <getopt.h>
 158         static char Usage[] =
 159                 "Usage: oceani --trace --print --noexec --brackets --section=SectionName prog.ocn\n";
 160         static const struct option long_options[] = {
 161                 {"trace",     0, NULL, 't'},
 162                 {"print",     0, NULL, 'p'},
 163                 {"noexec",    0, NULL, 'n'},
 164                 {"brackets",  0, NULL, 'b'},
 165                 {"section",   1, NULL, 's'},
 166                 {NULL,        0, NULL, 0},
 167         };
 168         const char *options = "tpnbs";
 169
 170         static void pr_err(char *msg)                   // NOTEST
 171         {
 172                 fprintf(stderr, "%s\n", msg);           // NOTEST
 173         }                                               // NOTEST
 174
 175         int main(int argc, char *argv[])
 176         {
 177                 int fd;
 178                 int len;
 179                 char *file;
 180                 struct section *s = NULL, *ss;
 181                 char *section = NULL;
 182                 struct parse_context context = {
 183                         .config = {
 184                                 .ignored = (1 << TK_mark),
 185                                 .number_chars = ".,_+- ",
 186                                 .word_start = "_",
 187                                 .word_cont = "_",
 188                         },
 189                 };
 190                 int doprint=0, dotrace=0, doexec=1, brackets=0;
 191                 int opt;
 192                 while ((opt = getopt_long(argc, argv, options, long_options, NULL))
 193                        != -1) {
 194                         switch(opt) {
 195                         case 't': dotrace=1; break;
 196                         case 'p': doprint=1; break;
 197                         case 'n': doexec=0; break;
 198                         case 'b': brackets=1; break;
 199                         case 's': section = optarg; break;
 200                         default: fprintf(stderr, Usage);
 201                                 exit(1);
 202                         }
 203                 }
 204                 if (optind >= argc) {
 205                         fprintf(stderr, "oceani: no input file given\n");
 206                         exit(1);
 207                 }
 208                 fd = open(argv[optind], O_RDONLY);
 209                 if (fd < 0) {
 210                         fprintf(stderr, "oceani: cannot open %s\n", argv[optind]);
 211                         exit(1);
 212                 }
 213                 context.file_name = argv[optind];
 214                 len = lseek(fd, 0, 2);
 215                 file = mmap(NULL, len, PROT_READ, MAP_SHARED, fd, 0);
 216                 s = code_extract(file, file+len, pr_err);
 217                 if (!s) {
 218                         fprintf(stderr, "oceani: could not find any code in %s\n",
 219                                 argv[optind]);
 220                         exit(1);
 221                 }
 222
 223                 ## context initialization
 224
 225                 if (section) {
 226                         for (ss = s; ss; ss = ss->next) {
 227                                 struct text sec = ss->section;
 228                                 if (sec.len == strlen(section) &&
 229                                     strncmp(sec.txt, section, sec.len) == 0)
 230                                         break;
 231                         }
 232                         if (!ss) {
 233                                 fprintf(stderr, "oceani: cannot find section %s\n",
 234                                         section);
 235                                 goto cleanup;
 236                         }
 237                 } else
 238                         ss = s;                         // NOTEST
 239                 if (!ss->code) {
 240                         fprintf(stderr, "oceani: no code found in requested section\n");        // NOTEST
 241                         goto cleanup;                   // NOTEST
 242                 }
 243
 244                 parse_oceani(ss->code, &context.config, dotrace ? stderr : NULL);
 245
 246                 resolve_consts(&context);
 247                 prepare_types(&context);
 248                 if (!context.parse_error && !analyse_funcs(&context)) {
 249                         fprintf(stderr, "oceani: type error in program - not running.\n");
 250                         context.parse_error += 1;
 251                 }
 252
 253                 if (doprint) {
 254                         ## print const decls
 255                         ## print type decls
 256                         ## print func decls
 257                 }
 258                 if (doexec && !context.parse_error)
 259                         interp_main(&context, argc - optind, argv + optind);
 260         cleanup:
 261                 while (s) {
 262                         struct section *t = s->next;
 263                         code_free(s->code);
 264                         free(s);
 265                         s = t;
 266                 }
 267                 // FIXME parser should pop scope even on error
 268                 while (context.scope_depth > 0)
 269                         scope_pop(&context);
 270                 ## free global vars
 271                 ## free const decls
 272                 ## free context types
 273                 ## free context storage
 274                 exit(context.parse_error ? 1 : 0);
 275         }
 276
 277 ### Analysis
 278
 279 The four requirements of parse, analyse, print, interpret apply to
 280 each language element individually so that is how most of the code
 281 will be structured.
 282
 283 Three of the four are fairly self explanatory.  The one that requires
 284 a little explanation is the analysis step.
 285
 286 The current language design does not require the types of variables to
 287 be declared, but they must still have a single type.  Different
 288 operations impose different requirements on the variables, for example
 289 addition requires both arguments to be numeric, and assignment
 290 requires the variable on the left to have the same type as the
 291 expression on the right.
 292
 293 Analysis involves propagating these type requirements around and
 294 consequently setting the type of each variable.  If any requirements
 295 are violated (e.g. a string is compared with a number) or if a
 296 variable needs to have two different types, then an error is raised
 297 and the program will not run.
 298
 299 If the same variable is declared in both branchs of an 'if/else', or
 300 in all cases of a 'switch' then the multiple instances may be merged
 301 into just one variable if the variable is referenced after the
 302 conditional statement.  When this happens, the types must naturally be
 303 consistent across all the branches.  When the variable is not used
 304 outside the if, the variables in the different branches are distinct
 305 and can be of different types.
 306
 307 Undeclared names may only appear in "use" statements and "case" expressions.
 308 These names are given a type of "label" and a unique value.
 309 This allows them to fill the role of a name in an enumerated type, which
 310 is useful for testing the `switch` statement.
 311
 312 As we will see, the condition part of a `while` statement can return
 313 either a Boolean or some other type.  This requires that the expected
 314 type that gets passed around comprises a type and a flag to indicate
 315 that `Tbool` is also permitted.
 316
 317 As there are, as yet, no distinct types that are compatible, there
 318 isn't much subtlety in the analysis.  When we have distinct number
 319 types, this will become more interesting.
 320
 321 #### Error reporting
 322
 323 When analysis discovers an inconsistency it needs to report an error;
 324 just refusing to run the code ensures that the error doesn't cascade,
 325 but by itself it isn't very useful.  A clear understanding of the sort
 326 of error message that are useful will help guide the process of
 327 analysis.
 328
 329 At a simplistic level, the only sort of error that type analysis can
 330 report is that the type of some construct doesn't match a contextual
 331 requirement.  For example, in `4 + "hello"` the addition provides a
 332 contextual requirement for numbers, but `"hello"` is not a number.  In
 333 this particular example no further information is needed as the types
 334 are obvious from local information.  When a variable is involved that
 335 isn't the case.  It may be helpful to explain why the variable has a
 336 particular type, by indicating the location where the type was set,
 337 whether by declaration or usage.
 338
 339 Using a recursive-descent analysis we can easily detect a problem at
 340 multiple locations. In "`hello:= "there"; 4 + hello`" the addition
 341 will detect that one argument is not a number and the usage of `hello`
 342 will detect that a number was wanted, but not provided.  In this
 343 (early) version of the language, we will generate error reports at
 344 multiple locations, so the use of `hello` will report an error and
 345 explain were the value was set, and the addition will report an error
 346 and say why numbers are needed.  To be able to report locations for
 347 errors, each language element will need to record a file location
 348 (line and column) and each variable will need to record the language
 349 element where its type was set.  For now we will assume that each line
 350 of an error message indicates one location in the file, and up to 2
 351 types.  So we provide a `printf`-like function which takes a format, a
 352 location (a `struct exec` which has not yet been introduced), and 2
 353 types. "`%1`" reports the first type, "`%2`" reports the second.  We
 354 will need a function to print the location, once we know how that is
 355 stored. e As will be explained later, there are sometimes extra rules for
 356 type matching and they might affect error messages, we need to pass those
 357 in too.
 358
 359 As well as type errors, we sometimes need to report problems with
 360 tokens, which might be unexpected or might name a type that has not
 361 been defined.  For these we have `tok_err()` which reports an error
 362 with a given token.  Each of the error functions sets the flag in the
 363 context so indicate that parsing failed.
 364
 365 ###### forward decls
 366
 367         static void fput_loc(struct exec *loc, FILE *f);
 368         static void type_err(struct parse_context *c,
 369                              char *fmt, struct exec *loc,
 370                              struct type *t1, int rules, struct type *t2);
 371         static void tok_err(struct parse_context *c, char *fmt, struct token *t);
 372
 373 ###### core functions
 374
 375         static void type_err(struct parse_context *c,
 376                              char *fmt, struct exec *loc,
 377                              struct type *t1, int rules, struct type *t2)
 378         {
 379                 fprintf(stderr, "%s:", c->file_name);
 380                 fput_loc(loc, stderr);
 381                 for (; *fmt ; fmt++) {
 382                         if (*fmt != '%') {
 383                                 fputc(*fmt, stderr);
 384                                 continue;
 385                         }
 386                         fmt++;
 387                         switch (*fmt) {
 388                         case '%': fputc(*fmt, stderr); break;   // NOTEST
 389                         default: fputc('?', stderr); break;     // NOTEST
 390                         case '1':
 391                                 type_print(t1, stderr);
 392                                 break;
 393                         case '2':
 394                                 type_print(t2, stderr);
 395                                 break;
 396                         ## format cases
 397                         }
 398                 }
 399                 fputs("\n", stderr);
 400                 c->parse_error += 1;
 401         }
 402
 403         static void tok_err(struct parse_context *c, char *fmt, struct token *t)
 404         {
 405                 fprintf(stderr, "%s:%d:%d: %s: %.*s\n", c->file_name, t->line, t->col, fmt,
 406                         t->txt.len, t->txt.txt);
 407                 c->parse_error += 1;
 408         }
 409
 410 ## Entities: declared and predeclared.
 411
 412 There are various "things" that the language and/or the interpreter
 413 needs to know about to parse and execute a program.  These include
 414 types, variables, values, and executable code.  These are all lumped
 415 together under the term "entities" (calling them "objects" would be
 416 confusing) and introduced here.  The following section will present the
 417 different specific code elements which comprise or manipulate these
 418 various entities.
 419
 420 ### Executables
 421
 422 Executables can be lots of different things.  In many cases an
 423 executable is just an operation combined with one or two other
 424 executables.  This allows for expressions and lists etc.  Other times an
 425 executable is something quite specific like a constant or variable name.
 426 So we define a `struct exec` to be a general executable with a type, and
 427 a `struct binode` which is a subclass of `exec`, forms a node in a
 428 binary tree, and holds an operation.  There will be other subclasses,
 429 and to access these we need to be able to `cast` the `exec` into the
 430 various other types.  The first field in any `struct exec` is the type
 431 from the `exec_types` enum.
 432
 433 ###### macros
 434         #define cast(structname, pointer) ({            \
 435                 const typeof( ((struct structname *)0)->type) *__mptr = &(pointer)->type; \
 436                 if (__mptr && *__mptr != X##structname) abort();                \
 437                 (struct structname *)( (char *)__mptr);})
 438
 439         #define new(structname) ({                                              \
 440                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
 441                 __ptr->type = X##structname;                                            \
 442                 __ptr->line = -1; __ptr->column = -1;                                   \
 443                 __ptr;})
 444
 445         #define new_pos(structname, token) ({                                           \
 446                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
 447                 __ptr->type = X##structname;                                            \
 448                 __ptr->line = token.line; __ptr->column = token.col;                    \
 449                 __ptr;})
 450
 451 ###### ast
 452         enum exec_types {
 453                 Xbinode,
 454                 ## exec type
 455         };
 456         struct exec {
 457                 enum exec_types type;
 458                 int line, column;
 459                 ## exec fields
 460         };
 461         struct binode {
 462                 struct exec;
 463                 enum Btype {
 464                         ## Binode types
 465                 } op;
 466                 struct exec *left, *right;
 467         };
 468
 469 ###### ast functions
 470
 471         static int __fput_loc(struct exec *loc, FILE *f)
 472         {
 473                 if (!loc)
 474                         return 0;
 475                 if (loc->line >= 0) {
 476                         fprintf(f, "%d:%d: ", loc->line, loc->column);
 477                         return 1;
 478                 }
 479                 if (loc->type == Xbinode)
 480                         return __fput_loc(cast(binode,loc)->left, f) ||
 481                                __fput_loc(cast(binode,loc)->right, f);  // NOTEST
 482                 return 0;       // NOTEST
 483         }
 484         static void fput_loc(struct exec *loc, FILE *f)
 485         {
 486                 if (!__fput_loc(loc, f))
 487                         fprintf(f, "??:??: ");  // NOTEST
 488         }
 489
 490 Each different type of `exec` node needs a number of functions defined,
 491 a bit like methods.  We must be able to free it, print it, analyse it
 492 and execute it.  Once we have specific `exec` types we will need to
 493 parse them too.  Let's take this a bit more slowly.
 494
 495 #### Freeing
 496
 497 The parser generator requires a `free_foo` function for each struct
 498 that stores attributes and they will often be `exec`s and subtypes
 499 there-of.  So we need `free_exec` which can handle all the subtypes,
 500 and we need `free_binode`.
 501
 502 ###### ast functions
 503
 504         static void free_binode(struct binode *b)
 505         {
 506                 if (!b)
 507                         return;
 508                 free_exec(b->left);
 509                 free_exec(b->right);
 510                 free(b);
 511         }
 512
 513 ###### core functions
 514         static void free_exec(struct exec *e)
 515         {
 516                 if (!e)
 517                         return;
 518                 switch(e->type) {
 519                         ## free exec cases
 520                 }
 521         }
 522
 523 ###### forward decls
 524
 525         static void free_exec(struct exec *e);
 526
 527 ###### free exec cases
 528         case Xbinode: free_binode(cast(binode, e)); break;
 529
 530 #### Printing
 531
 532 Printing an `exec` requires that we know the current indent level for
 533 printing line-oriented components.  As will become clear later, we
 534 also want to know what sort of bracketing to use.
 535
 536 ###### ast functions
 537
 538         static void do_indent(int i, char *str)
 539         {
 540                 while (i-- > 0)
 541                         printf("    ");
 542                 printf("%s", str);
 543         }
 544
 545 ###### core functions
 546         static void print_binode(struct binode *b, int indent, int bracket)
 547         {
 548                 struct binode *b2;
 549                 switch(b->op) {
 550                 ## print binode cases
 551                 }
 552         }
 553
 554         static void print_exec(struct exec *e, int indent, int bracket)
 555         {
 556                 if (!e)
 557                         return;
 558                 switch (e->type) {
 559                 case Xbinode:
 560                         print_binode(cast(binode, e), indent, bracket); break;
 561                 ## print exec cases
 562                 }
 563                 if (e->to_free) {
 564                         struct variable *v;
 565                         do_indent(indent, "/* FREE");
 566                         for (v = e->to_free; v; v = v->next_free) {
 567                                 printf(" %.*s", v->name->name.len, v->name->name.txt);
 568                                 printf("[%d,%d]", v->scope_start, v->scope_end);
 569                                 if (v->frame_pos >= 0)
 570                                         printf("(%d+%d)", v->frame_pos,
 571                                                v->type ? v->type->size:0);
 572                         }
 573                         printf(" */\n");
 574                 }
 575         }
 576
 577 ###### forward decls
 578
 579         static void print_exec(struct exec *e, int indent, int bracket);
 580
 581 #### Analysing
 582
 583 As discussed, analysis involves propagating type requirements around the
 584 program and looking for errors.
 585
 586 So `propagate_types` is passed an expected type (being a `struct type`
 587 pointer together with some `val_rules` flags) that the `exec` is
 588 expected to return, and returns the type that it does return, either of
 589 which can be `NULL` signifying "unknown".  A `prop_err` flag set is
 590 passed by reference.  It has `Efail` set when an error is found, and
 591 `Eretry` when the type for some element is set via propagation.  If
 592 any expression cannot be evaluated a compile time, `Eruntime` is set.
 593 If the expression can be copied, `Emaycopy` is set.
 594
 595 If `Erval` is set, then the value cannot be assigned to because it is
 596 a temporary result.  If `Erval` is clear but `Econst` is set, then
 597 the value can only be assigned once, when the variable is declared.
 598
 599 ###### ast
 600
 601         enum val_rules {Rboolok = 1<<0,};
 602         enum prop_err {Efail = 1<<0, Eretry = 1<<1, Eruntime = 1<<2,
 603                        Emaycopy = 1<<3, Erval = 1<<4, Econst = 1<<5};
 604
 605 ###### forward decls
 606         static struct type *propagate_types(struct exec *prog, struct parse_context *c, enum prop_err *perr,
 607                                             struct type *type, int rules);
 608 ###### core functions
 609
 610         static struct type *__propagate_types(struct exec *prog, struct parse_context *c, enum prop_err *perr,
 611                                               enum prop_err *perr_local,
 612                                               struct type *type, int rules)
 613         {
 614                 struct type *t;
 615
 616                 if (!prog)
 617                         return Tnone;
 618
 619                 switch (prog->type) {
 620                 case Xbinode:
 621                 {
 622                         struct binode *b = cast(binode, prog);
 623                         switch (b->op) {
 624                         ## propagate binode cases
 625                         }
 626                         break;
 627                 }
 628                 ## propagate exec cases
 629                 }
 630                 return Tnone;
 631         }
 632
 633         static struct type *propagate_types(struct exec *prog, struct parse_context *c, enum prop_err *perr,
 634                                             struct type *type, int rules)
 635         {
 636                 int pre_err = c->parse_error;
 637                 enum prop_err perr_local = 0;
 638                 struct type *ret = __propagate_types(prog, c, perr, &perr_local, type, rules);
 639
 640                 *perr |= perr_local & (Efail | Eretry);
 641                 if (c->parse_error > pre_err)
 642                         *perr |= Efail;
 643                 return ret;
 644         }
 645
 646 #### Interpreting
 647
 648 Interpreting an `exec` doesn't require anything but the `exec`.  State
 649 is stored in variables and each variable will be directly linked from
 650 within the `exec` tree.  The exception to this is the `main` function
 651 which needs to look at command line arguments.  This function will be
 652 interpreted separately.
 653
 654 Each `exec` can return a value combined with a type in `struct lrval`.
 655 The type may be `Tnone` but must be non-NULL.  Some `exec`s will return
 656 the location of a value, which can be updated, in `lval`.  Others will
 657 set `lval` to NULL indicating that there is a value of appropriate type
 658 in `rval`.
 659
 660 ###### forward decls
 661         static struct value interp_exec(struct parse_context *c, struct exec *e,
 662                                         struct type **typeret);
 663 ###### core functions
 664
 665         struct lrval {
 666                 struct type *type;
 667                 struct value rval, *lval;
 668         };
 669
 670         /* If dest is passed, dtype must give the expected type, and
 671          * result can go there, in which case type is returned as NULL.
 672          */
 673         static struct lrval _interp_exec(struct parse_context *c, struct exec *e,
 674                                          struct value *dest, struct type *dtype);
 675
 676         static struct value interp_exec(struct parse_context *c, struct exec *e,
 677                                         struct type **typeret)
 678         {
 679                 struct lrval ret = _interp_exec(c, e, NULL, NULL);
 680
 681                 if (!ret.type) abort();
 682                 if (typeret)
 683                         *typeret = ret.type;
 684                 if (ret.lval)
 685                         dup_value(ret.type, ret.lval, &ret.rval);
 686                 return ret.rval;
 687         }
 688
 689         static struct value *linterp_exec(struct parse_context *c, struct exec *e,
 690                                           struct type **typeret)
 691         {
 692                 struct lrval ret = _interp_exec(c, e, NULL, NULL);
 693
 694                 if (!ret.type) abort();
 695                 if (ret.lval)
 696                         *typeret = ret.type;
 697                 else
 698                         free_value(ret.type, &ret.rval);
 699                 return ret.lval;
 700         }
 701
 702         /* dinterp_exec is used when the destination type is certain and
 703          * the value has a place to go.
 704          */
 705         static void dinterp_exec(struct parse_context *c, struct exec *e,
 706                                  struct value *dest, struct type *dtype,
 707                                  int need_free)
 708         {
 709                 struct lrval ret = _interp_exec(c, e, dest, dtype);
 710                 if (!ret.type)
 711                         return;
 712                 if (need_free)
 713                         free_value(dtype, dest);
 714                 if (ret.lval)
 715                         dup_value(dtype, ret.lval, dest);
 716                 else
 717                         memcpy(dest, &ret.rval, dtype->size);
 718         }
 719
 720         static struct lrval _interp_exec(struct parse_context *c, struct exec *e,
 721                                          struct value *dest, struct type *dtype)
 722         {
 723                 /* If the result is copied to dest, ret.type is set to NULL */
 724                 struct lrval ret;
 725                 struct value rv = {}, *lrv = NULL;
 726                 struct type *rvtype;
 727
 728                 rvtype = ret.type = Tnone;
 729                 if (!e) {
 730                         ret.lval = lrv;
 731                         ret.rval = rv;
 732                         return ret;
 733                 }
 734
 735                 switch(e->type) {
 736                 case Xbinode:
 737                 {
 738                         struct binode *b = cast(binode, e);
 739                         struct value left, right, *lleft;
 740                         struct type *ltype, *rtype;
 741                         ltype = rtype = Tnone;
 742                         switch (b->op) {
 743                         ## interp binode cases
 744                         }
 745                         free_value(ltype, &left);
 746                         free_value(rtype, &right);
 747                         break;
 748                 }
 749                 ## interp exec cases
 750                 }
 751                 if (rvtype) {
 752                         ret.lval = lrv;
 753                         ret.rval = rv;
 754                         ret.type = rvtype;
 755                 }
 756                 ## interp exec cleanup
 757                 return ret;
 758         }
 759
 760 ### Types
 761
 762 Values come in a wide range of types, with more likely to be added.
 763 Each type needs to be able to print its own values (for convenience at
 764 least) as well as to compare two values, at least for equality and
 765 possibly for order.  For now, values might need to be duplicated and
 766 freed, though eventually such manipulations will be better integrated
 767 into the language.
 768
 769 Rather than requiring every numeric type to support all numeric
 770 operations (add, multiply, etc), we allow types to be able to present
 771 as one of a few standard types: integer, float, and fraction.  The
 772 existence of these conversion functions eventually enable types to
 773 determine if they are compatible with other types, though such types
 774 have not yet been implemented.
 775
 776 Named type are stored in a simple linked list.  Objects of each type are
 777 "values" which are often passed around by value.
 778
 779 There are both explicitly named types, and anonymous types.  Anonymous
 780 cannot be accessed by name, but are used internally and have a name
 781 which might be reported in error messages.
 782
 783 ###### ast
 784
 785         struct value {
 786                 union {
 787                         char ptr[1];
 788                         ## value union fields
 789                 };
 790         };
 791
 792 ###### ast late
 793         struct type {
 794                 struct text name;
 795                 struct type *next;
 796                 struct token first_use;
 797                 int size, align;
 798                 int anon;
 799                 void (*init)(struct type *type, struct value *val);
 800                 int (*prepare_type)(struct parse_context *c, struct type *type, int parse_time);
 801                 void (*print)(struct type *type, struct value *val, FILE *f);
 802                 void (*print_type)(struct type *type, FILE *f);
 803                 int (*cmp_order)(struct type *t1, struct type *t2,
 804                                  struct value *v1, struct value *v2);
 805                 int (*cmp_eq)(struct type *t1, struct type *t2,
 806                               struct value *v1, struct value *v2);
 807                 void (*dup)(struct type *type, struct value *vold, struct value *vnew);
 808                 int (*test)(struct type *type, struct value *val);
 809                 void (*free)(struct type *type, struct value *val);
 810                 void (*free_type)(struct type *t);
 811                 long long (*to_int)(struct value *v);
 812                 double (*to_float)(struct value *v);
 813                 int (*to_mpq)(mpq_t *q, struct value *v);
 814                 ## type functions
 815                 union {
 816                         ## type union fields
 817                 };
 818         };
 819
 820 ###### parse context
 821
 822         struct type *typelist;
 823
 824 ###### includes
 825         #include <stdarg.h>
 826
 827 ###### ast functions
 828
 829         static struct type *find_type(struct parse_context *c, struct text s)
 830         {
 831                 struct type *t = c->typelist;
 832
 833                 while (t && (t->anon ||
 834                              text_cmp(t->name, s) != 0))
 835                                 t = t->next;
 836                 return t;
 837         }
 838
 839         static struct type *_add_type(struct parse_context *c, struct text s,
 840                                      struct type *proto, int anon)
 841         {
 842                 struct type *n;
 843
 844                 n = calloc(1, sizeof(*n));
 845                 if (proto)
 846                         *n = *proto;
 847                 else
 848                         n->size = -1;
 849                 n->name = s;
 850                 n->anon = anon;
 851                 n->next = c->typelist;
 852                 c->typelist = n;
 853                 return n;
 854         }
 855
 856         static struct type *add_type(struct parse_context *c, struct text s,
 857                                       struct type *proto)
 858         {
 859                 return _add_type(c, s, proto, 0);
 860         }
 861
 862         static struct type *add_anon_type(struct parse_context *c,
 863                                           struct type *proto, char *name, ...)
 864         {
 865                 struct text t;
 866                 va_list ap;
 867
 868                 va_start(ap, name);
 869                 vasprintf(&t.txt, name, ap);
 870                 va_end(ap);
 871                 t.len = strlen(t.txt);
 872                 return _add_type(c, t, proto, 1);
 873         }
 874
 875         static struct type *find_anon_type(struct parse_context *c,
 876                                            struct type *proto, char *name, ...)
 877         {
 878                 struct type *t = c->typelist;
 879                 struct text nm;
 880                 va_list ap;
 881
 882                 va_start(ap, name);
 883                 vasprintf(&nm.txt, name, ap);
 884                 va_end(ap);
 885                 nm.len = strlen(name);
 886
 887                 while (t && (!t->anon ||
 888                              text_cmp(t->name, nm) != 0))
 889                                 t = t->next;
 890                 if (t) {
 891                         free(nm.txt);
 892                         return t;
 893                 }
 894                 return _add_type(c, nm, proto, 1);
 895         }
 896
 897         static void free_type(struct type *t)
 898         {
 899                 /* The type is always a reference to something in the
 900                  * context, so we don't need to free anything.
 901                  */
 902         }
 903
 904         static void free_value(struct type *type, struct value *v)
 905         {
 906                 if (type && v) {
 907                         type->free(type, v);
 908                         memset(v, 0x5a, type->size);
 909                 }
 910         }
 911
 912         static void type_print(struct type *type, FILE *f)
 913         {
 914                 if (!type)
 915                         fputs("*unknown*type*", f);     // NOTEST
 916                 else if (type->name.len && !type->anon)
 917                         fprintf(f, "%.*s", type->name.len, type->name.txt);
 918                 else if (type->print_type)
 919                         type->print_type(type, f);
 920                 else if (type->name.len && type->anon)
 921                         fprintf(f, "\"%.*s\"", type->name.len, type->name.txt);
 922                 else
 923                         fputs("*invalid*type*", f);     // NOTEST
 924         }
 925
 926         static void val_init(struct type *type, struct value *val)
 927         {
 928                 if (type && type->init)
 929                         type->init(type, val);
 930         }
 931
 932         static void dup_value(struct type *type,
 933                               struct value *vold, struct value *vnew)
 934         {
 935                 if (type && type->dup)
 936                         type->dup(type, vold, vnew);
 937         }
 938
 939         static int value_cmp(struct type *tl, struct type *tr,
 940                              struct value *left, struct value *right)
 941         {
 942                 if (tl && tl->cmp_order)
 943                         return tl->cmp_order(tl, tr, left, right);
 944                 if (tl && tl->cmp_eq)
 945                         return tl->cmp_eq(tl, tr, left, right);
 946                 return -1;                              // NOTEST
 947         }
 948
 949         static void print_value(struct type *type, struct value *v, FILE *f)
 950         {
 951                 if (type && type->print)
 952                         type->print(type, v, f);
 953                 else
 954                         fprintf(f, "*Unknown*");                // NOTEST
 955         }
 956
 957         static void prepare_types(struct parse_context *c)
 958         {
 959                 struct type *t;
 960                 int retry = 1;
 961                 enum { none, some, cannot } progress = none;
 962
 963                 while (retry) {
 964                         retry = 0;
 965
 966                         for (t = c->typelist; t; t = t->next) {
 967                                 if (t->size < 0)
 968                                         tok_err(c, "error: type used but not declared",
 969                                                  &t->first_use);
 970                                 if (t->size == 0 && t->prepare_type) {
 971                                         if (t->prepare_type(c, t, 1))
 972                                                 progress = some;
 973                                         else if (progress == cannot)
 974                                                 tok_err(c, "error: type has recursive definition",
 975                                                         &t->first_use);
 976                                         else
 977                                                 retry = 1;
 978                                 }
 979                         }
 980                         switch (progress) {
 981                         case cannot:
 982                                 retry = 0; break;
 983                         case none:
 984                                 progress = cannot; break;
 985                         case some:
 986                                 progress = none; break;
 987                         }
 988                 }
 989         }
 990
 991 ###### forward decls
 992
 993         static void free_value(struct type *type, struct value *v);
 994         static int type_compat(struct type *require, struct type *have, int rules);
 995         static void type_print(struct type *type, FILE *f);
 996         static void val_init(struct type *type, struct value *v);
 997         static void dup_value(struct type *type,
 998                               struct value *vold, struct value *vnew);
 999         static int value_cmp(struct type *tl, struct type *tr,
1000                              struct value *left, struct value *right);
1001         static void print_value(struct type *type, struct value *v, FILE *f);
1002
1003 ###### free context types
1004
1005         while (context.typelist) {
1006                 struct type *t = context.typelist;
1007
1008                 context.typelist = t->next;
1009                 if (t->free_type)
1010                         t->free_type(t);
1011                 if (t->anon)
1012                         free(t->name.txt);
1013                 free(t);
1014         }
1015
1016 Type can be specified for local variables, for fields in a structure,
1017 for formal parameters to functions, and possibly elsewhere.  Different
1018 rules may apply in different contexts.  As a minimum, a named type may
1019 always be used.  Currently the type of a formal parameter can be
1020 different from types in other contexts, so we have a separate grammar
1021 symbol for those.
1022
1023 ###### Grammar
1024
1025         $*type
1026         Type -> IDENTIFIER ${
1027                 $0 = find_type(c, $ID.txt);
1028                 if (!$0) {
1029                         $0 = add_type(c, $ID.txt, NULL);
1030                         $0->first_use = $ID;
1031                 }
1032         }$
1033         ## type grammar
1034
1035         FormalType -> Type ${ $0 = $<1; }$
1036         ## formal type grammar
1037
1038 #### Base Types
1039
1040 Values of the base types can be numbers, which we represent as
1041 multi-precision fractions, strings, Booleans and labels.  When
1042 analysing the program we also need to allow for places where no value
1043 is meaningful (type `Tnone`) and where we don't know what type to
1044 expect yet (type is `NULL`).
1045
1046 Values are never shared, they are always copied when used, and freed
1047 when no longer needed.
1048
1049 When propagating type information around the program, we need to
1050 determine if two types are compatible, where type `NULL` is compatible
1051 with anything.  There are two special cases with type compatibility,
1052 both related to the Conditional Statement which will be described
1053 later.  In some cases a Boolean can be accepted as well as some other
1054 primary type, and in others any type is acceptable except a label (`Vlabel`).
1055 A separate function encoding these cases will simplify some code later.
1056
1057 ###### type functions
1058
1059         int (*compat)(struct type *this, struct type *other);
1060
1061 ###### ast functions
1062
1063         static int type_compat(struct type *require, struct type *have, int rules)
1064         {
1065                 if ((rules & Rboolok) && have == Tbool)
1066                         return 1;       // NOTEST
1067                 if (!require || !have)
1068                         return 1;
1069
1070                 if (require->compat)
1071                         return require->compat(require, have);
1072
1073                 return require == have;
1074         }
1075
1076 ###### includes
1077         #include <gmp.h>
1078         #include "parse_string.h"
1079         #include "parse_number.h"
1080
1081 ###### libs
1082         myLDLIBS := libnumber.o libstring.o -lgmp
1083         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
1084
1085 ###### type union fields
1086         enum vtype {Vnone, Vstr, Vnum, Vbool, Vlabel} vtype;
1087
1088 ###### value union fields
1089         struct text str;
1090         mpq_t num;
1091         unsigned char bool;
1092         int label;
1093
1094 ###### ast functions
1095         static void _free_value(struct type *type, struct value *v)
1096         {
1097                 if (!v)
1098                         return;         // NOTEST
1099                 switch (type->vtype) {
1100                 case Vnone: break;
1101                 case Vstr: free(v->str.txt); break;
1102                 case Vnum: mpq_clear(v->num); break;
1103                 case Vlabel:
1104                 case Vbool: break;
1105                 }
1106         }
1107
1108 ###### value functions
1109
1110         static void _val_init(struct type *type, struct value *val)
1111         {
1112                 switch(type->vtype) {
1113                 case Vnone:             // NOTEST
1114                         break;          // NOTEST
1115                 case Vnum:
1116                         mpq_init(val->num); break;
1117                 case Vstr:
1118                         val->str.txt = malloc(1);
1119                         val->str.len = 0;
1120                         break;
1121                 case Vbool:
1122                         val->bool = 0;
1123                         break;
1124                 case Vlabel:
1125                         val->label = 0; // NOTEST
1126                         break;          // NOTEST
1127                 }
1128         }
1129
1130         static void _dup_value(struct type *type,
1131                                struct value *vold, struct value *vnew)
1132         {
1133                 switch (type->vtype) {
1134                 case Vnone:             // NOTEST
1135                         break;          // NOTEST
1136                 case Vlabel:
1137                         vnew->label = vold->label;      // NOTEST
1138                         break;          // NOTEST
1139                 case Vbool:
1140                         vnew->bool = vold->bool;
1141                         break;
1142                 case Vnum:
1143                         mpq_init(vnew->num);
1144                         mpq_set(vnew->num, vold->num);
1145                         break;
1146                 case Vstr:
1147                         vnew->str.len = vold->str.len;
1148                         vnew->str.txt = malloc(vnew->str.len);
1149                         memcpy(vnew->str.txt, vold->str.txt, vnew->str.len);
1150                         break;
1151                 }
1152         }
1153
1154         static int _value_cmp(struct type *tl, struct type *tr,
1155                               struct value *left, struct value *right)
1156         {
1157                 int cmp;
1158                 if (tl != tr)
1159                         return tl - tr; // NOTEST
1160                 switch (tl->vtype) {
1161                 case Vlabel: cmp = left->label == right->label ? 0 : 1; break;
1162                 case Vnum: cmp = mpq_cmp(left->num, right->num); break;
1163                 case Vstr: cmp = text_cmp(left->str, right->str); break;
1164                 case Vbool: cmp = left->bool - right->bool; break;
1165                 case Vnone: cmp = 0;                    // NOTEST
1166                 }
1167                 return cmp;
1168         }
1169
1170         static void _print_value(struct type *type, struct value *v, FILE *f)
1171         {
1172                 switch (type->vtype) {
1173                 case Vnone:                             // NOTEST
1174                         fprintf(f, "*no-value*"); break;        // NOTEST
1175                 case Vlabel:                            // NOTEST
1176                         fprintf(f, "*label-%d*", v->label); break; // NOTEST
1177                 case Vstr:
1178                         fprintf(f, "%.*s", v->str.len, v->str.txt); break;
1179                 case Vbool:
1180                         fprintf(f, "%s", v->bool ? "True":"False"); break;
1181                 case Vnum:
1182                         {
1183                         mpf_t fl;
1184                         mpf_init2(fl, 20);
1185                         mpf_set_q(fl, v->num);
1186                         gmp_fprintf(f, "%.10Fg", fl);
1187                         mpf_clear(fl);
1188                         break;
1189                         }
1190                 }
1191         }
1192
1193         static void _free_value(struct type *type, struct value *v);
1194
1195         static int bool_test(struct type *type, struct value *v)
1196         {
1197                 return v->bool;
1198         }
1199
1200         static struct type base_prototype = {
1201                 .init = _val_init,
1202                 .print = _print_value,
1203                 .cmp_order = _value_cmp,
1204                 .cmp_eq = _value_cmp,
1205                 .dup = _dup_value,
1206                 .free = _free_value,
1207         };
1208
1209         static struct type *Tbool, *Tstr, *Tnum, *Tnone, *Tlabel;
1210
1211 ###### ast functions
1212         static struct type *add_base_type(struct parse_context *c, char *n,
1213                                           enum vtype vt, int size)
1214         {
1215                 struct text txt = { n, strlen(n) };
1216                 struct type *t;
1217
1218                 t = add_type(c, txt, &base_prototype);
1219                 t->vtype = vt;
1220                 t->size = size;
1221                 t->align = size > sizeof(void*) ? sizeof(void*) : size;
1222                 if (t->size & (t->align - 1))
1223                         t->size = (t->size | (t->align - 1)) + 1;       // NOTEST
1224                 return t;
1225         }
1226
1227 ###### context initialization
1228
1229         Tbool  = add_base_type(&context, "Boolean", Vbool, sizeof(char));
1230         Tbool->test = bool_test;
1231         Tstr   = add_base_type(&context, "string", Vstr, sizeof(struct text));
1232         Tnum   = add_base_type(&context, "number", Vnum, sizeof(mpq_t));
1233         Tnone  = add_base_type(&context, "none", Vnone, 0);
1234         Tlabel = add_base_type(&context, "label", Vlabel, sizeof(void*));
1235
1236 ##### Base Values
1237
1238 We have already met values as separate objects.  When manifest constants
1239 appear in the program text, that must result in an executable which has
1240 a constant value.  So the `val` structure embeds a value in an
1241 executable.
1242
1243 ###### exec type
1244         Xval,
1245
1246 ###### ast
1247         struct val {
1248                 struct exec;
1249                 struct type *vtype;
1250                 struct value val;
1251         };
1252
1253 ###### ast functions
1254         struct val *new_val(struct type *T, struct token tk)
1255         {
1256                 struct val *v = new_pos(val, tk);
1257                 v->vtype = T;
1258                 return v;
1259         }
1260
1261 ###### declare terminals
1262         $TERM True False
1263
1264 ###### Grammar
1265
1266         $*val
1267         Value ->  True ${
1268                 $0 = new_val(Tbool, $1);
1269                 $0->val.bool = 1;
1270         }$
1271         | False ${
1272                 $0 = new_val(Tbool, $1);
1273                 $0->val.bool = 0;
1274         }$
1275         | NUMBER ${ {
1276                 char tail[3];
1277                 $0 = new_val(Tnum, $1);
1278                 if (number_parse($0->val.num, tail, $1.txt) == 0)
1279                         mpq_init($0->val.num);  // UNTESTED
1280                         if (tail[0])
1281                                 tok_err(c, "error: unsupported number suffix",
1282                                         &$1);
1283         } }$
1284         | STRING ${ {
1285                 char tail[3];
1286                 $0 = new_val(Tstr, $1);
1287                 string_parse(&$1, '\\', &$0->val.str, tail);
1288                 if (tail[0])
1289                         tok_err(c, "error: unsupported string suffix",
1290                                 &$1);
1291         } }$
1292         | MULTI_STRING ${ {
1293                 char tail[3];
1294                 $0 = new_val(Tstr, $1);
1295                 string_parse(&$1, '\\', &$0->val.str, tail);
1296                 if (tail[0])
1297                         tok_err(c, "error: unsupported string suffix",
1298                                 &$1);
1299         } }$
1300
1301 ###### print exec cases
1302         case Xval:
1303         {
1304                 struct val *v = cast(val, e);
1305                 if (v->vtype == Tstr)
1306                         printf("\"");
1307                 // FIXME how to ensure numbers have same precision.
1308                 print_value(v->vtype, &v->val, stdout);
1309                 if (v->vtype == Tstr)
1310                         printf("\"");
1311                 break;
1312         }
1313
1314 ###### propagate exec cases
1315         case Xval:
1316         {
1317                 struct val *val = cast(val, prog);
1318                 if (!type_compat(type, val->vtype, rules))
1319                         type_err(c, "error: expected %1 found %2",
1320                                    prog, type, rules, val->vtype);
1321                 *perr |= Erval;
1322                 return val->vtype;
1323         }
1324
1325 ###### interp exec cases
1326         case Xval:
1327                 rvtype = cast(val, e)->vtype;
1328                 dup_value(rvtype, &cast(val, e)->val, &rv);
1329                 break;
1330
1331 ###### ast functions
1332         static void free_val(struct val *v)
1333         {
1334                 if (v)
1335                         free_value(v->vtype, &v->val);
1336                 free(v);
1337         }
1338
1339 ###### free exec cases
1340         case Xval: free_val(cast(val, e)); break;
1341
1342 ###### ast functions
1343         // Move all nodes from 'b' to 'rv', reversing their order.
1344         // In 'b' 'left' is a list, and 'right' is the last node.
1345         // In 'rv', left' is the first node and 'right' is a list.
1346         static struct binode *reorder_bilist(struct binode *b)
1347         {
1348                 struct binode *rv = NULL;
1349
1350                 while (b) {
1351                         struct exec *t = b->right;
1352                         b->right = rv;
1353                         rv = b;
1354                         if (b->left)
1355                                 b = cast(binode, b->left);
1356                         else
1357                                 b = NULL;
1358                         rv->left = t;
1359                 }
1360                 return rv;
1361         }
1362
1363 #### Labels
1364
1365 Labels are a temporary concept until I implement enums.  There are an
1366 anonymous enum which is declared by usage.  Thet are only allowed in
1367 `use` statements and corresponding `case` entries.  They appear as a
1368 period followed by an identifier.  All identifiers that are "used" must
1369 have a "case".
1370
1371 For now, we have a global list of labels, and don't check that all "use"
1372 match "case".
1373
1374 ###### exec type
1375         Xlabel,
1376
1377 ###### ast
1378         struct label {
1379                 struct exec;
1380                 struct text name;
1381                 int value;
1382         };
1383 ###### free exec cases
1384         case Xlabel:
1385                 free(e);
1386                 break;
1387 ###### print exec cases
1388         case Xlabel: {
1389                 struct label *l = cast(label, e);
1390                 printf(".%.*s", l->name.len, l->name.txt);
1391                 break;
1392         }
1393
1394 ###### ast
1395         struct labels {
1396                 struct labels *next;
1397                 struct text name;
1398                 int value;
1399         };
1400 ###### parse context
1401         struct labels *labels;
1402         int next_label;
1403 ###### ast functions
1404         static int label_lookup(struct parse_context *c, struct text name)
1405         {
1406                 struct labels *l, **lp = &c->labels;
1407                 while (*lp && text_cmp((*lp)->name, name) < 0)
1408                         lp = &(*lp)->next;
1409                 if (*lp && text_cmp((*lp)->name, name) == 0)
1410                         return (*lp)->value;
1411                 l = calloc(1, sizeof(*l));
1412                 l->next = *lp;
1413                 l->name = name;
1414                 if (c->next_label == 0)
1415                         c->next_label = 2;
1416                 l->value = c->next_label;
1417                 c->next_label += 1;
1418                 *lp = l;
1419                 return l->value;
1420         }
1421
1422 ###### free context storage
1423         while (context.labels) {
1424                 struct labels *l = context.labels;
1425                 context.labels = l->next;
1426                 free(l);
1427         }
1428
1429 ###### declare terminals
1430         $TERM .
1431 ###### term grammar
1432         | . IDENTIFIER ${ {
1433                 struct label *l = new_pos(label, $ID);
1434                 l->name = $ID.txt;
1435                 $0 = l;
1436         } }$
1437 ###### propagate exec cases
1438         case Xlabel: {
1439                 struct label *l = cast(label, prog);
1440                 l->value = label_lookup(c, l->name);
1441                 if (!type_compat(type, Tlabel, rules))
1442                         type_err(c, "error: expected %1 found %2",
1443                                  prog, type, rules, Tlabel);
1444                 *perr |= Erval;
1445                 return Tlabel;
1446         }
1447 ###### interp exec cases
1448         case Xlabel : {
1449                 struct label *l = cast(label, e);
1450                 rv.label = l->value;
1451                 rvtype = Tlabel;
1452                 break;
1453         }
1454
1455
1456 ### Variables
1457
1458 Variables are scoped named values.  We store the names in a linked list
1459 of "bindings" sorted in lexical order, and use sequential search and
1460 insertion sort.
1461
1462 ###### ast
1463
1464         struct binding {
1465                 struct text name;
1466                 struct binding *next;   // in lexical order
1467                 ## binding fields
1468         };
1469
1470 This linked list is stored in the parse context so that "reduce"
1471 functions can find or add variables, and so the analysis phase can
1472 ensure that every variable gets a type.
1473
1474 ###### parse context
1475
1476         struct binding *varlist;  // In lexical order
1477
1478 ###### ast functions
1479
1480         static struct binding *find_binding(struct parse_context *c, struct text s)
1481         {
1482                 struct binding **l = &c->varlist;
1483                 struct binding *n;
1484                 int cmp = 1;
1485
1486                 while (*l &&
1487                         (cmp = text_cmp((*l)->name, s)) < 0)
1488                                 l = & (*l)->next;
1489                 if (cmp == 0)
1490                         return *l;
1491                 n = calloc(1, sizeof(*n));
1492                 n->name = s;
1493                 n->next = *l;
1494                 *l = n;
1495                 return n;
1496         }
1497
1498 Each name can be linked to multiple variables defined in different
1499 scopes.  Each scope starts where the name is declared and continues
1500 until the end of the containing code block.  Scopes of a given name
1501 cannot nest, so a declaration while a name is in-scope is an error.
1502
1503 ###### binding fields
1504         struct variable *var;
1505
1506 ###### ast
1507         struct variable {
1508                 struct variable *previous;
1509                 struct type *type;
1510                 struct binding *name;
1511                 struct exec *where_decl;// where name was declared
1512                 struct exec *where_set; // where type was set
1513                 ## variable fields
1514         };
1515
1516 When a scope closes, the values of the variables might need to be freed.
1517 This happens in the context of some `struct exec` and each `exec` will
1518 need to know which variables need to be freed when it completes.
1519
1520 ####### exec fields
1521         struct variable *to_free;
1522
1523 ####### variable fields
1524         struct exec *cleanup_exec;
1525         struct variable *next_free;
1526
1527 ####### interp exec cleanup
1528         {
1529                 struct variable *v;
1530                 for (v = e->to_free; v; v = v->next_free) {
1531                         struct value *val = var_value(c, v);
1532                         free_value(v->type, val);
1533                 }
1534         }
1535
1536 ###### ast functions
1537         static void variable_unlink_exec(struct variable *v)
1538         {
1539                 struct variable **vp;
1540                 if (!v->cleanup_exec)
1541                         return;
1542                 for (vp = &v->cleanup_exec->to_free;
1543                     *vp; vp = &(*vp)->next_free) {
1544                         if (*vp != v)
1545                                 continue;
1546                         *vp = v->next_free;
1547                         v->cleanup_exec = NULL;
1548                         break;
1549                 }
1550         }
1551
1552 While the naming seems strange, we include local constants in the
1553 definition of variables.  A name declared `var := value` can
1554 subsequently be changed, but a name declared `var ::= value` cannot -
1555 it is constant
1556
1557 ###### variable fields
1558         int constant;
1559
1560 Scopes in parallel branches can be partially merged.  More
1561 specifically, if a given name is declared in both branches of an
1562 if/else then its scope is a candidate for merging.  Similarly if
1563 every branch of an exhaustive switch (e.g. has an "else" clause)
1564 declares a given name, then the scopes from the branches are
1565 candidates for merging.
1566
1567 Note that names declared inside a loop (which is only parallel to
1568 itself) are never visible after the loop.  Similarly names defined in
1569 scopes which are not parallel, such as those started by `for` and
1570 `switch`, are never visible after the scope.  Only variables defined in
1571 both `then` and `else` (including the implicit then after an `if`, and
1572 excluding `then` used with `for`) and in all `case`s and `else` of a
1573 `switch` or `while` can be visible beyond the `if`/`switch`/`while`.
1574
1575 Labels, which are a bit like variables, follow different rules.
1576 Labels are not explicitly declared, but if an undeclared name appears
1577 in a context where a label is legal, that effectively declares the
1578 name as a label.  The declaration remains in force (or in scope) at
1579 least to the end of the immediately containing block and conditionally
1580 in any larger containing block which does not declare the name in some
1581 other way.  Importantly, the conditional scope extension happens even
1582 if the label is only used in one parallel branch of a conditional --
1583 when used in one branch it is treated as having been declared in all
1584 branches.
1585
1586 Merge candidates are tentatively visible beyond the end of the
1587 branching statement which creates them.  If the name is used, the
1588 merge is affirmed and they become a single variable visible at the
1589 outer layer.  If not - if it is redeclared first - the merge lapses.
1590
1591 To track scopes we have an extra stack, implemented as a linked list,
1592 which roughly parallels the parse stack and which is used exclusively
1593 for scoping.  When a new scope is opened, a new frame is pushed and
1594 the child-count of the parent frame is incremented.  This child-count
1595 is used to distinguish between the first of a set of parallel scopes,
1596 in which declared variables must not be in scope, and subsequent
1597 branches, whether they may already be conditionally scoped.
1598
1599 We need a total ordering of scopes so we can easily compare to variables
1600 to see if they are concurrently in scope.  To achieve this we record a
1601 `scope_count` which is actually a count of both beginnings and endings
1602 of scopes.  Then each variable has a record of the scope count where it
1603 enters scope, and where it leaves.
1604
1605 To push a new frame *before* any code in the frame is parsed, we need a
1606 grammar reduction.  This is most easily achieved with a grammar
1607 element which derives the empty string, and creates the new scope when
1608 it is recognised.  This can be placed, for example, between a keyword
1609 like "if" and the code following it.
1610
1611 ###### ast
1612         struct scope {
1613                 struct scope *parent;
1614                 int child_count;
1615         };
1616
1617 ###### parse context
1618         int scope_depth;
1619         int scope_count;
1620         struct scope *scope_stack;
1621
1622 ###### variable fields
1623         int scope_start, scope_end;
1624
1625 ###### ast functions
1626         static void scope_pop(struct parse_context *c)
1627         {
1628                 struct scope *s = c->scope_stack;
1629
1630                 c->scope_stack = s->parent;
1631                 free(s);
1632                 c->scope_depth -= 1;
1633                 c->scope_count += 1;
1634         }
1635
1636         static void scope_push(struct parse_context *c)
1637         {
1638                 struct scope *s = calloc(1, sizeof(*s));
1639                 if (c->scope_stack)
1640                         c->scope_stack->child_count += 1;
1641                 s->parent = c->scope_stack;
1642                 c->scope_stack = s;
1643                 c->scope_depth += 1;
1644                 c->scope_count += 1;
1645         }
1646
1647 ###### Grammar
1648
1649         $void
1650         OpenScope -> ${ scope_push(c); }$
1651
1652 Each variable records a scope depth and is in one of four states:
1653
1654 - "in scope".  This is the case between the declaration of the
1655   variable and the end of the containing block, and also between
1656   the usage with affirms a merge and the end of that block.
1657
1658   The scope depth is not greater than the current parse context scope
1659   nest depth.  When the block of that depth closes, the state will
1660   change.  To achieve this, all "in scope" variables are linked
1661   together as a stack in nesting order.
1662
1663 - "pending".  The "in scope" block has closed, but other parallel
1664   scopes are still being processed.  So far, every parallel block at
1665   the same level that has closed has declared the name.
1666
1667   The scope depth is the depth of the last parallel block that
1668   enclosed the declaration, and that has closed.
1669
1670 - "conditionally in scope".  The "in scope" block and all parallel
1671   scopes have closed, and no further mention of the name has been seen.
1672   This state includes a secondary nest depth (`min_depth`) which records
1673   the outermost scope seen since the variable became conditionally in
1674   scope.  If a use of the name is found, the variable becomes "in scope"
1675   and that secondary depth becomes the recorded scope depth.  If the
1676   name is declared as a new variable, the old variable becomes "out of
1677   scope" and the recorded scope depth stays unchanged.
1678
1679 - "out of scope".  The variable is neither in scope nor conditionally
1680   in scope.  It is permanently out of scope now and can be removed from
1681   the "in scope" stack.  When a variable becomes out-of-scope it is
1682   moved to a separate list (`out_scope`) of variables which have fully
1683   known scope.  This will be used at the end of each function to assign
1684   each variable a place in the stack frame.
1685
1686 ###### variable fields
1687         int depth, min_depth;
1688         enum { OutScope, PendingScope, CondScope, InScope } scope;
1689         struct variable *in_scope;
1690
1691 ###### parse context
1692
1693         struct variable *in_scope;
1694         struct variable *out_scope;
1695
1696 All variables with the same name are linked together using the
1697 'previous' link.  Those variable that have been affirmatively merged all
1698 have a 'merged' pointer that points to one primary variable - the most
1699 recently declared instance.  When merging variables, we need to also
1700 adjust the 'merged' pointer on any other variables that had previously
1701 been merged with the one that will no longer be primary.
1702
1703 A variable that is no longer the most recent instance of a name may
1704 still have "pending" scope, if it might still be merged with most
1705 recent instance.  These variables don't really belong in the
1706 "in_scope" list, but are not immediately removed when a new instance
1707 is found.  Instead, they are detected and ignored when considering the
1708 list of in_scope names.
1709
1710 The storage of the value of a variable will be described later.  For now
1711 we just need to know that when a variable goes out of scope, it might
1712 need to be freed.  For this we need to be able to find it, so assume that
1713 `var_value()` will provide that.
1714
1715 ###### variable fields
1716         struct variable *merged;
1717
1718 ###### ast functions
1719
1720         static void variable_merge(struct variable *primary, struct variable *secondary)
1721         {
1722                 struct variable *v;
1723
1724                 primary = primary->merged;
1725
1726                 for (v = primary->previous; v; v=v->previous)
1727                         if (v == secondary || v == secondary->merged ||
1728                             v->merged == secondary ||
1729                             v->merged == secondary->merged) {
1730                                 v->scope = OutScope;
1731                                 v->merged = primary;
1732                                 if (v->scope_start < primary->scope_start)
1733                                         primary->scope_start = v->scope_start;
1734                                 if (v->scope_end > primary->scope_end)
1735                                         primary->scope_end = v->scope_end;      // NOTEST
1736                                 variable_unlink_exec(v);
1737                         }
1738         }
1739
1740 ###### forward decls
1741         static struct value *var_value(struct parse_context *c, struct variable *v);
1742
1743 ###### free global vars
1744
1745         while (context.varlist) {
1746                 struct binding *b = context.varlist;
1747                 struct variable *v = b->var;
1748                 context.varlist = b->next;
1749                 free(b);
1750                 while (v) {
1751                         struct variable *next = v->previous;
1752
1753                         if (v->global && v->frame_pos >= 0) {
1754                                 free_value(v->type, var_value(&context, v));
1755                                 if (v->depth == 0 && v->type->free == function_free)
1756                                         // This is a function constant
1757                                         free_exec(v->where_decl);
1758                         }
1759                         free(v);
1760                         v = next;
1761                 }
1762         }
1763
1764 #### Manipulating Bindings
1765
1766 When a name is conditionally visible, a new declaration discards the old
1767 binding - the condition lapses.  Similarly when we reach the end of a
1768 function (outermost non-global scope) any conditional scope must lapse.
1769 Conversely a usage of the name affirms the visibility and extends it to
1770 the end of the containing block - i.e.  the block that contains both the
1771 original declaration and the latest usage.  This is determined from
1772 `min_depth`.  When a conditionally visible variable gets affirmed like
1773 this, it is also merged with other conditionally visible variables with
1774 the same name.
1775
1776 When we parse a variable declaration we either report an error if the
1777 name is currently bound, or create a new variable at the current nest
1778 depth if the name is unbound or bound to a conditionally scoped or
1779 pending-scope variable.  If the previous variable was conditionally
1780 scoped, it and its homonyms becomes out-of-scope.
1781
1782 When we parse a variable reference (including non-declarative assignment
1783 "foo = bar") we report an error if the name is not bound or is bound to
1784 a pending-scope variable; update the scope if the name is bound to a
1785 conditionally scoped variable; or just proceed normally if the named
1786 variable is in scope.
1787
1788 When we exit a scope, any variables bound at this level are either
1789 marked out of scope or pending-scoped, depending on whether the scope
1790 was sequential or parallel.  Here a "parallel" scope means the "then"
1791 or "else" part of a conditional, or any "case" or "else" branch of a
1792 switch.  Other scopes are "sequential".
1793
1794 When exiting a parallel scope we check if there are any variables that
1795 were previously pending and are still visible. If there are, then
1796 they weren't redeclared in the most recent scope, so they cannot be
1797 merged and must become out-of-scope.  If it is not the first of
1798 parallel scopes (based on `child_count`), we check that there was a
1799 previous binding that is still pending-scope.  If there isn't, the new
1800 variable must now be out-of-scope.
1801
1802 When exiting a sequential scope that immediately enclosed parallel
1803 scopes, we need to resolve any pending-scope variables.  If there was
1804 no `else` clause, and we cannot determine that the `switch` was exhaustive,
1805 we need to mark all pending-scope variable as out-of-scope.  Otherwise
1806 all pending-scope variables become conditionally scoped.
1807
1808 ###### ast
1809         enum closetype { CloseSequential, CloseFunction, CloseParallel, CloseElse };
1810
1811 ###### ast functions
1812
1813         static struct variable *var_decl(struct parse_context *c, struct text s)
1814         {
1815                 struct binding *b = find_binding(c, s);
1816                 struct variable *v = b->var;
1817
1818                 switch (v ? v->scope : OutScope) {
1819                 case InScope:
1820                         /* Caller will report the error */
1821                         return NULL;
1822                 case CondScope:
1823                         for (;
1824                              v && v->scope == CondScope;
1825                              v = v->previous)
1826                                 v->scope = OutScope;
1827                         break;
1828                 default: break;
1829                 }
1830                 v = calloc(1, sizeof(*v));
1831                 v->previous = b->var;
1832                 b->var = v;
1833                 v->name = b;
1834                 v->merged = v;
1835                 v->min_depth = v->depth = c->scope_depth;
1836                 v->scope = InScope;
1837                 v->in_scope = c->in_scope;
1838                 v->scope_start = c->scope_count;
1839                 c->in_scope = v;
1840                 ## variable init
1841                 return v;
1842         }
1843
1844         static struct variable *var_ref(struct parse_context *c, struct text s)
1845         {
1846                 struct binding *b = find_binding(c, s);
1847                 struct variable *v = b->var;
1848                 struct variable *v2;
1849
1850                 switch (v ? v->scope : OutScope) {
1851                 case OutScope:
1852                 case PendingScope:
1853                         /* Caller will report the error */
1854                         return NULL;
1855                 case CondScope:
1856                         /* All CondScope variables of this name need to be merged
1857                          * and become InScope
1858                          */
1859                         v->depth = v->min_depth;
1860                         v->scope = InScope;
1861                         for (v2 = v->previous;
1862                              v2 && v2->scope == CondScope;
1863                              v2 = v2->previous)
1864                                 variable_merge(v, v2);
1865                         break;
1866                 case InScope:
1867                         break;
1868                 }
1869                 return v;
1870         }
1871
1872         static int var_refile(struct parse_context *c, struct variable *v)
1873         {
1874                 /* Variable just went out of scope.  Add it to the out_scope
1875                  * list, sorted by ->scope_start
1876                  */
1877                 struct variable **vp = &c->out_scope;
1878                 while ((*vp) && (*vp)->scope_start < v->scope_start)
1879                         vp = &(*vp)->in_scope;
1880                 v->in_scope = *vp;
1881                 *vp = v;
1882                 return 0;
1883         }
1884
1885         static void var_block_close(struct parse_context *c, enum closetype ct,
1886                                     struct exec *e)
1887         {
1888                 /* Close off all variables that are in_scope.
1889                  * Some variables in c->scope may already be not-in-scope,
1890                  * such as when a PendingScope variable is hidden by a new
1891                  * variable with the same name.
1892                  * So we check for v->name->var != v and drop them.
1893                  * If we choose to make a variable OutScope, we drop it
1894                  * immediately too.
1895                  */
1896                 struct variable *v, **vp, *v2;
1897
1898                 scope_pop(c);
1899                 for (vp = &c->in_scope;
1900                      (v = *vp) && v->min_depth > c->scope_depth;
1901                      (v->scope == OutScope || v->name->var != v)
1902                      ? (*vp =  v->in_scope, var_refile(c, v))
1903                      : ( vp = &v->in_scope, 0)) {
1904                         v->min_depth = c->scope_depth;
1905                         if (v->name->var != v)
1906                                 /* This is still in scope, but we haven't just
1907                                  * closed the scope.
1908                                  */
1909                                 continue;
1910                         v->min_depth = c->scope_depth;
1911                         if (v->scope == InScope)
1912                                 v->scope_end = c->scope_count;
1913                         if (v->scope == InScope && e && !v->global) {
1914                                 /* This variable gets cleaned up when 'e' finishes */
1915                                 variable_unlink_exec(v);
1916                                 v->cleanup_exec = e;
1917                                 v->next_free = e->to_free;
1918                                 e->to_free = v;
1919                         }
1920                         switch (ct) {
1921                         case CloseElse:
1922                         case CloseParallel: /* handle PendingScope */
1923                                 switch(v->scope) {
1924                                 case InScope:
1925                                 case CondScope:
1926                                         if (c->scope_stack->child_count == 1)
1927                                                 /* first among parallel branches */
1928                                                 v->scope = PendingScope;
1929                                         else if (v->previous &&
1930                                                  v->previous->scope == PendingScope)
1931                                                 /* all previous branches used name */
1932                                                 v->scope = PendingScope;
1933                                         else
1934                                                 v->scope = OutScope;
1935                                         if (ct == CloseElse) {
1936                                                 /* All Pending variables with this name
1937                                                  * are now Conditional */
1938                                                 for (v2 = v;
1939                                                      v2 && v2->scope == PendingScope;
1940                                                      v2 = v2->previous)
1941                                                         v2->scope = CondScope;
1942                                         }
1943                                         break;
1944                                 case PendingScope:
1945                                         /* Not possible as it would require
1946                                          * parallel scope to be nested immediately
1947                                          * in a parallel scope, and that never
1948                                          * happens.
1949                                          */                     // NOTEST
1950                                 case OutScope:
1951                                         /* Not possible as we already tested for
1952                                          * OutScope
1953                                          */
1954                                         abort();                // NOTEST
1955                                 }
1956                                 break;
1957                         case CloseFunction:
1958                                 if (v->scope == CondScope)
1959                                         /* Condition cannot continue past end of function */
1960                                         v->scope = InScope;
1961                                 /* fallthrough */
1962                         case CloseSequential:
1963                                 switch (v->scope) {
1964                                 case InScope:
1965                                         v->scope = OutScope;
1966                                         break;
1967                                 case PendingScope:
1968                                         /* There was no 'else', so we can only become
1969                                          * conditional if we know the cases were exhaustive,
1970                                          * and that doesn't mean anything yet.
1971                                          * So only labels become conditional..
1972                                          */
1973                                         for (v2 = v;
1974                                              v2 && v2->scope == PendingScope;
1975                                              v2 = v2->previous)
1976                                                 v2->scope = OutScope;
1977                                         break;
1978                                 case CondScope:
1979                                 case OutScope: break;
1980                                 }
1981                                 break;
1982                         }
1983                 }
1984         }
1985
1986 #### Storing Values
1987
1988 The value of a variable is store separately from the variable, on an
1989 analogue of a stack frame.  There are (currently) two frames that can be
1990 active.  A global frame which currently only stores constants, and a
1991 stacked frame which stores local variables.  Each variable knows if it
1992 is global or not, and what its index into the frame is.
1993
1994 Values in the global frame are known immediately they are relevant, so
1995 the frame needs to be reallocated as it grows so it can store those
1996 values.  The local frame doesn't get values until the interpreted phase
1997 is started, so there is no need to allocate until the size is known.
1998
1999 We initialize the `frame_pos` to an impossible value, so that we can
2000 tell if it was set or not later.
2001
2002 ###### variable fields
2003         short frame_pos;
2004         short global;
2005
2006 ###### variable init
2007         v->frame_pos = -1;
2008
2009 ###### parse context
2010
2011         short global_size, global_alloc;
2012         short local_size;
2013         void *global, *local;
2014
2015 ###### forward decls
2016         static struct value *global_alloc(struct parse_context *c, struct type *t,
2017                                           struct variable *v, struct value *init);
2018
2019 ###### ast functions
2020
2021         static struct value *var_value(struct parse_context *c, struct variable *v)
2022         {
2023                 if (!v->global) {
2024                         if (!c->local || !v->type)
2025                                 return NULL;    // UNTESTED
2026                         if (v->frame_pos + v->type->size > c->local_size) {
2027                                 printf("INVALID frame_pos\n");  // NOTEST
2028                                 exit(2);                        // NOTEST
2029                         }
2030                         return c->local + v->frame_pos;
2031                 }
2032                 if (c->global_size > c->global_alloc) {
2033                         int old = c->global_alloc;
2034                         c->global_alloc = (c->global_size | 1023) + 1024;
2035                         c->global = realloc(c->global, c->global_alloc);
2036                         memset(c->global + old, 0, c->global_alloc - old);
2037                 }
2038                 return c->global + v->frame_pos;
2039         }
2040
2041         static struct value *global_alloc(struct parse_context *c, struct type *t,
2042                                           struct variable *v, struct value *init)
2043         {
2044                 struct value *ret;
2045                 struct variable scratch;
2046
2047                 if (t->prepare_type)
2048                         t->prepare_type(c, t, 1);       // NOTEST
2049
2050                 if (c->global_size & (t->align - 1))
2051                         c->global_size = (c->global_size + t->align) & ~(t->align-1);   // NOTEST
2052                 if (!v) {
2053                         v = &scratch;
2054                         v->type = t;
2055                 }
2056                 v->frame_pos = c->global_size;
2057                 v->global = 1;
2058                 c->global_size += v->type->size;
2059                 ret = var_value(c, v);
2060                 if (init)
2061                         memcpy(ret, init, t->size);
2062                 else
2063                         val_init(t, ret);       // NOTEST
2064                 return ret;
2065         }
2066
2067 As global values are found -- struct field initializers, labels etc --
2068 `global_alloc()` is called to record the value in the global frame.
2069
2070 When the program is fully parsed, each function is analysed, we need to
2071 walk the list of variables local to that function and assign them an
2072 offset in the stack frame.  For this we have `scope_finalize()`.
2073
2074 We keep the stack from dense by re-using space for between variables
2075 that are not in scope at the same time.  The `out_scope` list is sorted
2076 by `scope_start` and as we process a varible, we move it to an FIFO
2077 stack.  For each variable we consider, we first discard any from the
2078 stack anything that went out of scope before the new variable came in.
2079 Then we place the new variable just after the one at the top of the
2080 stack.
2081
2082 ###### ast functions
2083
2084         static void scope_finalize(struct parse_context *c, struct type *ft)
2085         {
2086                 int size = ft->function.local_size;
2087                 struct variable *next = ft->function.scope;
2088                 struct variable *done = NULL;
2089
2090                 while (next) {
2091                         struct variable *v = next;
2092                         struct type *t = v->type;
2093                         int pos;
2094                         next = v->in_scope;
2095                         if (v->merged != v)
2096                                 continue;
2097                         if (!t)
2098                                 continue;
2099                         if (v->frame_pos >= 0)
2100                                 continue;
2101                         while (done && done->scope_end < v->scope_start)
2102                                 done = done->in_scope;
2103                         if (done)
2104                                 pos = done->frame_pos + done->type->size;
2105                         else
2106                                 pos = ft->function.local_size;
2107                         if (pos & (t->align - 1))
2108                                 pos = (pos + t->align) & ~(t->align-1);
2109                         v->frame_pos = pos;
2110                         if (size < pos + v->type->size)
2111                                 size = pos + v->type->size;
2112                         v->in_scope = done;
2113                         done = v;
2114                 }
2115                 c->out_scope = NULL;
2116                 ft->function.local_size = size;
2117         }
2118
2119 ###### free context storage
2120         free(context.global);
2121
2122 #### Variables as executables
2123
2124 Just as we used a `val` to wrap a value into an `exec`, we similarly
2125 need a `var` to wrap a `variable` into an exec.  While each `val`
2126 contained a copy of the value, each `var` holds a link to the variable
2127 because it really is the same variable no matter where it appears.
2128 When a variable is used, we need to remember to follow the `->merged`
2129 link to find the primary instance.
2130
2131 When a variable is declared, it may or may not be given an explicit
2132 type.  We need to record which so that we can report the parsed code
2133 correctly.
2134
2135 ###### exec type
2136         Xvar,
2137
2138 ###### ast
2139         struct var {
2140                 struct exec;
2141                 struct variable *var;
2142         };
2143
2144 ###### variable fields
2145         int explicit_type;
2146
2147 ###### Grammar
2148
2149         $TERM : ::
2150
2151         $*var
2152         VariableDecl -> IDENTIFIER : ${ {
2153                 struct variable *v = var_decl(c, $1.txt);
2154                 $0 = new_pos(var, $1);
2155                 $0->var = v;
2156                 if (v)
2157                         v->where_decl = $0;
2158                 else {
2159                         v = var_ref(c, $1.txt);
2160                         $0->var = v;
2161                         type_err(c, "error: variable '%v' redeclared",
2162                                  $0, NULL, 0, NULL);
2163                         type_err(c, "info: this is where '%v' was first declared",
2164                                  v->where_decl, NULL, 0, NULL);
2165                 }
2166         } }$
2167         | IDENTIFIER :: ${ {
2168                 struct variable *v = var_decl(c, $1.txt);
2169                 $0 = new_pos(var, $1);
2170                 $0->var = v;
2171                 if (v) {
2172                         v->where_decl = $0;
2173                         v->constant = 1;
2174                 } else {
2175                         v = var_ref(c, $1.txt);
2176                         $0->var = v;
2177                         type_err(c, "error: variable '%v' redeclared",
2178                                  $0, NULL, 0, NULL);
2179                         type_err(c, "info: this is where '%v' was first declared",
2180                                  v->where_decl, NULL, 0, NULL);
2181                 }
2182         } }$
2183         | IDENTIFIER : Type ${ {
2184                 struct variable *v = var_decl(c, $1.txt);
2185                 $0 = new_pos(var, $1);
2186                 $0->var = v;
2187                 if (v) {
2188                         v->where_decl = $0;
2189                         v->where_set = $0;
2190                         v->type = $<Type;
2191                         v->explicit_type = 1;
2192                 } else {
2193                         v = var_ref(c, $1.txt);
2194                         $0->var = v;
2195                         type_err(c, "error: variable '%v' redeclared",
2196                                  $0, NULL, 0, NULL);
2197                         type_err(c, "info: this is where '%v' was first declared",
2198                                  v->where_decl, NULL, 0, NULL);
2199                 }
2200         } }$
2201         | IDENTIFIER :: Type ${ {
2202                 struct variable *v = var_decl(c, $1.txt);
2203                 $0 = new_pos(var, $1);
2204                 $0->var = v;
2205                 if (v) {
2206                         v->where_decl = $0;
2207                         v->where_set = $0;
2208                         v->type = $<Type;
2209                         v->constant = 1;
2210                         v->explicit_type = 1;
2211                 } else {
2212                         v = var_ref(c, $1.txt);
2213                         $0->var = v;
2214                         type_err(c, "error: variable '%v' redeclared",
2215                                  $0, NULL, 0, NULL);
2216                         type_err(c, "info: this is where '%v' was first declared",
2217                                  v->where_decl, NULL, 0, NULL);
2218                 }
2219         } }$
2220
2221         $*exec
2222         Variable -> IDENTIFIER ${ {
2223                 struct variable *v = var_ref(c, $1.txt);
2224                 $0 = new_pos(var, $1);
2225                 if (v == NULL) {
2226                         /* This might be a global const or a label
2227                          * Allocate a var with impossible type Tnone,
2228                          * which will be adjusted when we find out what it is,
2229                          * or will trigger an error.
2230                          */
2231                         v = var_decl(c, $1.txt);
2232                         if (v) {
2233                                 v->type = Tnone;
2234                                 v->where_decl = $0;
2235                                 v->where_set = $0;
2236                         }
2237                 }
2238                 cast(var, $0)->var = v;
2239         } }$
2240
2241 ###### print exec cases
2242         case Xvar:
2243         {
2244                 struct var *v = cast(var, e);
2245                 if (v->var) {
2246                         struct binding *b = v->var->name;
2247                         printf("%.*s", b->name.len, b->name.txt);
2248                 }
2249                 break;
2250         }
2251
2252 ###### format cases
2253         case 'v':
2254                 if (loc && loc->type == Xvar) {
2255                         struct var *v = cast(var, loc);
2256                         if (v->var) {
2257                                 struct binding *b = v->var->name;
2258                                 fprintf(stderr, "%.*s", b->name.len, b->name.txt);
2259                         } else
2260                                 fputs("???", stderr);   // NOTEST
2261                 } else
2262                         fputs("NOTVAR", stderr);        // NOTEST
2263                 break;
2264
2265 ###### propagate exec cases
2266
2267         case Xvar:
2268         {
2269                 struct var *var = cast(var, prog);
2270                 struct variable *v = var->var;
2271                 if (!v) {
2272                         type_err(c, "%d:BUG: no variable!!", prog, NULL, 0, NULL); // NOTEST
2273                         return Tnone;                                   // NOTEST
2274                 }
2275                 v = v->merged;
2276                 if (v->type == Tnone && v->where_decl == prog)
2277                         type_err(c, "error: variable used but not declared: %v",
2278                                  prog, NULL, 0, NULL);
2279                 if (v->type == NULL) {
2280                         if (type && !(*perr & Efail)) {
2281                                 v->type = type;
2282                                 v->where_set = prog;
2283                                 *perr |= Eretry;
2284                         }
2285                 } else if (!type_compat(type, v->type, rules)) {
2286                         type_err(c, "error: expected %1 but variable '%v' is %2", prog,
2287                                  type, rules, v->type);
2288                         type_err(c, "info: this is where '%v' was set to %1", v->where_set,
2289                                  v->type, rules, NULL);
2290                 }
2291                 if (!v->global || v->frame_pos < 0)
2292                         *perr |= Eruntime;
2293                 if (v->constant)
2294                         *perr |= Econst;
2295                 if (!type)
2296                         return v->type;
2297                 return type;
2298         }
2299
2300 ###### interp exec cases
2301         case Xvar:
2302         {
2303                 struct var *var = cast(var, e);
2304                 struct variable *v = var->var;
2305
2306                 v = v->merged;
2307                 lrv = var_value(c, v);
2308                 rvtype = v->type;
2309                 break;
2310         }
2311
2312 ###### ast functions
2313
2314         static void free_var(struct var *v)
2315         {
2316                 free(v);
2317         }
2318
2319 ###### free exec cases
2320         case Xvar: free_var(cast(var, e)); break;
2321
2322
2323 ### Complex types
2324
2325 Now that we have the shape of the interpreter in place we can add some
2326 complex types and connected them in to the data structures and the
2327 different phases of parse, analyse, print, interpret.
2328
2329 Being "complex" the language will naturally have syntax to access
2330 specifics of objects of these types.  These will fit into the grammar as
2331 "Terms" which are the things that are combined with various operators to
2332 form "Expression".  Where a Term is formed by some operation on another
2333 Term, the subordinate Term will always come first, so for example a
2334 member of an array will be expressed as the Term for the array followed
2335 by an index in square brackets.  The strict rule of using postfix
2336 operations makes precedence irrelevant within terms.  To provide a place
2337 to put the grammar for each terms of each type, we will start out by
2338 introducing the "Term" grammar production, with contains at least a
2339 simple "Value" (to be explained later).
2340
2341 ###### Grammar
2342         $*exec
2343         Term ->  Value ${ $0 = $<1; }$
2344         | Variable ${ $0 = $<1; }$
2345         ## term grammar
2346
2347 Thus far the complex types we have are arrays and structs.
2348
2349 #### Arrays
2350
2351 Arrays can be declared by giving a size and a type, as `[size]type' so
2352 `freq:[26]number` declares `freq` to be an array of 26 numbers.  The
2353 size can be either a literal number, or a named constant.  Some day an
2354 arbitrary expression will be supported.
2355
2356 As a formal parameter to a function, the array can be declared with a
2357 new variable as the size: `name:[size::number]string`.  The `size`
2358 variable is set to the size of the array and must be a constant.  As
2359 `number` is the only supported type, it can be left out:
2360 `name:[size::]string`.
2361
2362 Arrays cannot be assigned.  When pointers are introduced we will also
2363 introduce array slices which can refer to part or all of an array -
2364 the assignment syntax will create a slice.  For now, an array can only
2365 ever be referenced by the name it is declared with.  It is likely that
2366 a "`copy`" primitive will eventually be define which can be used to
2367 make a copy of an array with controllable recursive depth.
2368
2369 For now we have two sorts of array, those with fixed size either because
2370 it is given as a literal number or because it is a struct member (which
2371 cannot have a runtime-changing size), and those with a size that is
2372 determined at runtime - local variables with a const size.  The former
2373 have their size calculated at parse time, the latter at run time.
2374
2375 For the latter type, the `size` field of the type is the size of a
2376 pointer, and the array is reallocated every time it comes into scope.
2377
2378 We differentiate struct fields with a const size from local variables
2379 with a const size by whether they are prepared at parse time or not.
2380
2381 ###### type union fields
2382
2383         struct {
2384                 int unspec;     // size is unspecified - vsize must be set.
2385                 short size;
2386                 short static_size;
2387                 struct variable *vsize;
2388                 struct type *member;
2389         } array;
2390
2391 ###### value union fields
2392         void *array;  // used if not static_size
2393
2394 ###### value functions
2395
2396         static int array_prepare_type(struct parse_context *c, struct type *type,
2397                                        int parse_time)
2398         {
2399                 struct value *vsize;
2400                 mpz_t q;
2401                 if (type->array.static_size)
2402                         return 1;       // UNTESTED
2403                 if (type->array.unspec && parse_time)
2404                         return 1;       // UNTESTED
2405                 if (parse_time && type->array.vsize && !type->array.vsize->global)
2406                         return 1;       // UNTESTED
2407
2408                 if (type->array.vsize) {
2409                         vsize = var_value(c, type->array.vsize);
2410                         if (!vsize)
2411                                 return 1;       // UNTESTED
2412                         mpz_init(q);
2413                         mpz_tdiv_q(q, mpq_numref(vsize->num), mpq_denref(vsize->num));
2414                         type->array.size = mpz_get_si(q);
2415                         mpz_clear(q);
2416                 }
2417                 if (!parse_time)
2418                         return 1;
2419                 if (type->array.member->size <= 0)
2420                         return 0;       // UNTESTED
2421
2422                 type->array.static_size = 1;
2423                 type->size = type->array.size * type->array.member->size;
2424                 type->align = type->array.member->align;
2425
2426                 return 1;
2427         }
2428
2429         static void array_init(struct type *type, struct value *val)
2430         {
2431                 int i;
2432                 void *ptr = val->ptr;
2433
2434                 if (!val)
2435                         return;                         // NOTEST
2436                 if (!type->array.static_size) {
2437                         val->array = calloc(type->array.size,
2438                                             type->array.member->size);
2439                         ptr = val->array;
2440                 }
2441                 for (i = 0; i < type->array.size; i++) {
2442                         struct value *v;
2443                         v = (void*)ptr + i * type->array.member->size;
2444                         val_init(type->array.member, v);
2445                 }
2446         }
2447
2448         static void array_free(struct type *type, struct value *val)
2449         {
2450                 int i;
2451                 void *ptr = val->ptr;
2452
2453                 if (!type->array.static_size)
2454                         ptr = val->array;
2455                 for (i = 0; i < type->array.size; i++) {
2456                         struct value *v;
2457                         v = (void*)ptr + i * type->array.member->size;
2458                         free_value(type->array.member, v);
2459                 }
2460                 if (!type->array.static_size)
2461                         free(ptr);
2462         }
2463
2464         static int array_compat(struct type *require, struct type *have)
2465         {
2466                 if (have->compat != require->compat)
2467                         return 0;
2468                 /* Both are arrays, so we can look at details */
2469                 if (!type_compat(require->array.member, have->array.member, 0))
2470                         return 0;
2471                 if (have->array.unspec && require->array.unspec) {
2472                         if (have->array.vsize && require->array.vsize &&
2473                             have->array.vsize != require->array.vsize)  // UNTESTED
2474                                 /* sizes might not be the same */
2475                                 return 0;       // UNTESTED
2476                         return 1;
2477                 }
2478                 if (have->array.unspec || require->array.unspec)
2479                         return 1;       // UNTESTED
2480                 if (require->array.vsize == NULL && have->array.vsize == NULL)
2481                         return require->array.size == have->array.size;
2482
2483                 return require->array.vsize == have->array.vsize;       // UNTESTED
2484         }
2485
2486         static void array_print_type(struct type *type, FILE *f)
2487         {
2488                 fputs("[", f);
2489                 if (type->array.vsize) {
2490                         struct binding *b = type->array.vsize->name;
2491                         fprintf(f, "%.*s%s]", b->name.len, b->name.txt,
2492                                 type->array.unspec ? "::" : "");
2493                 } else if (type->array.size)
2494                         fprintf(f, "%d]", type->array.size);
2495                 else
2496                         fprintf(f, "]");
2497                 type_print(type->array.member, f);
2498         }
2499
2500         static struct type array_prototype = {
2501                 .init = array_init,
2502                 .prepare_type = array_prepare_type,
2503                 .print_type = array_print_type,
2504                 .compat = array_compat,
2505                 .free = array_free,
2506                 .size = sizeof(void*),
2507                 .align = sizeof(void*),
2508         };
2509
2510 ###### declare terminals
2511         $TERM [ ]
2512
2513 ###### type grammar
2514
2515         | [ NUMBER ] Type ${ {
2516                 char tail[3];
2517                 mpq_t num;
2518                 struct type *t;
2519                 int elements = 0;
2520
2521                 if (number_parse(num, tail, $2.txt) == 0)
2522                         tok_err(c, "error: unrecognised number", &$2);
2523                 else if (tail[0]) {
2524                         tok_err(c, "error: unsupported number suffix", &$2);
2525                         mpq_clear(num);
2526                 } else {
2527                         elements = mpz_get_ui(mpq_numref(num));
2528                         if (mpz_cmp_ui(mpq_denref(num), 1) != 0) {
2529                                 tok_err(c, "error: array size must be an integer",
2530                                         &$2);
2531                         } else if (mpz_cmp_ui(mpq_numref(num), 1UL << 30) >= 0)
2532                                 tok_err(c, "error: array size is too large",
2533                                         &$2);
2534                         mpq_clear(num);
2535                 }
2536
2537                 $0 = t = add_anon_type(c, &array_prototype, "array[%d]", elements );
2538                 t->array.size = elements;
2539                 t->array.member = $<4;
2540                 t->array.vsize = NULL;
2541         } }$
2542
2543         | [ IDENTIFIER ] Type ${ {
2544                 struct variable *v = var_ref(c, $2.txt);
2545
2546                 if (!v)
2547                         tok_err(c, "error: name undeclared", &$2);
2548                 else if (!v->constant)
2549                         tok_err(c, "error: array size must be a constant", &$2);
2550
2551                 $0 = add_anon_type(c, &array_prototype, "array[%.*s]", $2.txt.len, $2.txt.txt);
2552                 $0->array.member = $<4;
2553                 $0->array.size = 0;
2554                 $0->array.vsize = v;
2555         } }$
2556
2557 ###### Grammar
2558         $*type
2559         OptType -> Type ${ $0 = $<1; }$
2560                 | ${ $0 = NULL; }$
2561
2562 ###### formal type grammar
2563
2564         | [ IDENTIFIER :: OptType ] Type ${ {
2565                 struct variable *v = var_decl(c, $ID.txt);
2566
2567                 v->type = $<OT;
2568                 v->constant = 1;
2569                 if (!v->type)
2570                         v->type = Tnum;
2571                 $0 = add_anon_type(c, &array_prototype, "array[var]");
2572                 $0->array.member = $<6;
2573                 $0->array.size = 0;
2574                 $0->array.unspec = 1;
2575                 $0->array.vsize = v;
2576         } }$
2577
2578 ###### Binode types
2579         Index,
2580
2581 ###### term grammar
2582
2583         | Term [ Expression ] ${ {
2584                 struct binode *b = new(binode);
2585                 b->op = Index;
2586                 b->left = $<1;
2587                 b->right = $<3;
2588                 $0 = b;
2589         } }$
2590
2591 ###### print binode cases
2592         case Index:
2593                 print_exec(b->left, -1, bracket);
2594                 printf("[");
2595                 print_exec(b->right, -1, bracket);
2596                 printf("]");
2597                 break;
2598
2599 ###### propagate binode cases
2600         case Index:
2601                 /* left must be an array, right must be a number,
2602                  * result is the member type of the array
2603                  */
2604                 propagate_types(b->right, c, perr_local, Tnum, 0);
2605                 t = propagate_types(b->left, c, perr, NULL, 0);
2606                 if (!t || t->compat != array_compat) {
2607                         type_err(c, "error: %1 cannot be indexed", prog, t, 0, NULL);
2608                         return NULL;
2609                 } else {
2610                         if (!type_compat(type, t->array.member, rules)) {
2611                                 type_err(c, "error: have %1 but need %2", prog,
2612                                          t->array.member, rules, type);
2613                         }
2614                         return t->array.member;
2615                 }
2616                 break;
2617
2618 ###### interp binode cases
2619         case Index: {
2620                 mpz_t q;
2621                 long i;
2622                 void *ptr;
2623
2624                 lleft = linterp_exec(c, b->left, &ltype);
2625                 right = interp_exec(c, b->right, &rtype);
2626                 mpz_init(q);
2627                 mpz_tdiv_q(q, mpq_numref(right.num), mpq_denref(right.num));
2628                 i = mpz_get_si(q);
2629                 mpz_clear(q);
2630
2631                 if (ltype->array.static_size)
2632                         ptr = lleft;
2633                 else
2634                         ptr = *(void**)lleft;
2635                 rvtype = ltype->array.member;
2636                 if (i >= 0 && i < ltype->array.size)
2637                         lrv = ptr + i * rvtype->size;
2638                 else
2639                         val_init(ltype->array.member, &rv); // UNSAFE
2640                 ltype = NULL;
2641                 break;
2642         }
2643
2644 #### Structs
2645
2646 A `struct` is a data-type that contains one or more other data-types.
2647 It differs from an array in that each member can be of a different
2648 type, and they are accessed by name rather than by number.  Thus you
2649 cannot choose an element by calculation, you need to know what you
2650 want up-front.
2651
2652 The language makes no promises about how a given structure will be
2653 stored in memory - it is free to rearrange fields to suit whatever
2654 criteria seems important.
2655
2656 Structs are declared separately from program code - they cannot be
2657 declared in-line in a variable declaration like arrays can.  A struct
2658 is given a name and this name is used to identify the type - the name
2659 is not prefixed by the word `struct` as it would be in C.
2660
2661 Structs are only treated as the same if they have the same name.
2662 Simply having the same fields in the same order is not enough.  This
2663 might change once we can create structure initializers from a list of
2664 values.
2665
2666 Each component datum is identified much like a variable is declared,
2667 with a name, one or two colons, and a type.  The type cannot be omitted
2668 as there is no opportunity to deduce the type from usage.  An initial
2669 value can be given following an equals sign, so
2670
2671 ##### Example: a struct type
2672
2673         struct complex:
2674                 x:number = 0
2675                 y:number = 0
2676
2677 would declare a type called "complex" which has two number fields,
2678 each initialised to zero.
2679
2680 Struct will need to be declared separately from the code that uses
2681 them, so we will need to be able to print out the declaration of a
2682 struct when reprinting the whole program.  So a `print_type_decl` type
2683 function will be needed.
2684
2685 ###### type union fields
2686
2687         struct {
2688                 int nfields;
2689                 struct field {
2690                         struct text name;
2691                         struct type *type;
2692                         struct value *init;
2693                         int offset;
2694                 } *fields; // This is created when field_list is analysed.
2695                 struct fieldlist {
2696                         struct fieldlist *prev;
2697                         struct field f;
2698                         struct exec *init;
2699                 } *field_list; // This is created during parsing
2700         } structure;
2701
2702 ###### type functions
2703         void (*print_type_decl)(struct type *type, FILE *f);
2704         struct type *(*fieldref)(struct type *t, struct parse_context *c,
2705                                  struct fieldref *f, struct value **vp);
2706
2707 ###### value functions
2708
2709         static void structure_init(struct type *type, struct value *val)
2710         {
2711                 int i;
2712
2713                 for (i = 0; i < type->structure.nfields; i++) {
2714                         struct value *v;
2715                         v = (void*) val->ptr + type->structure.fields[i].offset;
2716                         if (type->structure.fields[i].init)
2717                                 dup_value(type->structure.fields[i].type,
2718                                           type->structure.fields[i].init,
2719                                           v);
2720                         else
2721                                 val_init(type->structure.fields[i].type, v);
2722                 }
2723         }
2724
2725         static void structure_free(struct type *type, struct value *val)
2726         {
2727                 int i;
2728
2729                 for (i = 0; i < type->structure.nfields; i++) {
2730                         struct value *v;
2731                         v = (void*)val->ptr + type->structure.fields[i].offset;
2732                         free_value(type->structure.fields[i].type, v);
2733                 }
2734         }
2735
2736         static void free_fieldlist(struct fieldlist *f)
2737         {
2738                 if (!f)
2739                         return;
2740                 free_fieldlist(f->prev);
2741                 free_exec(f->init);
2742                 free(f);
2743         }
2744
2745         static void structure_free_type(struct type *t)
2746         {
2747                 int i;
2748                 for (i = 0; i < t->structure.nfields; i++)
2749                         if (t->structure.fields[i].init) {
2750                                 free_value(t->structure.fields[i].type,
2751                                            t->structure.fields[i].init);
2752                         }
2753                 free(t->structure.fields);
2754                 free_fieldlist(t->structure.field_list);
2755         }
2756
2757         static int structure_prepare_type(struct parse_context *c,
2758                                           struct type *t, int parse_time)
2759         {
2760                 int cnt = 0;
2761                 struct fieldlist *f;
2762
2763                 if (!parse_time || t->structure.fields)
2764                         return 1;
2765
2766                 for (f = t->structure.field_list; f; f=f->prev) {
2767                         enum prop_err perr;
2768                         cnt += 1;
2769
2770                         if (f->f.type->size <= 0)
2771                                 return 0;
2772                         if (f->f.type->prepare_type)
2773                                 f->f.type->prepare_type(c, f->f.type, parse_time);
2774
2775                         if (f->init == NULL)
2776                                 continue;
2777                         do {
2778                                 perr = 0;
2779                                 propagate_types(f->init, c, &perr, f->f.type, 0);
2780                         } while (perr & Eretry);
2781                         if (perr & Efail)
2782                                 c->parse_error += 1;    // NOTEST
2783                 }
2784
2785                 t->structure.nfields = cnt;
2786                 t->structure.fields = calloc(cnt, sizeof(struct field));
2787                 f = t->structure.field_list;
2788                 while (cnt > 0) {
2789                         int a = f->f.type->align;
2790                         cnt -= 1;
2791                         t->structure.fields[cnt] = f->f;
2792                         if (t->size & (a-1))
2793                                 t->size = (t->size | (a-1)) + 1;
2794                         t->structure.fields[cnt].offset = t->size;
2795                         t->size += ((f->f.type->size - 1) | (a-1)) + 1;
2796                         if (a > t->align)
2797                                 t->align = a;
2798
2799                         if (f->init && !c->parse_error) {
2800                                 struct value vl = interp_exec(c, f->init, NULL);
2801                                 t->structure.fields[cnt].init =
2802                                         global_alloc(c, f->f.type, NULL, &vl);
2803                         }
2804
2805                         f = f->prev;
2806                 }
2807                 return 1;
2808         }
2809
2810         static int find_struct_index(struct type *type, struct text field)
2811         {
2812                 int i;
2813                 for (i = 0; i < type->structure.nfields; i++)
2814                         if (text_cmp(type->structure.fields[i].name, field) == 0)
2815                                 return i;
2816                 return IndexInvalid;
2817         }
2818
2819         static struct type *structure_fieldref(struct type *t, struct parse_context *c,
2820                                                struct fieldref *f, struct value **vp)
2821         {
2822                 if (f->index == IndexUnknown) {
2823                         f->index = find_struct_index(t, f->name);
2824                         if (f->index < 0)
2825                                 type_err(c, "error: cannot find requested field in %1",
2826                                          f->left, t, 0, NULL);
2827                 }
2828                 if (f->index < 0)
2829                         return NULL;
2830                 if (vp) {
2831                         struct value *v = *vp;
2832                         v = (void*)v->ptr + t->structure.fields[f->index].offset;
2833                         *vp = v;
2834                 }
2835                 return t->structure.fields[f->index].type;
2836         }
2837
2838         static struct type structure_prototype = {
2839                 .init = structure_init,
2840                 .free = structure_free,
2841                 .free_type = structure_free_type,
2842                 .print_type_decl = structure_print_type,
2843                 .prepare_type = structure_prepare_type,
2844                 .fieldref = structure_fieldref,
2845         };
2846
2847 ###### exec type
2848         Xfieldref,
2849
2850 ###### ast
2851         struct fieldref {
2852                 struct exec;
2853                 struct exec *left;
2854                 int index;
2855                 struct text name;
2856         };
2857         enum { IndexUnknown = -1, IndexInvalid = -2 };
2858
2859 ###### free exec cases
2860         case Xfieldref:
2861                 free_exec(cast(fieldref, e)->left);
2862                 free(e);
2863                 break;
2864
2865 ###### declare terminals
2866         $TERM struct
2867
2868 ###### term grammar
2869
2870         | Term . IDENTIFIER ${ {
2871                 struct fieldref *fr = new_pos(fieldref, $2);
2872                 fr->left = $<1;
2873                 fr->name = $3.txt;
2874                 fr->index = IndexUnknown;
2875                 $0 = fr;
2876         } }$
2877
2878 ###### print exec cases
2879
2880         case Xfieldref:
2881         {
2882                 struct fieldref *f = cast(fieldref, e);
2883                 print_exec(f->left, -1, bracket);
2884                 printf(".%.*s", f->name.len, f->name.txt);
2885                 break;
2886         }
2887
2888 ###### propagate exec cases
2889
2890         case Xfieldref:
2891         {
2892                 struct fieldref *f = cast(fieldref, prog);
2893                 struct type *st = propagate_types(f->left, c, perr, NULL, 0);
2894
2895                 if (!st || !st->fieldref)
2896                         type_err(c, "error: field reference on %1 is not supported",
2897                                  f->left, st, 0, NULL);
2898                 else {
2899                         t = st->fieldref(st, c, f, NULL);
2900                         if (t && !type_compat(type, t, rules))
2901                                 type_err(c, "error: have %1 but need %2", prog,
2902                                          t, rules, type);
2903                         return t;
2904                 }
2905                 break;
2906         }
2907
2908 ###### interp exec cases
2909         case Xfieldref:
2910         {
2911                 struct fieldref *f = cast(fieldref, e);
2912                 struct type *ltype;
2913                 struct value *lleft = linterp_exec(c, f->left, &ltype);
2914                 lrv = lleft;
2915                 rvtype = ltype->fieldref(ltype, c, f, &lrv);
2916                 break;
2917         }
2918
2919 ###### top level grammar
2920         DeclareStruct -> struct IDENTIFIER FieldBlock Newlines ${ {
2921                 struct type *t;
2922                 t = find_type(c, $ID.txt);
2923                 if (!t)
2924                         t = add_type(c, $ID.txt, &structure_prototype);
2925                 else if (t->size >= 0) {
2926                         tok_err(c, "error: type already declared", &$ID);
2927                         tok_err(c, "info: this is location of declartion", &t->first_use);
2928                         /* Create a new one - duplicate */
2929                         t = add_type(c, $ID.txt, &structure_prototype);
2930                 } else {
2931                         struct type tmp = *t;
2932                         *t = structure_prototype;
2933                         t->name = tmp.name;
2934                         t->next = tmp.next;
2935                 }
2936                 t->structure.field_list = $<FB;
2937                 t->first_use = $ID;
2938         } }$
2939
2940         $*fieldlist
2941         FieldBlock -> { IN OptNL FieldLines OUT OptNL } ${ $0 = $<FL; }$
2942         | { SimpleFieldList } ${ $0 = $<SFL; }$
2943         | IN OptNL FieldLines OUT ${ $0 = $<FL; }$
2944         | SimpleFieldList EOL ${ $0 = $<SFL; }$
2945
2946         FieldLines -> SimpleFieldList Newlines ${ $0 = $<SFL; }$
2947         | FieldLines SimpleFieldList Newlines ${
2948                 $SFL->prev = $<FL;
2949                 $0 = $<SFL;
2950         }$
2951
2952         SimpleFieldList -> Field ${ $0 = $<F; }$
2953         | SimpleFieldList ; Field ${
2954                 $F->prev = $<SFL;
2955                 $0 = $<F;
2956         }$
2957         | SimpleFieldList ; ${
2958                 $0 = $<SFL;
2959         }$
2960         | ERROR ${ tok_err(c, "Syntax error in struct field", &$1); }$
2961
2962         Field -> IDENTIFIER : Type = Expression ${ {
2963                 $0 = calloc(1, sizeof(struct fieldlist));
2964                 $0->f.name = $ID.txt;
2965                 $0->f.type = $<Type;
2966                 $0->f.init = NULL;
2967                 $0->init = $<Expr;
2968         } }$
2969         | IDENTIFIER : Type ${
2970                 $0 = calloc(1, sizeof(struct fieldlist));
2971                 $0->f.name = $ID.txt;
2972                 $0->f.type = $<Type;
2973         }$
2974
2975 ###### forward decls
2976         static void structure_print_type(struct type *t, FILE *f);
2977
2978 ###### value functions
2979         static void structure_print_type(struct type *t, FILE *f)
2980         {
2981                 int i;
2982
2983                 fprintf(f, "struct %.*s\n", t->name.len, t->name.txt);
2984
2985                 for (i = 0; i < t->structure.nfields; i++) {
2986                         struct field *fl = t->structure.fields + i;
2987                         fprintf(f, "    %.*s : ", fl->name.len, fl->name.txt);
2988                         type_print(fl->type, f);
2989                         if (fl->type->print && fl->init) {
2990                                 fprintf(f, " = ");
2991                                 if (fl->type == Tstr)
2992                                         fprintf(f, "\"");       // UNTESTED
2993                                 print_value(fl->type, fl->init, f);
2994                                 if (fl->type == Tstr)
2995                                         fprintf(f, "\"");       // UNTESTED
2996                         }
2997                         fprintf(f, "\n");
2998                 }
2999         }
3000
3001 ###### print type decls
3002         {
3003                 struct type *t;
3004                 int target = -1;
3005
3006                 while (target != 0) {
3007                         int i = 0;
3008                         for (t = context.typelist; t ; t=t->next)
3009                                 if (!t->anon && t->print_type_decl &&
3010                                     !t->check_args) {
3011                                         i += 1;
3012                                         if (i == target)
3013                                                 break;
3014                                 }
3015
3016                         if (target == -1) {
3017                                 target = i;
3018                         } else {
3019                                 t->print_type_decl(t, stdout);
3020                                 target -= 1;
3021                         }
3022                 }
3023         }
3024
3025 #### References
3026
3027 References, or pointers, are values that refer to another value.  They
3028 can only refer to a `struct`, though as a struct can embed anything they
3029 can effectively refer to anything.
3030
3031 References are potentially dangerous as they might refer to some
3032 variable which no longer exists - either because a stack frame
3033 containing it has been discarded or because the value was allocated on
3034 the heap and has now been free.  Ocean does not yet provide any
3035 protection against these problems.  It will in due course.
3036
3037 With references comes the opportunity and the need to explicitly
3038 allocate values on the "heap" and to free them.  We currently provide
3039 fairly basic support for this.
3040
3041 Reference make use of the `@` symbol in various ways.  A type that starts
3042 with `@` is a reference to whatever follows.  A reference value
3043 followed by an `@` acts as the referred value, though the `@` is often
3044 not needed.  Finally, an expression that starts with `@` is a special
3045 reference related expression.  Some examples might help.
3046
3047 ##### Example: Reference examples
3048
3049         struct foo
3050                 a: number
3051                 b: string
3052         ref: @foo
3053         bar: foo
3054         bar.number = 23; bar.string = "hello"
3055         baz: foo
3056         ref = bar
3057         baz = @ref
3058         baz.a = ref.a * 2
3059
3060         ref = @new()
3061         ref@ = baz
3062         @free = ref
3063         ref = @nil
3064
3065 Obviously this is very contrived.  `ref` is a reference to a `foo` which
3066 is initially set to refer to the value stored in `bar` - no extra syntax
3067 is needed to "Take the address of" `bar` - the fact that `ref` is a
3068 reference means that only the address make sense.
3069
3070 When `ref.a` is accessed, that is whatever value is stored in `bar.a`.
3071 The same syntax is used for accessing fields both in structs and in
3072 references to structs.  It would be correct to use `ref@.a`, but not
3073 necessary.
3074
3075 `@new()` creates an object of whatever type is needed for the program
3076 to by type-correct.  In future iterations of Ocean, arguments a
3077 constructor will access arguments, so the the syntax now looks like a
3078 function call.  `@free` can be assigned any reference that was returned
3079 by `@new()`, and it will be freed.  `@nil` is a value of whatever
3080 reference type is appropriate, and is stable and never the address of
3081 anything in the heap or on the stack.  A reference can be assigned
3082 `@nil` or compared against that value.
3083
3084 ###### declare terminals
3085         $TERM @
3086
3087 ###### type union fields
3088
3089         struct {
3090                 struct type *referent;
3091         } reference;
3092
3093 ###### value union fields
3094         struct value *ref;
3095
3096 ###### value functions
3097
3098         static void reference_print_type(struct type *t, FILE *f)
3099         {
3100                 fprintf(f, "@");
3101                 type_print(t->reference.referent, f);
3102         }
3103
3104         static int reference_cmp(struct type *tl, struct type *tr,
3105                                  struct value *left, struct value *right)
3106         {
3107                 return left->ref == right->ref ? 0 : 1;
3108         }
3109
3110         static void reference_dup(struct type *t,
3111                                   struct value *vold, struct value *vnew)
3112         {
3113                 vnew->ref = vold->ref;
3114         }
3115
3116         static void reference_free(struct type *t, struct value *v)
3117         {
3118                 /* Nothing to do here */
3119         }
3120
3121         static int reference_compat(struct type *require, struct type *have)
3122         {
3123                 if (have->compat != require->compat)
3124                         return 0;
3125                 if (have->reference.referent != require->reference.referent)
3126                         return 0;
3127                 return 1;
3128         }
3129
3130         static int reference_test(struct type *type, struct value *val)
3131         {
3132                 return val->ref != NULL;
3133         }
3134
3135         static struct type *reference_fieldref(struct type *t, struct parse_context *c,
3136                                                struct fieldref *f, struct value **vp)
3137         {
3138                 struct type *rt = t->reference.referent;
3139
3140                 if (rt->fieldref) {
3141                         if (vp)
3142                                 *vp = (*vp)->ref;
3143                         return rt->fieldref(rt, c, f, vp);
3144                 }
3145                 type_err(c, "error: field reference on %1 is not supported",
3146                                  f->left, rt, 0, NULL);
3147                 return Tnone;
3148         }
3149
3150
3151         static struct type reference_prototype = {
3152                 .print_type = reference_print_type,
3153                 .cmp_eq = reference_cmp,
3154                 .dup = reference_dup,
3155                 .test = reference_test,
3156                 .free = reference_free,
3157                 .compat = reference_compat,
3158                 .fieldref = reference_fieldref,
3159                 .size = sizeof(void*),
3160                 .align = sizeof(void*),
3161         };
3162
3163 ###### type grammar
3164
3165         | @ IDENTIFIER ${ {
3166                 struct type *t = find_type(c, $ID.txt);
3167                 if (!t) {
3168                         t = add_type(c, $ID.txt, NULL);
3169                         t->first_use = $ID;
3170                 }
3171                 $0 = find_anon_type(c, &reference_prototype, "@%.*s",
3172                                     $ID.txt.len, $ID.txt.txt);
3173                 $0->reference.referent = t;
3174         } }$
3175
3176 ###### core functions
3177         static int text_is(struct text t, char *s)
3178         {
3179                 return (strlen(s) == t.len &&
3180                         strncmp(s, t.txt, t.len) == 0);
3181         }
3182
3183 ###### exec type
3184         Xref,
3185
3186 ###### ast
3187         struct ref {
3188                 struct exec;
3189                 enum ref_func { RefNew, RefFree, RefNil } action;
3190                 struct type *reftype;
3191                 struct exec *right;
3192         };
3193
3194 ###### SimpleStatement Grammar
3195
3196         | @ IDENTIFIER = Expression ${ {
3197                 struct ref *r = new_pos(ref, $ID);
3198                 // Must be "free"
3199                 if (!text_is($ID.txt, "free"))
3200                         tok_err(c, "error: only \"@free\" makes sense here",
3201                                 &$ID);
3202
3203                 $0 = r;
3204                 r->action = RefFree;
3205                 r->right = $<Exp;
3206         } }$
3207
3208 ###### expression grammar
3209         | @ IDENTIFIER ( ) ${
3210                 // Only 'new' valid here
3211                 if (!text_is($ID.txt, "new")) {
3212                         tok_err(c, "error: Only reference function is \"@new()\"",
3213                                 &$ID);
3214                 } else {
3215                         struct ref *r = new_pos(ref,$ID);
3216                         $0 = r;
3217                         r->action = RefNew;
3218                 }
3219         }$
3220         | @ IDENTIFIER ${
3221                 // Only 'nil' valid here
3222                 if (!text_is($ID.txt, "nil")) {
3223                         tok_err(c, "error: Only reference value is \"@nil\"",
3224                                 &$ID);
3225                 } else {
3226                         struct ref *r = new_pos(ref,$ID);
3227                         $0 = r;
3228                         r->action = RefNil;
3229                 }
3230         }$
3231
3232 ###### print exec cases
3233         case Xref: {
3234                 struct ref *r = cast(ref, e);
3235                 switch (r->action) {
3236                 case RefNew:
3237                         printf("@new()"); break;
3238                 case RefNil:
3239                         printf("@nil"); break;
3240                 case RefFree:
3241                         do_indent(indent, "@free = ");
3242                         print_exec(r->right, indent, bracket);
3243                         break;
3244                 }
3245                 break;
3246         }
3247
3248 ###### propagate exec cases
3249         case Xref: {
3250                 struct ref *r = cast(ref, prog);
3251                 switch (r->action) {
3252                 case RefNew:
3253                         if (type && type->free != reference_free) {
3254                                 type_err(c, "error: @new() can only be used with references, not %1",
3255                                          prog, type, 0, NULL);
3256                                 return NULL;
3257                         }
3258                         if (type && !r->reftype) {
3259                                 r->reftype = type;
3260                                 *perr |= Eretry;
3261                         }
3262                         *perr |= Erval;
3263                         return type;
3264                 case RefNil:
3265                         if (type && type->free != reference_free)
3266                                 type_err(c, "error: @nil can only be used with reference, not %1",
3267                                          prog, type, 0, NULL);
3268                         if (type && !r->reftype) {
3269                                 r->reftype = type;
3270                                 *perr |= Eretry;
3271                         }
3272                         *perr |= Erval;
3273                         return type;
3274                 case RefFree:
3275                         t = propagate_types(r->right, c, perr_local, NULL, 0);
3276                         if (t && t->free != reference_free)
3277                                 type_err(c, "error: @free can only be assigned a reference, not %1",
3278                                          prog, t, 0, NULL);
3279                         r->reftype = Tnone;
3280                         return Tnone;
3281                 }
3282                 break;  // NOTEST
3283         }
3284
3285
3286 ###### interp exec cases
3287         case Xref: {
3288                 struct ref *r = cast(ref, e);
3289                 switch (r->action) {
3290                 case RefNew:
3291                         if (r->reftype)
3292                                 rv.ref = calloc(1, r->reftype->reference.referent->size);
3293                         rvtype = r->reftype;
3294                         break;
3295                 case RefNil:
3296                         rv.ref = NULL;
3297                         rvtype = r->reftype;
3298                         break;
3299                 case RefFree:
3300                         rv = interp_exec(c, r->right, &rvtype);
3301                         free_value(rvtype->reference.referent, rv.ref);
3302                         free(rv.ref);
3303                         rvtype = Tnone;
3304                         break;
3305                 }
3306                 break;
3307         }
3308
3309 ###### free exec cases
3310         case Xref: {
3311                 struct ref *r = cast(ref, e);
3312                 free_exec(r->right);
3313                 free(r);
3314                 break;
3315         }
3316
3317 ###### Expressions: dereference
3318
3319 ###### Binode types
3320         Deref,
3321
3322 ###### term grammar
3323
3324         | Term @ ${ {
3325                 struct binode *b = new(binode);
3326                 b->op = Deref;
3327                 b->left = $<Trm;
3328                 $0 = b;
3329         } }$
3330
3331 ###### print binode cases
3332         case Deref:
3333                 print_exec(b->left, -1, bracket);
3334                 printf("@");
3335                 break;
3336
3337 ###### propagate binode cases
3338         case Deref:
3339                 /* left must be a reference, and we return what it refers to */
3340                 /* FIXME how can I pass the expected type down? */
3341                 t = propagate_types(b->left, c, perr, NULL, 0);
3342                 *perr &= ~Erval;
3343                 if (!t || t->free != reference_free)
3344                         type_err(c, "error: Cannot dereference %1", b, t, 0, NULL);
3345                 else
3346                         return t->reference.referent;
3347                 break;
3348
3349 ###### interp binode cases
3350         case Deref: {
3351                 left = interp_exec(c, b->left, &ltype);
3352                 lrv = left.ref;
3353                 rvtype = ltype->reference.referent;
3354                 break;
3355         }
3356
3357
3358 #### Functions
3359
3360 A function is a chunk of code which can be passed parameters and can
3361 return results.  Each function has a type which includes the set of
3362 parameters and the return value.  As yet these types cannot be declared
3363 separately from the function itself.
3364
3365 The parameters can be specified either in parentheses as a ';' separated
3366 list, such as
3367
3368 ##### Example: function 1
3369
3370         func main(av:[ac::number]string; env:[envc::number]string)
3371                 code block
3372
3373 or as an indented list of one parameter per line (though each line can
3374 be a ';' separated list)
3375
3376 ##### Example: function 2
3377
3378         func main
3379                 argv:[argc::number]string
3380                 env:[envc::number]string
3381         do
3382                 code block
3383
3384 In the first case a return type can follow the parentheses after a colon,
3385 in the second it is given on a line starting with the word `return`.
3386
3387 ##### Example: functions that return
3388
3389         func add(a:number; b:number): number
3390                 code block
3391
3392         func catenate
3393                 a: string
3394                 b: string
3395         return string
3396         do
3397                 code block
3398
3399 Rather than returning a type, the function can specify a set of local
3400 variables to return as a struct.  The values of these variables when the
3401 function exits will be provided to the caller.  For this the return type
3402 is replaced with a block of result declarations, either in parentheses
3403 or bracketed by `return` and `do`.
3404
3405 ##### Example: functions returning multiple variables
3406
3407         func to_cartesian(rho:number; theta:number):(x:number; y:number)
3408                 x = .....
3409                 y = .....
3410
3411         func to_polar
3412                 x:number; y:number
3413         return
3414                 rho:number
3415                 theta:number
3416         do
3417                 rho = ....
3418                 theta = ....
3419
3420 For constructing the lists we use a `List` binode, which will be
3421 further detailed when Expression Lists are introduced.
3422
3423 ###### type union fields
3424
3425         struct {
3426                 struct binode *params;
3427                 struct type *return_type;
3428                 struct variable *scope;
3429                 int inline_result;      // return value is at start of 'local'
3430                 int local_size;
3431         } function;
3432
3433 ###### value union fields
3434         struct exec *function;
3435
3436 ###### type functions
3437         void (*check_args)(struct parse_context *c, enum prop_err *perr,
3438                            struct type *require, struct exec *args);
3439
3440 ###### value functions
3441
3442         static void function_free(struct type *type, struct value *val)
3443         {
3444                 free_exec(val->function);
3445                 val->function = NULL;
3446         }
3447
3448         static int function_compat(struct type *require, struct type *have)
3449         {
3450                 // FIXME can I do anything here yet?
3451                 return 0;
3452         }
3453
3454         static void function_check_args(struct parse_context *c, enum prop_err *perr,
3455                                         struct type *require, struct exec *args)
3456         {
3457                 /* This should be 'compat', but we don't have a 'tuple' type to
3458                  * hold the type of 'args'
3459                  */
3460                 struct binode *arg = cast(binode, args);
3461                 struct binode *param = require->function.params;
3462
3463                 while (param) {
3464                         struct var *pv = cast(var, param->left);
3465                         if (!arg) {
3466                                 type_err(c, "error: insufficient arguments to function.",
3467                                          args, NULL, 0, NULL);
3468                                 break;
3469                         }
3470                         *perr = 0;
3471                         propagate_types(arg->left, c, perr, pv->var->type, 0);
3472                         param = cast(binode, param->right);
3473                         arg = cast(binode, arg->right);
3474                 }
3475                 if (arg)
3476                         type_err(c, "error: too many arguments to function.",
3477                                  args, NULL, 0, NULL);
3478         }
3479
3480         static void function_print(struct type *type, struct value *val, FILE *f)
3481         {
3482                 print_exec(val->function, 1, 0);
3483         }
3484
3485         static void function_print_type_decl(struct type *type, FILE *f)
3486         {
3487                 struct binode *b;
3488                 fprintf(f, "(");
3489                 for (b = type->function.params; b; b = cast(binode, b->right)) {
3490                         struct variable *v = cast(var, b->left)->var;
3491                         fprintf(f, "%.*s%s", v->name->name.len, v->name->name.txt,
3492                                 v->constant ? "::" : ":");
3493                         type_print(v->type, f);
3494                         if (b->right)
3495                                 fprintf(f, "; ");
3496                 }
3497                 fprintf(f, ")");
3498                 if (type->function.return_type != Tnone) {
3499                         fprintf(f, ":");
3500                         if (type->function.inline_result) {
3501                                 int i;
3502                                 struct type *t = type->function.return_type;
3503                                 fprintf(f, " (");
3504                                 for (i = 0; i < t->structure.nfields; i++) {
3505                                         struct field *fl = t->structure.fields + i;
3506                                         if (i)
3507                                                 fprintf(f, "; ");
3508                                         fprintf(f, "%.*s:", fl->name.len, fl->name.txt);
3509                                         type_print(fl->type, f);
3510                                 }
3511                                 fprintf(f, ")");
3512                         } else
3513                                 type_print(type->function.return_type, f);
3514                 }
3515                 fprintf(f, "\n");
3516         }
3517
3518         static void function_free_type(struct type *t)
3519         {
3520                 free_exec(t->function.params);
3521         }
3522
3523         static struct type function_prototype = {
3524                 .size = sizeof(void*),
3525                 .align = sizeof(void*),
3526                 .free = function_free,
3527                 .compat = function_compat,
3528                 .check_args = function_check_args,
3529                 .print = function_print,
3530                 .print_type_decl = function_print_type_decl,
3531                 .free_type = function_free_type,
3532         };
3533
3534 ###### declare terminals
3535
3536         $TERM func
3537
3538 ###### Binode types
3539         List,
3540
3541 ###### Grammar
3542
3543         $*variable
3544         FuncName -> IDENTIFIER ${ {
3545                 struct variable *v = var_decl(c, $1.txt);
3546                 struct var *e = new_pos(var, $1);
3547                 e->var = v;
3548                 if (v) {
3549                         v->where_decl = e;
3550                         v->where_set = e;
3551                         $0 = v;
3552                 } else {
3553                         v = var_ref(c, $1.txt);
3554                         e->var = v;
3555                         type_err(c, "error: function '%v' redeclared",
3556                                 e, NULL, 0, NULL);
3557                         type_err(c, "info: this is where '%v' was first declared",
3558                                 v->where_decl, NULL, 0, NULL);
3559                         free_exec(e);
3560                 }
3561         } }$
3562
3563         $*binode
3564         Args -> ArgsLine NEWLINE ${ $0 = $<AL; }$
3565         | Args ArgsLine NEWLINE ${ {
3566                 struct binode *b = $<AL;
3567                 struct binode **bp = &b;
3568                 while (*bp)
3569                         bp = (struct binode **)&(*bp)->left;
3570                 *bp = $<A;
3571                 $0 = b;
3572         } }$
3573
3574         ArgsLine -> ${ $0 = NULL; }$
3575         | Varlist ${ $0 = $<1; }$
3576         | Varlist ; ${ $0 = $<1; }$
3577
3578         Varlist -> Varlist ; ArgDecl ${
3579                 $0 = new_pos(binode, $2);
3580                 $0->op = List;
3581                 $0->left = $<Vl;
3582                 $0->right = $<AD;
3583         }$
3584         | ArgDecl ${
3585                 $0 = new(binode);
3586                 $0->op = List;
3587                 $0->left = NULL;
3588                 $0->right = $<AD;
3589         }$
3590
3591         $*var
3592         ArgDecl -> IDENTIFIER : FormalType ${ {
3593                 struct variable *v = var_decl(c, $ID.txt);
3594                 $0 = new_pos(var, $ID);
3595                 $0->var = v;
3596                 v->where_decl = $0;
3597                 v->where_set = $0;
3598                 v->type = $<FT;
3599         } }$
3600
3601 ##### Function calls
3602
3603 A function call can appear either as an expression or as a statement.
3604 We use a new 'Funcall' binode type to link the function with a list of
3605 arguments, form with the 'List' nodes.
3606
3607 We have already seen the "Term" which is how a function call can appear
3608 in an expression.  To parse a function call into a statement we include
3609 it in the "SimpleStatement Grammar" which will be described later.
3610
3611 ###### Binode types
3612         Funcall,
3613
3614 ###### term grammar
3615         | Term ( ExpressionList ) ${ {
3616                 struct binode *b = new(binode);
3617                 b->op = Funcall;
3618                 b->left = $<T;
3619                 b->right = reorder_bilist($<EL);
3620                 $0 = b;
3621         } }$
3622         | Term ( ) ${ {
3623                 struct binode *b = new(binode);
3624                 b->op = Funcall;
3625                 b->left = $<T;
3626                 b->right = NULL;
3627                 $0 = b;
3628         } }$
3629
3630 ###### SimpleStatement Grammar
3631
3632         | Term ( ExpressionList ) ${ {
3633                 struct binode *b = new(binode);
3634                 b->op = Funcall;
3635                 b->left = $<T;
3636                 b->right = reorder_bilist($<EL);
3637                 $0 = b;
3638         } }$
3639
3640 ###### print binode cases
3641
3642         case Funcall:
3643                 do_indent(indent, "");
3644                 print_exec(b->left, -1, bracket);
3645                 printf("(");
3646                 for (b = cast(binode, b->right); b; b = cast(binode, b->right)) {
3647                         if (b->left) {
3648                                 printf(" ");
3649                                 print_exec(b->left, -1, bracket);
3650                                 if (b->right)
3651                                         printf(",");
3652                         }
3653                 }
3654                 printf(")");
3655                 if (indent >= 0)
3656                         printf("\n");
3657                 break;
3658
3659 ###### propagate binode cases
3660
3661         case Funcall: {
3662                 /* Every arg must match formal parameter, and result
3663                  * is return type of function
3664                  */
3665                 struct binode *args = cast(binode, b->right);
3666                 struct var *v = cast(var, b->left);
3667
3668                 if (!v->var->type || v->var->type->check_args == NULL) {
3669                         type_err(c, "error: attempt to call a non-function.",
3670                                  prog, NULL, 0, NULL);
3671                         return NULL;
3672                 }
3673                 *perr |= Eruntime;
3674                 v->var->type->check_args(c, perr_local, v->var->type, args);
3675                 if (v->var->type->function.inline_result)
3676                         *perr |= Emaycopy;
3677                 *perr |= Erval;
3678                 return v->var->type->function.return_type;
3679         }
3680
3681 ###### interp binode cases
3682
3683         case Funcall: {
3684                 struct var *v = cast(var, b->left);
3685                 struct type *t = v->var->type;
3686                 void *oldlocal = c->local;
3687                 int old_size = c->local_size;
3688                 void *local = calloc(1, t->function.local_size);
3689                 struct value *fbody = var_value(c, v->var);
3690                 struct binode *arg = cast(binode, b->right);
3691                 struct binode *param = t->function.params;
3692
3693                 while (param) {
3694                         struct var *pv = cast(var, param->left);
3695                         struct type *vtype = NULL;
3696                         struct value val = interp_exec(c, arg->left, &vtype);
3697                         struct value *lval;
3698                         c->local = local; c->local_size = t->function.local_size;
3699                         lval = var_value(c, pv->var);
3700                         c->local = oldlocal; c->local_size = old_size;
3701                         memcpy(lval, &val, vtype->size);
3702                         param = cast(binode, param->right);
3703                         arg = cast(binode, arg->right);
3704                 }
3705                 c->local = local; c->local_size = t->function.local_size;
3706                 if (t->function.inline_result && dtype) {
3707                         _interp_exec(c, fbody->function, NULL, NULL);
3708                         memcpy(dest, local, dtype->size);
3709                         rvtype = ret.type = NULL;
3710                 } else
3711                         rv = interp_exec(c, fbody->function, &rvtype);
3712                 c->local = oldlocal; c->local_size = old_size;
3713                 free(local);
3714                 break;
3715         }
3716
3717 ## Complex executables: statements and expressions
3718
3719 Now that we have types and values and variables and most of the basic
3720 Terms which provide access to these, we can explore the more complex
3721 code that combine all of these to get useful work done.  Specifically
3722 statements and expressions.
3723
3724 Expressions are various combinations of Terms.  We will use operator
3725 precedence to ensure correct parsing.  The simplest Expression is just a
3726 Term - others will follow.
3727
3728 ###### Grammar
3729
3730         $*exec
3731         Expression -> Term ${ $0 = $<Term; }$
3732         ## expression grammar
3733
3734 ### Expressions: Conditional
3735
3736 Our first user of the `binode` will be conditional expressions, which
3737 is a bit odd as they actually have three components.  That will be
3738 handled by having 2 binodes for each expression.  The conditional
3739 expression is the lowest precedence operator which is why we define it
3740 first - to start the precedence list.
3741
3742 Conditional expressions are of the form "value `if` condition `else`
3743 other_value".  They associate to the right, so everything to the right
3744 of `else` is part of an else value, while only a higher-precedence to
3745 the left of `if` is the if values.  Between `if` and `else` there is no
3746 room for ambiguity, so a full conditional expression is allowed in
3747 there.
3748
3749 ###### Binode types
3750         CondExpr,
3751
3752 ###### declare terminals
3753
3754         $LEFT if $$ifelse
3755
3756 ###### expression grammar
3757
3758         | Expression if Expression else Expression $$ifelse ${ {
3759                 struct binode *b1 = new(binode);
3760                 struct binode *b2 = new(binode);
3761                 b1->op = CondExpr;
3762                 b1->left = $<3;
3763                 b1->right = b2;
3764                 b2->op = CondExpr;
3765                 b2->left = $<1;
3766                 b2->right = $<5;
3767                 $0 = b1;
3768         } }$
3769
3770 ###### print binode cases
3771
3772         case CondExpr:
3773                 b2 = cast(binode, b->right);
3774                 if (bracket) printf("(");
3775                 print_exec(b2->left, -1, bracket);
3776                 printf(" if ");
3777                 print_exec(b->left, -1, bracket);
3778                 printf(" else ");
3779                 print_exec(b2->right, -1, bracket);
3780                 if (bracket) printf(")");
3781                 break;
3782
3783 ###### propagate binode cases
3784
3785         case CondExpr: {
3786                 /* cond must be Tbool, others must match */
3787                 struct binode *b2 = cast(binode, b->right);
3788                 struct type *t2;
3789
3790                 propagate_types(b->left, c, perr_local, Tbool, 0);
3791                 t = propagate_types(b2->left, c, perr, type, 0);
3792                 t2 = propagate_types(b2->right, c, perr, type ?: t, 0);
3793                 return t ?: t2;
3794         }
3795
3796 ###### interp binode cases
3797
3798         case CondExpr: {
3799                 struct binode *b2 = cast(binode, b->right);
3800                 left = interp_exec(c, b->left, &ltype);
3801                 if (left.bool)
3802                         rv = interp_exec(c, b2->left, &rvtype); // UNTESTED
3803                 else
3804                         rv = interp_exec(c, b2->right, &rvtype);
3805                 }
3806                 break;
3807
3808 ### Expression list
3809
3810 We take a brief detour, now that we have expressions, to describe lists
3811 of expressions.  These will be needed for function parameters and
3812 possibly other situations.  They seem generic enough to introduce here
3813 to be used elsewhere.
3814
3815 And ExpressionList will use the `List` type of `binode`, building up at
3816 the end.  And place where they are used will probably call
3817 `reorder_bilist()` to get a more normal first/next arrangement.
3818
3819 ###### declare terminals
3820         $TERM ,
3821
3822 `List` execs have no implicit semantics, so they are never propagated or
3823 interpreted.  The can be printed as a comma separate list, which is how
3824 they are parsed.  Note they are also used for function formal parameter
3825 lists.  In that case a separate function is used to print them.
3826
3827 ###### print binode cases
3828         case List:
3829                 while (b) {
3830                         printf(" ");
3831                         print_exec(b->left, -1, bracket);
3832                         if (b->right)
3833                                 printf(",");
3834                         b = cast(binode, b->right);
3835                 }
3836                 break;
3837
3838 ###### propagate binode cases
3839         case List: abort(); // NOTEST
3840 ###### interp binode cases
3841         case List: abort(); // NOTEST
3842
3843 ###### Grammar
3844
3845         $*binode
3846         ExpressionList -> ExpressionList , Expression ${
3847                 $0 = new(binode);
3848                 $0->op = List;
3849                 $0->left = $<1;
3850                 $0->right = $<3;
3851         }$
3852         | Expression ${
3853                 $0 = new(binode);
3854                 $0->op = List;
3855                 $0->left = NULL;
3856                 $0->right = $<1;
3857         }$
3858
3859 ### Expressions: Boolean
3860
3861 The next class of expressions to use the `binode` will be Boolean
3862 expressions.  "`and then`" and "`or else`" are similar to `and` and `or`
3863 have same corresponding precendence.  The difference is that they don't
3864 evaluate the second expression if not necessary.
3865
3866 ###### Binode types
3867         And,
3868         AndThen,
3869         Or,
3870         OrElse,
3871         Not,
3872
3873 ###### declare terminals
3874         $LEFT or
3875         $LEFT and
3876         $LEFT not
3877
3878 ###### expression grammar
3879         | Expression or Expression ${ {
3880                 struct binode *b = new(binode);
3881                 b->op = Or;
3882                 b->left = $<1;
3883                 b->right = $<3;
3884                 $0 = b;
3885         } }$
3886         | Expression or else Expression ${ {
3887                 struct binode *b = new(binode);
3888                 b->op = OrElse;
3889                 b->left = $<1;
3890                 b->right = $<4;
3891                 $0 = b;
3892         } }$
3893
3894         | Expression and Expression ${ {
3895                 struct binode *b = new(binode);
3896                 b->op = And;
3897                 b->left = $<1;
3898                 b->right = $<3;
3899                 $0 = b;
3900         } }$
3901         | Expression and then Expression ${ {
3902                 struct binode *b = new(binode);
3903                 b->op = AndThen;
3904                 b->left = $<1;
3905                 b->right = $<4;
3906                 $0 = b;
3907         } }$
3908
3909         | not Expression ${ {
3910                 struct binode *b = new(binode);
3911                 b->op = Not;
3912                 b->right = $<2;
3913                 $0 = b;
3914         } }$
3915
3916 ###### print binode cases
3917         case And:
3918                 if (bracket) printf("(");
3919                 print_exec(b->left, -1, bracket);
3920                 printf(" and ");
3921                 print_exec(b->right, -1, bracket);
3922                 if (bracket) printf(")");
3923                 break;
3924         case AndThen:
3925                 if (bracket) printf("(");
3926                 print_exec(b->left, -1, bracket);
3927                 printf(" and then ");
3928                 print_exec(b->right, -1, bracket);
3929                 if (bracket) printf(")");
3930                 break;
3931         case Or:
3932                 if (bracket) printf("(");
3933                 print_exec(b->left, -1, bracket);
3934                 printf(" or ");
3935                 print_exec(b->right, -1, bracket);
3936                 if (bracket) printf(")");
3937                 break;
3938         case OrElse:
3939                 if (bracket) printf("(");
3940                 print_exec(b->left, -1, bracket);
3941                 printf(" or else ");
3942                 print_exec(b->right, -1, bracket);
3943                 if (bracket) printf(")");
3944                 break;
3945         case Not:
3946                 if (bracket) printf("(");
3947                 printf("not ");
3948                 print_exec(b->right, -1, bracket);
3949                 if (bracket) printf(")");
3950                 break;
3951
3952 ###### propagate binode cases
3953         case And:
3954         case AndThen:
3955         case Or:
3956         case OrElse:
3957         case Not:
3958                 /* both must be Tbool, result is Tbool */
3959                 propagate_types(b->left, c, perr, Tbool, 0);
3960                 propagate_types(b->right, c, perr, Tbool, 0);
3961                 if (type && type != Tbool)
3962                         type_err(c, "error: %1 operation found where %2 expected", prog,
3963                                    Tbool, 0, type);
3964                 *perr |= Erval;
3965                 return Tbool;
3966
3967 ###### interp binode cases
3968         case And:
3969                 rv = interp_exec(c, b->left, &rvtype);
3970                 right = interp_exec(c, b->right, &rtype);
3971                 rv.bool = rv.bool && right.bool;
3972                 break;
3973         case AndThen:
3974                 rv = interp_exec(c, b->left, &rvtype);
3975                 if (rv.bool)
3976                         rv = interp_exec(c, b->right, NULL);
3977                 break;
3978         case Or:
3979                 rv = interp_exec(c, b->left, &rvtype);
3980                 right = interp_exec(c, b->right, &rtype);
3981                 rv.bool = rv.bool || right.bool;
3982                 break;
3983         case OrElse:
3984                 rv = interp_exec(c, b->left, &rvtype);
3985                 if (!rv.bool)
3986                         rv = interp_exec(c, b->right, NULL);
3987                 break;
3988         case Not:
3989                 rv = interp_exec(c, b->right, &rvtype);
3990                 rv.bool = !rv.bool;
3991                 break;
3992
3993 ### Expressions: Comparison
3994
3995 Of slightly higher precedence that Boolean expressions are Comparisons.
3996 A comparison takes arguments of any comparable type, but the two types
3997 must be the same.
3998
3999 To simplify the parsing we introduce an `eop` which can record an
4000 expression operator, and the `CMPop` non-terminal will match one of them.
4001
4002 ###### ast
4003         struct eop {
4004                 enum Btype op;
4005         };
4006
4007 ###### ast functions
4008         static void free_eop(struct eop *e)
4009         {
4010                 if (e)
4011                         free(e);
4012         }
4013
4014 ###### Binode types
4015         Less,
4016         Gtr,
4017         LessEq,
4018         GtrEq,
4019         Eql,
4020         NEql,
4021
4022 ###### declare terminals
4023         $LEFT < > <= >= == != CMPop
4024
4025 ###### expression grammar
4026         | Expression CMPop Expression ${ {
4027                 struct binode *b = new(binode);
4028                 b->op = $2.op;
4029                 b->left = $<1;
4030                 b->right = $<3;
4031                 $0 = b;
4032         } }$
4033
4034 ###### Grammar
4035
4036         $eop
4037         CMPop ->  < ${ $0.op = Less; }$
4038         |         > ${ $0.op = Gtr; }$
4039         |         <= ${ $0.op = LessEq; }$
4040         |         >= ${ $0.op = GtrEq; }$
4041         |         == ${ $0.op = Eql; }$
4042         |         != ${ $0.op = NEql; }$
4043
4044 ###### print binode cases
4045
4046         case Less:
4047         case LessEq:
4048         case Gtr:
4049         case GtrEq:
4050         case Eql:
4051         case NEql:
4052                 if (bracket) printf("(");
4053                 print_exec(b->left, -1, bracket);
4054                 switch(b->op) {
4055                 case Less:   printf(" < "); break;
4056                 case LessEq: printf(" <= "); break;
4057                 case Gtr:    printf(" > "); break;
4058                 case GtrEq:  printf(" >= "); break;
4059                 case Eql:    printf(" == "); break;
4060                 case NEql:   printf(" != "); break;
4061                 default: abort();               // NOTEST
4062                 }
4063                 print_exec(b->right, -1, bracket);
4064                 if (bracket) printf(")");
4065                 break;
4066
4067 ###### propagate binode cases
4068         case Less:
4069         case LessEq:
4070         case Gtr:
4071         case GtrEq:
4072         case Eql:
4073         case NEql:
4074                 /* Both must match but not be labels, result is Tbool */
4075                 t = propagate_types(b->left, c, perr, NULL, 0);
4076                 if (t)
4077                         propagate_types(b->right, c, perr, t, 0);
4078                 else {
4079                         t = propagate_types(b->right, c, perr, NULL, 0);        // UNTESTED
4080                         if (t)  // UNTESTED
4081                                 t = propagate_types(b->left, c, perr, t, 0);    // UNTESTED
4082                 }
4083                 if (!type_compat(type, Tbool, 0))
4084                         type_err(c, "error: Comparison returns %1 but %2 expected", prog,
4085                                     Tbool, rules, type);
4086                 *perr |= Erval;
4087                 return Tbool;
4088
4089 ###### interp binode cases
4090         case Less:
4091         case LessEq:
4092         case Gtr:
4093         case GtrEq:
4094         case Eql:
4095         case NEql:
4096         {
4097                 int cmp;
4098                 left = interp_exec(c, b->left, &ltype);
4099                 right = interp_exec(c, b->right, &rtype);
4100                 cmp = value_cmp(ltype, rtype, &left, &right);
4101                 rvtype = Tbool;
4102                 switch (b->op) {
4103                 case Less:      rv.bool = cmp <  0; break;
4104                 case LessEq:    rv.bool = cmp <= 0; break;
4105                 case Gtr:       rv.bool = cmp >  0; break;
4106                 case GtrEq:     rv.bool = cmp >= 0; break;
4107                 case Eql:       rv.bool = cmp == 0; break;
4108                 case NEql:      rv.bool = cmp != 0; break;
4109                 default:        rv.bool = 0; break;     // NOTEST
4110                 }
4111                 break;
4112         }
4113
4114 ### Expressions: Arithmetic etc.
4115
4116 The remaining expressions with the highest precedence are arithmetic,
4117 string concatenation, string conversion, and testing.  String concatenation
4118 (`++`) has the same precedence as multiplication and division, but lower
4119 than the uniary.
4120
4121 Testing comes in two forms.  A single question mark (`?`) is a uniary
4122 operator which converts come types into Boolean.  The general meaning is
4123 "is this a value value" and there will be more uses as the language
4124 develops.  A double questionmark (`??`) is a binary operator (Choose),
4125 with same precedence as multiplication, which returns the LHS if it
4126 tests successfully, else returns the RHS.
4127
4128 String conversion is a temporary feature until I get a better type
4129 system.  `$` is a prefix operator which expects a string and returns
4130 a number.
4131
4132 `+` and `-` are both infix and prefix operations (where they are
4133 absolute value and negation).  These have different operator names.
4134
4135 We also have a 'Bracket' operator which records where parentheses were
4136 found.  This makes it easy to reproduce these when printing.  Possibly I
4137 should only insert brackets were needed for precedence.  Putting
4138 parentheses around an expression converts it into a Term,
4139
4140 ###### Binode types
4141         Plus, Minus,
4142         Times, Divide, Rem,
4143         Concat, Choose,
4144         Absolute, Negate, Test,
4145         StringConv,
4146         Bracket,
4147
4148 ###### declare terminals
4149         $LEFT + - Eop
4150         $LEFT * / % ++ ?? Top
4151         $LEFT Uop $ ?
4152         $TERM ( )
4153
4154 ###### expression grammar
4155         | Expression Eop Expression ${ {
4156                 struct binode *b = new(binode);
4157                 b->op = $2.op;
4158                 b->left = $<1;
4159                 b->right = $<3;
4160                 $0 = b;
4161         } }$
4162
4163         | Expression Top Expression ${ {
4164                 struct binode *b = new(binode);
4165                 b->op = $2.op;
4166                 b->left = $<1;
4167                 b->right = $<3;
4168                 $0 = b;
4169         } }$
4170
4171         | Uop Expression ${ {
4172                 struct binode *b = new(binode);
4173                 b->op = $1.op;
4174                 b->right = $<2;
4175                 $0 = b;
4176         } }$
4177
4178 ###### term grammar
4179
4180         | ( Expression ) ${ {
4181                 struct binode *b = new_pos(binode, $1);
4182                 b->op = Bracket;
4183                 b->right = $<2;
4184                 $0 = b;
4185         } }$
4186
4187 ###### Grammar
4188
4189         $eop
4190         Eop ->   + ${ $0.op = Plus; }$
4191         |        - ${ $0.op = Minus; }$
4192
4193         Uop ->   + ${ $0.op = Absolute; }$
4194         |        - ${ $0.op = Negate; }$
4195         |        $ ${ $0.op = StringConv; }$
4196         |        ? ${ $0.op = Test; }$
4197
4198         Top ->   * ${ $0.op = Times; }$
4199         |        / ${ $0.op = Divide; }$
4200         |        % ${ $0.op = Rem; }$
4201         |        ++ ${ $0.op = Concat; }$
4202         |        ?? ${ $0.op = Choose; }$
4203
4204 ###### print binode cases
4205         case Plus:
4206         case Minus:
4207         case Times:
4208         case Divide:
4209         case Concat:
4210         case Rem:
4211         case Choose:
4212                 if (bracket) printf("(");
4213                 print_exec(b->left, indent, bracket);
4214                 switch(b->op) {
4215                 case Plus:   fputs(" + ", stdout); break;
4216                 case Minus:  fputs(" - ", stdout); break;
4217                 case Times:  fputs(" * ", stdout); break;
4218                 case Divide: fputs(" / ", stdout); break;
4219                 case Rem:    fputs(" % ", stdout); break;
4220                 case Concat: fputs(" ++ ", stdout); break;
4221                 case Choose: fputs(" ?? ", stdout); break;
4222                 default: abort();       // NOTEST
4223                 }                       // NOTEST
4224                 print_exec(b->right, indent, bracket);
4225                 if (bracket) printf(")");
4226                 break;
4227         case Absolute:
4228         case Negate:
4229         case StringConv:
4230         case Test:
4231                 if (bracket) printf("(");
4232                 switch (b->op) {
4233                 case Absolute:   fputs("+", stdout); break;
4234                 case Negate:     fputs("-", stdout); break;
4235                 case StringConv: fputs("$", stdout); break;
4236                 case Test:       fputs("?", stdout); break;
4237                 default: abort();       // NOTEST
4238                 }                       // NOTEST
4239                 print_exec(b->right, indent, bracket);
4240                 if (bracket) printf(")");
4241                 break;
4242         case Bracket:
4243                 printf("(");
4244                 print_exec(b->right, indent, bracket);
4245                 printf(")");
4246                 break;
4247
4248 ###### propagate binode cases
4249         case Plus:
4250         case Minus:
4251         case Times:
4252         case Rem:
4253         case Divide:
4254                 /* both must be numbers, result is Tnum */
4255         case Absolute:
4256         case Negate:
4257                 /* as propagate_types ignores a NULL,
4258                  * unary ops fit here too */
4259                 propagate_types(b->left, c, perr, Tnum, 0);
4260                 propagate_types(b->right, c, perr, Tnum, 0);
4261                 if (!type_compat(type, Tnum, 0))
4262                         type_err(c, "error: Arithmetic returns %1 but %2 expected", prog,
4263                                    Tnum, rules, type);
4264                 *perr |= Erval;
4265                 return Tnum;
4266
4267         case Concat:
4268                 /* both must be Tstr, result is Tstr */
4269                 propagate_types(b->left, c, perr, Tstr, 0);
4270                 propagate_types(b->right, c, perr, Tstr, 0);
4271                 if (!type_compat(type, Tstr, 0))
4272                         type_err(c, "error: Concat returns %1 but %2 expected", prog,
4273                                    Tstr, rules, type);
4274                 *perr |= Erval;
4275                 return Tstr;
4276
4277         case StringConv:
4278                 /* op must be string, result is number */
4279                 propagate_types(b->left, c, perr, Tstr, 0);
4280                 if (!type_compat(type, Tnum, 0))
4281                         type_err(c,     // UNTESTED
4282                           "error: Can only convert string to number, not %1",
4283                                 prog, type, 0, NULL);
4284                 *perr |= Erval;
4285                 return Tnum;
4286
4287         case Test:
4288                 /* LHS must support ->test, result is Tbool */
4289                 t = propagate_types(b->right, c, perr, NULL, 0);
4290                 if (!t || !t->test)
4291                         type_err(c, "error: '?' requires a testable value, not %1",
4292                                  prog, t, 0, NULL);
4293                 *perr |= Erval;
4294                 return Tbool;
4295
4296         case Choose:
4297                 /* LHS and RHS must match and are returned. Must support
4298                  * ->test
4299                  */
4300                 t = propagate_types(b->left, c, perr, type, rules);
4301                 t = propagate_types(b->right, c, perr, t, rules);
4302                 if (t && t->test == NULL)
4303                         type_err(c, "error: \"??\" requires a testable value, not %1",
4304                                  prog, t, 0, NULL);
4305                 *perr |= Erval;
4306                 return t;
4307
4308         case Bracket:
4309                 return propagate_types(b->right, c, perr, type, rules);
4310
4311 ###### interp binode cases
4312
4313         case Plus:
4314                 rv = interp_exec(c, b->left, &rvtype);
4315                 right = interp_exec(c, b->right, &rtype);
4316                 mpq_add(rv.num, rv.num, right.num);
4317                 break;
4318         case Minus:
4319                 rv = interp_exec(c, b->left, &rvtype);
4320                 right = interp_exec(c, b->right, &rtype);
4321                 mpq_sub(rv.num, rv.num, right.num);
4322                 break;
4323         case Times:
4324                 rv = interp_exec(c, b->left, &rvtype);
4325                 right = interp_exec(c, b->right, &rtype);
4326                 mpq_mul(rv.num, rv.num, right.num);
4327                 break;
4328         case Divide:
4329                 rv = interp_exec(c, b->left, &rvtype);
4330                 right = interp_exec(c, b->right, &rtype);
4331                 mpq_div(rv.num, rv.num, right.num);
4332                 break;
4333         case Rem: {
4334                 mpz_t l, r, rem;
4335
4336                 left = interp_exec(c, b->left, &ltype);
4337                 right = interp_exec(c, b->right, &rtype);
4338                 mpz_init(l); mpz_init(r); mpz_init(rem);
4339                 mpz_tdiv_q(l, mpq_numref(left.num), mpq_denref(left.num));
4340                 mpz_tdiv_q(r, mpq_numref(right.num), mpq_denref(right.num));
4341                 mpz_tdiv_r(rem, l, r);
4342                 val_init(Tnum, &rv);
4343                 mpq_set_z(rv.num, rem);
4344                 mpz_clear(r); mpz_clear(l); mpz_clear(rem);
4345                 rvtype = ltype;
4346                 break;
4347         }
4348         case Negate:
4349                 rv = interp_exec(c, b->right, &rvtype);
4350                 mpq_neg(rv.num, rv.num);
4351                 break;
4352         case Absolute:
4353                 rv = interp_exec(c, b->right, &rvtype);
4354                 mpq_abs(rv.num, rv.num);
4355                 break;
4356         case Bracket:
4357                 rv = interp_exec(c, b->right, &rvtype);
4358                 break;
4359         case Concat:
4360                 left = interp_exec(c, b->left, &ltype);
4361                 right = interp_exec(c, b->right, &rtype);
4362                 rvtype = Tstr;
4363                 rv.str = text_join(left.str, right.str);
4364                 break;
4365         case StringConv:
4366                 right = interp_exec(c, b->right, &rvtype);
4367                 rtype = Tstr;
4368                 rvtype = Tnum;
4369
4370                 struct text tx = right.str;
4371                 char tail[3];
4372                 int neg = 0;
4373                 if (tx.txt[0] == '-') {
4374                         neg = 1;        // UNTESTED
4375                         tx.txt++;       // UNTESTED
4376                         tx.len--;       // UNTESTED
4377                 }
4378                 if (number_parse(rv.num, tail, tx) == 0)
4379                         mpq_init(rv.num);       // UNTESTED
4380                 else if (neg)
4381                         mpq_neg(rv.num, rv.num);        // UNTESTED
4382                 if (tail[0])
4383                         printf("Unsupported suffix: %.*s\n", tx.len, tx.txt);   // UNTESTED
4384
4385                 break;
4386         case Test:
4387                 right = interp_exec(c, b->right, &rtype);
4388                 rvtype = Tbool;
4389                 rv.bool = !!rtype->test(rtype, &right);
4390                 break;
4391         case Choose:
4392                 left = interp_exec(c, b->left, &ltype);
4393                 if (ltype->test(ltype, &left)) {
4394                         rv = left;
4395                         rvtype = ltype;
4396                         ltype = NULL;
4397                 } else
4398                         rv = interp_exec(c, b->right, &rvtype);
4399                 break;
4400
4401 ###### value functions
4402
4403         static struct text text_join(struct text a, struct text b)
4404         {
4405                 struct text rv;
4406                 rv.len = a.len + b.len;
4407                 rv.txt = malloc(rv.len);
4408                 memcpy(rv.txt, a.txt, a.len);
4409                 memcpy(rv.txt+a.len, b.txt, b.len);
4410                 return rv;
4411         }
4412
4413 ### Blocks, Statements, and Statement lists.
4414
4415 Now that we have expressions out of the way we need to turn to
4416 statements.  There are simple statements and more complex statements.
4417 Simple statements do not contain (syntactic) newlines, complex statements do.
4418
4419 Statements often come in sequences and we have corresponding simple
4420 statement lists and complex statement lists.
4421 The former comprise only simple statements separated by semicolons.
4422 The later comprise complex statements and simple statement lists.  They are
4423 separated by newlines.  Thus the semicolon is only used to separate
4424 simple statements on the one line.  This may be overly restrictive,
4425 but I'm not sure I ever want a complex statement to share a line with
4426 anything else.
4427
4428 Note that a simple statement list can still use multiple lines if
4429 subsequent lines are indented, so
4430
4431 ###### Example: wrapped simple statement list
4432
4433         a = b; c = d;
4434            e = f; print g
4435
4436 is a single simple statement list.  This might allow room for
4437 confusion, so I'm not set on it yet.
4438
4439 A simple statement list needs no extra syntax.  A complex statement
4440 list has two syntactic forms.  It can be enclosed in braces (much like
4441 C blocks), or it can be introduced by an indent and continue until an
4442 unindented newline (much like Python blocks).  With this extra syntax
4443 it is referred to as a block.
4444
4445 Note that a block does not have to include any newlines if it only
4446 contains simple statements.  So both of:
4447
4448         if condition: a=b; d=f
4449
4450         if condition { a=b; print f }
4451
4452 are valid.
4453
4454 In either case the list is constructed from a `binode` list with
4455 `Block` as the operator.  When parsing the list it is most convenient
4456 to append to the end, so a list is a list and a statement.  When using
4457 the list it is more convenient to consider a list to be a statement
4458 and a list.  So we need a function to re-order a list.
4459 `reorder_bilist` serves this purpose.
4460
4461 The only stand-alone statement we introduce at this stage is `pass`
4462 which does nothing and is represented as a `NULL` pointer in a `Block`
4463 list.  Other stand-alone statements will follow once the infrastructure
4464 is in-place.
4465
4466 As many statements will use binodes, we declare a binode pointer 'b' in
4467 the common header for all reductions to use.
4468
4469 ###### Parser: reduce
4470         struct binode *b;
4471
4472 ###### Binode types
4473         Block,
4474
4475 ###### Grammar
4476
4477         $TERM { } ;
4478
4479         $*binode
4480         Block -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
4481         |        { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
4482         |        SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
4483         |        SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
4484         |        IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
4485
4486         OpenBlock -> OpenScope { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
4487         |        OpenScope { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
4488         |        OpenScope SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
4489         |        OpenScope SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
4490         |        IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
4491
4492         UseBlock -> { OpenScope IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
4493         |        { OpenScope SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
4494         |        IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
4495
4496         ColonBlock -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
4497         |        { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
4498         |        : SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
4499         |        : SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
4500         |        : IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
4501
4502         Statementlist -> ComplexStatements ${ $0 = reorder_bilist($<CS); }$
4503
4504         ComplexStatements -> ComplexStatements ComplexStatement ${
4505                 if ($2 == NULL) {
4506                         $0 = $<1;
4507                 } else {
4508                         $0 = new(binode);
4509                         $0->op = Block;
4510                         $0->left = $<1;
4511                         $0->right = $<2;
4512                 }
4513         }$
4514         | ComplexStatement ${
4515                 if ($1 == NULL) {
4516                         $0 = NULL;
4517                 } else {
4518                         $0 = new(binode);
4519                         $0->op = Block;
4520                         $0->left = NULL;
4521                         $0->right = $<1;
4522                 }
4523         }$
4524
4525         $*exec
4526         ComplexStatement -> SimpleStatements Newlines ${
4527                 $0 = reorder_bilist($<SS);
4528         }$
4529         |  SimpleStatements ; Newlines ${
4530                 $0 = reorder_bilist($<SS);
4531         }$
4532         ## ComplexStatement Grammar
4533
4534         $*binode
4535         SimpleStatements -> SimpleStatements ; SimpleStatement ${
4536                 $0 = new(binode);
4537                 $0->op = Block;
4538                 $0->left = $<1;
4539                 $0->right = $<3;
4540         }$
4541         | SimpleStatement ${
4542                 $0 = new(binode);
4543                 $0->op = Block;
4544                 $0->left = NULL;
4545                 $0->right = $<1;
4546         }$
4547
4548         $TERM pass
4549         $*exec
4550         SimpleStatement -> pass ${ $0 = NULL; }$
4551         | ERROR ${ tok_err(c, "Syntax error in statement", &$1); }$
4552         ## SimpleStatement Grammar
4553
4554 ###### print binode cases
4555         case Block:
4556                 if (indent < 0) {
4557                         // simple statement
4558                         if (b->left == NULL)    // UNTESTED
4559                                 printf("pass"); // UNTESTED
4560                         else
4561                                 print_exec(b->left, indent, bracket);   // UNTESTED
4562                         if (b->right) { // UNTESTED
4563                                 printf("; ");   // UNTESTED
4564                                 print_exec(b->right, indent, bracket);  // UNTESTED
4565                         }
4566                 } else {
4567                         // block, one per line
4568                         if (b->left == NULL)
4569                                 do_indent(indent, "pass\n");
4570                         else
4571                                 print_exec(b->left, indent, bracket);
4572                         if (b->right)
4573                                 print_exec(b->right, indent, bracket);
4574                 }
4575                 break;
4576
4577 ###### propagate binode cases
4578         case Block:
4579         {
4580                 /* If any statement returns something other than Tnone
4581                  * or Tbool then all such must return same type.
4582                  * As each statement may be Tnone or something else,
4583                  * we must always pass NULL (unknown) down, otherwise an incorrect
4584                  * error might occur.  We never return Tnone unless it is
4585                  * passed in.
4586                  */
4587                 struct binode *e;
4588
4589                 for (e = b; e; e = cast(binode, e->right)) {
4590                         t = propagate_types(e->left, c, perr, NULL, rules);
4591                         if ((rules & Rboolok) && (t == Tbool || t == Tnone))
4592                                 t = NULL;
4593                         if (t == Tnone && e->right)
4594                                 /* Only the final statement *must* return a value
4595                                  * when not Rboolok
4596                                  */
4597                                 t = NULL;
4598                         if (t) {
4599                                 if (!type)
4600                                         type = t;
4601                                 else if (t != type)
4602                                         type_err(c, "error: expected %1, found %2",
4603                                                  e->left, type, rules, t);
4604                         }
4605                 }
4606                 return type;
4607         }
4608
4609 ###### interp binode cases
4610         case Block:
4611                 while (rvtype == Tnone &&
4612                        b) {
4613                         if (b->left)
4614                                 rv = interp_exec(c, b->left, &rvtype);
4615                         b = cast(binode, b->right);
4616                 }
4617                 break;
4618
4619 ### The Print statement
4620
4621 `print` is a simple statement that takes a comma-separated list of
4622 expressions and prints the values separated by spaces and terminated
4623 by a newline.  No control of formatting is possible.
4624
4625 `print` uses `ExpressionList` to collect the expressions and stores them
4626 on the left side of a `Print` binode unlessthere is a trailing comma
4627 when the list is stored on the `right` side and no trailing newline is
4628 printed.
4629
4630 ###### Binode types
4631         Print,
4632
4633 ##### declare terminals
4634         $TERM print
4635
4636 ###### SimpleStatement Grammar
4637
4638         | print ExpressionList ${
4639                 $0 = b = new_pos(binode, $1);
4640                 b->op = Print;
4641                 b->right = NULL;
4642                 b->left = reorder_bilist($<EL);
4643         }$
4644         | print ExpressionList , ${ {
4645                 $0 = b = new_pos(binode, $1);
4646                 b->op = Print;
4647                 b->right = reorder_bilist($<EL);
4648                 b->left = NULL;
4649         } }$
4650         | print ${
4651                 $0 = b = new_pos(binode, $1);
4652                 b->op = Print;
4653                 b->left = NULL;
4654                 b->right = NULL;
4655         }$
4656
4657 ###### print binode cases
4658
4659         case Print:
4660                 do_indent(indent, "print");
4661                 if (b->right) {
4662                         print_exec(b->right, -1, bracket);
4663                         printf(",");
4664                 } else
4665                         print_exec(b->left, -1, bracket);
4666                 if (indent >= 0)
4667                         printf("\n");
4668                 break;
4669
4670 ###### propagate binode cases
4671
4672         case Print:
4673                 /* don't care but all must be consistent */
4674                 if (b->left)
4675                         b = cast(binode, b->left);
4676                 else
4677                         b = cast(binode, b->right);
4678                 while (b) {
4679                         propagate_types(b->left, c, perr_local, NULL, 0);
4680                         b = cast(binode, b->right);
4681                 }
4682                 break;
4683
4684 ###### interp binode cases
4685
4686         case Print:
4687         {
4688                 struct binode *b2 = cast(binode, b->left);
4689                 if (!b2)
4690                         b2 = cast(binode, b->right);
4691                 for (; b2; b2 = cast(binode, b2->right)) {
4692                         left = interp_exec(c, b2->left, &ltype);
4693                         print_value(ltype, &left, stdout);
4694                         free_value(ltype, &left);
4695                         if (b2->right)
4696                                 putchar(' ');
4697                 }
4698                 if (b->right == NULL)
4699                         printf("\n");
4700                 ltype = Tnone;
4701                 break;
4702         }
4703
4704 ###### Assignment statement
4705
4706 An assignment will assign a value to a variable, providing it hasn't
4707 been declared as a constant.  The analysis phase ensures that the type
4708 will be correct so the interpreter just needs to perform the
4709 calculation.  There is a form of assignment which declares a new
4710 variable as well as assigning a value.  If a name is used before
4711 it is declared, it is assumed to be a global constant which are allowed to
4712 be declared at any time.
4713
4714 ###### Binode types
4715         Assign,
4716         Declare,
4717
4718 ###### declare terminals
4719         $TERM =
4720
4721 ###### SimpleStatement Grammar
4722         | Term = Expression ${
4723                 $0 = b= new(binode);
4724                 b->op = Assign;
4725                 b->left = $<1;
4726                 b->right = $<3;
4727         }$
4728         | VariableDecl = Expression ${
4729                 $0 = b= new(binode);
4730                 b->op = Declare;
4731                 b->left = $<1;
4732                 b->right =$<3;
4733         }$
4734
4735         | VariableDecl ${
4736                 if ($1->var->where_set == NULL) {
4737                         type_err(c,
4738                                  "Variable declared with no type or value: %v",
4739                                  $1, NULL, 0, NULL);
4740                         free_var($1);
4741                 } else {
4742                         $0 = b = new(binode);
4743                         b->op = Declare;
4744                         b->left = $<1;
4745                         b->right = NULL;
4746                 }
4747         }$
4748
4749 ###### print binode cases
4750
4751         case Assign:
4752                 do_indent(indent, "");
4753                 print_exec(b->left, -1, bracket);
4754                 printf(" = ");
4755                 print_exec(b->right, -1, bracket);
4756                 if (indent >= 0)
4757                         printf("\n");
4758                 break;
4759
4760         case Declare:
4761                 {
4762                 struct variable *v = cast(var, b->left)->var;
4763                 do_indent(indent, "");
4764                 print_exec(b->left, -1, bracket);
4765                 if (cast(var, b->left)->var->constant) {
4766                         printf("::");
4767                         if (v->explicit_type) {
4768                                 type_print(v->type, stdout);
4769                                 printf(" ");
4770                         }
4771                 } else {
4772                         printf(":");
4773                         if (v->explicit_type) {
4774                                 type_print(v->type, stdout);
4775                                 printf(" ");
4776                         }
4777                 }
4778                 if (b->right) {
4779                         printf("= ");
4780                         print_exec(b->right, -1, bracket);
4781                 }
4782                 if (indent >= 0)
4783                         printf("\n");
4784                 }
4785                 break;
4786
4787 ###### propagate binode cases
4788
4789         case Assign:
4790         case Declare:
4791                 /* Both must match and not be labels,
4792                  * Type must support 'dup',
4793                  * For Assign, left must not be constant.
4794                  * result is Tnone
4795                  */
4796                 *perr &= ~(Erval | Econst);
4797                 t = propagate_types(b->left, c, perr, NULL, 0);
4798                 if (!b->right)
4799                         return Tnone;
4800
4801                 if (t) {
4802                         if (propagate_types(b->right, c, perr_local, t, 0) != t)
4803                                 if (b->left->type == Xvar)
4804                                         type_err(c, "info: variable '%v' was set as %1 here.",
4805                                                  cast(var, b->left)->var->where_set, t, rules, NULL);
4806                 } else {
4807                         t = propagate_types(b->right, c, perr_local, NULL, 0);
4808                         if (t)
4809                                 propagate_types(b->left, c, perr, t, 0);
4810                 }
4811                 if (*perr & Erval)
4812                         type_err(c, "error: cannot assign to an rval", b,
4813                                  NULL, 0, NULL);
4814                 else if (b->op == Assign && (*perr & Econst)) {
4815                         type_err(c, "error: Cannot assign to a constant: %v",
4816                                  b->left, NULL, 0, NULL);
4817                         if (b->left->type == Xvar) {
4818                                 struct var *var = cast(var, b->left);
4819                                 struct variable *v = var->var;
4820                                 type_err(c, "info: name was defined as a constant here",
4821                                          v->where_decl, NULL, 0, NULL);
4822                         }
4823                 }
4824                 if (t && t->dup == NULL && !(*perr_local & Emaycopy))
4825                         type_err(c, "error: cannot assign value of type %1", b, t, 0, NULL);
4826                 return Tnone;
4827
4828                 break;
4829
4830 ###### interp binode cases
4831
4832         case Assign:
4833                 lleft = linterp_exec(c, b->left, &ltype);
4834                 if (lleft)
4835                         dinterp_exec(c, b->right, lleft, ltype, 1);
4836                 ltype = Tnone;
4837                 break;
4838
4839         case Declare:
4840         {
4841                 struct variable *v = cast(var, b->left)->var;
4842                 struct value *val;
4843                 v = v->merged;
4844                 val = var_value(c, v);
4845                 if (v->type->prepare_type)
4846                         v->type->prepare_type(c, v->type, 0);
4847                 if (b->right)
4848                         dinterp_exec(c, b->right, val, v->type, 0);
4849                 else
4850                         val_init(v->type, val);
4851                 break;
4852         }
4853
4854 ### The `use` statement
4855
4856 The `use` statement is the last "simple" statement.  It is needed when a
4857 statement block can return a value.  This includes the body of a
4858 function which has a return type, and the "condition" code blocks in
4859 `if`, `while`, and `switch` statements.
4860
4861 ###### Binode types
4862         Use,
4863
4864 ###### declare terminals
4865         $TERM use
4866
4867 ###### SimpleStatement Grammar
4868         | use Expression ${
4869                 $0 = b = new_pos(binode, $1);
4870                 b->op = Use;
4871                 b->right = $<2;
4872         }$
4873
4874 ###### print binode cases
4875
4876         case Use:
4877                 do_indent(indent, "use ");
4878                 print_exec(b->right, -1, bracket);
4879                 if (indent >= 0)
4880                         printf("\n");
4881                 break;
4882
4883 ###### propagate binode cases
4884
4885         case Use:
4886                 /* result matches value */
4887                 return propagate_types(b->right, c, perr, type, 0);
4888
4889 ###### interp binode cases
4890
4891         case Use:
4892                 rv = interp_exec(c, b->right, &rvtype);
4893                 break;
4894
4895 ### The Conditional Statement
4896
4897 This is the biggy and currently the only complex statement.  This
4898 subsumes `if`, `while`, `do/while`, `switch`, and some parts of `for`.
4899 It is comprised of a number of parts, all of which are optional though
4900 set combinations apply.  Each part is (usually) a key word (`then` is
4901 sometimes optional) followed by either an expression or a code block,
4902 except the `casepart` which is a "key word and an expression" followed
4903 by a code block.  The code-block option is valid for all parts and,
4904 where an expression is also allowed, the code block can use the `use`
4905 statement to report a value.  If the code block does not report a value
4906 the effect is similar to reporting `True`.
4907
4908 The `else` and `case` parts, as well as `then` when combined with
4909 `if`, can contain a `use` statement which will apply to some
4910 containing conditional statement. `for` parts, `do` parts and `then`
4911 parts used with `for` can never contain a `use`, except in some
4912 subordinate conditional statement.
4913
4914 If there is a `forpart`, it is executed first, only once.
4915 If there is a `dopart`, then it is executed repeatedly providing
4916 always that the `condpart` or `cond`, if present, does not return a non-True
4917 value.  `condpart` can fail to return any value if it simply executes
4918 to completion.  This is treated the same as returning `True`.
4919
4920 If there is a `thenpart` it will be executed whenever the `condpart`
4921 or `cond` returns True (or does not return any value), but this will happen
4922 *after* `dopart` (when present).
4923
4924 If `elsepart` is present it will be executed at most once when the
4925 condition returns `False` or some value that isn't `True` and isn't
4926 matched by any `casepart`.  If there are any `casepart`s, they will be
4927 executed when the condition returns a matching value.
4928
4929 The particular sorts of values allowed in case parts has not yet been
4930 determined in the language design, so nothing is prohibited.
4931
4932 The various blocks in this complex statement potentially provide scope
4933 for variables as described earlier.  Each such block must include the
4934 "OpenScope" nonterminal before parsing the block, and must call
4935 `var_block_close()` when closing the block.
4936
4937 The code following "`if`", "`switch`" and "`for`" does not get its own
4938 scope, but is in a scope covering the whole statement, so names
4939 declared there cannot be redeclared elsewhere.  Similarly the
4940 condition following "`while`" is in a scope the covers the body
4941 ("`do`" part) of the loop, and which does not allow conditional scope
4942 extension.  Code following "`then`" (both looping and non-looping),
4943 "`else`" and "`case`" each get their own local scope.
4944
4945 The type requirements on the code block in a `whilepart` are quite
4946 unusal.  It is allowed to return a value of some identifiable type, in
4947 which case the loop aborts and an appropriate `casepart` is run, or it
4948 can return a Boolean, in which case the loop either continues to the
4949 `dopart` (on `True`) or aborts and runs the `elsepart` (on `False`).
4950 This is different both from the `ifpart` code block which is expected to
4951 return a Boolean, or the `switchpart` code block which is expected to
4952 return the same type as the casepart values.  The correct analysis of
4953 the type of the `whilepart` code block is the reason for the
4954 `Rboolok` flag which is passed to `propagate_types()`.
4955
4956 The `cond_statement` cannot fit into a `binode` so a new `exec` is
4957 defined.  As there are two scopes which cover multiple parts - one for
4958 the whole statement and one for "while" and "do" - and as we will use
4959 the 'struct exec' to track scopes, we actually need two new types of
4960 exec.  One is a `binode` for the looping part, the rest is the
4961 `cond_statement`.  The `cond_statement` will use an auxilliary `struct
4962 casepart` to track a list of case parts.
4963
4964 ###### Binode types
4965         Loop
4966
4967 ###### exec type
4968         Xcond_statement,
4969
4970 ###### ast
4971         struct casepart {
4972                 struct exec *value;
4973                 struct exec *action;
4974                 struct casepart *next;
4975         };
4976         struct cond_statement {
4977                 struct exec;
4978                 struct exec *forpart, *condpart, *thenpart, *elsepart;
4979                 struct binode *looppart;
4980                 struct casepart *casepart;
4981         };
4982
4983 ###### ast functions
4984
4985         static void free_casepart(struct casepart *cp)
4986         {
4987                 while (cp) {
4988                         struct casepart *t;
4989                         free_exec(cp->value);
4990                         free_exec(cp->action);
4991                         t = cp->next;
4992                         free(cp);
4993                         cp = t;
4994                 }
4995         }
4996
4997         static void free_cond_statement(struct cond_statement *s)
4998         {
4999                 if (!s)
5000                         return;
5001                 free_exec(s->forpart);
5002                 free_exec(s->condpart);
5003                 free_exec(s->looppart);
5004                 free_exec(s->thenpart);
5005                 free_exec(s->elsepart);
5006                 free_casepart(s->casepart);
5007                 free(s);
5008         }
5009
5010 ###### free exec cases
5011         case Xcond_statement: free_cond_statement(cast(cond_statement, e)); break;
5012
5013 ###### ComplexStatement Grammar
5014         | CondStatement ${ $0 = $<1; }$
5015
5016 ###### declare terminals
5017         $TERM for then while do
5018         $TERM else
5019         $TERM switch case
5020
5021 ###### Grammar
5022
5023         $*cond_statement
5024         // A CondStatement must end with EOL, as does CondSuffix and
5025         // IfSuffix.
5026         // ForPart, ThenPart, SwitchPart, CasePart are non-empty and
5027         // may or may not end with EOL
5028         // WhilePart and IfPart include an appropriate Suffix
5029
5030         // ForPart, SwitchPart, and IfPart open scopes, o we have to close
5031         // them.  WhilePart opens and closes its own scope.
5032         CondStatement -> ForPart OptNL ThenPart OptNL WhilePart CondSuffix ${
5033                 $0 = $<CS;
5034                 $0->forpart = $<FP;
5035                 $0->thenpart = $<TP;
5036                 $0->looppart = $<WP;
5037                 var_block_close(c, CloseSequential, $0);
5038         }$
5039         | ForPart OptNL WhilePart CondSuffix ${
5040                 $0 = $<CS;
5041                 $0->forpart = $<FP;
5042                 $0->looppart = $<WP;
5043                 var_block_close(c, CloseSequential, $0);
5044         }$
5045         | WhilePart CondSuffix ${
5046                 $0 = $<CS;
5047                 $0->looppart = $<WP;
5048         }$
5049         | SwitchPart OptNL CasePart CondSuffix ${
5050                 $0 = $<CS;
5051                 $0->condpart = $<SP;
5052                 $CP->next = $0->casepart;
5053                 $0->casepart = $<CP;
5054                 var_block_close(c, CloseSequential, $0);
5055         }$
5056         | SwitchPart : IN OptNL CasePart CondSuffix OUT Newlines ${
5057                 $0 = $<CS;
5058                 $0->condpart = $<SP;
5059                 $CP->next = $0->casepart;
5060                 $0->casepart = $<CP;
5061                 var_block_close(c, CloseSequential, $0);
5062         }$
5063         | IfPart IfSuffix ${
5064                 $0 = $<IS;
5065                 $0->condpart = $IP.condpart; $IP.condpart = NULL;
5066                 $0->thenpart = $IP.thenpart; $IP.thenpart = NULL;
5067                 // This is where we close an "if" statement
5068                 var_block_close(c, CloseSequential, $0);
5069         }$
5070
5071         CondSuffix -> IfSuffix ${
5072                 $0 = $<1;
5073         }$
5074         | Newlines CasePart CondSuffix ${
5075                 $0 = $<CS;
5076                 $CP->next = $0->casepart;
5077                 $0->casepart = $<CP;
5078         }$
5079         | CasePart CondSuffix ${
5080                 $0 = $<CS;
5081                 $CP->next = $0->casepart;
5082                 $0->casepart = $<CP;
5083         }$
5084
5085         IfSuffix -> Newlines ${ $0 = new(cond_statement); }$
5086         | Newlines ElsePart ${ $0 = $<EP; }$
5087         | ElsePart ${$0 = $<EP; }$
5088
5089         ElsePart -> else OpenBlock Newlines ${
5090                 $0 = new(cond_statement);
5091                 $0->elsepart = $<OB;
5092                 var_block_close(c, CloseElse, $0->elsepart);
5093         }$
5094         | else OpenScope CondStatement ${
5095                 $0 = new(cond_statement);
5096                 $0->elsepart = $<CS;
5097                 var_block_close(c, CloseElse, $0->elsepart);
5098         }$
5099
5100         $*casepart
5101         CasePart -> case Expression OpenScope ColonBlock ${
5102                 $0 = calloc(1,sizeof(struct casepart));
5103                 $0->value = $<Ex;
5104                 $0->action = $<Bl;
5105                 var_block_close(c, CloseParallel, $0->action);
5106         }$
5107
5108         $*exec
5109         // These scopes are closed in CondStatement
5110         ForPart -> for OpenBlock ${
5111                 $0 = $<Bl;
5112         }$
5113
5114         ThenPart -> then OpenBlock ${
5115                 $0 = $<OB;
5116                 var_block_close(c, CloseSequential, $0);
5117         }$
5118
5119         $*binode
5120         // This scope is closed in CondStatement
5121         WhilePart -> while UseBlock OptNL do OpenBlock ${
5122                 $0 = new(binode);
5123                 $0->op = Loop;
5124                 $0->left = $<UB;
5125                 $0->right = $<OB;
5126                 var_block_close(c, CloseSequential, $0->right);
5127                 var_block_close(c, CloseSequential, $0);
5128         }$
5129         | while OpenScope Expression OpenScope ColonBlock ${
5130                 $0 = new(binode);
5131                 $0->op = Loop;
5132                 $0->left = $<Exp;
5133                 $0->right = $<CB;
5134                 var_block_close(c, CloseSequential, $0->right);
5135                 var_block_close(c, CloseSequential, $0);
5136         }$
5137
5138         $cond_statement
5139         IfPart -> if UseBlock OptNL then OpenBlock ${
5140                 $0.condpart = $<UB;
5141                 $0.thenpart = $<OB;
5142                 var_block_close(c, CloseParallel, $0.thenpart);
5143         }$
5144         | if OpenScope Expression OpenScope ColonBlock ${
5145                 $0.condpart = $<Ex;
5146                 $0.thenpart = $<CB;
5147                 var_block_close(c, CloseParallel, $0.thenpart);
5148         }$
5149         | if OpenScope Expression OpenScope OptNL then Block ${
5150                 $0.condpart = $<Ex;
5151                 $0.thenpart = $<Bl;
5152                 var_block_close(c, CloseParallel, $0.thenpart);
5153         }$
5154
5155         $*exec
5156         // This scope is closed in CondStatement
5157         SwitchPart -> switch OpenScope Expression ${
5158                 $0 = $<Ex;
5159         }$
5160         | switch UseBlock ${
5161                 $0 = $<Bl;
5162         }$
5163
5164 ###### print binode cases
5165         case Loop:
5166                 if (b->left && b->left->type == Xbinode &&
5167                     cast(binode, b->left)->op == Block) {
5168                         if (bracket)
5169                                 do_indent(indent, "while {\n");
5170                         else
5171                                 do_indent(indent, "while\n");
5172                         print_exec(b->left, indent+1, bracket);
5173                         if (bracket)
5174                                 do_indent(indent, "} do {\n");
5175                         else
5176                                 do_indent(indent, "do\n");
5177                         print_exec(b->right, indent+1, bracket);
5178                         if (bracket)
5179                                 do_indent(indent, "}\n");
5180                 } else {
5181                         do_indent(indent, "while ");
5182                         print_exec(b->left, 0, bracket);
5183                         if (bracket)
5184                                 printf(" {\n");
5185                         else
5186                                 printf(":\n");
5187                         print_exec(b->right, indent+1, bracket);
5188                         if (bracket)
5189                                 do_indent(indent, "}\n");
5190                 }
5191                 break;
5192
5193 ###### print exec cases
5194
5195         case Xcond_statement:
5196         {
5197                 struct cond_statement *cs = cast(cond_statement, e);
5198                 struct casepart *cp;
5199                 if (cs->forpart) {
5200                         do_indent(indent, "for");
5201                         if (bracket) printf(" {\n"); else printf("\n");
5202                         print_exec(cs->forpart, indent+1, bracket);
5203                         if (cs->thenpart) {
5204                                 if (bracket)
5205                                         do_indent(indent, "} then {\n");
5206                                 else
5207                                         do_indent(indent, "then\n");
5208                                 print_exec(cs->thenpart, indent+1, bracket);
5209                         }
5210                         if (bracket) do_indent(indent, "}\n");
5211                 }
5212                 if (cs->looppart) {
5213                         print_exec(cs->looppart, indent, bracket);
5214                 } else {
5215                         // a condition
5216                         if (cs->casepart)
5217                                 do_indent(indent, "switch");
5218                         else
5219                                 do_indent(indent, "if");
5220                         if (cs->condpart && cs->condpart->type == Xbinode &&
5221                             cast(binode, cs->condpart)->op == Block) {
5222                                 if (bracket)
5223                                         printf(" {\n");
5224                                 else
5225                                         printf("\n");
5226                                 print_exec(cs->condpart, indent+1, bracket);
5227                                 if (bracket)
5228                                         do_indent(indent, "}\n");
5229                                 if (cs->thenpart) {
5230                                         do_indent(indent, "then\n");
5231                                         print_exec(cs->thenpart, indent+1, bracket);
5232                                 }
5233                         } else {
5234                                 printf(" ");
5235                                 print_exec(cs->condpart, 0, bracket);
5236                                 if (cs->thenpart) {
5237                                         if (bracket)
5238                                                 printf(" {\n");
5239                                         else
5240                                                 printf(":\n");
5241                                         print_exec(cs->thenpart, indent+1, bracket);
5242                                         if (bracket)
5243                                                 do_indent(indent, "}\n");
5244                                 } else
5245                                         printf("\n");
5246                         }
5247                 }
5248                 for (cp = cs->casepart; cp; cp = cp->next) {
5249                         do_indent(indent, "case ");
5250                         print_exec(cp->value, -1, 0);
5251                         if (bracket)
5252                                 printf(" {\n");
5253                         else
5254                                 printf(":\n");
5255                         print_exec(cp->action, indent+1, bracket);
5256                         if (bracket)
5257                                 do_indent(indent, "}\n");
5258                 }
5259                 if (cs->elsepart) {
5260                         do_indent(indent, "else");
5261                         if (bracket)
5262                                 printf(" {\n");
5263                         else
5264                                 printf("\n");
5265                         print_exec(cs->elsepart, indent+1, bracket);
5266                         if (bracket)
5267                                 do_indent(indent, "}\n");
5268                 }
5269                 break;
5270         }
5271
5272 ###### propagate binode cases
5273         case Loop:
5274                 t = propagate_types(b->right, c, perr_local, Tnone, 0);
5275                 if (!type_compat(Tnone, t, 0))
5276                         *perr |= Efail; // UNTESTED
5277                 return propagate_types(b->left, c, perr, type, rules);
5278
5279 ###### propagate exec cases
5280         case Xcond_statement:
5281         {
5282                 // forpart and looppart->right must return Tnone
5283                 // thenpart must return Tnone if there is a loopart,
5284                 // otherwise it is like elsepart.
5285                 // condpart must:
5286                 //    be bool if there is no casepart
5287                 //    match casepart->values if there is a switchpart
5288                 //    either be bool or match casepart->value if there
5289                 //             is a whilepart
5290                 // elsepart and casepart->action must match the return type
5291                 //   expected of this statement.
5292                 struct cond_statement *cs = cast(cond_statement, prog);
5293                 struct casepart *cp;
5294
5295                 t = propagate_types(cs->forpart, c, perr, Tnone, 0);
5296                 if (!type_compat(Tnone, t, 0))
5297                         *perr |= Efail; // UNTESTED
5298
5299                 if (cs->looppart) {
5300                         t = propagate_types(cs->thenpart, c, perr, Tnone, 0);
5301                         if (!type_compat(Tnone, t, 0))
5302                                 *perr |= Efail; // UNTESTED
5303                 }
5304                 if (cs->casepart == NULL) {
5305                         propagate_types(cs->condpart, c, perr, Tbool, 0);
5306                         propagate_types(cs->looppart, c, perr, Tbool, 0);
5307                 } else {
5308                         /* Condpart must match case values, with bool permitted */
5309                         t = NULL;
5310                         for (cp = cs->casepart;
5311                              cp && !t; cp = cp->next)
5312                                 t = propagate_types(cp->value, c, perr, NULL, 0);
5313                         if (!t && cs->condpart)
5314                                 t = propagate_types(cs->condpart, c, perr, NULL, Rboolok);      // UNTESTED
5315                         if (!t && cs->looppart)
5316                                 t = propagate_types(cs->looppart, c, perr, NULL, Rboolok);      // UNTESTED
5317                         // Now we have a type (I hope) push it down
5318                         if (t) {
5319                                 for (cp = cs->casepart; cp; cp = cp->next)
5320                                         propagate_types(cp->value, c, perr, t, 0);
5321                                 propagate_types(cs->condpart, c, perr, t, Rboolok);
5322                                 propagate_types(cs->looppart, c, perr, t, Rboolok);
5323                         }
5324                 }
5325                 // (if)then, else, and case parts must return expected type.
5326                 if (!cs->looppart && !type)
5327                         type = propagate_types(cs->thenpart, c, perr, NULL, rules);
5328                 if (!type)
5329                         type = propagate_types(cs->elsepart, c, perr, NULL, rules);
5330                 for (cp = cs->casepart;
5331                      cp && !type;
5332                      cp = cp->next)     // UNTESTED
5333                         type = propagate_types(cp->action, c, perr, NULL, rules);       // UNTESTED
5334                 if (type) {
5335                         if (!cs->looppart)
5336                                 propagate_types(cs->thenpart, c, perr, type, rules);
5337                         propagate_types(cs->elsepart, c, perr, type, rules);
5338                         for (cp = cs->casepart; cp ; cp = cp->next)
5339                                 propagate_types(cp->action, c, perr, type, rules);
5340                         return type;
5341                 } else
5342                         return NULL;
5343         }
5344
5345 ###### interp binode cases
5346         case Loop:
5347                 // This just performs one iterration of the loop
5348                 rv = interp_exec(c, b->left, &rvtype);
5349                 if (rvtype == Tnone ||
5350                     (rvtype == Tbool && rv.bool != 0))
5351                         // rvtype is Tnone or Tbool, doesn't need to be freed
5352                         interp_exec(c, b->right, NULL);
5353                 break;
5354
5355 ###### interp exec cases
5356         case Xcond_statement:
5357         {
5358                 struct value v, cnd;
5359                 struct type *vtype, *cndtype;
5360                 struct casepart *cp;
5361                 struct cond_statement *cs = cast(cond_statement, e);
5362
5363                 if (cs->forpart)
5364                         interp_exec(c, cs->forpart, NULL);
5365                 if (cs->looppart) {
5366                         while ((cnd = interp_exec(c, cs->looppart, &cndtype)),
5367                                cndtype == Tnone || (cndtype == Tbool && cnd.bool != 0))
5368                                 interp_exec(c, cs->thenpart, NULL);
5369                 } else {
5370                         cnd = interp_exec(c, cs->condpart, &cndtype);
5371                         if ((cndtype == Tnone ||
5372                             (cndtype == Tbool && cnd.bool != 0))) {
5373                                 // cnd is Tnone or Tbool, doesn't need to be freed
5374                                 rv = interp_exec(c, cs->thenpart, &rvtype);
5375                                 // skip else (and cases)
5376                                 goto Xcond_done;
5377                         }
5378                 }
5379                 for (cp = cs->casepart; cp; cp = cp->next) {
5380                         v = interp_exec(c, cp->value, &vtype);
5381                         if (value_cmp(cndtype, vtype, &v, &cnd) == 0) {
5382                                 free_value(vtype, &v);
5383                                 free_value(cndtype, &cnd);
5384                                 rv = interp_exec(c, cp->action, &rvtype);
5385                                 goto Xcond_done;
5386                         }
5387                         free_value(vtype, &v);
5388                 }
5389                 free_value(cndtype, &cnd);
5390                 if (cs->elsepart)
5391                         rv = interp_exec(c, cs->elsepart, &rvtype);
5392                 else
5393                         rvtype = Tnone;
5394         Xcond_done:
5395                 break;
5396         }
5397
5398 ### Top level structure
5399
5400 All the language elements so far can be used in various places.  Now
5401 it is time to clarify what those places are.
5402
5403 At the top level of a file there will be a number of declarations.
5404 Many of the things that can be declared haven't been described yet,
5405 such as functions, procedures, imports, and probably more.
5406 For now there are two sorts of things that can appear at the top
5407 level.  They are predefined constants, `struct` types, and the `main`
5408 function.  While the syntax will allow the `main` function to appear
5409 multiple times, that will trigger an error if it is actually attempted.
5410
5411 The various declarations do not return anything.  They store the
5412 various declarations in the parse context.
5413
5414 ###### Parser: grammar
5415
5416         $void
5417         Ocean -> OptNL DeclarationList
5418
5419         ## declare terminals
5420
5421         OptNL ->
5422         | OptNL NEWLINE
5423
5424         Newlines -> NEWLINE
5425         | Newlines NEWLINE
5426
5427         DeclarationList -> Declaration
5428         | DeclarationList Declaration
5429
5430         Declaration -> ERROR Newlines ${
5431                 tok_err(c,      // UNTESTED
5432                         "error: unhandled parse error", &$1);
5433         }$
5434         | DeclareConstant
5435         | DeclareFunction
5436         | DeclareStruct
5437
5438         ## top level grammar
5439
5440         ## Grammar
5441
5442 ### The `const` section
5443
5444 As well as being defined in with the code that uses them, constants can
5445 be declared at the top level.  These have full-file scope, so they are
5446 always `InScope`, even before(!) they have been declared.  The value of
5447 a top level constant can be given as an expression, and this is
5448 evaluated after parsing and before execution.
5449
5450 A function call can be used to evaluate a constant, but it will not have
5451 access to any program state, once such statement becomes meaningful.
5452 e.g.  arguments and filesystem will not be visible.
5453
5454 Constants are defined in a section that starts with the reserved word
5455 `const` and then has a block with a list of assignment statements.
5456 For syntactic consistency, these must use the double-colon syntax to
5457 make it clear that they are constants.  Type can also be given: if
5458 not, the type will be determined during analysis, as with other
5459 constants.
5460
5461 ###### parse context
5462         struct binode *constlist;
5463
5464 ###### top level grammar
5465
5466         $TERM const
5467
5468         DeclareConstant -> const { IN OptNL ConstList OUT OptNL } Newlines
5469         | const { SimpleConstList } Newlines
5470         | const IN OptNL ConstList OUT Newlines
5471         | const SimpleConstList Newlines
5472
5473         ConstList -> ConstList SimpleConstLine
5474         | SimpleConstLine
5475
5476         SimpleConstList -> SimpleConstList ; Const
5477         | Const
5478         | SimpleConstList ;
5479
5480         SimpleConstLine -> SimpleConstList Newlines
5481         | ERROR Newlines ${ tok_err(c, "Syntax error in constant", &$1); }$
5482
5483         $*type
5484         CType -> Type   ${ $0 = $<1; }$
5485         |               ${ $0 = NULL; }$
5486
5487         $void
5488         Const -> IDENTIFIER :: CType = Expression ${ {
5489                 struct variable *v;
5490                 struct binode *bl, *bv;
5491                 struct var *var = new_pos(var, $ID);
5492
5493                 v = var_decl(c, $ID.txt);
5494                 if (v) {
5495                         v->where_decl = var;
5496                         v->where_set = var;
5497                         v->type = $<CT;
5498                         v->constant = 1;
5499                         v->global = 1;
5500                 } else {
5501                         v = var_ref(c, $1.txt);
5502                         if (v->type == Tnone) {
5503                                 v->where_decl = var;
5504                                 v->where_set = var;
5505                                 v->type = $<CT;
5506                                 v->constant = 1;
5507                                 v->global = 1;
5508                         } else {
5509                                 tok_err(c, "error: name already declared", &$1);
5510                                 type_err(c, "info: this is where '%v' was first declared",
5511                                          v->where_decl, NULL, 0, NULL);
5512                         }
5513                 }
5514                 var->var = v;
5515
5516                 bv = new(binode);
5517                 bv->op = Declare;
5518                 bv->left = var;
5519                 bv->right= $<Exp;
5520
5521                 bl = new(binode);
5522                 bl->op = List;
5523                 bl->left = c->constlist;
5524                 bl->right = bv;
5525                 c->constlist = bl;
5526         } }$
5527
5528 ###### core functions
5529         static void resolve_consts(struct parse_context *c)
5530         {
5531                 struct binode *b;
5532                 int retry = 1;
5533                 enum { none, some, cannot } progress = none;
5534
5535                 c->constlist = reorder_bilist(c->constlist);
5536                 while (retry) {
5537                         retry = 0;
5538                         for (b = cast(binode, c->constlist); b;
5539                              b = cast(binode, b->right)) {
5540                                 enum prop_err perr;
5541                                 struct binode *vb = cast(binode, b->left);
5542                                 struct var *v = cast(var, vb->left);
5543                                 if (v->var->frame_pos >= 0)
5544                                         continue;
5545                                 do {
5546                                         perr = 0;
5547                                         propagate_types(vb->right, c, &perr,
5548                                                         v->var->type, 0);
5549                                 } while (perr & Eretry);
5550                                 if (perr & Efail)
5551                                         c->parse_error += 1;
5552                                 else if (!(perr & Eruntime)) {
5553                                         progress = some;
5554                                         struct value res = interp_exec(
5555                                                 c, vb->right, &v->var->type);
5556                                         global_alloc(c, v->var->type, v->var, &res);
5557                                 } else {
5558                                         if (progress == cannot)
5559                                                 type_err(c, "error: const %v cannot be resolved.",
5560                                                          v, NULL, 0, NULL);
5561                                         else
5562                                                 retry = 1;
5563                                 }
5564                         }
5565                         switch (progress) {
5566                         case cannot:
5567                                 retry = 0; break;
5568                         case none:
5569                                 progress = cannot; break;
5570                         case some:
5571                                 progress = none; break;
5572                         }
5573                 }
5574         }
5575
5576 ###### print const decls
5577         {
5578                 struct binode *b;
5579                 int first = 1;
5580
5581                 for (b = cast(binode, context.constlist); b;
5582                      b = cast(binode, b->right)) {
5583                         struct binode *vb = cast(binode, b->left);
5584                         struct var *vr = cast(var, vb->left);
5585                         struct variable *v = vr->var;
5586
5587                         if (first)
5588                                 printf("const\n");
5589                         first = 0;
5590
5591                         printf("    %.*s :: ", v->name->name.len, v->name->name.txt);
5592                         type_print(v->type, stdout);
5593                         printf(" = ");
5594                         print_exec(vb->right, -1, 0);
5595                         printf("\n");
5596                 }
5597         }
5598
5599 ###### free const decls
5600         free_binode(context.constlist);
5601
5602 ### Function declarations
5603
5604 The code in an Ocean program is all stored in function declarations.
5605 One of the functions must be named `main` and it must accept an array of
5606 strings as a parameter - the command line arguments.
5607
5608 As this is the top level, several things are handled a bit differently.
5609 The function is not interpreted by `interp_exec` as that isn't passed
5610 the argument list which the program requires.  Similarly type analysis
5611 is a bit more interesting at this level.
5612
5613 ###### ast functions
5614
5615         static struct type *handle_results(struct parse_context *c,
5616                                            struct binode *results)
5617         {
5618                 /* Create a 'struct' type from the results list, which
5619                  * is a list for 'struct var'
5620                  */
5621                 struct type *t = add_anon_type(c, &structure_prototype,
5622                                                "function result");
5623                 int cnt = 0;
5624                 struct binode *b;
5625
5626                 for (b = results; b; b = cast(binode, b->right))
5627                         cnt += 1;
5628                 t->structure.nfields = cnt;
5629                 t->structure.fields = calloc(cnt, sizeof(struct field));
5630                 cnt = 0;
5631                 for (b = results; b; b = cast(binode, b->right)) {
5632                         struct var *v = cast(var, b->left);
5633                         struct field *f = &t->structure.fields[cnt++];
5634                         int a = v->var->type->align;
5635                         f->name = v->var->name->name;
5636                         f->type = v->var->type;
5637                         f->init = NULL;
5638                         f->offset = t->size;
5639                         v->var->frame_pos = f->offset;
5640                         t->size += ((f->type->size - 1) | (a-1)) + 1;
5641                         if (a > t->align)
5642                                 t->align = a;
5643                         variable_unlink_exec(v->var);
5644                 }
5645                 free_binode(results);
5646                 return t;
5647         }
5648
5649         static struct variable *declare_function(struct parse_context *c,
5650                                                 struct variable *name,
5651                                                 struct binode *args,
5652                                                 struct type *ret,
5653                                                 struct binode *results,
5654                                                 struct exec *code)
5655         {
5656                 if (name) {
5657                         struct value fn = {.function = code};
5658                         struct type *t;
5659                         var_block_close(c, CloseFunction, code);
5660                         t = add_anon_type(c, &function_prototype,
5661                                           "func %.*s", name->name->name.len,
5662                                           name->name->name.txt);
5663                         name->type = t;
5664                         t->function.params = reorder_bilist(args);
5665                         if (!ret) {
5666                                 ret = handle_results(c, reorder_bilist(results));
5667                                 t->function.inline_result = 1;
5668                                 t->function.local_size = ret->size;
5669                         }
5670                         t->function.return_type = ret;
5671                         global_alloc(c, t, name, &fn);
5672                         name->type->function.scope = c->out_scope;
5673                 } else {
5674                         free_binode(args);
5675                         free_type(ret);
5676                         free_exec(code);
5677                         var_block_close(c, CloseFunction, NULL);
5678                 }
5679                 c->out_scope = NULL;
5680                 return name;
5681         }
5682
5683 ###### declare terminals
5684         $TERM return
5685
5686 ###### top level grammar
5687
5688         $*variable
5689         DeclareFunction -> func FuncName ( OpenScope ArgsLine ) Block Newlines ${
5690                 $0 = declare_function(c, $<FN, $<Ar, Tnone, NULL, $<Bl);
5691         }$
5692         | func FuncName IN OpenScope Args OUT OptNL do Block Newlines ${
5693                 $0 = declare_function(c, $<FN, $<Ar, Tnone, NULL, $<Bl);
5694         }$
5695         | func FuncName NEWLINE OpenScope OptNL do Block Newlines ${
5696                 $0 = declare_function(c, $<FN, NULL, Tnone, NULL, $<Bl);
5697         }$
5698         | func FuncName ( OpenScope ArgsLine ) : Type Block Newlines ${
5699                 $0 = declare_function(c, $<FN, $<Ar, $<Ty, NULL, $<Bl);
5700         }$
5701         | func FuncName ( OpenScope ArgsLine ) : ( ArgsLine ) Block Newlines ${
5702                 $0 = declare_function(c, $<FN, $<AL, NULL, $<AL2, $<Bl);
5703         }$
5704         | func FuncName IN OpenScope Args OUT OptNL return Type Newlines do Block Newlines ${
5705                 $0 = declare_function(c, $<FN, $<Ar, $<Ty, NULL, $<Bl);
5706         }$
5707         | func FuncName NEWLINE OpenScope return Type Newlines do Block Newlines ${
5708                 $0 = declare_function(c, $<FN, NULL, $<Ty, NULL, $<Bl);
5709         }$
5710         | func FuncName IN OpenScope Args OUT OptNL return IN Args OUT OptNL do Block Newlines ${
5711                 $0 = declare_function(c, $<FN, $<Ar, NULL, $<Ar2, $<Bl);
5712         }$
5713         | func FuncName NEWLINE OpenScope return IN Args OUT OptNL do Block Newlines ${
5714                 $0 = declare_function(c, $<FN, NULL, NULL, $<Ar, $<Bl);
5715         }$
5716
5717 ###### print func decls
5718         {
5719                 struct variable *v;
5720                 int target = -1;
5721
5722                 while (target != 0) {
5723                         int i = 0;
5724                         for (v = context.in_scope; v; v=v->in_scope)
5725                                 if (v->depth == 0 && v->type && v->type->check_args) {
5726                                         i += 1;
5727                                         if (i == target)
5728                                                 break;
5729                                 }
5730
5731                         if (target == -1) {
5732                                 target = i;
5733                         } else {
5734                                 struct value *val = var_value(&context, v);
5735                                 printf("func %.*s", v->name->name.len, v->name->name.txt);
5736                                 v->type->print_type_decl(v->type, stdout);
5737                                 if (brackets)
5738                                         print_exec(val->function, 0, brackets);
5739                                 else
5740                                         print_value(v->type, val, stdout);
5741                                 printf("/* frame size %d */\n", v->type->function.local_size);
5742                                 target -= 1;
5743                         }
5744                 }
5745         }
5746
5747 ###### core functions
5748
5749         static int analyse_funcs(struct parse_context *c)
5750         {
5751                 struct variable *v;
5752                 int all_ok = 1;
5753                 for (v = c->in_scope; v; v = v->in_scope) {
5754                         struct value *val;
5755                         struct type *ret;
5756                         enum prop_err perr;
5757                         if (v->depth != 0 || !v->type || !v->type->check_args)
5758                                 continue;
5759                         ret = v->type->function.inline_result ?
5760                                 Tnone : v->type->function.return_type;
5761                         val = var_value(c, v);
5762                         do {
5763                                 perr = 0;
5764                                 propagate_types(val->function, c, &perr, ret, 0);
5765                         } while (!(perr & Efail) && (perr & Eretry));
5766                         if (!(perr & Efail))
5767                                 /* Make sure everything is still consistent */
5768                                 propagate_types(val->function, c, &perr, ret, 0);
5769                         if (perr & Efail)
5770                                 all_ok = 0;
5771                         if (!v->type->function.inline_result &&
5772                             !v->type->function.return_type->dup) {
5773                                 type_err(c, "error: function cannot return value of type %1",
5774                                          v->where_decl, v->type->function.return_type, 0, NULL);
5775                         }
5776
5777                         scope_finalize(c, v->type);
5778                 }
5779                 return all_ok;
5780         }
5781
5782         static int analyse_main(struct type *type, struct parse_context *c)
5783         {
5784                 struct binode *bp = type->function.params;
5785                 struct binode *b;
5786                 enum prop_err perr;
5787                 int arg = 0;
5788                 struct type *argv_type;
5789
5790                 argv_type = add_anon_type(c, &array_prototype, "argv");
5791                 argv_type->array.member = Tstr;
5792                 argv_type->array.unspec = 1;
5793
5794                 for (b = bp; b; b = cast(binode, b->right)) {
5795                         perr = 0;
5796                         switch (arg++) {
5797                         case 0: /* argv */
5798                                 propagate_types(b->left, c, &perr, argv_type, 0);
5799                                 break;
5800                         default: /* invalid */  // NOTEST
5801                                 propagate_types(b->left, c, &perr, Tnone, 0);   // NOTEST
5802                         }
5803                         if (perr & Efail)
5804                                 c->parse_error += 1;
5805                 }
5806
5807                 return !c->parse_error;
5808         }
5809
5810         static void interp_main(struct parse_context *c, int argc, char **argv)
5811         {
5812                 struct value *progp = NULL;
5813                 struct text main_name = { "main", 4 };
5814                 struct variable *mainv;
5815                 struct binode *al;
5816                 int anum = 0;
5817                 struct value v;
5818                 struct type *vtype;
5819
5820                 mainv = var_ref(c, main_name);
5821                 if (mainv)
5822                         progp = var_value(c, mainv);
5823                 if (!progp || !progp->function) {
5824                         fprintf(stderr, "oceani: no main function found.\n");
5825                         c->parse_error += 1;
5826                         return;
5827                 }
5828                 if (!analyse_main(mainv->type, c)) {
5829                         fprintf(stderr, "oceani: main has wrong type.\n");
5830                         c->parse_error += 1;
5831                         return;
5832                 }
5833                 al = mainv->type->function.params;
5834
5835                 c->local_size = mainv->type->function.local_size;
5836                 c->local = calloc(1, c->local_size);
5837                 while (al) {
5838                         struct var *v = cast(var, al->left);
5839                         struct value *vl = var_value(c, v->var);
5840                         struct value arg;
5841                         struct type *t;
5842                         mpq_t argcq;
5843                         int i;
5844
5845                         switch (anum++) {
5846                         case 0: /* argv */
5847                                 t = v->var->type;
5848                                 mpq_init(argcq);
5849                                 mpq_set_ui(argcq, argc, 1);
5850                                 memcpy(var_value(c, t->array.vsize), &argcq, sizeof(argcq));
5851                                 t->prepare_type(c, t, 0);
5852                                 array_init(v->var->type, vl);
5853                                 for (i = 0; i < argc; i++) {
5854                                         struct value *vl2 = vl->array + i * v->var->type->array.member->size;
5855
5856                                         arg.str.txt = argv[i];
5857                                         arg.str.len = strlen(argv[i]);
5858                                         free_value(Tstr, vl2);
5859                                         dup_value(Tstr, &arg, vl2);
5860                                 }
5861                                 break;
5862                         }
5863                         al = cast(binode, al->right);
5864                 }
5865                 v = interp_exec(c, progp->function, &vtype);
5866                 free_value(vtype, &v);
5867                 free(c->local);
5868                 c->local = NULL;
5869         }
5870
5871 ###### ast functions
5872         void free_variable(struct variable *v)
5873         {
5874         }
5875
5876 ## And now to test it out.
5877
5878 Having a language requires having a "hello world" program.  I'll
5879 provide a little more than that: a program that prints "Hello world"
5880 finds the GCD of two numbers, prints the first few elements of
5881 Fibonacci, performs a binary search for a number, and a few other
5882 things which will likely grow as the languages grows.
5883
5884 ###### File: oceani.mk
5885         demos :: sayhello
5886         sayhello : oceani
5887                 @echo "===== DEMO ====="
5888                 ./oceani --section "demo: hello" oceani.mdc 55 33
5889
5890 ###### demo: hello
5891
5892         const
5893                 pi ::= 3.141_592_6
5894                 four ::= 2 + 2 ; five ::= 10/2
5895         const pie ::= "I like Pie";
5896                 cake ::= "The cake is"
5897                   ++ " a lie"
5898
5899         struct fred
5900                 size:[four]number
5901                 name:string
5902                 alive:Boolean
5903
5904         func main(argv:[argc::]string)
5905                 print "Hello World, what lovely oceans you have!"
5906                 print "Are there", five, "?"
5907                 print pi, pie, "but", cake
5908
5909                 A := $argv[1]; B := $argv[2]
5910
5911                 /* When a variable is defined in both branches of an 'if',
5912                  * and used afterwards, the variables are merged.
5913                  */
5914                 if A > B:
5915                         bigger := "yes"
5916                 else
5917                         bigger := "no"
5918                 print "Is", A, "bigger than", B,"? ", bigger
5919                 /* If a variable is not used after the 'if', no
5920                  * merge happens, so types can be different
5921                  */
5922                 if A > B * 2:
5923                         double:string = "yes"
5924                         print A, "is more than twice", B, "?", double
5925                 else
5926                         double := B*2
5927                         print "double", B, "is", double
5928
5929                 a : number
5930                 a = A;
5931                 b:number = B
5932                 if a > 0 and then b > 0:
5933                         while a != b:
5934                                 if a < b:
5935                                         b = b - a
5936                                 else
5937                                         a = a - b
5938                         print "GCD of", A, "and", B,"is", a
5939                 else if a <= 0:
5940                         print a, "is not positive, cannot calculate GCD"
5941                 else
5942                         print b, "is not positive, cannot calculate GCD"
5943
5944                 for
5945                         togo := 10
5946                         f1 := 1; f2 := 1
5947                         print "Fibonacci:", f1,f2,
5948                 then togo = togo - 1
5949                 while togo > 0:
5950                         f3 := f1 + f2
5951                         print "", f3,
5952                         f1 = f2
5953                         f2 = f3
5954                 print ""
5955
5956                 /* Binary search... */
5957                 for
5958                         lo:= 0; hi := 100
5959                         target := 77
5960                 while
5961                         mid := (lo + hi) / 2
5962                         if mid == target:
5963                                 use .Found
5964                         if mid < target:
5965                                 lo = mid
5966                         else
5967                                 hi = mid
5968                         if hi - lo < 1:
5969                                 lo = mid
5970                                 use .GiveUp
5971                         use True
5972                 do pass
5973                 case .Found:
5974                         print "Yay, I found", target
5975                 case .GiveUp:
5976                         print "Closest I found was", lo
5977
5978                 size::= 10
5979                 list:[size]number
5980                 list[0] = 1234
5981                 // "middle square" PRNG.  Not particularly good, but one my
5982                 // Dad taught me - the first one I ever heard of.
5983                 for i:=1; then i = i + 1; while i < size:
5984                         n := list[i-1] * list[i-1]
5985                         list[i] = (n / 100) % 10 000
5986
5987                 print "Before sort:",
5988                 for i:=0; then i = i + 1; while i < size:
5989                         print "", list[i],
5990                 print
5991
5992                 for i := 1; then i=i+1; while i < size:
5993                         for j:=i-1; then j=j-1; while j >= 0:
5994                                 if list[j] > list[j+1]:
5995                                         t:= list[j]
5996                                         list[j] = list[j+1]
5997                                         list[j+1] = t
5998                 print " After sort:",
5999                 for i:=0; then i = i + 1; while i < size:
6000                         print "", list[i],
6001                 print
6002
6003                 if 1 == 2 then print "yes"; else print "no"
6004
6005                 bob:fred
6006                 bob.name = "Hello"
6007                 bob.alive = (bob.name == "Hello")
6008                 print "bob", "is" if  bob.alive else "isn't", "alive"