ocean-lang.org Git - ocean/blob - csrc/oceani.mdc

   1 # Ocean Interpreter - Jamison Creek version
   2
   3 Ocean is intended to be a compiled language, so this interpreter is
   4 not targeted at being the final product.  It is, rather, an intermediate
   5 stage and fills that role in two distinct ways.
   6
   7 Firstly, it exists as a platform to experiment with the early language
   8 design.  An interpreter is easy to write and easy to get working, so
   9 the barrier for entry is lower if I aim to start with an interpreter.
  10
  11 Secondly, the plan for the Ocean compiler is to write it in the
  12 [Ocean language](http://ocean-lang.org).  To achieve this we naturally
  13 need some sort of boot-strap process and this interpreter - written in
  14 portable C - will fill that role.  It will be used to bootstrap the
  15 Ocean compiler.
  16
  17 Two features that are not needed to fill either of these roles are
  18 performance and completeness.  The interpreter only needs to be fast
  19 enough to run small test programs and occasionally to run the compiler
  20 on itself.  It only needs to be complete enough to test aspects of the
  21 design which are developed before the compiler is working, and to run
  22 the compiler on itself.  Any features not used by the compiler when
  23 compiling itself are superfluous.  They may be included anyway, but
  24 they may not.
  25
  26 Nonetheless, the interpreter should end up being reasonably complete,
  27 and any performance bottlenecks which appear and are easily fixed, will
  28 be.
  29
  30 ## Current version
  31
  32 This third version of the interpreter exists to test out some initial
  33 ideas relating to types.  Particularly it adds arrays (indexed from
  34 zero) and simple structures.  Basic control flow and variable scoping
  35 are already fairly well established, as are basic numerical and
  36 boolean operators.
  37
  38 Some operators that have only recently been added, and so have not
  39 generated all that much experience yet are "and then" and "or else" as
  40 short-circuit Boolean operators, and the "if ... else" trinary
  41 operator which can select between two expressions based on a third
  42 (which appears syntactically in the middle).
  43
  44 The "func" clause currently only allows a "main" function to be
  45 declared.  That will be extended when proper function support is added.
  46
  47 An element that is present purely to make a usable language, and
  48 without any expectation that they will remain, is the "print" statement
  49 which performs simple output.
  50
  51 The current scalar types are "number", "Boolean", and "string".
  52 Boolean will likely stay in its current form, the other two might, but
  53 could just as easily be changed.
  54
  55 ## Naming
  56
  57 Versions of the interpreter which obviously do not support a complete
  58 language will be named after creeks and streams.  This one is Jamison
  59 Creek.
  60
  61 Once we have something reasonably resembling a complete language, the
  62 names of rivers will be used.
  63 Early versions of the compiler will be named after seas.  Major
  64 releases of the compiler will be named after oceans.  Hopefully I will
  65 be finished once I get to the Pacific Ocean release.
  66
  67 ## Outline
  68
  69 As well as parsing and executing a program, the interpreter can print
  70 out the program from the parsed internal structure.  This is useful
  71 for validating the parsing.
  72 So the main requirements of the interpreter are:
  73
  74 - Parse the program, possibly with tracing,
  75 - Analyse the parsed program to ensure consistency,
  76 - Print the program,
  77 - Execute the "main" function in the program, if no parsing or
  78   consistency errors were found.
  79
  80 This is all performed by a single C program extracted with
  81 `parsergen`.
  82
  83 There will be two formats for printing the program: a default and one
  84 that uses bracketing.  So a `--bracket` command line option is needed
  85 for that.  Normally the first code section found is used, however an
  86 alternate section can be requested so that a file (such as this one)
  87 can contain multiple programs.  This is effected with the `--section`
  88 option.
  89
  90 This code must be compiled with `-fplan9-extensions` so that anonymous
  91 structures can be used.
  92
  93 ###### File: oceani.mk
  94
  95         myCFLAGS := -Wall -g -fplan9-extensions
  96         CFLAGS := $(filter-out $(myCFLAGS),$(CFLAGS)) $(myCFLAGS)
  97         myLDLIBS:= libparser.o libscanner.o libmdcode.o -licuuc
  98         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
  99         ## libs
 100         all :: $(LDLIBS) oceani
 101         oceani.c oceani.h : oceani.mdc parsergen
 102                 ./parsergen -o oceani --LALR --tag Parser oceani.mdc
 103         oceani.mk: oceani.mdc md2c
 104                 ./md2c oceani.mdc
 105
 106         oceani: oceani.o $(LDLIBS)
 107                 $(CC) $(CFLAGS) -o oceani oceani.o $(LDLIBS)
 108
 109 ###### Parser: header
 110         ## macros
 111         struct parse_context;
 112         ## ast
 113         ## ast late
 114         struct parse_context {
 115                 struct token_config config;
 116                 char *file_name;
 117                 int parse_error;
 118                 ## parse context
 119         };
 120
 121 ###### macros
 122
 123         #define container_of(ptr, type, member) ({                      \
 124                 const typeof( ((type *)0)->member ) *__mptr = (ptr);    \
 125                 (type *)( (char *)__mptr - offsetof(type,member) );})
 126
 127         #define config2context(_conf) container_of(_conf, struct parse_context, \
 128                 config)
 129
 130 ###### Parser: reduce
 131         struct parse_context *c = config2context(config);
 132
 133 ###### Parser: code
 134         #define _GNU_SOURCE
 135         #include <unistd.h>
 136         #include <stdlib.h>
 137         #include <fcntl.h>
 138         #include <errno.h>
 139         #include <sys/mman.h>
 140         #include <string.h>
 141         #include <stdio.h>
 142         #include <locale.h>
 143         #include <malloc.h>
 144         #include "mdcode.h"
 145         #include "scanner.h"
 146         #include "parser.h"
 147
 148         ## includes
 149
 150         #include "oceani.h"
 151
 152         ## forward decls
 153         ## value functions
 154         ## ast functions
 155         ## core functions
 156
 157         #include <getopt.h>
 158         static char Usage[] =
 159                 "Usage: oceani --trace --print --noexec --brackets --section=SectionName prog.ocn\n";
 160         static const struct option long_options[] = {
 161                 {"trace",     0, NULL, 't'},
 162                 {"print",     0, NULL, 'p'},
 163                 {"noexec",    0, NULL, 'n'},
 164                 {"brackets",  0, NULL, 'b'},
 165                 {"section",   1, NULL, 's'},
 166                 {NULL,        0, NULL, 0},
 167         };
 168         const char *options = "tpnbs";
 169
 170         static void pr_err(char *msg)                   // NOTEST
 171         {
 172                 fprintf(stderr, "%s\n", msg);           // NOTEST
 173         }                                               // NOTEST
 174
 175         int main(int argc, char *argv[])
 176         {
 177                 int fd;
 178                 int len;
 179                 char *file;
 180                 struct section *s = NULL, *ss;
 181                 char *section = NULL;
 182                 struct parse_context context = {
 183                         .config = {
 184                                 .ignored = (1 << TK_mark),
 185                                 .number_chars = ".,_+- ",
 186                                 .word_start = "_",
 187                                 .word_cont = "_",
 188                         },
 189                 };
 190                 int doprint=0, dotrace=0, doexec=1, brackets=0;
 191                 int opt;
 192                 while ((opt = getopt_long(argc, argv, options, long_options, NULL))
 193                        != -1) {
 194                         switch(opt) {
 195                         case 't': dotrace=1; break;
 196                         case 'p': doprint=1; break;
 197                         case 'n': doexec=0; break;
 198                         case 'b': brackets=1; break;
 199                         case 's': section = optarg; break;
 200                         default: fprintf(stderr, Usage);
 201                                 exit(1);
 202                         }
 203                 }
 204                 if (optind >= argc) {
 205                         fprintf(stderr, "oceani: no input file given\n");
 206                         exit(1);
 207                 }
 208                 fd = open(argv[optind], O_RDONLY);
 209                 if (fd < 0) {
 210                         fprintf(stderr, "oceani: cannot open %s\n", argv[optind]);
 211                         exit(1);
 212                 }
 213                 context.file_name = argv[optind];
 214                 len = lseek(fd, 0, 2);
 215                 file = mmap(NULL, len, PROT_READ, MAP_SHARED, fd, 0);
 216                 s = code_extract(file, file+len, pr_err);
 217                 if (!s) {
 218                         fprintf(stderr, "oceani: could not find any code in %s\n",
 219                                 argv[optind]);
 220                         exit(1);
 221                 }
 222
 223                 ## context initialization
 224
 225                 if (section) {
 226                         for (ss = s; ss; ss = ss->next) {
 227                                 struct text sec = ss->section;
 228                                 if (sec.len == strlen(section) &&
 229                                     strncmp(sec.txt, section, sec.len) == 0)
 230                                         break;
 231                         }
 232                         if (!ss) {
 233                                 fprintf(stderr, "oceani: cannot find section %s\n",
 234                                         section);
 235                                 goto cleanup;
 236                         }
 237                 } else
 238                         ss = s;                         // NOTEST
 239                 if (!ss->code) {
 240                         fprintf(stderr, "oceani: no code found in requested section\n");        // NOTEST
 241                         goto cleanup;                   // NOTEST
 242                 }
 243
 244                 parse_oceani(ss->code, &context.config, dotrace ? stderr : NULL);
 245
 246                 resolve_consts(&context);
 247                 prepare_types(&context);
 248                 if (!context.parse_error && !analyse_funcs(&context)) {
 249                         fprintf(stderr, "oceani: type error in program - not running.\n");
 250                         context.parse_error += 1;
 251                 }
 252
 253                 if (doprint) {
 254                         ## print const decls
 255                         ## print type decls
 256                         ## print func decls
 257                 }
 258                 if (doexec && !context.parse_error)
 259                         interp_main(&context, argc - optind, argv + optind);
 260         cleanup:
 261                 while (s) {
 262                         struct section *t = s->next;
 263                         code_free(s->code);
 264                         free(s);
 265                         s = t;
 266                 }
 267                 // FIXME parser should pop scope even on error
 268                 while (context.scope_depth > 0)
 269                         scope_pop(&context);
 270                 ## free global vars
 271                 ## free const decls
 272                 ## free context types
 273                 ## free context storage
 274                 exit(context.parse_error ? 1 : 0);
 275         }
 276
 277 ### Analysis
 278
 279 The four requirements of parse, analyse, print, interpret apply to
 280 each language element individually so that is how most of the code
 281 will be structured.
 282
 283 Three of the four are fairly self explanatory.  The one that requires
 284 a little explanation is the analysis step.
 285
 286 The current language design does not require the types of variables to
 287 be declared, but they must still have a single type.  Different
 288 operations impose different requirements on the variables, for example
 289 addition requires both arguments to be numeric, and assignment
 290 requires the variable on the left to have the same type as the
 291 expression on the right.
 292
 293 Analysis involves propagating these type requirements around and
 294 consequently setting the type of each variable.  If any requirements
 295 are violated (e.g. a string is compared with a number) or if a
 296 variable needs to have two different types, then an error is raised
 297 and the program will not run.
 298
 299 If the same variable is declared in both branchs of an 'if/else', or
 300 in all cases of a 'switch' then the multiple instances may be merged
 301 into just one variable if the variable is referenced after the
 302 conditional statement.  When this happens, the types must naturally be
 303 consistent across all the branches.  When the variable is not used
 304 outside the if, the variables in the different branches are distinct
 305 and can be of different types.
 306
 307 Undeclared names may only appear in "use" statements and "case" expressions.
 308 These names are given a type of "label" and a unique value.
 309 This allows them to fill the role of a name in an enumerated type, which
 310 is useful for testing the `switch` statement.
 311
 312 As we will see, the condition part of a `while` statement can return
 313 either a Boolean or some other type.  This requires that the expected
 314 type that gets passed around comprises a type and a flag to indicate
 315 that `Tbool` is also permitted.
 316
 317 As there are, as yet, no distinct types that are compatible, there
 318 isn't much subtlety in the analysis.  When we have distinct number
 319 types, this will become more interesting.
 320
 321 #### Error reporting
 322
 323 When analysis discovers an inconsistency it needs to report an error;
 324 just refusing to run the code ensures that the error doesn't cascade,
 325 but by itself it isn't very useful.  A clear understanding of the sort
 326 of error message that are useful will help guide the process of
 327 analysis.
 328
 329 At a simplistic level, the only sort of error that type analysis can
 330 report is that the type of some construct doesn't match a contextual
 331 requirement.  For example, in `4 + "hello"` the addition provides a
 332 contextual requirement for numbers, but `"hello"` is not a number.  In
 333 this particular example no further information is needed as the types
 334 are obvious from local information.  When a variable is involved that
 335 isn't the case.  It may be helpful to explain why the variable has a
 336 particular type, by indicating the location where the type was set,
 337 whether by declaration or usage.
 338
 339 Using a recursive-descent analysis we can easily detect a problem at
 340 multiple locations. In "`hello:= "there"; 4 + hello`" the addition
 341 will detect that one argument is not a number and the usage of `hello`
 342 will detect that a number was wanted, but not provided.  In this
 343 (early) version of the language, we will generate error reports at
 344 multiple locations, so the use of `hello` will report an error and
 345 explain were the value was set, and the addition will report an error
 346 and say why numbers are needed.  To be able to report locations for
 347 errors, each language element will need to record a file location
 348 (line and column) and each variable will need to record the language
 349 element where its type was set.  For now we will assume that each line
 350 of an error message indicates one location in the file, and up to 2
 351 types.  So we provide a `printf`-like function which takes a format, a
 352 location (a `struct exec` which has not yet been introduced), and 2
 353 types. "`%1`" reports the first type, "`%2`" reports the second.  We
 354 will need a function to print the location, once we know how that is
 355 stored. e As will be explained later, there are sometimes extra rules for
 356 type matching and they might affect error messages, we need to pass those
 357 in too.
 358
 359 As well as type errors, we sometimes need to report problems with
 360 tokens, which might be unexpected or might name a type that has not
 361 been defined.  For these we have `tok_err()` which reports an error
 362 with a given token.  Each of the error functions sets the flag in the
 363 context so indicate that parsing failed.
 364
 365 ###### forward decls
 366
 367         static void fput_loc(struct exec *loc, FILE *f);
 368         static void type_err(struct parse_context *c,
 369                              char *fmt, struct exec *loc,
 370                              struct type *t1, int rules, struct type *t2);
 371         static void tok_err(struct parse_context *c, char *fmt, struct token *t);
 372
 373 ###### core functions
 374
 375         static void type_err(struct parse_context *c,
 376                              char *fmt, struct exec *loc,
 377                              struct type *t1, int rules, struct type *t2)
 378         {
 379                 fprintf(stderr, "%s:", c->file_name);
 380                 fput_loc(loc, stderr);
 381                 for (; *fmt ; fmt++) {
 382                         if (*fmt != '%') {
 383                                 fputc(*fmt, stderr);
 384                                 continue;
 385                         }
 386                         fmt++;
 387                         switch (*fmt) {
 388                         case '%': fputc(*fmt, stderr); break;   // NOTEST
 389                         default: fputc('?', stderr); break;     // NOTEST
 390                         case '1':
 391                                 type_print(t1, stderr);
 392                                 break;
 393                         case '2':
 394                                 type_print(t2, stderr);
 395                                 break;
 396                         ## format cases
 397                         }
 398                 }
 399                 fputs("\n", stderr);
 400                 c->parse_error += 1;
 401         }
 402
 403         static void tok_err(struct parse_context *c, char *fmt, struct token *t)
 404         {
 405                 fprintf(stderr, "%s:%d:%d: %s: %.*s\n", c->file_name, t->line, t->col, fmt,
 406                         t->txt.len, t->txt.txt);
 407                 c->parse_error += 1;
 408         }
 409
 410 ## Entities: declared and predeclared.
 411
 412 There are various "things" that the language and/or the interpreter
 413 needs to know about to parse and execute a program.  These include
 414 types, variables, values, and executable code.  These are all lumped
 415 together under the term "entities" (calling them "objects" would be
 416 confusing) and introduced here.  The following section will present the
 417 different specific code elements which comprise or manipulate these
 418 various entities.
 419
 420 ### Executables
 421
 422 Executables can be lots of different things.  In many cases an
 423 executable is just an operation combined with one or two other
 424 executables.  This allows for expressions and lists etc.  Other times an
 425 executable is something quite specific like a constant or variable name.
 426 So we define a `struct exec` to be a general executable with a type, and
 427 a `struct binode` which is a subclass of `exec`, forms a node in a
 428 binary tree, and holds an operation.  There will be other subclasses,
 429 and to access these we need to be able to `cast` the `exec` into the
 430 various other types.  The first field in any `struct exec` is the type
 431 from the `exec_types` enum.
 432
 433 ###### macros
 434         #define cast(structname, pointer) ({            \
 435                 const typeof( ((struct structname *)0)->type) *__mptr = &(pointer)->type; \
 436                 if (__mptr && *__mptr != X##structname) abort();                \
 437                 (struct structname *)( (char *)__mptr);})
 438
 439         #define new(structname) ({                                              \
 440                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
 441                 __ptr->type = X##structname;                                            \
 442                 __ptr->line = -1; __ptr->column = -1;                                   \
 443                 __ptr;})
 444
 445         #define new_pos(structname, token) ({                                           \
 446                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
 447                 __ptr->type = X##structname;                                            \
 448                 __ptr->line = token.line; __ptr->column = token.col;                    \
 449                 __ptr;})
 450
 451 ###### ast
 452         enum exec_types {
 453                 Xbinode,
 454                 ## exec type
 455         };
 456         struct exec {
 457                 enum exec_types type;
 458                 int line, column;
 459                 ## exec fields
 460         };
 461         struct binode {
 462                 struct exec;
 463                 enum Btype {
 464                         ## Binode types
 465                 } op;
 466                 struct exec *left, *right;
 467         };
 468
 469 ###### ast functions
 470
 471         static int __fput_loc(struct exec *loc, FILE *f)
 472         {
 473                 if (!loc)
 474                         return 0;
 475                 if (loc->line >= 0) {
 476                         fprintf(f, "%d:%d: ", loc->line, loc->column);
 477                         return 1;
 478                 }
 479                 if (loc->type == Xbinode)
 480                         return __fput_loc(cast(binode,loc)->left, f) ||
 481                                __fput_loc(cast(binode,loc)->right, f);  // NOTEST
 482                 return 0;       // NOTEST
 483         }
 484         static void fput_loc(struct exec *loc, FILE *f)
 485         {
 486                 if (!__fput_loc(loc, f))
 487                         fprintf(f, "??:??: ");  // NOTEST
 488         }
 489
 490 Each different type of `exec` node needs a number of functions defined,
 491 a bit like methods.  We must be able to free it, print it, analyse it
 492 and execute it.  Once we have specific `exec` types we will need to
 493 parse them too.  Let's take this a bit more slowly.
 494
 495 #### Freeing
 496
 497 The parser generator requires a `free_foo` function for each struct
 498 that stores attributes and they will often be `exec`s and subtypes
 499 there-of.  So we need `free_exec` which can handle all the subtypes,
 500 and we need `free_binode`.
 501
 502 ###### ast functions
 503
 504         static void free_binode(struct binode *b)
 505         {
 506                 if (!b)
 507                         return;
 508                 free_exec(b->left);
 509                 free_exec(b->right);
 510                 free(b);
 511         }
 512
 513 ###### core functions
 514         static void free_exec(struct exec *e)
 515         {
 516                 if (!e)
 517                         return;
 518                 switch(e->type) {
 519                         ## free exec cases
 520                 }
 521         }
 522
 523 ###### forward decls
 524
 525         static void free_exec(struct exec *e);
 526
 527 ###### free exec cases
 528         case Xbinode: free_binode(cast(binode, e)); break;
 529
 530 #### Printing
 531
 532 Printing an `exec` requires that we know the current indent level for
 533 printing line-oriented components.  As will become clear later, we
 534 also want to know what sort of bracketing to use.
 535
 536 ###### ast functions
 537
 538         static void do_indent(int i, char *str)
 539         {
 540                 while (i-- > 0)
 541                         printf("    ");
 542                 printf("%s", str);
 543         }
 544
 545 ###### core functions
 546         static void print_binode(struct binode *b, int indent, int bracket)
 547         {
 548                 struct binode *b2;
 549                 switch(b->op) {
 550                 ## print binode cases
 551                 }
 552         }
 553
 554         static void print_exec(struct exec *e, int indent, int bracket)
 555         {
 556                 if (!e)
 557                         return;
 558                 switch (e->type) {
 559                 case Xbinode:
 560                         print_binode(cast(binode, e), indent, bracket); break;
 561                 ## print exec cases
 562                 }
 563                 if (e->to_free) {
 564                         struct variable *v;
 565                         do_indent(indent, "/* FREE");
 566                         for (v = e->to_free; v; v = v->next_free) {
 567                                 printf(" %.*s", v->name->name.len, v->name->name.txt);
 568                                 printf("[%d,%d]", v->scope_start, v->scope_end);
 569                                 if (v->frame_pos >= 0)
 570                                         printf("(%d+%d)", v->frame_pos,
 571                                                v->type ? v->type->size:0);
 572                         }
 573                         printf(" */\n");
 574                 }
 575         }
 576
 577 ###### forward decls
 578
 579         static void print_exec(struct exec *e, int indent, int bracket);
 580
 581 #### Analysing
 582
 583 As discussed, analysis involves propagating type requirements around the
 584 program and looking for errors.
 585
 586 So `propagate_types` is passed an expected type (being a `struct type`
 587 pointer together with some `val_rules` flags) that the `exec` is
 588 expected to return, and returns the type that it does return, either of
 589 which can be `NULL` signifying "unknown".  A `prop_err` flag set is
 590 passed by reference.  It has `Efail` set when an error is found, and
 591 `Eretry` when the type for some element is set via propagation.  If
 592 any expression cannot be evaluated immediately, `Enoconst` is set.
 593 If the expression can be copied, `Emaycopy` is set.
 594
 595 If it remains unchanged at `0`, then no more propagation is needed.
 596
 597 ###### ast
 598
 599         enum val_rules {Rboolok = 1<<1, Rnoconstant = 1<<2};
 600         enum prop_err {Efail = 1<<0, Eretry = 1<<1, Enoconst = 1<<2,
 601                        Emaycopy = 1<<3};
 602
 603 ###### forward decls
 604         static struct type *propagate_types(struct exec *prog, struct parse_context *c, enum prop_err *perr,
 605                                             struct type *type, int rules);
 606 ###### core functions
 607
 608         static struct type *__propagate_types(struct exec *prog, struct parse_context *c, enum prop_err *perr,
 609                                               struct type *type, int rules)
 610         {
 611                 struct type *t;
 612
 613                 if (!prog)
 614                         return Tnone;
 615
 616                 switch (prog->type) {
 617                 case Xbinode:
 618                 {
 619                         struct binode *b = cast(binode, prog);
 620                         switch (b->op) {
 621                         ## propagate binode cases
 622                         }
 623                         break;
 624                 }
 625                 ## propagate exec cases
 626                 }
 627                 return Tnone;
 628         }
 629
 630         static struct type *propagate_types(struct exec *prog, struct parse_context *c, enum prop_err *perr,
 631                                             struct type *type, int rules)
 632         {
 633                 int pre_err = c->parse_error;
 634                 struct type *ret = __propagate_types(prog, c, perr, type, rules);
 635
 636                 if (c->parse_error > pre_err)
 637                         *perr |= Efail;
 638                 return ret;
 639         }
 640
 641 #### Interpreting
 642
 643 Interpreting an `exec` doesn't require anything but the `exec`.  State
 644 is stored in variables and each variable will be directly linked from
 645 within the `exec` tree.  The exception to this is the `main` function
 646 which needs to look at command line arguments.  This function will be
 647 interpreted separately.
 648
 649 Each `exec` can return a value combined with a type in `struct lrval`.
 650 The type may be `Tnone` but must be non-NULL.  Some `exec`s will return
 651 the location of a value, which can be updated, in `lval`.  Others will
 652 set `lval` to NULL indicating that there is a value of appropriate type
 653 in `rval`.
 654
 655 ###### forward decls
 656         static struct value interp_exec(struct parse_context *c, struct exec *e,
 657                                         struct type **typeret);
 658 ###### core functions
 659
 660         struct lrval {
 661                 struct type *type;
 662                 struct value rval, *lval;
 663         };
 664
 665         /* If dest is passed, dtype must give the expected type, and
 666          * result can go there, in which case type is returned as NULL.
 667          */
 668         static struct lrval _interp_exec(struct parse_context *c, struct exec *e,
 669                                          struct value *dest, struct type *dtype);
 670
 671         static struct value interp_exec(struct parse_context *c, struct exec *e,
 672                                         struct type **typeret)
 673         {
 674                 struct lrval ret = _interp_exec(c, e, NULL, NULL);
 675
 676                 if (!ret.type) abort();
 677                 if (typeret)
 678                         *typeret = ret.type;
 679                 if (ret.lval)
 680                         dup_value(ret.type, ret.lval, &ret.rval);
 681                 return ret.rval;
 682         }
 683
 684         static struct value *linterp_exec(struct parse_context *c, struct exec *e,
 685                                           struct type **typeret)
 686         {
 687                 struct lrval ret = _interp_exec(c, e, NULL, NULL);
 688
 689                 if (!ret.type) abort();
 690                 if (ret.lval)
 691                         *typeret = ret.type;
 692                 else
 693                         free_value(ret.type, &ret.rval);
 694                 return ret.lval;
 695         }
 696
 697         /* dinterp_exec is used when the destination type is certain and
 698          * the value has a place to go.
 699          */
 700         static void dinterp_exec(struct parse_context *c, struct exec *e,
 701                                  struct value *dest, struct type *dtype,
 702                                  int need_free)
 703         {
 704                 struct lrval ret = _interp_exec(c, e, dest, dtype);
 705                 if (!ret.type)
 706                         return;
 707                 if (need_free)
 708                         free_value(dtype, dest);
 709                 if (ret.lval)
 710                         dup_value(dtype, ret.lval, dest);
 711                 else
 712                         memcpy(dest, &ret.rval, dtype->size);
 713         }
 714
 715         static struct lrval _interp_exec(struct parse_context *c, struct exec *e,
 716                                          struct value *dest, struct type *dtype)
 717         {
 718                 /* If the result is copied to dest, ret.type is set to NULL */
 719                 struct lrval ret;
 720                 struct value rv = {}, *lrv = NULL;
 721                 struct type *rvtype;
 722
 723                 rvtype = ret.type = Tnone;
 724                 if (!e) {
 725                         ret.lval = lrv;
 726                         ret.rval = rv;
 727                         return ret;
 728                 }
 729
 730                 switch(e->type) {
 731                 case Xbinode:
 732                 {
 733                         struct binode *b = cast(binode, e);
 734                         struct value left, right, *lleft;
 735                         struct type *ltype, *rtype;
 736                         ltype = rtype = Tnone;
 737                         switch (b->op) {
 738                         ## interp binode cases
 739                         }
 740                         free_value(ltype, &left);
 741                         free_value(rtype, &right);
 742                         break;
 743                 }
 744                 ## interp exec cases
 745                 }
 746                 if (rvtype) {
 747                         ret.lval = lrv;
 748                         ret.rval = rv;
 749                         ret.type = rvtype;
 750                 }
 751                 ## interp exec cleanup
 752                 return ret;
 753         }
 754
 755 ### Types
 756
 757 Values come in a wide range of types, with more likely to be added.
 758 Each type needs to be able to print its own values (for convenience at
 759 least) as well as to compare two values, at least for equality and
 760 possibly for order.  For now, values might need to be duplicated and
 761 freed, though eventually such manipulations will be better integrated
 762 into the language.
 763
 764 Rather than requiring every numeric type to support all numeric
 765 operations (add, multiply, etc), we allow types to be able to present
 766 as one of a few standard types: integer, float, and fraction.  The
 767 existence of these conversion functions eventually enable types to
 768 determine if they are compatible with other types, though such types
 769 have not yet been implemented.
 770
 771 Named type are stored in a simple linked list.  Objects of each type are
 772 "values" which are often passed around by value.
 773
 774 There are both explicitly named types, and anonymous types.  Anonymous
 775 cannot be accessed by name, but are used internally and have a name
 776 which might be reported in error messages.
 777
 778 ###### ast
 779
 780         struct value {
 781                 union {
 782                         char ptr[1];
 783                         ## value union fields
 784                 };
 785         };
 786
 787 ###### ast late
 788         struct type {
 789                 struct text name;
 790                 struct type *next;
 791                 struct token first_use;
 792                 int size, align;
 793                 int anon;
 794                 void (*init)(struct type *type, struct value *val);
 795                 int (*prepare_type)(struct parse_context *c, struct type *type, int parse_time);
 796                 void (*print)(struct type *type, struct value *val, FILE *f);
 797                 void (*print_type)(struct type *type, FILE *f);
 798                 int (*cmp_order)(struct type *t1, struct type *t2,
 799                                  struct value *v1, struct value *v2);
 800                 int (*cmp_eq)(struct type *t1, struct type *t2,
 801                               struct value *v1, struct value *v2);
 802                 void (*dup)(struct type *type, struct value *vold, struct value *vnew);
 803                 int (*test)(struct type *type, struct value *val);
 804                 void (*free)(struct type *type, struct value *val);
 805                 void (*free_type)(struct type *t);
 806                 long long (*to_int)(struct value *v);
 807                 double (*to_float)(struct value *v);
 808                 int (*to_mpq)(mpq_t *q, struct value *v);
 809                 ## type functions
 810                 union {
 811                         ## type union fields
 812                 };
 813         };
 814
 815 ###### parse context
 816
 817         struct type *typelist;
 818
 819 ###### includes
 820         #include <stdarg.h>
 821
 822 ###### ast functions
 823
 824         static struct type *find_type(struct parse_context *c, struct text s)
 825         {
 826                 struct type *t = c->typelist;
 827
 828                 while (t && (t->anon ||
 829                              text_cmp(t->name, s) != 0))
 830                                 t = t->next;
 831                 return t;
 832         }
 833
 834         static struct type *_add_type(struct parse_context *c, struct text s,
 835                                      struct type *proto, int anon)
 836         {
 837                 struct type *n;
 838
 839                 n = calloc(1, sizeof(*n));
 840                 if (proto)
 841                         *n = *proto;
 842                 else
 843                         n->size = -1;
 844                 n->name = s;
 845                 n->anon = anon;
 846                 n->next = c->typelist;
 847                 c->typelist = n;
 848                 return n;
 849         }
 850
 851         static struct type *add_type(struct parse_context *c, struct text s,
 852                                       struct type *proto)
 853         {
 854                 return _add_type(c, s, proto, 0);
 855         }
 856
 857         static struct type *add_anon_type(struct parse_context *c,
 858                                           struct type *proto, char *name, ...)
 859         {
 860                 struct text t;
 861                 va_list ap;
 862
 863                 va_start(ap, name);
 864                 vasprintf(&t.txt, name, ap);
 865                 va_end(ap);
 866                 t.len = strlen(t.txt);
 867                 return _add_type(c, t, proto, 1);
 868         }
 869
 870         static struct type *find_anon_type(struct parse_context *c,
 871                                            struct type *proto, char *name, ...)
 872         {
 873                 struct type *t = c->typelist;
 874                 struct text nm;
 875                 va_list ap;
 876
 877                 va_start(ap, name);
 878                 vasprintf(&nm.txt, name, ap);
 879                 va_end(ap);
 880                 nm.len = strlen(name);
 881
 882                 while (t && (!t->anon ||
 883                              text_cmp(t->name, nm) != 0))
 884                                 t = t->next;
 885                 if (t) {
 886                         free(nm.txt);
 887                         return t;
 888                 }
 889                 return _add_type(c, nm, proto, 1);
 890         }
 891
 892         static void free_type(struct type *t)
 893         {
 894                 /* The type is always a reference to something in the
 895                  * context, so we don't need to free anything.
 896                  */
 897         }
 898
 899         static void free_value(struct type *type, struct value *v)
 900         {
 901                 if (type && v) {
 902                         type->free(type, v);
 903                         memset(v, 0x5a, type->size);
 904                 }
 905         }
 906
 907         static void type_print(struct type *type, FILE *f)
 908         {
 909                 if (!type)
 910                         fputs("*unknown*type*", f);     // NOTEST
 911                 else if (type->name.len && !type->anon)
 912                         fprintf(f, "%.*s", type->name.len, type->name.txt);
 913                 else if (type->print_type)
 914                         type->print_type(type, f);
 915                 else if (type->name.len && type->anon)
 916                         fprintf(f, "\"%.*s\"", type->name.len, type->name.txt);
 917                 else
 918                         fputs("*invalid*type*", f);     // NOTEST
 919         }
 920
 921         static void val_init(struct type *type, struct value *val)
 922         {
 923                 if (type && type->init)
 924                         type->init(type, val);
 925         }
 926
 927         static void dup_value(struct type *type,
 928                               struct value *vold, struct value *vnew)
 929         {
 930                 if (type && type->dup)
 931                         type->dup(type, vold, vnew);
 932         }
 933
 934         static int value_cmp(struct type *tl, struct type *tr,
 935                              struct value *left, struct value *right)
 936         {
 937                 if (tl && tl->cmp_order)
 938                         return tl->cmp_order(tl, tr, left, right);
 939                 if (tl && tl->cmp_eq)
 940                         return tl->cmp_eq(tl, tr, left, right);
 941                 return -1;                              // NOTEST
 942         }
 943
 944         static void print_value(struct type *type, struct value *v, FILE *f)
 945         {
 946                 if (type && type->print)
 947                         type->print(type, v, f);
 948                 else
 949                         fprintf(f, "*Unknown*");                // NOTEST
 950         }
 951
 952         static void prepare_types(struct parse_context *c)
 953         {
 954                 struct type *t;
 955                 int retry = 1;
 956                 enum { none, some, cannot } progress = none;
 957
 958                 while (retry) {
 959                         retry = 0;
 960
 961                         for (t = c->typelist; t; t = t->next) {
 962                                 if (t->size < 0)
 963                                         tok_err(c, "error: type used but not declared",
 964                                                  &t->first_use);
 965                                 if (t->size == 0 && t->prepare_type) {
 966                                         if (t->prepare_type(c, t, 1))
 967                                                 progress = some;
 968                                         else if (progress == cannot)
 969                                                 tok_err(c, "error: type has recursive definition",
 970                                                         &t->first_use);
 971                                         else
 972                                                 retry = 1;
 973                                 }
 974                         }
 975                         switch (progress) {
 976                         case cannot:
 977                                 retry = 0; break;
 978                         case none:
 979                                 progress = cannot; break;
 980                         case some:
 981                                 progress = none; break;
 982                         }
 983                 }
 984         }
 985
 986 ###### forward decls
 987
 988         static void free_value(struct type *type, struct value *v);
 989         static int type_compat(struct type *require, struct type *have, int rules);
 990         static void type_print(struct type *type, FILE *f);
 991         static void val_init(struct type *type, struct value *v);
 992         static void dup_value(struct type *type,
 993                               struct value *vold, struct value *vnew);
 994         static int value_cmp(struct type *tl, struct type *tr,
 995                              struct value *left, struct value *right);
 996         static void print_value(struct type *type, struct value *v, FILE *f);
 997
 998 ###### free context types
 999
1000         while (context.typelist) {
1001                 struct type *t = context.typelist;
1002
1003                 context.typelist = t->next;
1004                 if (t->free_type)
1005                         t->free_type(t);
1006                 if (t->anon)
1007                         free(t->name.txt);
1008                 free(t);
1009         }
1010
1011 Type can be specified for local variables, for fields in a structure,
1012 for formal parameters to functions, and possibly elsewhere.  Different
1013 rules may apply in different contexts.  As a minimum, a named type may
1014 always be used.  Currently the type of a formal parameter can be
1015 different from types in other contexts, so we have a separate grammar
1016 symbol for those.
1017
1018 ###### Grammar
1019
1020         $*type
1021         Type -> IDENTIFIER ${
1022                 $0 = find_type(c, $ID.txt);
1023                 if (!$0) {
1024                         $0 = add_type(c, $ID.txt, NULL);
1025                         $0->first_use = $ID;
1026                 }
1027         }$
1028         ## type grammar
1029
1030         FormalType -> Type ${ $0 = $<1; }$
1031         ## formal type grammar
1032
1033 #### Base Types
1034
1035 Values of the base types can be numbers, which we represent as
1036 multi-precision fractions, strings, Booleans and labels.  When
1037 analysing the program we also need to allow for places where no value
1038 is meaningful (type `Tnone`) and where we don't know what type to
1039 expect yet (type is `NULL`).
1040
1041 Values are never shared, they are always copied when used, and freed
1042 when no longer needed.
1043
1044 When propagating type information around the program, we need to
1045 determine if two types are compatible, where type `NULL` is compatible
1046 with anything.  There are two special cases with type compatibility,
1047 both related to the Conditional Statement which will be described
1048 later.  In some cases a Boolean can be accepted as well as some other
1049 primary type, and in others any type is acceptable except a label (`Vlabel`).
1050 A separate function encoding these cases will simplify some code later.
1051
1052 ###### type functions
1053
1054         int (*compat)(struct type *this, struct type *other);
1055
1056 ###### ast functions
1057
1058         static int type_compat(struct type *require, struct type *have, int rules)
1059         {
1060                 if ((rules & Rboolok) && have == Tbool)
1061                         return 1;       // NOTEST
1062                 if (!require || !have)
1063                         return 1;
1064
1065                 if (require->compat)
1066                         return require->compat(require, have);
1067
1068                 return require == have;
1069         }
1070
1071 ###### includes
1072         #include <gmp.h>
1073         #include "parse_string.h"
1074         #include "parse_number.h"
1075
1076 ###### libs
1077         myLDLIBS := libnumber.o libstring.o -lgmp
1078         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
1079
1080 ###### type union fields
1081         enum vtype {Vnone, Vstr, Vnum, Vbool, Vlabel} vtype;
1082
1083 ###### value union fields
1084         struct text str;
1085         mpq_t num;
1086         unsigned char bool;
1087         int label;
1088
1089 ###### ast functions
1090         static void _free_value(struct type *type, struct value *v)
1091         {
1092                 if (!v)
1093                         return;         // NOTEST
1094                 switch (type->vtype) {
1095                 case Vnone: break;
1096                 case Vstr: free(v->str.txt); break;
1097                 case Vnum: mpq_clear(v->num); break;
1098                 case Vlabel:
1099                 case Vbool: break;
1100                 }
1101         }
1102
1103 ###### value functions
1104
1105         static void _val_init(struct type *type, struct value *val)
1106         {
1107                 switch(type->vtype) {
1108                 case Vnone:             // NOTEST
1109                         break;          // NOTEST
1110                 case Vnum:
1111                         mpq_init(val->num); break;
1112                 case Vstr:
1113                         val->str.txt = malloc(1);
1114                         val->str.len = 0;
1115                         break;
1116                 case Vbool:
1117                         val->bool = 0;
1118                         break;
1119                 case Vlabel:
1120                         val->label = 0; // NOTEST
1121                         break;          // NOTEST
1122                 }
1123         }
1124
1125         static void _dup_value(struct type *type,
1126                                struct value *vold, struct value *vnew)
1127         {
1128                 switch (type->vtype) {
1129                 case Vnone:             // NOTEST
1130                         break;          // NOTEST
1131                 case Vlabel:
1132                         vnew->label = vold->label;      // NOTEST
1133                         break;          // NOTEST
1134                 case Vbool:
1135                         vnew->bool = vold->bool;
1136                         break;
1137                 case Vnum:
1138                         mpq_init(vnew->num);
1139                         mpq_set(vnew->num, vold->num);
1140                         break;
1141                 case Vstr:
1142                         vnew->str.len = vold->str.len;
1143                         vnew->str.txt = malloc(vnew->str.len);
1144                         memcpy(vnew->str.txt, vold->str.txt, vnew->str.len);
1145                         break;
1146                 }
1147         }
1148
1149         static int _value_cmp(struct type *tl, struct type *tr,
1150                               struct value *left, struct value *right)
1151         {
1152                 int cmp;
1153                 if (tl != tr)
1154                         return tl - tr; // NOTEST
1155                 switch (tl->vtype) {
1156                 case Vlabel: cmp = left->label == right->label ? 0 : 1; break;
1157                 case Vnum: cmp = mpq_cmp(left->num, right->num); break;
1158                 case Vstr: cmp = text_cmp(left->str, right->str); break;
1159                 case Vbool: cmp = left->bool - right->bool; break;
1160                 case Vnone: cmp = 0;                    // NOTEST
1161                 }
1162                 return cmp;
1163         }
1164
1165         static void _print_value(struct type *type, struct value *v, FILE *f)
1166         {
1167                 switch (type->vtype) {
1168                 case Vnone:                             // NOTEST
1169                         fprintf(f, "*no-value*"); break;        // NOTEST
1170                 case Vlabel:                            // NOTEST
1171                         fprintf(f, "*label-%d*", v->label); break; // NOTEST
1172                 case Vstr:
1173                         fprintf(f, "%.*s", v->str.len, v->str.txt); break;
1174                 case Vbool:
1175                         fprintf(f, "%s", v->bool ? "True":"False"); break;
1176                 case Vnum:
1177                         {
1178                         mpf_t fl;
1179                         mpf_init2(fl, 20);
1180                         mpf_set_q(fl, v->num);
1181                         gmp_fprintf(f, "%.10Fg", fl);
1182                         mpf_clear(fl);
1183                         break;
1184                         }
1185                 }
1186         }
1187
1188         static void _free_value(struct type *type, struct value *v);
1189
1190         static int bool_test(struct type *type, struct value *v)
1191         {
1192                 return v->bool;
1193         }
1194
1195         static struct type base_prototype = {
1196                 .init = _val_init,
1197                 .print = _print_value,
1198                 .cmp_order = _value_cmp,
1199                 .cmp_eq = _value_cmp,
1200                 .dup = _dup_value,
1201                 .free = _free_value,
1202         };
1203
1204         static struct type *Tbool, *Tstr, *Tnum, *Tnone, *Tlabel;
1205
1206 ###### ast functions
1207         static struct type *add_base_type(struct parse_context *c, char *n,
1208                                           enum vtype vt, int size)
1209         {
1210                 struct text txt = { n, strlen(n) };
1211                 struct type *t;
1212
1213                 t = add_type(c, txt, &base_prototype);
1214                 t->vtype = vt;
1215                 t->size = size;
1216                 t->align = size > sizeof(void*) ? sizeof(void*) : size;
1217                 if (t->size & (t->align - 1))
1218                         t->size = (t->size | (t->align - 1)) + 1;       // NOTEST
1219                 return t;
1220         }
1221
1222 ###### context initialization
1223
1224         Tbool  = add_base_type(&context, "Boolean", Vbool, sizeof(char));
1225         Tbool->test = bool_test;
1226         Tstr   = add_base_type(&context, "string", Vstr, sizeof(struct text));
1227         Tnum   = add_base_type(&context, "number", Vnum, sizeof(mpq_t));
1228         Tnone  = add_base_type(&context, "none", Vnone, 0);
1229         Tlabel = add_base_type(&context, "label", Vlabel, sizeof(void*));
1230
1231 ##### Base Values
1232
1233 We have already met values as separate objects.  When manifest constants
1234 appear in the program text, that must result in an executable which has
1235 a constant value.  So the `val` structure embeds a value in an
1236 executable.
1237
1238 ###### exec type
1239         Xval,
1240
1241 ###### ast
1242         struct val {
1243                 struct exec;
1244                 struct type *vtype;
1245                 struct value val;
1246         };
1247
1248 ###### ast functions
1249         struct val *new_val(struct type *T, struct token tk)
1250         {
1251                 struct val *v = new_pos(val, tk);
1252                 v->vtype = T;
1253                 return v;
1254         }
1255
1256 ###### declare terminals
1257         $TERM True False
1258
1259 ###### Grammar
1260
1261         $*val
1262         Value ->  True ${
1263                 $0 = new_val(Tbool, $1);
1264                 $0->val.bool = 1;
1265         }$
1266         | False ${
1267                 $0 = new_val(Tbool, $1);
1268                 $0->val.bool = 0;
1269         }$
1270         | NUMBER ${ {
1271                 char tail[3];
1272                 $0 = new_val(Tnum, $1);
1273                 if (number_parse($0->val.num, tail, $1.txt) == 0)
1274                         mpq_init($0->val.num);  // UNTESTED
1275                         if (tail[0])
1276                                 tok_err(c, "error: unsupported number suffix",
1277                                         &$1);
1278         } }$
1279         | STRING ${ {
1280                 char tail[3];
1281                 $0 = new_val(Tstr, $1);
1282                 string_parse(&$1, '\\', &$0->val.str, tail);
1283                 if (tail[0])
1284                         tok_err(c, "error: unsupported string suffix",
1285                                 &$1);
1286         } }$
1287         | MULTI_STRING ${ {
1288                 char tail[3];
1289                 $0 = new_val(Tstr, $1);
1290                 string_parse(&$1, '\\', &$0->val.str, tail);
1291                 if (tail[0])
1292                         tok_err(c, "error: unsupported string suffix",
1293                                 &$1);
1294         } }$
1295
1296 ###### print exec cases
1297         case Xval:
1298         {
1299                 struct val *v = cast(val, e);
1300                 if (v->vtype == Tstr)
1301                         printf("\"");
1302                 // FIXME how to ensure numbers have same precision.
1303                 print_value(v->vtype, &v->val, stdout);
1304                 if (v->vtype == Tstr)
1305                         printf("\"");
1306                 break;
1307         }
1308
1309 ###### propagate exec cases
1310         case Xval:
1311         {
1312                 struct val *val = cast(val, prog);
1313                 if (!type_compat(type, val->vtype, rules))
1314                         type_err(c, "error: expected %1 found %2",
1315                                    prog, type, rules, val->vtype);
1316                 return val->vtype;
1317         }
1318
1319 ###### interp exec cases
1320         case Xval:
1321                 rvtype = cast(val, e)->vtype;
1322                 dup_value(rvtype, &cast(val, e)->val, &rv);
1323                 break;
1324
1325 ###### ast functions
1326         static void free_val(struct val *v)
1327         {
1328                 if (v)
1329                         free_value(v->vtype, &v->val);
1330                 free(v);
1331         }
1332
1333 ###### free exec cases
1334         case Xval: free_val(cast(val, e)); break;
1335
1336 ###### ast functions
1337         // Move all nodes from 'b' to 'rv', reversing their order.
1338         // In 'b' 'left' is a list, and 'right' is the last node.
1339         // In 'rv', left' is the first node and 'right' is a list.
1340         static struct binode *reorder_bilist(struct binode *b)
1341         {
1342                 struct binode *rv = NULL;
1343
1344                 while (b) {
1345                         struct exec *t = b->right;
1346                         b->right = rv;
1347                         rv = b;
1348                         if (b->left)
1349                                 b = cast(binode, b->left);
1350                         else
1351                                 b = NULL;
1352                         rv->left = t;
1353                 }
1354                 return rv;
1355         }
1356
1357 #### Labels
1358
1359 Labels are a temporary concept until I implement enums.  There are an
1360 anonymous enum which is declared by usage.  Thet are only allowed in
1361 `use` statements and corresponding `case` entries.  They appear as a
1362 period followed by an identifier.  All identifiers that are "used" must
1363 have a "case".
1364
1365 For now, we have a global list of labels, and don't check that all "use"
1366 match "case".
1367
1368 ###### exec type
1369         Xlabel,
1370
1371 ###### ast
1372         struct label {
1373                 struct exec;
1374                 struct text name;
1375                 int value;
1376         };
1377 ###### free exec cases
1378         case Xlabel:
1379                 free(e);
1380                 break;
1381 ###### print exec cases
1382         case Xlabel: {
1383                 struct label *l = cast(label, e);
1384                 printf(".%.*s", l->name.len, l->name.txt);
1385                 break;
1386         }
1387
1388 ###### ast
1389         struct labels {
1390                 struct labels *next;
1391                 struct text name;
1392                 int value;
1393         };
1394 ###### parse context
1395         struct labels *labels;
1396         int next_label;
1397 ###### ast functions
1398         static int label_lookup(struct parse_context *c, struct text name)
1399         {
1400                 struct labels *l, **lp = &c->labels;
1401                 while (*lp && text_cmp((*lp)->name, name) < 0)
1402                         lp = &(*lp)->next;
1403                 if (*lp && text_cmp((*lp)->name, name) == 0)
1404                         return (*lp)->value;
1405                 l = calloc(1, sizeof(*l));
1406                 l->next = *lp;
1407                 l->name = name;
1408                 if (c->next_label == 0)
1409                         c->next_label = 2;
1410                 l->value = c->next_label;
1411                 c->next_label += 1;
1412                 *lp = l;
1413                 return l->value;
1414         }
1415
1416 ###### free context storage
1417         while (context.labels) {
1418                 struct labels *l = context.labels;
1419                 context.labels = l->next;
1420                 free(l);
1421         }
1422
1423 ###### declare terminals
1424         $TERM .
1425 ###### term grammar
1426         | . IDENTIFIER ${ {
1427                 struct label *l = new_pos(label, $ID);
1428                 l->name = $ID.txt;
1429                 $0 = l;
1430         } }$
1431 ###### propagate exec cases
1432         case Xlabel: {
1433                 struct label *l = cast(label, prog);
1434                 l->value = label_lookup(c, l->name);
1435                 if (!type_compat(type, Tlabel, rules))
1436                         type_err(c, "error: expected %1 found %2",
1437                                  prog, type, rules, Tlabel);
1438                 return Tlabel;
1439         }
1440 ###### interp exec cases
1441         case Xlabel : {
1442                 struct label *l = cast(label, e);
1443                 rv.label = l->value;
1444                 rvtype = Tlabel;
1445                 break;
1446         }
1447
1448
1449 ### Variables
1450
1451 Variables are scoped named values.  We store the names in a linked list
1452 of "bindings" sorted in lexical order, and use sequential search and
1453 insertion sort.
1454
1455 ###### ast
1456
1457         struct binding {
1458                 struct text name;
1459                 struct binding *next;   // in lexical order
1460                 ## binding fields
1461         };
1462
1463 This linked list is stored in the parse context so that "reduce"
1464 functions can find or add variables, and so the analysis phase can
1465 ensure that every variable gets a type.
1466
1467 ###### parse context
1468
1469         struct binding *varlist;  // In lexical order
1470
1471 ###### ast functions
1472
1473         static struct binding *find_binding(struct parse_context *c, struct text s)
1474         {
1475                 struct binding **l = &c->varlist;
1476                 struct binding *n;
1477                 int cmp = 1;
1478
1479                 while (*l &&
1480                         (cmp = text_cmp((*l)->name, s)) < 0)
1481                                 l = & (*l)->next;
1482                 if (cmp == 0)
1483                         return *l;
1484                 n = calloc(1, sizeof(*n));
1485                 n->name = s;
1486                 n->next = *l;
1487                 *l = n;
1488                 return n;
1489         }
1490
1491 Each name can be linked to multiple variables defined in different
1492 scopes.  Each scope starts where the name is declared and continues
1493 until the end of the containing code block.  Scopes of a given name
1494 cannot nest, so a declaration while a name is in-scope is an error.
1495
1496 ###### binding fields
1497         struct variable *var;
1498
1499 ###### ast
1500         struct variable {
1501                 struct variable *previous;
1502                 struct type *type;
1503                 struct binding *name;
1504                 struct exec *where_decl;// where name was declared
1505                 struct exec *where_set; // where type was set
1506                 ## variable fields
1507         };
1508
1509 When a scope closes, the values of the variables might need to be freed.
1510 This happens in the context of some `struct exec` and each `exec` will
1511 need to know which variables need to be freed when it completes.
1512
1513 ####### exec fields
1514         struct variable *to_free;
1515
1516 ####### variable fields
1517         struct exec *cleanup_exec;
1518         struct variable *next_free;
1519
1520 ####### interp exec cleanup
1521         {
1522                 struct variable *v;
1523                 for (v = e->to_free; v; v = v->next_free) {
1524                         struct value *val = var_value(c, v);
1525                         free_value(v->type, val);
1526                 }
1527         }
1528
1529 ###### ast functions
1530         static void variable_unlink_exec(struct variable *v)
1531         {
1532                 struct variable **vp;
1533                 if (!v->cleanup_exec)
1534                         return;
1535                 for (vp = &v->cleanup_exec->to_free;
1536                     *vp; vp = &(*vp)->next_free) {
1537                         if (*vp != v)
1538                                 continue;
1539                         *vp = v->next_free;
1540                         v->cleanup_exec = NULL;
1541                         break;
1542                 }
1543         }
1544
1545 While the naming seems strange, we include local constants in the
1546 definition of variables.  A name declared `var := value` can
1547 subsequently be changed, but a name declared `var ::= value` cannot -
1548 it is constant
1549
1550 ###### variable fields
1551         int constant;
1552
1553 Scopes in parallel branches can be partially merged.  More
1554 specifically, if a given name is declared in both branches of an
1555 if/else then its scope is a candidate for merging.  Similarly if
1556 every branch of an exhaustive switch (e.g. has an "else" clause)
1557 declares a given name, then the scopes from the branches are
1558 candidates for merging.
1559
1560 Note that names declared inside a loop (which is only parallel to
1561 itself) are never visible after the loop.  Similarly names defined in
1562 scopes which are not parallel, such as those started by `for` and
1563 `switch`, are never visible after the scope.  Only variables defined in
1564 both `then` and `else` (including the implicit then after an `if`, and
1565 excluding `then` used with `for`) and in all `case`s and `else` of a
1566 `switch` or `while` can be visible beyond the `if`/`switch`/`while`.
1567
1568 Labels, which are a bit like variables, follow different rules.
1569 Labels are not explicitly declared, but if an undeclared name appears
1570 in a context where a label is legal, that effectively declares the
1571 name as a label.  The declaration remains in force (or in scope) at
1572 least to the end of the immediately containing block and conditionally
1573 in any larger containing block which does not declare the name in some
1574 other way.  Importantly, the conditional scope extension happens even
1575 if the label is only used in one parallel branch of a conditional --
1576 when used in one branch it is treated as having been declared in all
1577 branches.
1578
1579 Merge candidates are tentatively visible beyond the end of the
1580 branching statement which creates them.  If the name is used, the
1581 merge is affirmed and they become a single variable visible at the
1582 outer layer.  If not - if it is redeclared first - the merge lapses.
1583
1584 To track scopes we have an extra stack, implemented as a linked list,
1585 which roughly parallels the parse stack and which is used exclusively
1586 for scoping.  When a new scope is opened, a new frame is pushed and
1587 the child-count of the parent frame is incremented.  This child-count
1588 is used to distinguish between the first of a set of parallel scopes,
1589 in which declared variables must not be in scope, and subsequent
1590 branches, whether they may already be conditionally scoped.
1591
1592 We need a total ordering of scopes so we can easily compare to variables
1593 to see if they are concurrently in scope.  To achieve this we record a
1594 `scope_count` which is actually a count of both beginnings and endings
1595 of scopes.  Then each variable has a record of the scope count where it
1596 enters scope, and where it leaves.
1597
1598 To push a new frame *before* any code in the frame is parsed, we need a
1599 grammar reduction.  This is most easily achieved with a grammar
1600 element which derives the empty string, and creates the new scope when
1601 it is recognised.  This can be placed, for example, between a keyword
1602 like "if" and the code following it.
1603
1604 ###### ast
1605         struct scope {
1606                 struct scope *parent;
1607                 int child_count;
1608         };
1609
1610 ###### parse context
1611         int scope_depth;
1612         int scope_count;
1613         struct scope *scope_stack;
1614
1615 ###### variable fields
1616         int scope_start, scope_end;
1617
1618 ###### ast functions
1619         static void scope_pop(struct parse_context *c)
1620         {
1621                 struct scope *s = c->scope_stack;
1622
1623                 c->scope_stack = s->parent;
1624                 free(s);
1625                 c->scope_depth -= 1;
1626                 c->scope_count += 1;
1627         }
1628
1629         static void scope_push(struct parse_context *c)
1630         {
1631                 struct scope *s = calloc(1, sizeof(*s));
1632                 if (c->scope_stack)
1633                         c->scope_stack->child_count += 1;
1634                 s->parent = c->scope_stack;
1635                 c->scope_stack = s;
1636                 c->scope_depth += 1;
1637                 c->scope_count += 1;
1638         }
1639
1640 ###### Grammar
1641
1642         $void
1643         OpenScope -> ${ scope_push(c); }$
1644
1645 Each variable records a scope depth and is in one of four states:
1646
1647 - "in scope".  This is the case between the declaration of the
1648   variable and the end of the containing block, and also between
1649   the usage with affirms a merge and the end of that block.
1650
1651   The scope depth is not greater than the current parse context scope
1652   nest depth.  When the block of that depth closes, the state will
1653   change.  To achieve this, all "in scope" variables are linked
1654   together as a stack in nesting order.
1655
1656 - "pending".  The "in scope" block has closed, but other parallel
1657   scopes are still being processed.  So far, every parallel block at
1658   the same level that has closed has declared the name.
1659
1660   The scope depth is the depth of the last parallel block that
1661   enclosed the declaration, and that has closed.
1662
1663 - "conditionally in scope".  The "in scope" block and all parallel
1664   scopes have closed, and no further mention of the name has been seen.
1665   This state includes a secondary nest depth (`min_depth`) which records
1666   the outermost scope seen since the variable became conditionally in
1667   scope.  If a use of the name is found, the variable becomes "in scope"
1668   and that secondary depth becomes the recorded scope depth.  If the
1669   name is declared as a new variable, the old variable becomes "out of
1670   scope" and the recorded scope depth stays unchanged.
1671
1672 - "out of scope".  The variable is neither in scope nor conditionally
1673   in scope.  It is permanently out of scope now and can be removed from
1674   the "in scope" stack.  When a variable becomes out-of-scope it is
1675   moved to a separate list (`out_scope`) of variables which have fully
1676   known scope.  This will be used at the end of each function to assign
1677   each variable a place in the stack frame.
1678
1679 ###### variable fields
1680         int depth, min_depth;
1681         enum { OutScope, PendingScope, CondScope, InScope } scope;
1682         struct variable *in_scope;
1683
1684 ###### parse context
1685
1686         struct variable *in_scope;
1687         struct variable *out_scope;
1688
1689 All variables with the same name are linked together using the
1690 'previous' link.  Those variable that have been affirmatively merged all
1691 have a 'merged' pointer that points to one primary variable - the most
1692 recently declared instance.  When merging variables, we need to also
1693 adjust the 'merged' pointer on any other variables that had previously
1694 been merged with the one that will no longer be primary.
1695
1696 A variable that is no longer the most recent instance of a name may
1697 still have "pending" scope, if it might still be merged with most
1698 recent instance.  These variables don't really belong in the
1699 "in_scope" list, but are not immediately removed when a new instance
1700 is found.  Instead, they are detected and ignored when considering the
1701 list of in_scope names.
1702
1703 The storage of the value of a variable will be described later.  For now
1704 we just need to know that when a variable goes out of scope, it might
1705 need to be freed.  For this we need to be able to find it, so assume that
1706 `var_value()` will provide that.
1707
1708 ###### variable fields
1709         struct variable *merged;
1710
1711 ###### ast functions
1712
1713         static void variable_merge(struct variable *primary, struct variable *secondary)
1714         {
1715                 struct variable *v;
1716
1717                 primary = primary->merged;
1718
1719                 for (v = primary->previous; v; v=v->previous)
1720                         if (v == secondary || v == secondary->merged ||
1721                             v->merged == secondary ||
1722                             v->merged == secondary->merged) {
1723                                 v->scope = OutScope;
1724                                 v->merged = primary;
1725                                 if (v->scope_start < primary->scope_start)
1726                                         primary->scope_start = v->scope_start;
1727                                 if (v->scope_end > primary->scope_end)
1728                                         primary->scope_end = v->scope_end;      // NOTEST
1729                                 variable_unlink_exec(v);
1730                         }
1731         }
1732
1733 ###### forward decls
1734         static struct value *var_value(struct parse_context *c, struct variable *v);
1735
1736 ###### free global vars
1737
1738         while (context.varlist) {
1739                 struct binding *b = context.varlist;
1740                 struct variable *v = b->var;
1741                 context.varlist = b->next;
1742                 free(b);
1743                 while (v) {
1744                         struct variable *next = v->previous;
1745
1746                         if (v->global && v->frame_pos >= 0) {
1747                                 free_value(v->type, var_value(&context, v));
1748                                 if (v->depth == 0 && v->type->free == function_free)
1749                                         // This is a function constant
1750                                         free_exec(v->where_decl);
1751                         }
1752                         free(v);
1753                         v = next;
1754                 }
1755         }
1756
1757 #### Manipulating Bindings
1758
1759 When a name is conditionally visible, a new declaration discards the old
1760 binding - the condition lapses.  Similarly when we reach the end of a
1761 function (outermost non-global scope) any conditional scope must lapse.
1762 Conversely a usage of the name affirms the visibility and extends it to
1763 the end of the containing block - i.e.  the block that contains both the
1764 original declaration and the latest usage.  This is determined from
1765 `min_depth`.  When a conditionally visible variable gets affirmed like
1766 this, it is also merged with other conditionally visible variables with
1767 the same name.
1768
1769 When we parse a variable declaration we either report an error if the
1770 name is currently bound, or create a new variable at the current nest
1771 depth if the name is unbound or bound to a conditionally scoped or
1772 pending-scope variable.  If the previous variable was conditionally
1773 scoped, it and its homonyms becomes out-of-scope.
1774
1775 When we parse a variable reference (including non-declarative assignment
1776 "foo = bar") we report an error if the name is not bound or is bound to
1777 a pending-scope variable; update the scope if the name is bound to a
1778 conditionally scoped variable; or just proceed normally if the named
1779 variable is in scope.
1780
1781 When we exit a scope, any variables bound at this level are either
1782 marked out of scope or pending-scoped, depending on whether the scope
1783 was sequential or parallel.  Here a "parallel" scope means the "then"
1784 or "else" part of a conditional, or any "case" or "else" branch of a
1785 switch.  Other scopes are "sequential".
1786
1787 When exiting a parallel scope we check if there are any variables that
1788 were previously pending and are still visible. If there are, then
1789 they weren't redeclared in the most recent scope, so they cannot be
1790 merged and must become out-of-scope.  If it is not the first of
1791 parallel scopes (based on `child_count`), we check that there was a
1792 previous binding that is still pending-scope.  If there isn't, the new
1793 variable must now be out-of-scope.
1794
1795 When exiting a sequential scope that immediately enclosed parallel
1796 scopes, we need to resolve any pending-scope variables.  If there was
1797 no `else` clause, and we cannot determine that the `switch` was exhaustive,
1798 we need to mark all pending-scope variable as out-of-scope.  Otherwise
1799 all pending-scope variables become conditionally scoped.
1800
1801 ###### ast
1802         enum closetype { CloseSequential, CloseFunction, CloseParallel, CloseElse };
1803
1804 ###### ast functions
1805
1806         static struct variable *var_decl(struct parse_context *c, struct text s)
1807         {
1808                 struct binding *b = find_binding(c, s);
1809                 struct variable *v = b->var;
1810
1811                 switch (v ? v->scope : OutScope) {
1812                 case InScope:
1813                         /* Caller will report the error */
1814                         return NULL;
1815                 case CondScope:
1816                         for (;
1817                              v && v->scope == CondScope;
1818                              v = v->previous)
1819                                 v->scope = OutScope;
1820                         break;
1821                 default: break;
1822                 }
1823                 v = calloc(1, sizeof(*v));
1824                 v->previous = b->var;
1825                 b->var = v;
1826                 v->name = b;
1827                 v->merged = v;
1828                 v->min_depth = v->depth = c->scope_depth;
1829                 v->scope = InScope;
1830                 v->in_scope = c->in_scope;
1831                 v->scope_start = c->scope_count;
1832                 c->in_scope = v;
1833                 ## variable init
1834                 return v;
1835         }
1836
1837         static struct variable *var_ref(struct parse_context *c, struct text s)
1838         {
1839                 struct binding *b = find_binding(c, s);
1840                 struct variable *v = b->var;
1841                 struct variable *v2;
1842
1843                 switch (v ? v->scope : OutScope) {
1844                 case OutScope:
1845                 case PendingScope:
1846                         /* Caller will report the error */
1847                         return NULL;
1848                 case CondScope:
1849                         /* All CondScope variables of this name need to be merged
1850                          * and become InScope
1851                          */
1852                         v->depth = v->min_depth;
1853                         v->scope = InScope;
1854                         for (v2 = v->previous;
1855                              v2 && v2->scope == CondScope;
1856                              v2 = v2->previous)
1857                                 variable_merge(v, v2);
1858                         break;
1859                 case InScope:
1860                         break;
1861                 }
1862                 return v;
1863         }
1864
1865         static int var_refile(struct parse_context *c, struct variable *v)
1866         {
1867                 /* Variable just went out of scope.  Add it to the out_scope
1868                  * list, sorted by ->scope_start
1869                  */
1870                 struct variable **vp = &c->out_scope;
1871                 while ((*vp) && (*vp)->scope_start < v->scope_start)
1872                         vp = &(*vp)->in_scope;
1873                 v->in_scope = *vp;
1874                 *vp = v;
1875                 return 0;
1876         }
1877
1878         static void var_block_close(struct parse_context *c, enum closetype ct,
1879                                     struct exec *e)
1880         {
1881                 /* Close off all variables that are in_scope.
1882                  * Some variables in c->scope may already be not-in-scope,
1883                  * such as when a PendingScope variable is hidden by a new
1884                  * variable with the same name.
1885                  * So we check for v->name->var != v and drop them.
1886                  * If we choose to make a variable OutScope, we drop it
1887                  * immediately too.
1888                  */
1889                 struct variable *v, **vp, *v2;
1890
1891                 scope_pop(c);
1892                 for (vp = &c->in_scope;
1893                      (v = *vp) && v->min_depth > c->scope_depth;
1894                      (v->scope == OutScope || v->name->var != v)
1895                      ? (*vp =  v->in_scope, var_refile(c, v))
1896                      : ( vp = &v->in_scope, 0)) {
1897                         v->min_depth = c->scope_depth;
1898                         if (v->name->var != v)
1899                                 /* This is still in scope, but we haven't just
1900                                  * closed the scope.
1901                                  */
1902                                 continue;
1903                         v->min_depth = c->scope_depth;
1904                         if (v->scope == InScope)
1905                                 v->scope_end = c->scope_count;
1906                         if (v->scope == InScope && e && !v->global) {
1907                                 /* This variable gets cleaned up when 'e' finishes */
1908                                 variable_unlink_exec(v);
1909                                 v->cleanup_exec = e;
1910                                 v->next_free = e->to_free;
1911                                 e->to_free = v;
1912                         }
1913                         switch (ct) {
1914                         case CloseElse:
1915                         case CloseParallel: /* handle PendingScope */
1916                                 switch(v->scope) {
1917                                 case InScope:
1918                                 case CondScope:
1919                                         if (c->scope_stack->child_count == 1)
1920                                                 /* first among parallel branches */
1921                                                 v->scope = PendingScope;
1922                                         else if (v->previous &&
1923                                                  v->previous->scope == PendingScope)
1924                                                 /* all previous branches used name */
1925                                                 v->scope = PendingScope;
1926                                         else
1927                                                 v->scope = OutScope;
1928                                         if (ct == CloseElse) {
1929                                                 /* All Pending variables with this name
1930                                                  * are now Conditional */
1931                                                 for (v2 = v;
1932                                                      v2 && v2->scope == PendingScope;
1933                                                      v2 = v2->previous)
1934                                                         v2->scope = CondScope;
1935                                         }
1936                                         break;
1937                                 case PendingScope:
1938                                         /* Not possible as it would require
1939                                          * parallel scope to be nested immediately
1940                                          * in a parallel scope, and that never
1941                                          * happens.
1942                                          */                     // NOTEST
1943                                 case OutScope:
1944                                         /* Not possible as we already tested for
1945                                          * OutScope
1946                                          */
1947                                         abort();                // NOTEST
1948                                 }
1949                                 break;
1950                         case CloseFunction:
1951                                 if (v->scope == CondScope)
1952                                         /* Condition cannot continue past end of function */
1953                                         v->scope = InScope;
1954                                 /* fallthrough */
1955                         case CloseSequential:
1956                                 switch (v->scope) {
1957                                 case InScope:
1958                                         v->scope = OutScope;
1959                                         break;
1960                                 case PendingScope:
1961                                         /* There was no 'else', so we can only become
1962                                          * conditional if we know the cases were exhaustive,
1963                                          * and that doesn't mean anything yet.
1964                                          * So only labels become conditional..
1965                                          */
1966                                         for (v2 = v;
1967                                              v2 && v2->scope == PendingScope;
1968                                              v2 = v2->previous)
1969                                                 v2->scope = OutScope;
1970                                         break;
1971                                 case CondScope:
1972                                 case OutScope: break;
1973                                 }
1974                                 break;
1975                         }
1976                 }
1977         }
1978
1979 #### Storing Values
1980
1981 The value of a variable is store separately from the variable, on an
1982 analogue of a stack frame.  There are (currently) two frames that can be
1983 active.  A global frame which currently only stores constants, and a
1984 stacked frame which stores local variables.  Each variable knows if it
1985 is global or not, and what its index into the frame is.
1986
1987 Values in the global frame are known immediately they are relevant, so
1988 the frame needs to be reallocated as it grows so it can store those
1989 values.  The local frame doesn't get values until the interpreted phase
1990 is started, so there is no need to allocate until the size is known.
1991
1992 We initialize the `frame_pos` to an impossible value, so that we can
1993 tell if it was set or not later.
1994
1995 ###### variable fields
1996         short frame_pos;
1997         short global;
1998
1999 ###### variable init
2000         v->frame_pos = -1;
2001
2002 ###### parse context
2003
2004         short global_size, global_alloc;
2005         short local_size;
2006         void *global, *local;
2007
2008 ###### forward decls
2009         static struct value *global_alloc(struct parse_context *c, struct type *t,
2010                                           struct variable *v, struct value *init);
2011
2012 ###### ast functions
2013
2014         static struct value *var_value(struct parse_context *c, struct variable *v)
2015         {
2016                 if (!v->global) {
2017                         if (!c->local || !v->type)
2018                                 return NULL;    // UNTESTED
2019                         if (v->frame_pos + v->type->size > c->local_size) {
2020                                 printf("INVALID frame_pos\n");  // NOTEST
2021                                 exit(2);                        // NOTEST
2022                         }
2023                         return c->local + v->frame_pos;
2024                 }
2025                 if (c->global_size > c->global_alloc) {
2026                         int old = c->global_alloc;
2027                         c->global_alloc = (c->global_size | 1023) + 1024;
2028                         c->global = realloc(c->global, c->global_alloc);
2029                         memset(c->global + old, 0, c->global_alloc - old);
2030                 }
2031                 return c->global + v->frame_pos;
2032         }
2033
2034         static struct value *global_alloc(struct parse_context *c, struct type *t,
2035                                           struct variable *v, struct value *init)
2036         {
2037                 struct value *ret;
2038                 struct variable scratch;
2039
2040                 if (t->prepare_type)
2041                         t->prepare_type(c, t, 1);       // NOTEST
2042
2043                 if (c->global_size & (t->align - 1))
2044                         c->global_size = (c->global_size + t->align) & ~(t->align-1);   // NOTEST
2045                 if (!v) {
2046                         v = &scratch;
2047                         v->type = t;
2048                 }
2049                 v->frame_pos = c->global_size;
2050                 v->global = 1;
2051                 c->global_size += v->type->size;
2052                 ret = var_value(c, v);
2053                 if (init)
2054                         memcpy(ret, init, t->size);
2055                 else
2056                         val_init(t, ret);       // NOTEST
2057                 return ret;
2058         }
2059
2060 As global values are found -- struct field initializers, labels etc --
2061 `global_alloc()` is called to record the value in the global frame.
2062
2063 When the program is fully parsed, each function is analysed, we need to
2064 walk the list of variables local to that function and assign them an
2065 offset in the stack frame.  For this we have `scope_finalize()`.
2066
2067 We keep the stack from dense by re-using space for between variables
2068 that are not in scope at the same time.  The `out_scope` list is sorted
2069 by `scope_start` and as we process a varible, we move it to an FIFO
2070 stack.  For each variable we consider, we first discard any from the
2071 stack anything that went out of scope before the new variable came in.
2072 Then we place the new variable just after the one at the top of the
2073 stack.
2074
2075 ###### ast functions
2076
2077         static void scope_finalize(struct parse_context *c, struct type *ft)
2078         {
2079                 int size = ft->function.local_size;
2080                 struct variable *next = ft->function.scope;
2081                 struct variable *done = NULL;
2082
2083                 while (next) {
2084                         struct variable *v = next;
2085                         struct type *t = v->type;
2086                         int pos;
2087                         next = v->in_scope;
2088                         if (v->merged != v)
2089                                 continue;
2090                         if (!t)
2091                                 continue;
2092                         if (v->frame_pos >= 0)
2093                                 continue;
2094                         while (done && done->scope_end < v->scope_start)
2095                                 done = done->in_scope;
2096                         if (done)
2097                                 pos = done->frame_pos + done->type->size;
2098                         else
2099                                 pos = ft->function.local_size;
2100                         if (pos & (t->align - 1))
2101                                 pos = (pos + t->align) & ~(t->align-1);
2102                         v->frame_pos = pos;
2103                         if (size < pos + v->type->size)
2104                                 size = pos + v->type->size;
2105                         v->in_scope = done;
2106                         done = v;
2107                 }
2108                 c->out_scope = NULL;
2109                 ft->function.local_size = size;
2110         }
2111
2112 ###### free context storage
2113         free(context.global);
2114
2115 #### Variables as executables
2116
2117 Just as we used a `val` to wrap a value into an `exec`, we similarly
2118 need a `var` to wrap a `variable` into an exec.  While each `val`
2119 contained a copy of the value, each `var` holds a link to the variable
2120 because it really is the same variable no matter where it appears.
2121 When a variable is used, we need to remember to follow the `->merged`
2122 link to find the primary instance.
2123
2124 When a variable is declared, it may or may not be given an explicit
2125 type.  We need to record which so that we can report the parsed code
2126 correctly.
2127
2128 ###### exec type
2129         Xvar,
2130
2131 ###### ast
2132         struct var {
2133                 struct exec;
2134                 struct variable *var;
2135         };
2136
2137 ###### variable fields
2138         int explicit_type;
2139
2140 ###### Grammar
2141
2142         $TERM : ::
2143
2144         $*var
2145         VariableDecl -> IDENTIFIER : ${ {
2146                 struct variable *v = var_decl(c, $1.txt);
2147                 $0 = new_pos(var, $1);
2148                 $0->var = v;
2149                 if (v)
2150                         v->where_decl = $0;
2151                 else {
2152                         v = var_ref(c, $1.txt);
2153                         $0->var = v;
2154                         type_err(c, "error: variable '%v' redeclared",
2155                                  $0, NULL, 0, NULL);
2156                         type_err(c, "info: this is where '%v' was first declared",
2157                                  v->where_decl, NULL, 0, NULL);
2158                 }
2159         } }$
2160         | IDENTIFIER :: ${ {
2161                 struct variable *v = var_decl(c, $1.txt);
2162                 $0 = new_pos(var, $1);
2163                 $0->var = v;
2164                 if (v) {
2165                         v->where_decl = $0;
2166                         v->constant = 1;
2167                 } else {
2168                         v = var_ref(c, $1.txt);
2169                         $0->var = v;
2170                         type_err(c, "error: variable '%v' redeclared",
2171                                  $0, NULL, 0, NULL);
2172                         type_err(c, "info: this is where '%v' was first declared",
2173                                  v->where_decl, NULL, 0, NULL);
2174                 }
2175         } }$
2176         | IDENTIFIER : Type ${ {
2177                 struct variable *v = var_decl(c, $1.txt);
2178                 $0 = new_pos(var, $1);
2179                 $0->var = v;
2180                 if (v) {
2181                         v->where_decl = $0;
2182                         v->where_set = $0;
2183                         v->type = $<Type;
2184                         v->explicit_type = 1;
2185                 } else {
2186                         v = var_ref(c, $1.txt);
2187                         $0->var = v;
2188                         type_err(c, "error: variable '%v' redeclared",
2189                                  $0, NULL, 0, NULL);
2190                         type_err(c, "info: this is where '%v' was first declared",
2191                                  v->where_decl, NULL, 0, NULL);
2192                 }
2193         } }$
2194         | IDENTIFIER :: Type ${ {
2195                 struct variable *v = var_decl(c, $1.txt);
2196                 $0 = new_pos(var, $1);
2197                 $0->var = v;
2198                 if (v) {
2199                         v->where_decl = $0;
2200                         v->where_set = $0;
2201                         v->type = $<Type;
2202                         v->constant = 1;
2203                         v->explicit_type = 1;
2204                 } else {
2205                         v = var_ref(c, $1.txt);
2206                         $0->var = v;
2207                         type_err(c, "error: variable '%v' redeclared",
2208                                  $0, NULL, 0, NULL);
2209                         type_err(c, "info: this is where '%v' was first declared",
2210                                  v->where_decl, NULL, 0, NULL);
2211                 }
2212         } }$
2213
2214         $*exec
2215         Variable -> IDENTIFIER ${ {
2216                 struct variable *v = var_ref(c, $1.txt);
2217                 $0 = new_pos(var, $1);
2218                 if (v == NULL) {
2219                         /* This might be a global const or a label
2220                          * Allocate a var with impossible type Tnone,
2221                          * which will be adjusted when we find out what it is,
2222                          * or will trigger an error.
2223                          */
2224                         v = var_decl(c, $1.txt);
2225                         if (v) {
2226                                 v->type = Tnone;
2227                                 v->where_decl = $0;
2228                                 v->where_set = $0;
2229                         }
2230                 }
2231                 cast(var, $0)->var = v;
2232         } }$
2233
2234 ###### print exec cases
2235         case Xvar:
2236         {
2237                 struct var *v = cast(var, e);
2238                 if (v->var) {
2239                         struct binding *b = v->var->name;
2240                         printf("%.*s", b->name.len, b->name.txt);
2241                 }
2242                 break;
2243         }
2244
2245 ###### format cases
2246         case 'v':
2247                 if (loc && loc->type == Xvar) {
2248                         struct var *v = cast(var, loc);
2249                         if (v->var) {
2250                                 struct binding *b = v->var->name;
2251                                 fprintf(stderr, "%.*s", b->name.len, b->name.txt);
2252                         } else
2253                                 fputs("???", stderr);   // NOTEST
2254                 } else
2255                         fputs("NOTVAR", stderr);        // NOTEST
2256                 break;
2257
2258 ###### propagate exec cases
2259
2260         case Xvar:
2261         {
2262                 struct var *var = cast(var, prog);
2263                 struct variable *v = var->var;
2264                 if (!v) {
2265                         type_err(c, "%d:BUG: no variable!!", prog, NULL, 0, NULL); // NOTEST
2266                         return Tnone;                                   // NOTEST
2267                 }
2268                 v = v->merged;
2269                 if (v->constant && (rules & Rnoconstant)) {
2270                         type_err(c, "error: Cannot assign to a constant: %v",
2271                                  prog, NULL, 0, NULL);
2272                         type_err(c, "info: name was defined as a constant here",
2273                                  v->where_decl, NULL, 0, NULL);
2274                         return v->type;
2275                 }
2276                 if (v->type == Tnone && v->where_decl == prog)
2277                         type_err(c, "error: variable used but not declared: %v",
2278                                  prog, NULL, 0, NULL);
2279                 if (v->type == NULL) {
2280                         if (type && !(*perr & Efail)) {
2281                                 v->type = type;
2282                                 v->where_set = prog;
2283                                 *perr |= Eretry;
2284                         }
2285                 } else if (!type_compat(type, v->type, rules)) {
2286                         type_err(c, "error: expected %1 but variable '%v' is %2", prog,
2287                                  type, rules, v->type);
2288                         type_err(c, "info: this is where '%v' was set to %1", v->where_set,
2289                                  v->type, rules, NULL);
2290                 }
2291                 if (!v->global || v->frame_pos < 0)
2292                         *perr |= Enoconst;
2293                 if (!type)
2294                         return v->type;
2295                 return type;
2296         }
2297
2298 ###### interp exec cases
2299         case Xvar:
2300         {
2301                 struct var *var = cast(var, e);
2302                 struct variable *v = var->var;
2303
2304                 v = v->merged;
2305                 lrv = var_value(c, v);
2306                 rvtype = v->type;
2307                 break;
2308         }
2309
2310 ###### ast functions
2311
2312         static void free_var(struct var *v)
2313         {
2314                 free(v);
2315         }
2316
2317 ###### free exec cases
2318         case Xvar: free_var(cast(var, e)); break;
2319
2320
2321 ### Complex types
2322
2323 Now that we have the shape of the interpreter in place we can add some
2324 complex types and connected them in to the data structures and the
2325 different phases of parse, analyse, print, interpret.
2326
2327 Being "complex" the language will naturally have syntax to access
2328 specifics of objects of these types.  These will fit into the grammar as
2329 "Terms" which are the things that are combined with various operators to
2330 form "Expression".  Where a Term is formed by some operation on another
2331 Term, the subordinate Term will always come first, so for example a
2332 member of an array will be expressed as the Term for the array followed
2333 by an index in square brackets.  The strict rule of using postfix
2334 operations makes precedence irrelevant within terms.  To provide a place
2335 to put the grammar for each terms of each type, we will start out by
2336 introducing the "Term" grammar production, with contains at least a
2337 simple "Value" (to be explained later).
2338
2339 ###### Grammar
2340         $*exec
2341         Term ->  Value ${ $0 = $<1; }$
2342         | Variable ${ $0 = $<1; }$
2343         ## term grammar
2344
2345 Thus far the complex types we have are arrays and structs.
2346
2347 #### Arrays
2348
2349 Arrays can be declared by giving a size and a type, as `[size]type' so
2350 `freq:[26]number` declares `freq` to be an array of 26 numbers.  The
2351 size can be either a literal number, or a named constant.  Some day an
2352 arbitrary expression will be supported.
2353
2354 As a formal parameter to a function, the array can be declared with a
2355 new variable as the size: `name:[size::number]string`.  The `size`
2356 variable is set to the size of the array and must be a constant.  As
2357 `number` is the only supported type, it can be left out:
2358 `name:[size::]string`.
2359
2360 Arrays cannot be assigned.  When pointers are introduced we will also
2361 introduce array slices which can refer to part or all of an array -
2362 the assignment syntax will create a slice.  For now, an array can only
2363 ever be referenced by the name it is declared with.  It is likely that
2364 a "`copy`" primitive will eventually be define which can be used to
2365 make a copy of an array with controllable recursive depth.
2366
2367 For now we have two sorts of array, those with fixed size either because
2368 it is given as a literal number or because it is a struct member (which
2369 cannot have a runtime-changing size), and those with a size that is
2370 determined at runtime - local variables with a const size.  The former
2371 have their size calculated at parse time, the latter at run time.
2372
2373 For the latter type, the `size` field of the type is the size of a
2374 pointer, and the array is reallocated every time it comes into scope.
2375
2376 We differentiate struct fields with a const size from local variables
2377 with a const size by whether they are prepared at parse time or not.
2378
2379 ###### type union fields
2380
2381         struct {
2382                 int unspec;     // size is unspecified - vsize must be set.
2383                 short size;
2384                 short static_size;
2385                 struct variable *vsize;
2386                 struct type *member;
2387         } array;
2388
2389 ###### value union fields
2390         void *array;  // used if not static_size
2391
2392 ###### value functions
2393
2394         static int array_prepare_type(struct parse_context *c, struct type *type,
2395                                        int parse_time)
2396         {
2397                 struct value *vsize;
2398                 mpz_t q;
2399                 if (type->array.static_size)
2400                         return 1;       // UNTESTED
2401                 if (type->array.unspec && parse_time)
2402                         return 1;       // UNTESTED
2403                 if (parse_time && type->array.vsize && !type->array.vsize->global)
2404                         return 1;       // UNTESTED
2405
2406                 if (type->array.vsize) {
2407                         vsize = var_value(c, type->array.vsize);
2408                         if (!vsize)
2409                                 return 1;       // UNTESTED
2410                         mpz_init(q);
2411                         mpz_tdiv_q(q, mpq_numref(vsize->num), mpq_denref(vsize->num));
2412                         type->array.size = mpz_get_si(q);
2413                         mpz_clear(q);
2414                 }
2415                 if (!parse_time)
2416                         return 1;
2417                 if (type->array.member->size <= 0)
2418                         return 0;       // UNTESTED
2419
2420                 type->array.static_size = 1;
2421                 type->size = type->array.size * type->array.member->size;
2422                 type->align = type->array.member->align;
2423
2424                 return 1;
2425         }
2426
2427         static void array_init(struct type *type, struct value *val)
2428         {
2429                 int i;
2430                 void *ptr = val->ptr;
2431
2432                 if (!val)
2433                         return;                         // NOTEST
2434                 if (!type->array.static_size) {
2435                         val->array = calloc(type->array.size,
2436                                             type->array.member->size);
2437                         ptr = val->array;
2438                 }
2439                 for (i = 0; i < type->array.size; i++) {
2440                         struct value *v;
2441                         v = (void*)ptr + i * type->array.member->size;
2442                         val_init(type->array.member, v);
2443                 }
2444         }
2445
2446         static void array_free(struct type *type, struct value *val)
2447         {
2448                 int i;
2449                 void *ptr = val->ptr;
2450
2451                 if (!type->array.static_size)
2452                         ptr = val->array;
2453                 for (i = 0; i < type->array.size; i++) {
2454                         struct value *v;
2455                         v = (void*)ptr + i * type->array.member->size;
2456                         free_value(type->array.member, v);
2457                 }
2458                 if (!type->array.static_size)
2459                         free(ptr);
2460         }
2461
2462         static int array_compat(struct type *require, struct type *have)
2463         {
2464                 if (have->compat != require->compat)
2465                         return 0;
2466                 /* Both are arrays, so we can look at details */
2467                 if (!type_compat(require->array.member, have->array.member, 0))
2468                         return 0;
2469                 if (have->array.unspec && require->array.unspec) {
2470                         if (have->array.vsize && require->array.vsize &&
2471                             have->array.vsize != require->array.vsize)  // UNTESTED
2472                                 /* sizes might not be the same */
2473                                 return 0;       // UNTESTED
2474                         return 1;
2475                 }
2476                 if (have->array.unspec || require->array.unspec)
2477                         return 1;       // UNTESTED
2478                 if (require->array.vsize == NULL && have->array.vsize == NULL)
2479                         return require->array.size == have->array.size;
2480
2481                 return require->array.vsize == have->array.vsize;       // UNTESTED
2482         }
2483
2484         static void array_print_type(struct type *type, FILE *f)
2485         {
2486                 fputs("[", f);
2487                 if (type->array.vsize) {
2488                         struct binding *b = type->array.vsize->name;
2489                         fprintf(f, "%.*s%s]", b->name.len, b->name.txt,
2490                                 type->array.unspec ? "::" : "");
2491                 } else if (type->array.size)
2492                         fprintf(f, "%d]", type->array.size);
2493                 else
2494                         fprintf(f, "]");
2495                 type_print(type->array.member, f);
2496         }
2497
2498         static struct type array_prototype = {
2499                 .init = array_init,
2500                 .prepare_type = array_prepare_type,
2501                 .print_type = array_print_type,
2502                 .compat = array_compat,
2503                 .free = array_free,
2504                 .size = sizeof(void*),
2505                 .align = sizeof(void*),
2506         };
2507
2508 ###### declare terminals
2509         $TERM [ ]
2510
2511 ###### type grammar
2512
2513         | [ NUMBER ] Type ${ {
2514                 char tail[3];
2515                 mpq_t num;
2516                 struct type *t;
2517                 int elements = 0;
2518
2519                 if (number_parse(num, tail, $2.txt) == 0)
2520                         tok_err(c, "error: unrecognised number", &$2);
2521                 else if (tail[0]) {
2522                         tok_err(c, "error: unsupported number suffix", &$2);
2523                         mpq_clear(num);
2524                 } else {
2525                         elements = mpz_get_ui(mpq_numref(num));
2526                         if (mpz_cmp_ui(mpq_denref(num), 1) != 0) {
2527                                 tok_err(c, "error: array size must be an integer",
2528                                         &$2);
2529                         } else if (mpz_cmp_ui(mpq_numref(num), 1UL << 30) >= 0)
2530                                 tok_err(c, "error: array size is too large",
2531                                         &$2);
2532                         mpq_clear(num);
2533                 }
2534
2535                 $0 = t = add_anon_type(c, &array_prototype, "array[%d]", elements );
2536                 t->array.size = elements;
2537                 t->array.member = $<4;
2538                 t->array.vsize = NULL;
2539         } }$
2540
2541         | [ IDENTIFIER ] Type ${ {
2542                 struct variable *v = var_ref(c, $2.txt);
2543
2544                 if (!v)
2545                         tok_err(c, "error: name undeclared", &$2);
2546                 else if (!v->constant)
2547                         tok_err(c, "error: array size must be a constant", &$2);
2548
2549                 $0 = add_anon_type(c, &array_prototype, "array[%.*s]", $2.txt.len, $2.txt.txt);
2550                 $0->array.member = $<4;
2551                 $0->array.size = 0;
2552                 $0->array.vsize = v;
2553         } }$
2554
2555 ###### Grammar
2556         $*type
2557         OptType -> Type ${ $0 = $<1; }$
2558                 | ${ $0 = NULL; }$
2559
2560 ###### formal type grammar
2561
2562         | [ IDENTIFIER :: OptType ] Type ${ {
2563                 struct variable *v = var_decl(c, $ID.txt);
2564
2565                 v->type = $<OT;
2566                 v->constant = 1;
2567                 if (!v->type)
2568                         v->type = Tnum;
2569                 $0 = add_anon_type(c, &array_prototype, "array[var]");
2570                 $0->array.member = $<6;
2571                 $0->array.size = 0;
2572                 $0->array.unspec = 1;
2573                 $0->array.vsize = v;
2574         } }$
2575
2576 ###### Binode types
2577         Index,
2578
2579 ###### term grammar
2580
2581         | Term [ Expression ] ${ {
2582                 struct binode *b = new(binode);
2583                 b->op = Index;
2584                 b->left = $<1;
2585                 b->right = $<3;
2586                 $0 = b;
2587         } }$
2588
2589 ###### print binode cases
2590         case Index:
2591                 print_exec(b->left, -1, bracket);
2592                 printf("[");
2593                 print_exec(b->right, -1, bracket);
2594                 printf("]");
2595                 break;
2596
2597 ###### propagate binode cases
2598         case Index:
2599                 /* left must be an array, right must be a number,
2600                  * result is the member type of the array
2601                  */
2602                 propagate_types(b->right, c, perr, Tnum, 0);
2603                 t = propagate_types(b->left, c, perr, NULL, rules & Rnoconstant);
2604                 if (!t || t->compat != array_compat) {
2605                         type_err(c, "error: %1 cannot be indexed", prog, t, 0, NULL);
2606                         return NULL;
2607                 } else {
2608                         if (!type_compat(type, t->array.member, rules)) {
2609                                 type_err(c, "error: have %1 but need %2", prog,
2610                                          t->array.member, rules, type);
2611                         }
2612                         return t->array.member;
2613                 }
2614                 break;
2615
2616 ###### interp binode cases
2617         case Index: {
2618                 mpz_t q;
2619                 long i;
2620                 void *ptr;
2621
2622                 lleft = linterp_exec(c, b->left, &ltype);
2623                 right = interp_exec(c, b->right, &rtype);
2624                 mpz_init(q);
2625                 mpz_tdiv_q(q, mpq_numref(right.num), mpq_denref(right.num));
2626                 i = mpz_get_si(q);
2627                 mpz_clear(q);
2628
2629                 if (ltype->array.static_size)
2630                         ptr = lleft;
2631                 else
2632                         ptr = *(void**)lleft;
2633                 rvtype = ltype->array.member;
2634                 if (i >= 0 && i < ltype->array.size)
2635                         lrv = ptr + i * rvtype->size;
2636                 else
2637                         val_init(ltype->array.member, &rv); // UNSAFE
2638                 ltype = NULL;
2639                 break;
2640         }
2641
2642 #### Structs
2643
2644 A `struct` is a data-type that contains one or more other data-types.
2645 It differs from an array in that each member can be of a different
2646 type, and they are accessed by name rather than by number.  Thus you
2647 cannot choose an element by calculation, you need to know what you
2648 want up-front.
2649
2650 The language makes no promises about how a given structure will be
2651 stored in memory - it is free to rearrange fields to suit whatever
2652 criteria seems important.
2653
2654 Structs are declared separately from program code - they cannot be
2655 declared in-line in a variable declaration like arrays can.  A struct
2656 is given a name and this name is used to identify the type - the name
2657 is not prefixed by the word `struct` as it would be in C.
2658
2659 Structs are only treated as the same if they have the same name.
2660 Simply having the same fields in the same order is not enough.  This
2661 might change once we can create structure initializers from a list of
2662 values.
2663
2664 Each component datum is identified much like a variable is declared,
2665 with a name, one or two colons, and a type.  The type cannot be omitted
2666 as there is no opportunity to deduce the type from usage.  An initial
2667 value can be given following an equals sign, so
2668
2669 ##### Example: a struct type
2670
2671         struct complex:
2672                 x:number = 0
2673                 y:number = 0
2674
2675 would declare a type called "complex" which has two number fields,
2676 each initialised to zero.
2677
2678 Struct will need to be declared separately from the code that uses
2679 them, so we will need to be able to print out the declaration of a
2680 struct when reprinting the whole program.  So a `print_type_decl` type
2681 function will be needed.
2682
2683 ###### type union fields
2684
2685         struct {
2686                 int nfields;
2687                 struct field {
2688                         struct text name;
2689                         struct type *type;
2690                         struct value *init;
2691                         int offset;
2692                 } *fields; // This is created when field_list is analysed.
2693                 struct fieldlist {
2694                         struct fieldlist *prev;
2695                         struct field f;
2696                         struct exec *init;
2697                 } *field_list; // This is created during parsing
2698         } structure;
2699
2700 ###### type functions
2701         void (*print_type_decl)(struct type *type, FILE *f);
2702         struct type *(*fieldref)(struct type *t, struct parse_context *c,
2703                                  struct fieldref *f, struct value **vp);
2704
2705 ###### value functions
2706
2707         static void structure_init(struct type *type, struct value *val)
2708         {
2709                 int i;
2710
2711                 for (i = 0; i < type->structure.nfields; i++) {
2712                         struct value *v;
2713                         v = (void*) val->ptr + type->structure.fields[i].offset;
2714                         if (type->structure.fields[i].init)
2715                                 dup_value(type->structure.fields[i].type,
2716                                           type->structure.fields[i].init,
2717                                           v);
2718                         else
2719                                 val_init(type->structure.fields[i].type, v);
2720                 }
2721         }
2722
2723         static void structure_free(struct type *type, struct value *val)
2724         {
2725                 int i;
2726
2727                 for (i = 0; i < type->structure.nfields; i++) {
2728                         struct value *v;
2729                         v = (void*)val->ptr + type->structure.fields[i].offset;
2730                         free_value(type->structure.fields[i].type, v);
2731                 }
2732         }
2733
2734         static void free_fieldlist(struct fieldlist *f)
2735         {
2736                 if (!f)
2737                         return;
2738                 free_fieldlist(f->prev);
2739                 free_exec(f->init);
2740                 free(f);
2741         }
2742
2743         static void structure_free_type(struct type *t)
2744         {
2745                 int i;
2746                 for (i = 0; i < t->structure.nfields; i++)
2747                         if (t->structure.fields[i].init) {
2748                                 free_value(t->structure.fields[i].type,
2749                                            t->structure.fields[i].init);
2750                         }
2751                 free(t->structure.fields);
2752                 free_fieldlist(t->structure.field_list);
2753         }
2754
2755         static int structure_prepare_type(struct parse_context *c,
2756                                           struct type *t, int parse_time)
2757         {
2758                 int cnt = 0;
2759                 struct fieldlist *f;
2760
2761                 if (!parse_time || t->structure.fields)
2762                         return 1;
2763
2764                 for (f = t->structure.field_list; f; f=f->prev) {
2765                         enum prop_err perr;
2766                         cnt += 1;
2767
2768                         if (f->f.type->size <= 0)
2769                                 return 0;
2770                         if (f->f.type->prepare_type)
2771                                 f->f.type->prepare_type(c, f->f.type, parse_time);
2772
2773                         if (f->init == NULL)
2774                                 continue;
2775                         do {
2776                                 perr = 0;
2777                                 propagate_types(f->init, c, &perr, f->f.type, 0);
2778                         } while (perr & Eretry);
2779                         if (perr & Efail)
2780                                 c->parse_error += 1;    // NOTEST
2781                 }
2782
2783                 t->structure.nfields = cnt;
2784                 t->structure.fields = calloc(cnt, sizeof(struct field));
2785                 f = t->structure.field_list;
2786                 while (cnt > 0) {
2787                         int a = f->f.type->align;
2788                         cnt -= 1;
2789                         t->structure.fields[cnt] = f->f;
2790                         if (t->size & (a-1))
2791                                 t->size = (t->size | (a-1)) + 1;
2792                         t->structure.fields[cnt].offset = t->size;
2793                         t->size += ((f->f.type->size - 1) | (a-1)) + 1;
2794                         if (a > t->align)
2795                                 t->align = a;
2796
2797                         if (f->init && !c->parse_error) {
2798                                 struct value vl = interp_exec(c, f->init, NULL);
2799                                 t->structure.fields[cnt].init =
2800                                         global_alloc(c, f->f.type, NULL, &vl);
2801                         }
2802
2803                         f = f->prev;
2804                 }
2805                 return 1;
2806         }
2807
2808         static int find_struct_index(struct type *type, struct text field)
2809         {
2810                 int i;
2811                 for (i = 0; i < type->structure.nfields; i++)
2812                         if (text_cmp(type->structure.fields[i].name, field) == 0)
2813                                 return i;
2814                 return IndexInvalid;
2815         }
2816
2817         static struct type *structure_fieldref(struct type *t, struct parse_context *c,
2818                                                struct fieldref *f, struct value **vp)
2819         {
2820                 if (f->index == IndexUnknown) {
2821                         f->index = find_struct_index(t, f->name);
2822                         if (f->index < 0)
2823                                 type_err(c, "error: cannot find requested field in %1",
2824                                          f->left, t, 0, NULL);
2825                 }
2826                 if (f->index < 0)
2827                         return NULL;
2828                 if (vp) {
2829                         struct value *v = *vp;
2830                         v = (void*)v->ptr + t->structure.fields[f->index].offset;
2831                         *vp = v;
2832                 }
2833                 return t->structure.fields[f->index].type;
2834         }
2835
2836         static struct type structure_prototype = {
2837                 .init = structure_init,
2838                 .free = structure_free,
2839                 .free_type = structure_free_type,
2840                 .print_type_decl = structure_print_type,
2841                 .prepare_type = structure_prepare_type,
2842                 .fieldref = structure_fieldref,
2843         };
2844
2845 ###### exec type
2846         Xfieldref,
2847
2848 ###### ast
2849         struct fieldref {
2850                 struct exec;
2851                 struct exec *left;
2852                 int index;
2853                 struct text name;
2854         };
2855         enum { IndexUnknown = -1, IndexInvalid = -2 };
2856
2857 ###### free exec cases
2858         case Xfieldref:
2859                 free_exec(cast(fieldref, e)->left);
2860                 free(e);
2861                 break;
2862
2863 ###### declare terminals
2864         $TERM struct
2865
2866 ###### term grammar
2867
2868         | Term . IDENTIFIER ${ {
2869                 struct fieldref *fr = new_pos(fieldref, $2);
2870                 fr->left = $<1;
2871                 fr->name = $3.txt;
2872                 fr->index = IndexUnknown;
2873                 $0 = fr;
2874         } }$
2875
2876 ###### print exec cases
2877
2878         case Xfieldref:
2879         {
2880                 struct fieldref *f = cast(fieldref, e);
2881                 print_exec(f->left, -1, bracket);
2882                 printf(".%.*s", f->name.len, f->name.txt);
2883                 break;
2884         }
2885
2886 ###### propagate exec cases
2887
2888         case Xfieldref:
2889         {
2890                 struct fieldref *f = cast(fieldref, prog);
2891                 struct type *st = propagate_types(f->left, c, perr, NULL, 0);
2892
2893                 if (!st || !st->fieldref)
2894                         type_err(c, "error: field reference on %1 is not supported",
2895                                  f->left, st, 0, NULL);
2896                 else {
2897                         t = st->fieldref(st, c, f, NULL);
2898                         if (t && !type_compat(type, t, rules))
2899                                 type_err(c, "error: have %1 but need %2", prog,
2900                                          t, rules, type);
2901                         return t;
2902                 }
2903                 break;
2904         }
2905
2906 ###### interp exec cases
2907         case Xfieldref:
2908         {
2909                 struct fieldref *f = cast(fieldref, e);
2910                 struct type *ltype;
2911                 struct value *lleft = linterp_exec(c, f->left, &ltype);
2912                 lrv = lleft;
2913                 rvtype = ltype->fieldref(ltype, c, f, &lrv);
2914                 break;
2915         }
2916
2917 ###### top level grammar
2918         DeclareStruct -> struct IDENTIFIER FieldBlock Newlines ${ {
2919                 struct type *t;
2920                 t = find_type(c, $ID.txt);
2921                 if (!t)
2922                         t = add_type(c, $ID.txt, &structure_prototype);
2923                 else if (t->size >= 0) {
2924                         tok_err(c, "error: type already declared", &$ID);
2925                         tok_err(c, "info: this is location of declartion", &t->first_use);
2926                         /* Create a new one - duplicate */
2927                         t = add_type(c, $ID.txt, &structure_prototype);
2928                 } else {
2929                         struct type tmp = *t;
2930                         *t = structure_prototype;
2931                         t->name = tmp.name;
2932                         t->next = tmp.next;
2933                 }
2934                 t->structure.field_list = $<FB;
2935                 t->first_use = $ID;
2936         } }$
2937
2938         $*fieldlist
2939         FieldBlock -> { IN OptNL FieldLines OUT OptNL } ${ $0 = $<FL; }$
2940         | { SimpleFieldList } ${ $0 = $<SFL; }$
2941         | IN OptNL FieldLines OUT ${ $0 = $<FL; }$
2942         | SimpleFieldList EOL ${ $0 = $<SFL; }$
2943
2944         FieldLines -> SimpleFieldList Newlines ${ $0 = $<SFL; }$
2945         | FieldLines SimpleFieldList Newlines ${
2946                 $SFL->prev = $<FL;
2947                 $0 = $<SFL;
2948         }$
2949
2950         SimpleFieldList -> Field ${ $0 = $<F; }$
2951         | SimpleFieldList ; Field ${
2952                 $F->prev = $<SFL;
2953                 $0 = $<F;
2954         }$
2955         | SimpleFieldList ; ${
2956                 $0 = $<SFL;
2957         }$
2958         | ERROR ${ tok_err(c, "Syntax error in struct field", &$1); }$
2959
2960         Field -> IDENTIFIER : Type = Expression ${ {
2961                 $0 = calloc(1, sizeof(struct fieldlist));
2962                 $0->f.name = $ID.txt;
2963                 $0->f.type = $<Type;
2964                 $0->f.init = NULL;
2965                 $0->init = $<Expr;
2966         } }$
2967         | IDENTIFIER : Type ${
2968                 $0 = calloc(1, sizeof(struct fieldlist));
2969                 $0->f.name = $ID.txt;
2970                 $0->f.type = $<Type;
2971         }$
2972
2973 ###### forward decls
2974         static void structure_print_type(struct type *t, FILE *f);
2975
2976 ###### value functions
2977         static void structure_print_type(struct type *t, FILE *f)
2978         {
2979                 int i;
2980
2981                 fprintf(f, "struct %.*s\n", t->name.len, t->name.txt);
2982
2983                 for (i = 0; i < t->structure.nfields; i++) {
2984                         struct field *fl = t->structure.fields + i;
2985                         fprintf(f, "    %.*s : ", fl->name.len, fl->name.txt);
2986                         type_print(fl->type, f);
2987                         if (fl->type->print && fl->init) {
2988                                 fprintf(f, " = ");
2989                                 if (fl->type == Tstr)
2990                                         fprintf(f, "\"");       // UNTESTED
2991                                 print_value(fl->type, fl->init, f);
2992                                 if (fl->type == Tstr)
2993                                         fprintf(f, "\"");       // UNTESTED
2994                         }
2995                         fprintf(f, "\n");
2996                 }
2997         }
2998
2999 ###### print type decls
3000         {
3001                 struct type *t;
3002                 int target = -1;
3003
3004                 while (target != 0) {
3005                         int i = 0;
3006                         for (t = context.typelist; t ; t=t->next)
3007                                 if (!t->anon && t->print_type_decl &&
3008                                     !t->check_args) {
3009                                         i += 1;
3010                                         if (i == target)
3011                                                 break;
3012                                 }
3013
3014                         if (target == -1) {
3015                                 target = i;
3016                         } else {
3017                                 t->print_type_decl(t, stdout);
3018                                 target -= 1;
3019                         }
3020                 }
3021         }
3022
3023 #### References
3024
3025 References, or pointers, are values that refer to another value.  They
3026 can only refer to a `struct`, though as a struct can embed anything they
3027 can effectively refer to anything.
3028
3029 References are potentially dangerous as they might refer to some
3030 variable which no longer exists - either because a stack frame
3031 containing it has been discarded or because the value was allocated on
3032 the heap and has now been free.  Ocean does not yet provide any
3033 protection against these problems.  It will in due course.
3034
3035 With references comes the opportunity and the need to explicitly
3036 allocate values on the "heap" and to free them.  We currently provide
3037 fairly basic support for this.
3038
3039 Reference make use of the `@` symbol in various ways.  A type that starts
3040 with `@` is a reference to whatever follows.  A reference value
3041 followed by an `@` acts as the referred value, though the `@` is often
3042 not needed.  Finally, an expression that starts with `@` is a special
3043 reference related expression.  Some examples might help.
3044
3045 ##### Example: Reference examples
3046
3047         struct foo
3048                 a: number
3049                 b: string
3050         ref: @foo
3051         bar: foo
3052         bar.number = 23; bar.string = "hello"
3053         baz: foo
3054         ref = bar
3055         baz = @ref
3056         baz.a = ref.a * 2
3057
3058         ref = @new()
3059         ref@ = baz
3060         @free = ref
3061         ref = @nil
3062
3063 Obviously this is very contrived.  `ref` is a reference to a `foo` which
3064 is initially set to refer to the value stored in `bar` - no extra syntax
3065 is needed to "Take the address of" `bar` - the fact that `ref` is a
3066 reference means that only the address make sense.
3067
3068 When `ref.a` is accessed, that is whatever value is stored in `bar.a`.
3069 The same syntax is used for accessing fields both in structs and in
3070 references to structs.  It would be correct to use `ref@.a`, but not
3071 necessary.
3072
3073 `@new()` creates an object of whatever type is needed for the program
3074 to by type-correct.  In future iterations of Ocean, arguments a
3075 constructor will access arguments, so the the syntax now looks like a
3076 function call.  `@free` can be assigned any reference that was returned
3077 by `@new()`, and it will be freed.  `@nil` is a value of whatever
3078 reference type is appropriate, and is stable and never the address of
3079 anything in the heap or on the stack.  A reference can be assigned
3080 `@nil` or compared against that value.
3081
3082 ###### declare terminals
3083         $TERM @
3084
3085 ###### type union fields
3086
3087         struct {
3088                 struct type *referent;
3089         } reference;
3090
3091 ###### value union fields
3092         struct value *ref;
3093
3094 ###### value functions
3095
3096         static void reference_print_type(struct type *t, FILE *f)
3097         {
3098                 fprintf(f, "@");
3099                 type_print(t->reference.referent, f);
3100         }
3101
3102         static int reference_cmp(struct type *tl, struct type *tr,
3103                                  struct value *left, struct value *right)
3104         {
3105                 return left->ref == right->ref ? 0 : 1;
3106         }
3107
3108         static void reference_dup(struct type *t,
3109                                   struct value *vold, struct value *vnew)
3110         {
3111                 vnew->ref = vold->ref;
3112         }
3113
3114         static void reference_free(struct type *t, struct value *v)
3115         {
3116                 /* Nothing to do here */
3117         }
3118
3119         static int reference_compat(struct type *require, struct type *have)
3120         {
3121                 if (have->compat != require->compat)
3122                         return 0;
3123                 if (have->reference.referent != require->reference.referent)
3124                         return 0;
3125                 return 1;
3126         }
3127
3128         static int reference_test(struct type *type, struct value *val)
3129         {
3130                 return val->ref != NULL;
3131         }
3132
3133         static struct type *reference_fieldref(struct type *t, struct parse_context *c,
3134                                                struct fieldref *f, struct value **vp)
3135         {
3136                 struct type *rt = t->reference.referent;
3137
3138                 if (rt->fieldref) {
3139                         if (vp)
3140                                 *vp = (*vp)->ref;
3141                         return rt->fieldref(rt, c, f, vp);
3142                 }
3143                 type_err(c, "error: field reference on %1 is not supported",
3144                                  f->left, rt, 0, NULL);
3145                 return Tnone;
3146         }
3147
3148
3149         static struct type reference_prototype = {
3150                 .print_type = reference_print_type,
3151                 .cmp_eq = reference_cmp,
3152                 .dup = reference_dup,
3153                 .test = reference_test,
3154                 .free = reference_free,
3155                 .compat = reference_compat,
3156                 .fieldref = reference_fieldref,
3157                 .size = sizeof(void*),
3158                 .align = sizeof(void*),
3159         };
3160
3161 ###### type grammar
3162
3163         | @ IDENTIFIER ${ {
3164                 struct type *t = find_type(c, $ID.txt);
3165                 if (!t) {
3166                         t = add_type(c, $ID.txt, NULL);
3167                         t->first_use = $ID;
3168                 }
3169                 $0 = find_anon_type(c, &reference_prototype, "@%.*s",
3170                                     $ID.txt.len, $ID.txt.txt);
3171                 $0->reference.referent = t;
3172         } }$
3173
3174 ###### core functions
3175         static int text_is(struct text t, char *s)
3176         {
3177                 return (strlen(s) == t.len &&
3178                         strncmp(s, t.txt, t.len) == 0);
3179         }
3180
3181 ###### exec type
3182         Xref,
3183
3184 ###### ast
3185         struct ref {
3186                 struct exec;
3187                 enum ref_func { RefNew, RefFree, RefNil } action;
3188                 struct type *reftype;
3189                 struct exec *right;
3190         };
3191
3192 ###### SimpleStatement Grammar
3193
3194         | @ IDENTIFIER = Expression ${ {
3195                 struct ref *r = new_pos(ref, $ID);
3196                 // Must be "free"
3197                 if (!text_is($ID.txt, "free"))
3198                         tok_err(c, "error: only \"@free\" makes sense here",
3199                                 &$ID);
3200
3201                 $0 = r;
3202                 r->action = RefFree;
3203                 r->right = $<Exp;
3204         } }$
3205
3206 ###### expression grammar
3207         | @ IDENTIFIER ( ) ${
3208                 // Only 'new' valid here
3209                 if (!text_is($ID.txt, "new")) {
3210                         tok_err(c, "error: Only reference function is \"@new()\"",
3211                                 &$ID);
3212                 } else {
3213                         struct ref *r = new_pos(ref,$ID);
3214                         $0 = r;
3215                         r->action = RefNew;
3216                 }
3217         }$
3218         | @ IDENTIFIER ${
3219                 // Only 'nil' valid here
3220                 if (!text_is($ID.txt, "nil")) {
3221                         tok_err(c, "error: Only reference value is \"@nil\"",
3222                                 &$ID);
3223                 } else {
3224                         struct ref *r = new_pos(ref,$ID);
3225                         $0 = r;
3226                         r->action = RefNil;
3227                 }
3228         }$
3229
3230 ###### print exec cases
3231         case Xref: {
3232                 struct ref *r = cast(ref, e);
3233                 switch (r->action) {
3234                 case RefNew:
3235                         printf("@new()"); break;
3236                 case RefNil:
3237                         printf("@nil"); break;
3238                 case RefFree:
3239                         do_indent(indent, "@free = ");
3240                         print_exec(r->right, indent, bracket);
3241                         break;
3242                 }
3243                 break;
3244         }
3245
3246 ###### propagate exec cases
3247         case Xref: {
3248                 struct ref *r = cast(ref, prog);
3249                 switch (r->action) {
3250                 case RefNew:
3251                         if (type && type->free != reference_free) {
3252                                 type_err(c, "error: @new() can only be used with references, not %1",
3253                                          prog, type, 0, NULL);
3254                                 return NULL;
3255                         }
3256                         if (type && !r->reftype) {
3257                                 r->reftype = type;
3258                                 *perr |= Eretry;
3259                         }
3260                         return type;
3261                 case RefNil:
3262                         if (type && type->free != reference_free)
3263                                 type_err(c, "error: @nil can only be used with reference, not %1",
3264                                          prog, type, 0, NULL);
3265                         if (type && !r->reftype) {
3266                                 r->reftype = type;
3267                                 *perr |= Eretry;
3268                         }
3269                         return type;
3270                 case RefFree:
3271                         t = propagate_types(r->right, c, perr, NULL, 0);
3272                         if (t && t->free != reference_free)
3273                                 type_err(c, "error: @free can only be assigned a reference, not %1",
3274                                          prog, t, 0, NULL);
3275                         r->reftype = Tnone;
3276                         return Tnone;
3277                 }
3278                 break;  // NOTEST
3279         }
3280
3281
3282 ###### interp exec cases
3283         case Xref: {
3284                 struct ref *r = cast(ref, e);
3285                 switch (r->action) {
3286                 case RefNew:
3287                         if (r->reftype)
3288                                 rv.ref = calloc(1, r->reftype->reference.referent->size);
3289                         rvtype = r->reftype;
3290                         break;
3291                 case RefNil:
3292                         rv.ref = NULL;
3293                         rvtype = r->reftype;
3294                         break;
3295                 case RefFree:
3296                         rv = interp_exec(c, r->right, &rvtype);
3297                         free_value(rvtype->reference.referent, rv.ref);
3298                         free(rv.ref);
3299                         rvtype = Tnone;
3300                         break;
3301                 }
3302                 break;
3303         }
3304
3305 ###### free exec cases
3306         case Xref: {
3307                 struct ref *r = cast(ref, e);
3308                 free_exec(r->right);
3309                 free(r);
3310                 break;
3311         }
3312
3313 ###### Expressions: dereference
3314
3315 ###### Binode types
3316         Deref,
3317
3318 ###### term grammar
3319
3320         | Term @ ${ {
3321                 struct binode *b = new(binode);
3322                 b->op = Deref;
3323                 b->left = $<Trm;
3324                 $0 = b;
3325         } }$
3326
3327 ###### print binode cases
3328         case Deref:
3329                 print_exec(b->left, -1, bracket);
3330                 printf("@");
3331                 break;
3332
3333 ###### propagate binode cases
3334         case Deref:
3335                 /* left must be a reference, and we return what it refers to */
3336                 /* FIXME how can I pass the expected type down? */
3337                 t = propagate_types(b->left, c, perr, NULL, 0);
3338                 if (!t || t->free != reference_free)
3339                         type_err(c, "error: Cannot dereference %1", b, t, 0, NULL);
3340                 else
3341                         return t->reference.referent;
3342                 break;
3343
3344 ###### interp binode cases
3345         case Deref: {
3346                 left = interp_exec(c, b->left, &ltype);
3347                 lrv = left.ref;
3348                 rvtype = ltype->reference.referent;
3349                 break;
3350         }
3351
3352
3353 #### Functions
3354
3355 A function is a chunk of code which can be passed parameters and can
3356 return results.  Each function has a type which includes the set of
3357 parameters and the return value.  As yet these types cannot be declared
3358 separately from the function itself.
3359
3360 The parameters can be specified either in parentheses as a ';' separated
3361 list, such as
3362
3363 ##### Example: function 1
3364
3365         func main(av:[ac::number]string; env:[envc::number]string)
3366                 code block
3367
3368 or as an indented list of one parameter per line (though each line can
3369 be a ';' separated list)
3370
3371 ##### Example: function 2
3372
3373         func main
3374                 argv:[argc::number]string
3375                 env:[envc::number]string
3376         do
3377                 code block
3378
3379 In the first case a return type can follow the parentheses after a colon,
3380 in the second it is given on a line starting with the word `return`.
3381
3382 ##### Example: functions that return
3383
3384         func add(a:number; b:number): number
3385                 code block
3386
3387         func catenate
3388                 a: string
3389                 b: string
3390         return string
3391         do
3392                 code block
3393
3394 Rather than returning a type, the function can specify a set of local
3395 variables to return as a struct.  The values of these variables when the
3396 function exits will be provided to the caller.  For this the return type
3397 is replaced with a block of result declarations, either in parentheses
3398 or bracketed by `return` and `do`.
3399
3400 ##### Example: functions returning multiple variables
3401
3402         func to_cartesian(rho:number; theta:number):(x:number; y:number)
3403                 x = .....
3404                 y = .....
3405
3406         func to_polar
3407                 x:number; y:number
3408         return
3409                 rho:number
3410                 theta:number
3411         do
3412                 rho = ....
3413                 theta = ....
3414
3415 For constructing the lists we use a `List` binode, which will be
3416 further detailed when Expression Lists are introduced.
3417
3418 ###### type union fields
3419
3420         struct {
3421                 struct binode *params;
3422                 struct type *return_type;
3423                 struct variable *scope;
3424                 int inline_result;      // return value is at start of 'local'
3425                 int local_size;
3426         } function;
3427
3428 ###### value union fields
3429         struct exec *function;
3430
3431 ###### type functions
3432         void (*check_args)(struct parse_context *c, enum prop_err *perr,
3433                            struct type *require, struct exec *args);
3434
3435 ###### value functions
3436
3437         static void function_free(struct type *type, struct value *val)
3438         {
3439                 free_exec(val->function);
3440                 val->function = NULL;
3441         }
3442
3443         static int function_compat(struct type *require, struct type *have)
3444         {
3445                 // FIXME can I do anything here yet?
3446                 return 0;
3447         }
3448
3449         static void function_check_args(struct parse_context *c, enum prop_err *perr,
3450                                         struct type *require, struct exec *args)
3451         {
3452                 /* This should be 'compat', but we don't have a 'tuple' type to
3453                  * hold the type of 'args'
3454                  */
3455                 struct binode *arg = cast(binode, args);
3456                 struct binode *param = require->function.params;
3457
3458                 while (param) {
3459                         struct var *pv = cast(var, param->left);
3460                         if (!arg) {
3461                                 type_err(c, "error: insufficient arguments to function.",
3462                                          args, NULL, 0, NULL);
3463                                 break;
3464                         }
3465                         *perr = 0;
3466                         propagate_types(arg->left, c, perr, pv->var->type, 0);
3467                         param = cast(binode, param->right);
3468                         arg = cast(binode, arg->right);
3469                 }
3470                 if (arg)
3471                         type_err(c, "error: too many arguments to function.",
3472                                  args, NULL, 0, NULL);
3473         }
3474
3475         static void function_print(struct type *type, struct value *val, FILE *f)
3476         {
3477                 print_exec(val->function, 1, 0);
3478         }
3479
3480         static void function_print_type_decl(struct type *type, FILE *f)
3481         {
3482                 struct binode *b;
3483                 fprintf(f, "(");
3484                 for (b = type->function.params; b; b = cast(binode, b->right)) {
3485                         struct variable *v = cast(var, b->left)->var;
3486                         fprintf(f, "%.*s%s", v->name->name.len, v->name->name.txt,
3487                                 v->constant ? "::" : ":");
3488                         type_print(v->type, f);
3489                         if (b->right)
3490                                 fprintf(f, "; ");
3491                 }
3492                 fprintf(f, ")");
3493                 if (type->function.return_type != Tnone) {
3494                         fprintf(f, ":");
3495                         if (type->function.inline_result) {
3496                                 int i;
3497                                 struct type *t = type->function.return_type;
3498                                 fprintf(f, " (");
3499                                 for (i = 0; i < t->structure.nfields; i++) {
3500                                         struct field *fl = t->structure.fields + i;
3501                                         if (i)
3502                                                 fprintf(f, "; ");
3503                                         fprintf(f, "%.*s:", fl->name.len, fl->name.txt);
3504                                         type_print(fl->type, f);
3505                                 }
3506                                 fprintf(f, ")");
3507                         } else
3508                                 type_print(type->function.return_type, f);
3509                 }
3510                 fprintf(f, "\n");
3511         }
3512
3513         static void function_free_type(struct type *t)
3514         {
3515                 free_exec(t->function.params);
3516         }
3517
3518         static struct type function_prototype = {
3519                 .size = sizeof(void*),
3520                 .align = sizeof(void*),
3521                 .free = function_free,
3522                 .compat = function_compat,
3523                 .check_args = function_check_args,
3524                 .print = function_print,
3525                 .print_type_decl = function_print_type_decl,
3526                 .free_type = function_free_type,
3527         };
3528
3529 ###### declare terminals
3530
3531         $TERM func
3532
3533 ###### Binode types
3534         List,
3535
3536 ###### Grammar
3537
3538         $*variable
3539         FuncName -> IDENTIFIER ${ {
3540                 struct variable *v = var_decl(c, $1.txt);
3541                 struct var *e = new_pos(var, $1);
3542                 e->var = v;
3543                 if (v) {
3544                         v->where_decl = e;
3545                         v->where_set = e;
3546                         $0 = v;
3547                 } else {
3548                         v = var_ref(c, $1.txt);
3549                         e->var = v;
3550                         type_err(c, "error: function '%v' redeclared",
3551                                 e, NULL, 0, NULL);
3552                         type_err(c, "info: this is where '%v' was first declared",
3553                                 v->where_decl, NULL, 0, NULL);
3554                         free_exec(e);
3555                 }
3556         } }$
3557
3558         $*binode
3559         Args -> ArgsLine NEWLINE ${ $0 = $<AL; }$
3560         | Args ArgsLine NEWLINE ${ {
3561                 struct binode *b = $<AL;
3562                 struct binode **bp = &b;
3563                 while (*bp)
3564                         bp = (struct binode **)&(*bp)->left;
3565                 *bp = $<A;
3566                 $0 = b;
3567         } }$
3568
3569         ArgsLine -> ${ $0 = NULL; }$
3570         | Varlist ${ $0 = $<1; }$
3571         | Varlist ; ${ $0 = $<1; }$
3572
3573         Varlist -> Varlist ; ArgDecl ${
3574                 $0 = new_pos(binode, $2);
3575                 $0->op = List;
3576                 $0->left = $<Vl;
3577                 $0->right = $<AD;
3578         }$
3579         | ArgDecl ${
3580                 $0 = new(binode);
3581                 $0->op = List;
3582                 $0->left = NULL;
3583                 $0->right = $<AD;
3584         }$
3585
3586         $*var
3587         ArgDecl -> IDENTIFIER : FormalType ${ {
3588                 struct variable *v = var_decl(c, $ID.txt);
3589                 $0 = new_pos(var, $ID);
3590                 $0->var = v;
3591                 v->where_decl = $0;
3592                 v->where_set = $0;
3593                 v->type = $<FT;
3594         } }$
3595
3596 ##### Function calls
3597
3598 A function call can appear either as an expression or as a statement.
3599 We use a new 'Funcall' binode type to link the function with a list of
3600 arguments, form with the 'List' nodes.
3601
3602 We have already seen the "Term" which is how a function call can appear
3603 in an expression.  To parse a function call into a statement we include
3604 it in the "SimpleStatement Grammar" which will be described later.
3605
3606 ###### Binode types
3607         Funcall,
3608
3609 ###### term grammar
3610         | Term ( ExpressionList ) ${ {
3611                 struct binode *b = new(binode);
3612                 b->op = Funcall;
3613                 b->left = $<T;
3614                 b->right = reorder_bilist($<EL);
3615                 $0 = b;
3616         } }$
3617         | Term ( ) ${ {
3618                 struct binode *b = new(binode);
3619                 b->op = Funcall;
3620                 b->left = $<T;
3621                 b->right = NULL;
3622                 $0 = b;
3623         } }$
3624
3625 ###### SimpleStatement Grammar
3626
3627         | Term ( ExpressionList ) ${ {
3628                 struct binode *b = new(binode);
3629                 b->op = Funcall;
3630                 b->left = $<T;
3631                 b->right = reorder_bilist($<EL);
3632                 $0 = b;
3633         } }$
3634
3635 ###### print binode cases
3636
3637         case Funcall:
3638                 do_indent(indent, "");
3639                 print_exec(b->left, -1, bracket);
3640                 printf("(");
3641                 for (b = cast(binode, b->right); b; b = cast(binode, b->right)) {
3642                         if (b->left) {
3643                                 printf(" ");
3644                                 print_exec(b->left, -1, bracket);
3645                                 if (b->right)
3646                                         printf(",");
3647                         }
3648                 }
3649                 printf(")");
3650                 if (indent >= 0)
3651                         printf("\n");
3652                 break;
3653
3654 ###### propagate binode cases
3655
3656         case Funcall: {
3657                 /* Every arg must match formal parameter, and result
3658                  * is return type of function
3659                  */
3660                 struct binode *args = cast(binode, b->right);
3661                 struct var *v = cast(var, b->left);
3662
3663                 if (!v->var->type || v->var->type->check_args == NULL) {
3664                         type_err(c, "error: attempt to call a non-function.",
3665                                  prog, NULL, 0, NULL);
3666                         return NULL;
3667                 }
3668                 *perr |= Enoconst;
3669                 v->var->type->check_args(c, perr, v->var->type, args);
3670                 if (v->var->type->function.inline_result)
3671                         *perr |= Emaycopy;
3672                 return v->var->type->function.return_type;
3673         }
3674
3675 ###### interp binode cases
3676
3677         case Funcall: {
3678                 struct var *v = cast(var, b->left);
3679                 struct type *t = v->var->type;
3680                 void *oldlocal = c->local;
3681                 int old_size = c->local_size;
3682                 void *local = calloc(1, t->function.local_size);
3683                 struct value *fbody = var_value(c, v->var);
3684                 struct binode *arg = cast(binode, b->right);
3685                 struct binode *param = t->function.params;
3686
3687                 while (param) {
3688                         struct var *pv = cast(var, param->left);
3689                         struct type *vtype = NULL;
3690                         struct value val = interp_exec(c, arg->left, &vtype);
3691                         struct value *lval;
3692                         c->local = local; c->local_size = t->function.local_size;
3693                         lval = var_value(c, pv->var);
3694                         c->local = oldlocal; c->local_size = old_size;
3695                         memcpy(lval, &val, vtype->size);
3696                         param = cast(binode, param->right);
3697                         arg = cast(binode, arg->right);
3698                 }
3699                 c->local = local; c->local_size = t->function.local_size;
3700                 if (t->function.inline_result && dtype) {
3701                         _interp_exec(c, fbody->function, NULL, NULL);
3702                         memcpy(dest, local, dtype->size);
3703                         rvtype = ret.type = NULL;
3704                 } else
3705                         rv = interp_exec(c, fbody->function, &rvtype);
3706                 c->local = oldlocal; c->local_size = old_size;
3707                 free(local);
3708                 break;
3709         }
3710
3711 ## Complex executables: statements and expressions
3712
3713 Now that we have types and values and variables and most of the basic
3714 Terms which provide access to these, we can explore the more complex
3715 code that combine all of these to get useful work done.  Specifically
3716 statements and expressions.
3717
3718 Expressions are various combinations of Terms.  We will use operator
3719 precedence to ensure correct parsing.  The simplest Expression is just a
3720 Term - others will follow.
3721
3722 ###### Grammar
3723
3724         $*exec
3725         Expression -> Term ${ $0 = $<Term; }$
3726         ## expression grammar
3727
3728 ### Expressions: Conditional
3729
3730 Our first user of the `binode` will be conditional expressions, which
3731 is a bit odd as they actually have three components.  That will be
3732 handled by having 2 binodes for each expression.  The conditional
3733 expression is the lowest precedence operator which is why we define it
3734 first - to start the precedence list.
3735
3736 Conditional expressions are of the form "value `if` condition `else`
3737 other_value".  They associate to the right, so everything to the right
3738 of `else` is part of an else value, while only a higher-precedence to
3739 the left of `if` is the if values.  Between `if` and `else` there is no
3740 room for ambiguity, so a full conditional expression is allowed in
3741 there.
3742
3743 ###### Binode types
3744         CondExpr,
3745
3746 ###### declare terminals
3747
3748         $LEFT if $$ifelse
3749
3750 ###### expression grammar
3751
3752         | Expression if Expression else Expression $$ifelse ${ {
3753                 struct binode *b1 = new(binode);
3754                 struct binode *b2 = new(binode);
3755                 b1->op = CondExpr;
3756                 b1->left = $<3;
3757                 b1->right = b2;
3758                 b2->op = CondExpr;
3759                 b2->left = $<1;
3760                 b2->right = $<5;
3761                 $0 = b1;
3762         } }$
3763
3764 ###### print binode cases
3765
3766         case CondExpr:
3767                 b2 = cast(binode, b->right);
3768                 if (bracket) printf("(");
3769                 print_exec(b2->left, -1, bracket);
3770                 printf(" if ");
3771                 print_exec(b->left, -1, bracket);
3772                 printf(" else ");
3773                 print_exec(b2->right, -1, bracket);
3774                 if (bracket) printf(")");
3775                 break;
3776
3777 ###### propagate binode cases
3778
3779         case CondExpr: {
3780                 /* cond must be Tbool, others must match */
3781                 struct binode *b2 = cast(binode, b->right);
3782                 struct type *t2;
3783
3784                 propagate_types(b->left, c, perr, Tbool, 0);
3785                 t = propagate_types(b2->left, c, perr, type, 0);
3786                 t2 = propagate_types(b2->right, c, perr, type ?: t, 0);
3787                 return t ?: t2;
3788         }
3789
3790 ###### interp binode cases
3791
3792         case CondExpr: {
3793                 struct binode *b2 = cast(binode, b->right);
3794                 left = interp_exec(c, b->left, &ltype);
3795                 if (left.bool)
3796                         rv = interp_exec(c, b2->left, &rvtype); // UNTESTED
3797                 else
3798                         rv = interp_exec(c, b2->right, &rvtype);
3799                 }
3800                 break;
3801
3802 ### Expression list
3803
3804 We take a brief detour, now that we have expressions, to describe lists
3805 of expressions.  These will be needed for function parameters and
3806 possibly other situations.  They seem generic enough to introduce here
3807 to be used elsewhere.
3808
3809 And ExpressionList will use the `List` type of `binode`, building up at
3810 the end.  And place where they are used will probably call
3811 `reorder_bilist()` to get a more normal first/next arrangement.
3812
3813 ###### declare terminals
3814         $TERM ,
3815
3816 `List` execs have no implicit semantics, so they are never propagated or
3817 interpreted.  The can be printed as a comma separate list, which is how
3818 they are parsed.  Note they are also used for function formal parameter
3819 lists.  In that case a separate function is used to print them.
3820
3821 ###### print binode cases
3822         case List:
3823                 while (b) {
3824                         printf(" ");
3825                         print_exec(b->left, -1, bracket);
3826                         if (b->right)
3827                                 printf(",");
3828                         b = cast(binode, b->right);
3829                 }
3830                 break;
3831
3832 ###### propagate binode cases
3833         case List: abort(); // NOTEST
3834 ###### interp binode cases
3835         case List: abort(); // NOTEST
3836
3837 ###### Grammar
3838
3839         $*binode
3840         ExpressionList -> ExpressionList , Expression ${
3841                 $0 = new(binode);
3842                 $0->op = List;
3843                 $0->left = $<1;
3844                 $0->right = $<3;
3845         }$
3846         | Expression ${
3847                 $0 = new(binode);
3848                 $0->op = List;
3849                 $0->left = NULL;
3850                 $0->right = $<1;
3851         }$
3852
3853 ### Expressions: Boolean
3854
3855 The next class of expressions to use the `binode` will be Boolean
3856 expressions.  "`and then`" and "`or else`" are similar to `and` and `or`
3857 have same corresponding precendence.  The difference is that they don't
3858 evaluate the second expression if not necessary.
3859
3860 ###### Binode types
3861         And,
3862         AndThen,
3863         Or,
3864         OrElse,
3865         Not,
3866
3867 ###### declare terminals
3868         $LEFT or
3869         $LEFT and
3870         $LEFT not
3871
3872 ###### expression grammar
3873         | Expression or Expression ${ {
3874                 struct binode *b = new(binode);
3875                 b->op = Or;
3876                 b->left = $<1;
3877                 b->right = $<3;
3878                 $0 = b;
3879         } }$
3880         | Expression or else Expression ${ {
3881                 struct binode *b = new(binode);
3882                 b->op = OrElse;
3883                 b->left = $<1;
3884                 b->right = $<4;
3885                 $0 = b;
3886         } }$
3887
3888         | Expression and Expression ${ {
3889                 struct binode *b = new(binode);
3890                 b->op = And;
3891                 b->left = $<1;
3892                 b->right = $<3;
3893                 $0 = b;
3894         } }$
3895         | Expression and then Expression ${ {
3896                 struct binode *b = new(binode);
3897                 b->op = AndThen;
3898                 b->left = $<1;
3899                 b->right = $<4;
3900                 $0 = b;
3901         } }$
3902
3903         | not Expression ${ {
3904                 struct binode *b = new(binode);
3905                 b->op = Not;
3906                 b->right = $<2;
3907                 $0 = b;
3908         } }$
3909
3910 ###### print binode cases
3911         case And:
3912                 if (bracket) printf("(");
3913                 print_exec(b->left, -1, bracket);
3914                 printf(" and ");
3915                 print_exec(b->right, -1, bracket);
3916                 if (bracket) printf(")");
3917                 break;
3918         case AndThen:
3919                 if (bracket) printf("(");
3920                 print_exec(b->left, -1, bracket);
3921                 printf(" and then ");
3922                 print_exec(b->right, -1, bracket);
3923                 if (bracket) printf(")");
3924                 break;
3925         case Or:
3926                 if (bracket) printf("(");
3927                 print_exec(b->left, -1, bracket);
3928                 printf(" or ");
3929                 print_exec(b->right, -1, bracket);
3930                 if (bracket) printf(")");
3931                 break;
3932         case OrElse:
3933                 if (bracket) printf("(");
3934                 print_exec(b->left, -1, bracket);
3935                 printf(" or else ");
3936                 print_exec(b->right, -1, bracket);
3937                 if (bracket) printf(")");
3938                 break;
3939         case Not:
3940                 if (bracket) printf("(");
3941                 printf("not ");
3942                 print_exec(b->right, -1, bracket);
3943                 if (bracket) printf(")");
3944                 break;
3945
3946 ###### propagate binode cases
3947         case And:
3948         case AndThen:
3949         case Or:
3950         case OrElse:
3951         case Not:
3952                 /* both must be Tbool, result is Tbool */
3953                 propagate_types(b->left, c, perr, Tbool, 0);
3954                 propagate_types(b->right, c, perr, Tbool, 0);
3955                 if (type && type != Tbool)
3956                         type_err(c, "error: %1 operation found where %2 expected", prog,
3957                                    Tbool, 0, type);
3958                 return Tbool;
3959
3960 ###### interp binode cases
3961         case And:
3962                 rv = interp_exec(c, b->left, &rvtype);
3963                 right = interp_exec(c, b->right, &rtype);
3964                 rv.bool = rv.bool && right.bool;
3965                 break;
3966         case AndThen:
3967                 rv = interp_exec(c, b->left, &rvtype);
3968                 if (rv.bool)
3969                         rv = interp_exec(c, b->right, NULL);
3970                 break;
3971         case Or:
3972                 rv = interp_exec(c, b->left, &rvtype);
3973                 right = interp_exec(c, b->right, &rtype);
3974                 rv.bool = rv.bool || right.bool;
3975                 break;
3976         case OrElse:
3977                 rv = interp_exec(c, b->left, &rvtype);
3978                 if (!rv.bool)
3979                         rv = interp_exec(c, b->right, NULL);
3980                 break;
3981         case Not:
3982                 rv = interp_exec(c, b->right, &rvtype);
3983                 rv.bool = !rv.bool;
3984                 break;
3985
3986 ### Expressions: Comparison
3987
3988 Of slightly higher precedence that Boolean expressions are Comparisons.
3989 A comparison takes arguments of any comparable type, but the two types
3990 must be the same.
3991
3992 To simplify the parsing we introduce an `eop` which can record an
3993 expression operator, and the `CMPop` non-terminal will match one of them.
3994
3995 ###### ast
3996         struct eop {
3997                 enum Btype op;
3998         };
3999
4000 ###### ast functions
4001         static void free_eop(struct eop *e)
4002         {
4003                 if (e)
4004                         free(e);
4005         }
4006
4007 ###### Binode types
4008         Less,
4009         Gtr,
4010         LessEq,
4011         GtrEq,
4012         Eql,
4013         NEql,
4014
4015 ###### declare terminals
4016         $LEFT < > <= >= == != CMPop
4017
4018 ###### expression grammar
4019         | Expression CMPop Expression ${ {
4020                 struct binode *b = new(binode);
4021                 b->op = $2.op;
4022                 b->left = $<1;
4023                 b->right = $<3;
4024                 $0 = b;
4025         } }$
4026
4027 ###### Grammar
4028
4029         $eop
4030         CMPop ->  < ${ $0.op = Less; }$
4031         |         > ${ $0.op = Gtr; }$
4032         |         <= ${ $0.op = LessEq; }$
4033         |         >= ${ $0.op = GtrEq; }$
4034         |         == ${ $0.op = Eql; }$
4035         |         != ${ $0.op = NEql; }$
4036
4037 ###### print binode cases
4038
4039         case Less:
4040         case LessEq:
4041         case Gtr:
4042         case GtrEq:
4043         case Eql:
4044         case NEql:
4045                 if (bracket) printf("(");
4046                 print_exec(b->left, -1, bracket);
4047                 switch(b->op) {
4048                 case Less:   printf(" < "); break;
4049                 case LessEq: printf(" <= "); break;
4050                 case Gtr:    printf(" > "); break;
4051                 case GtrEq:  printf(" >= "); break;
4052                 case Eql:    printf(" == "); break;
4053                 case NEql:   printf(" != "); break;
4054                 default: abort();               // NOTEST
4055                 }
4056                 print_exec(b->right, -1, bracket);
4057                 if (bracket) printf(")");
4058                 break;
4059
4060 ###### propagate binode cases
4061         case Less:
4062         case LessEq:
4063         case Gtr:
4064         case GtrEq:
4065         case Eql:
4066         case NEql:
4067                 /* Both must match but not be labels, result is Tbool */
4068                 t = propagate_types(b->left, c, perr, NULL, 0);
4069                 if (t)
4070                         propagate_types(b->right, c, perr, t, 0);
4071                 else {
4072                         t = propagate_types(b->right, c, perr, NULL, 0);        // UNTESTED
4073                         if (t)  // UNTESTED
4074                                 t = propagate_types(b->left, c, perr, t, 0);    // UNTESTED
4075                 }
4076                 if (!type_compat(type, Tbool, 0))
4077                         type_err(c, "error: Comparison returns %1 but %2 expected", prog,
4078                                     Tbool, rules, type);
4079                 return Tbool;
4080
4081 ###### interp binode cases
4082         case Less:
4083         case LessEq:
4084         case Gtr:
4085         case GtrEq:
4086         case Eql:
4087         case NEql:
4088         {
4089                 int cmp;
4090                 left = interp_exec(c, b->left, &ltype);
4091                 right = interp_exec(c, b->right, &rtype);
4092                 cmp = value_cmp(ltype, rtype, &left, &right);
4093                 rvtype = Tbool;
4094                 switch (b->op) {
4095                 case Less:      rv.bool = cmp <  0; break;
4096                 case LessEq:    rv.bool = cmp <= 0; break;
4097                 case Gtr:       rv.bool = cmp >  0; break;
4098                 case GtrEq:     rv.bool = cmp >= 0; break;
4099                 case Eql:       rv.bool = cmp == 0; break;
4100                 case NEql:      rv.bool = cmp != 0; break;
4101                 default:        rv.bool = 0; break;     // NOTEST
4102                 }
4103                 break;
4104         }
4105
4106 ### Expressions: Arithmetic etc.
4107
4108 The remaining expressions with the highest precedence are arithmetic,
4109 string concatenation, string conversion, and testing.  String concatenation
4110 (`++`) has the same precedence as multiplication and division, but lower
4111 than the uniary.
4112
4113 Testing comes in two forms.  A single question mark (`?`) is a uniary
4114 operator which converts come types into Boolean.  The general meaning is
4115 "is this a value value" and there will be more uses as the language
4116 develops.  A double questionmark (`??`) is a binary operator (Choose),
4117 with same precedence as multiplication, which returns the LHS if it
4118 tests successfully, else returns the RHS.
4119
4120 String conversion is a temporary feature until I get a better type
4121 system.  `$` is a prefix operator which expects a string and returns
4122 a number.
4123
4124 `+` and `-` are both infix and prefix operations (where they are
4125 absolute value and negation).  These have different operator names.
4126
4127 We also have a 'Bracket' operator which records where parentheses were
4128 found.  This makes it easy to reproduce these when printing.  Possibly I
4129 should only insert brackets were needed for precedence.  Putting
4130 parentheses around an expression converts it into a Term,
4131
4132 ###### Binode types
4133         Plus, Minus,
4134         Times, Divide, Rem,
4135         Concat, Choose,
4136         Absolute, Negate, Test,
4137         StringConv,
4138         Bracket,
4139
4140 ###### declare terminals
4141         $LEFT + - Eop
4142         $LEFT * / % ++ ?? Top
4143         $LEFT Uop $ ?
4144         $TERM ( )
4145
4146 ###### expression grammar
4147         | Expression Eop Expression ${ {
4148                 struct binode *b = new(binode);
4149                 b->op = $2.op;
4150                 b->left = $<1;
4151                 b->right = $<3;
4152                 $0 = b;
4153         } }$
4154
4155         | Expression Top Expression ${ {
4156                 struct binode *b = new(binode);
4157                 b->op = $2.op;
4158                 b->left = $<1;
4159                 b->right = $<3;
4160                 $0 = b;
4161         } }$
4162
4163         | Uop Expression ${ {
4164                 struct binode *b = new(binode);
4165                 b->op = $1.op;
4166                 b->right = $<2;
4167                 $0 = b;
4168         } }$
4169
4170 ###### term grammar
4171
4172         | ( Expression ) ${ {
4173                 struct binode *b = new_pos(binode, $1);
4174                 b->op = Bracket;
4175                 b->right = $<2;
4176                 $0 = b;
4177         } }$
4178
4179 ###### Grammar
4180
4181         $eop
4182         Eop ->   + ${ $0.op = Plus; }$
4183         |        - ${ $0.op = Minus; }$
4184
4185         Uop ->   + ${ $0.op = Absolute; }$
4186         |        - ${ $0.op = Negate; }$
4187         |        $ ${ $0.op = StringConv; }$
4188         |        ? ${ $0.op = Test; }$
4189
4190         Top ->   * ${ $0.op = Times; }$
4191         |        / ${ $0.op = Divide; }$
4192         |        % ${ $0.op = Rem; }$
4193         |        ++ ${ $0.op = Concat; }$
4194         |        ?? ${ $0.op = Choose; }$
4195
4196 ###### print binode cases
4197         case Plus:
4198         case Minus:
4199         case Times:
4200         case Divide:
4201         case Concat:
4202         case Rem:
4203         case Choose:
4204                 if (bracket) printf("(");
4205                 print_exec(b->left, indent, bracket);
4206                 switch(b->op) {
4207                 case Plus:   fputs(" + ", stdout); break;
4208                 case Minus:  fputs(" - ", stdout); break;
4209                 case Times:  fputs(" * ", stdout); break;
4210                 case Divide: fputs(" / ", stdout); break;
4211                 case Rem:    fputs(" % ", stdout); break;
4212                 case Concat: fputs(" ++ ", stdout); break;
4213                 case Choose: fputs(" ?? ", stdout); break;
4214                 default: abort();       // NOTEST
4215                 }                       // NOTEST
4216                 print_exec(b->right, indent, bracket);
4217                 if (bracket) printf(")");
4218                 break;
4219         case Absolute:
4220         case Negate:
4221         case StringConv:
4222         case Test:
4223                 if (bracket) printf("(");
4224                 switch (b->op) {
4225                 case Absolute:   fputs("+", stdout); break;
4226                 case Negate:     fputs("-", stdout); break;
4227                 case StringConv: fputs("$", stdout); break;
4228                 case Test:       fputs("?", stdout); break;
4229                 default: abort();       // NOTEST
4230                 }                       // NOTEST
4231                 print_exec(b->right, indent, bracket);
4232                 if (bracket) printf(")");
4233                 break;
4234         case Bracket:
4235                 printf("(");
4236                 print_exec(b->right, indent, bracket);
4237                 printf(")");
4238                 break;
4239
4240 ###### propagate binode cases
4241         case Plus:
4242         case Minus:
4243         case Times:
4244         case Rem:
4245         case Divide:
4246                 /* both must be numbers, result is Tnum */
4247         case Absolute:
4248         case Negate:
4249                 /* as propagate_types ignores a NULL,
4250                  * unary ops fit here too */
4251                 propagate_types(b->left, c, perr, Tnum, 0);
4252                 propagate_types(b->right, c, perr, Tnum, 0);
4253                 if (!type_compat(type, Tnum, 0))
4254                         type_err(c, "error: Arithmetic returns %1 but %2 expected", prog,
4255                                    Tnum, rules, type);
4256                 return Tnum;
4257
4258         case Concat:
4259                 /* both must be Tstr, result is Tstr */
4260                 propagate_types(b->left, c, perr, Tstr, 0);
4261                 propagate_types(b->right, c, perr, Tstr, 0);
4262                 if (!type_compat(type, Tstr, 0))
4263                         type_err(c, "error: Concat returns %1 but %2 expected", prog,
4264                                    Tstr, rules, type);
4265                 return Tstr;
4266
4267         case StringConv:
4268                 /* op must be string, result is number */
4269                 propagate_types(b->left, c, perr, Tstr, 0);
4270                 if (!type_compat(type, Tnum, 0))
4271                         type_err(c,     // UNTESTED
4272                           "error: Can only convert string to number, not %1",
4273                                 prog, type, 0, NULL);
4274                 return Tnum;
4275
4276         case Test:
4277                 /* LHS must support ->test, result is Tbool */
4278                 t = propagate_types(b->right, c, perr, NULL, 0);
4279                 if (!t || !t->test)
4280                         type_err(c, "error: '?' requires a testable value, not %1",
4281                                  prog, t, 0, NULL);
4282                 return Tbool;
4283
4284         case Choose:
4285                 /* LHS and RHS must match and are returned. Must support
4286                  * ->test
4287                  */
4288                 t = propagate_types(b->left, c, perr, type, rules);
4289                 t = propagate_types(b->right, c, perr, t, rules);
4290                 if (t && t->test == NULL)
4291                         type_err(c, "error: \"??\" requires a testable value, not %1",
4292                                  prog, t, 0, NULL);
4293                 return t;
4294
4295         case Bracket:
4296                 return propagate_types(b->right, c, perr, type, 0);
4297
4298 ###### interp binode cases
4299
4300         case Plus:
4301                 rv = interp_exec(c, b->left, &rvtype);
4302                 right = interp_exec(c, b->right, &rtype);
4303                 mpq_add(rv.num, rv.num, right.num);
4304                 break;
4305         case Minus:
4306                 rv = interp_exec(c, b->left, &rvtype);
4307                 right = interp_exec(c, b->right, &rtype);
4308                 mpq_sub(rv.num, rv.num, right.num);
4309                 break;
4310         case Times:
4311                 rv = interp_exec(c, b->left, &rvtype);
4312                 right = interp_exec(c, b->right, &rtype);
4313                 mpq_mul(rv.num, rv.num, right.num);
4314                 break;
4315         case Divide:
4316                 rv = interp_exec(c, b->left, &rvtype);
4317                 right = interp_exec(c, b->right, &rtype);
4318                 mpq_div(rv.num, rv.num, right.num);
4319                 break;
4320         case Rem: {
4321                 mpz_t l, r, rem;
4322
4323                 left = interp_exec(c, b->left, &ltype);
4324                 right = interp_exec(c, b->right, &rtype);
4325                 mpz_init(l); mpz_init(r); mpz_init(rem);
4326                 mpz_tdiv_q(l, mpq_numref(left.num), mpq_denref(left.num));
4327                 mpz_tdiv_q(r, mpq_numref(right.num), mpq_denref(right.num));
4328                 mpz_tdiv_r(rem, l, r);
4329                 val_init(Tnum, &rv);
4330                 mpq_set_z(rv.num, rem);
4331                 mpz_clear(r); mpz_clear(l); mpz_clear(rem);
4332                 rvtype = ltype;
4333                 break;
4334         }
4335         case Negate:
4336                 rv = interp_exec(c, b->right, &rvtype);
4337                 mpq_neg(rv.num, rv.num);
4338                 break;
4339         case Absolute:
4340                 rv = interp_exec(c, b->right, &rvtype);
4341                 mpq_abs(rv.num, rv.num);
4342                 break;
4343         case Bracket:
4344                 rv = interp_exec(c, b->right, &rvtype);
4345                 break;
4346         case Concat:
4347                 left = interp_exec(c, b->left, &ltype);
4348                 right = interp_exec(c, b->right, &rtype);
4349                 rvtype = Tstr;
4350                 rv.str = text_join(left.str, right.str);
4351                 break;
4352         case StringConv:
4353                 right = interp_exec(c, b->right, &rvtype);
4354                 rtype = Tstr;
4355                 rvtype = Tnum;
4356
4357                 struct text tx = right.str;
4358                 char tail[3];
4359                 int neg = 0;
4360                 if (tx.txt[0] == '-') {
4361                         neg = 1;        // UNTESTED
4362                         tx.txt++;       // UNTESTED
4363                         tx.len--;       // UNTESTED
4364                 }
4365                 if (number_parse(rv.num, tail, tx) == 0)
4366                         mpq_init(rv.num);       // UNTESTED
4367                 else if (neg)
4368                         mpq_neg(rv.num, rv.num);        // UNTESTED
4369                 if (tail[0])
4370                         printf("Unsupported suffix: %.*s\n", tx.len, tx.txt);   // UNTESTED
4371
4372                 break;
4373         case Test:
4374                 right = interp_exec(c, b->right, &rtype);
4375                 rvtype = Tbool;
4376                 rv.bool = !!rtype->test(rtype, &right);
4377                 break;
4378         case Choose:
4379                 left = interp_exec(c, b->left, &ltype);
4380                 if (ltype->test(ltype, &left)) {
4381                         rv = left;
4382                         rvtype = ltype;
4383                         ltype = NULL;
4384                 } else
4385                         rv = interp_exec(c, b->right, &rvtype);
4386                 break;
4387
4388 ###### value functions
4389
4390         static struct text text_join(struct text a, struct text b)
4391         {
4392                 struct text rv;
4393                 rv.len = a.len + b.len;
4394                 rv.txt = malloc(rv.len);
4395                 memcpy(rv.txt, a.txt, a.len);
4396                 memcpy(rv.txt+a.len, b.txt, b.len);
4397                 return rv;
4398         }
4399
4400 ### Blocks, Statements, and Statement lists.
4401
4402 Now that we have expressions out of the way we need to turn to
4403 statements.  There are simple statements and more complex statements.
4404 Simple statements do not contain (syntactic) newlines, complex statements do.
4405
4406 Statements often come in sequences and we have corresponding simple
4407 statement lists and complex statement lists.
4408 The former comprise only simple statements separated by semicolons.
4409 The later comprise complex statements and simple statement lists.  They are
4410 separated by newlines.  Thus the semicolon is only used to separate
4411 simple statements on the one line.  This may be overly restrictive,
4412 but I'm not sure I ever want a complex statement to share a line with
4413 anything else.
4414
4415 Note that a simple statement list can still use multiple lines if
4416 subsequent lines are indented, so
4417
4418 ###### Example: wrapped simple statement list
4419
4420         a = b; c = d;
4421            e = f; print g
4422
4423 is a single simple statement list.  This might allow room for
4424 confusion, so I'm not set on it yet.
4425
4426 A simple statement list needs no extra syntax.  A complex statement
4427 list has two syntactic forms.  It can be enclosed in braces (much like
4428 C blocks), or it can be introduced by an indent and continue until an
4429 unindented newline (much like Python blocks).  With this extra syntax
4430 it is referred to as a block.
4431
4432 Note that a block does not have to include any newlines if it only
4433 contains simple statements.  So both of:
4434
4435         if condition: a=b; d=f
4436
4437         if condition { a=b; print f }
4438
4439 are valid.
4440
4441 In either case the list is constructed from a `binode` list with
4442 `Block` as the operator.  When parsing the list it is most convenient
4443 to append to the end, so a list is a list and a statement.  When using
4444 the list it is more convenient to consider a list to be a statement
4445 and a list.  So we need a function to re-order a list.
4446 `reorder_bilist` serves this purpose.
4447
4448 The only stand-alone statement we introduce at this stage is `pass`
4449 which does nothing and is represented as a `NULL` pointer in a `Block`
4450 list.  Other stand-alone statements will follow once the infrastructure
4451 is in-place.
4452
4453 As many statements will use binodes, we declare a binode pointer 'b' in
4454 the common header for all reductions to use.
4455
4456 ###### Parser: reduce
4457         struct binode *b;
4458
4459 ###### Binode types
4460         Block,
4461
4462 ###### Grammar
4463
4464         $TERM { } ;
4465
4466         $*binode
4467         Block -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
4468         |        { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
4469         |        SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
4470         |        SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
4471         |        IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
4472
4473         OpenBlock -> OpenScope { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
4474         |        OpenScope { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
4475         |        OpenScope SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
4476         |        OpenScope SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
4477         |        IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
4478
4479         UseBlock -> { OpenScope IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
4480         |        { OpenScope SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
4481         |        IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
4482
4483         ColonBlock -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
4484         |        { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
4485         |        : SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
4486         |        : SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
4487         |        : IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
4488
4489         Statementlist -> ComplexStatements ${ $0 = reorder_bilist($<CS); }$
4490
4491         ComplexStatements -> ComplexStatements ComplexStatement ${
4492                 if ($2 == NULL) {
4493                         $0 = $<1;
4494                 } else {
4495                         $0 = new(binode);
4496                         $0->op = Block;
4497                         $0->left = $<1;
4498                         $0->right = $<2;
4499                 }
4500         }$
4501         | ComplexStatement ${
4502                 if ($1 == NULL) {
4503                         $0 = NULL;
4504                 } else {
4505                         $0 = new(binode);
4506                         $0->op = Block;
4507                         $0->left = NULL;
4508                         $0->right = $<1;
4509                 }
4510         }$
4511
4512         $*exec
4513         ComplexStatement -> SimpleStatements Newlines ${
4514                 $0 = reorder_bilist($<SS);
4515         }$
4516         |  SimpleStatements ; Newlines ${
4517                 $0 = reorder_bilist($<SS);
4518         }$
4519         ## ComplexStatement Grammar
4520
4521         $*binode
4522         SimpleStatements -> SimpleStatements ; SimpleStatement ${
4523                 $0 = new(binode);
4524                 $0->op = Block;
4525                 $0->left = $<1;
4526                 $0->right = $<3;
4527         }$
4528         | SimpleStatement ${
4529                 $0 = new(binode);
4530                 $0->op = Block;
4531                 $0->left = NULL;
4532                 $0->right = $<1;
4533         }$
4534
4535         $TERM pass
4536         $*exec
4537         SimpleStatement -> pass ${ $0 = NULL; }$
4538         | ERROR ${ tok_err(c, "Syntax error in statement", &$1); }$
4539         ## SimpleStatement Grammar
4540
4541 ###### print binode cases
4542         case Block:
4543                 if (indent < 0) {
4544                         // simple statement
4545                         if (b->left == NULL)    // UNTESTED
4546                                 printf("pass"); // UNTESTED
4547                         else
4548                                 print_exec(b->left, indent, bracket);   // UNTESTED
4549                         if (b->right) { // UNTESTED
4550                                 printf("; ");   // UNTESTED
4551                                 print_exec(b->right, indent, bracket);  // UNTESTED
4552                         }
4553                 } else {
4554                         // block, one per line
4555                         if (b->left == NULL)
4556                                 do_indent(indent, "pass\n");
4557                         else
4558                                 print_exec(b->left, indent, bracket);
4559                         if (b->right)
4560                                 print_exec(b->right, indent, bracket);
4561                 }
4562                 break;
4563
4564 ###### propagate binode cases
4565         case Block:
4566         {
4567                 /* If any statement returns something other than Tnone
4568                  * or Tbool then all such must return same type.
4569                  * As each statement may be Tnone or something else,
4570                  * we must always pass NULL (unknown) down, otherwise an incorrect
4571                  * error might occur.  We never return Tnone unless it is
4572                  * passed in.
4573                  */
4574                 struct binode *e;
4575
4576                 for (e = b; e; e = cast(binode, e->right)) {
4577                         t = propagate_types(e->left, c, perr, NULL, rules);
4578                         if ((rules & Rboolok) && (t == Tbool || t == Tnone))
4579                                 t = NULL;
4580                         if (t == Tnone && e->right)
4581                                 /* Only the final statement *must* return a value
4582                                  * when not Rboolok
4583                                  */
4584                                 t = NULL;
4585                         if (t) {
4586                                 if (!type)
4587                                         type = t;
4588                                 else if (t != type)
4589                                         type_err(c, "error: expected %1, found %2",
4590                                                  e->left, type, rules, t);
4591                         }
4592                 }
4593                 return type;
4594         }
4595
4596 ###### interp binode cases
4597         case Block:
4598                 while (rvtype == Tnone &&
4599                        b) {
4600                         if (b->left)
4601                                 rv = interp_exec(c, b->left, &rvtype);
4602                         b = cast(binode, b->right);
4603                 }
4604                 break;
4605
4606 ### The Print statement
4607
4608 `print` is a simple statement that takes a comma-separated list of
4609 expressions and prints the values separated by spaces and terminated
4610 by a newline.  No control of formatting is possible.
4611
4612 `print` uses `ExpressionList` to collect the expressions and stores them
4613 on the left side of a `Print` binode unlessthere is a trailing comma
4614 when the list is stored on the `right` side and no trailing newline is
4615 printed.
4616
4617 ###### Binode types
4618         Print,
4619
4620 ##### declare terminals
4621         $TERM print
4622
4623 ###### SimpleStatement Grammar
4624
4625         | print ExpressionList ${
4626                 $0 = b = new_pos(binode, $1);
4627                 b->op = Print;
4628                 b->right = NULL;
4629                 b->left = reorder_bilist($<EL);
4630         }$
4631         | print ExpressionList , ${ {
4632                 $0 = b = new_pos(binode, $1);
4633                 b->op = Print;
4634                 b->right = reorder_bilist($<EL);
4635                 b->left = NULL;
4636         } }$
4637         | print ${
4638                 $0 = b = new_pos(binode, $1);
4639                 b->op = Print;
4640                 b->left = NULL;
4641                 b->right = NULL;
4642         }$
4643
4644 ###### print binode cases
4645
4646         case Print:
4647                 do_indent(indent, "print");
4648                 if (b->right) {
4649                         print_exec(b->right, -1, bracket);
4650                         printf(",");
4651                 } else
4652                         print_exec(b->left, -1, bracket);
4653                 if (indent >= 0)
4654                         printf("\n");
4655                 break;
4656
4657 ###### propagate binode cases
4658
4659         case Print:
4660                 /* don't care but all must be consistent */
4661                 if (b->left)
4662                         b = cast(binode, b->left);
4663                 else
4664                         b = cast(binode, b->right);
4665                 while (b) {
4666                         propagate_types(b->left, c, perr, NULL, 0);
4667                         b = cast(binode, b->right);
4668                 }
4669                 break;
4670
4671 ###### interp binode cases
4672
4673         case Print:
4674         {
4675                 struct binode *b2 = cast(binode, b->left);
4676                 if (!b2)
4677                         b2 = cast(binode, b->right);
4678                 for (; b2; b2 = cast(binode, b2->right)) {
4679                         left = interp_exec(c, b2->left, &ltype);
4680                         print_value(ltype, &left, stdout);
4681                         free_value(ltype, &left);
4682                         if (b2->right)
4683                                 putchar(' ');
4684                 }
4685                 if (b->right == NULL)
4686                         printf("\n");
4687                 ltype = Tnone;
4688                 break;
4689         }
4690
4691 ###### Assignment statement
4692
4693 An assignment will assign a value to a variable, providing it hasn't
4694 been declared as a constant.  The analysis phase ensures that the type
4695 will be correct so the interpreter just needs to perform the
4696 calculation.  There is a form of assignment which declares a new
4697 variable as well as assigning a value.  If a name is used before
4698 it is declared, it is assumed to be a global constant which are allowed to
4699 be declared at any time.
4700
4701 ###### Binode types
4702         Assign,
4703         Declare,
4704
4705 ###### declare terminals
4706         $TERM =
4707
4708 ###### SimpleStatement Grammar
4709         | Term = Expression ${
4710                 $0 = b= new(binode);
4711                 b->op = Assign;
4712                 b->left = $<1;
4713                 b->right = $<3;
4714         }$
4715         | VariableDecl = Expression ${
4716                 $0 = b= new(binode);
4717                 b->op = Declare;
4718                 b->left = $<1;
4719                 b->right =$<3;
4720         }$
4721
4722         | VariableDecl ${
4723                 if ($1->var->where_set == NULL) {
4724                         type_err(c,
4725                                  "Variable declared with no type or value: %v",
4726                                  $1, NULL, 0, NULL);
4727                         free_var($1);
4728                 } else {
4729                         $0 = b = new(binode);
4730                         b->op = Declare;
4731                         b->left = $<1;
4732                         b->right = NULL;
4733                 }
4734         }$
4735
4736 ###### print binode cases
4737
4738         case Assign:
4739                 do_indent(indent, "");
4740                 print_exec(b->left, -1, bracket);
4741                 printf(" = ");
4742                 print_exec(b->right, -1, bracket);
4743                 if (indent >= 0)
4744                         printf("\n");
4745                 break;
4746
4747         case Declare:
4748                 {
4749                 struct variable *v = cast(var, b->left)->var;
4750                 do_indent(indent, "");
4751                 print_exec(b->left, -1, bracket);
4752                 if (cast(var, b->left)->var->constant) {
4753                         printf("::");
4754                         if (v->explicit_type) {
4755                                 type_print(v->type, stdout);
4756                                 printf(" ");
4757                         }
4758                 } else {
4759                         printf(":");
4760                         if (v->explicit_type) {
4761                                 type_print(v->type, stdout);
4762                                 printf(" ");
4763                         }
4764                 }
4765                 if (b->right) {
4766                         printf("= ");
4767                         print_exec(b->right, -1, bracket);
4768                 }
4769                 if (indent >= 0)
4770                         printf("\n");
4771                 }
4772                 break;
4773
4774 ###### propagate binode cases
4775
4776         case Assign:
4777         case Declare:
4778                 /* Both must match and not be labels,
4779                  * Type must support 'dup',
4780                  * For Assign, left must not be constant.
4781                  * result is Tnone
4782                  */
4783                 t = propagate_types(b->left, c, perr, NULL,
4784                                     (b->op == Assign ? Rnoconstant : 0));
4785                 if (!b->right)
4786                         return Tnone;
4787
4788                 if (t) {
4789                         if (propagate_types(b->right, c, perr, t, 0) != t)
4790                                 if (b->left->type == Xvar)
4791                                         type_err(c, "info: variable '%v' was set as %1 here.",
4792                                                  cast(var, b->left)->var->where_set, t, rules, NULL);
4793                 } else {
4794                         t = propagate_types(b->right, c, perr, NULL, 0);
4795                         if (t)
4796                                 propagate_types(b->left, c, perr, t,
4797                                                 (b->op == Assign ? Rnoconstant : 0));
4798                 }
4799                 if (t && t->dup == NULL && !(*perr & Emaycopy))
4800                         type_err(c, "error: cannot assign value of type %1", b, t, 0, NULL);
4801                 return Tnone;
4802
4803                 break;
4804
4805 ###### interp binode cases
4806
4807         case Assign:
4808                 lleft = linterp_exec(c, b->left, &ltype);
4809                 if (lleft)
4810                         dinterp_exec(c, b->right, lleft, ltype, 1);
4811                 ltype = Tnone;
4812                 break;
4813
4814         case Declare:
4815         {
4816                 struct variable *v = cast(var, b->left)->var;
4817                 struct value *val;
4818                 v = v->merged;
4819                 val = var_value(c, v);
4820                 if (v->type->prepare_type)
4821                         v->type->prepare_type(c, v->type, 0);
4822                 if (b->right)
4823                         dinterp_exec(c, b->right, val, v->type, 0);
4824                 else
4825                         val_init(v->type, val);
4826                 break;
4827         }
4828
4829 ### The `use` statement
4830
4831 The `use` statement is the last "simple" statement.  It is needed when a
4832 statement block can return a value.  This includes the body of a
4833 function which has a return type, and the "condition" code blocks in
4834 `if`, `while`, and `switch` statements.
4835
4836 ###### Binode types
4837         Use,
4838
4839 ###### declare terminals
4840         $TERM use
4841
4842 ###### SimpleStatement Grammar
4843         | use Expression ${
4844                 $0 = b = new_pos(binode, $1);
4845                 b->op = Use;
4846                 b->right = $<2;
4847         }$
4848
4849 ###### print binode cases
4850
4851         case Use:
4852                 do_indent(indent, "use ");
4853                 print_exec(b->right, -1, bracket);
4854                 if (indent >= 0)
4855                         printf("\n");
4856                 break;
4857
4858 ###### propagate binode cases
4859
4860         case Use:
4861                 /* result matches value */
4862                 return propagate_types(b->right, c, perr, type, 0);
4863
4864 ###### interp binode cases
4865
4866         case Use:
4867                 rv = interp_exec(c, b->right, &rvtype);
4868                 break;
4869
4870 ### The Conditional Statement
4871
4872 This is the biggy and currently the only complex statement.  This
4873 subsumes `if`, `while`, `do/while`, `switch`, and some parts of `for`.
4874 It is comprised of a number of parts, all of which are optional though
4875 set combinations apply.  Each part is (usually) a key word (`then` is
4876 sometimes optional) followed by either an expression or a code block,
4877 except the `casepart` which is a "key word and an expression" followed
4878 by a code block.  The code-block option is valid for all parts and,
4879 where an expression is also allowed, the code block can use the `use`
4880 statement to report a value.  If the code block does not report a value
4881 the effect is similar to reporting `True`.
4882
4883 The `else` and `case` parts, as well as `then` when combined with
4884 `if`, can contain a `use` statement which will apply to some
4885 containing conditional statement. `for` parts, `do` parts and `then`
4886 parts used with `for` can never contain a `use`, except in some
4887 subordinate conditional statement.
4888
4889 If there is a `forpart`, it is executed first, only once.
4890 If there is a `dopart`, then it is executed repeatedly providing
4891 always that the `condpart` or `cond`, if present, does not return a non-True
4892 value.  `condpart` can fail to return any value if it simply executes
4893 to completion.  This is treated the same as returning `True`.
4894
4895 If there is a `thenpart` it will be executed whenever the `condpart`
4896 or `cond` returns True (or does not return any value), but this will happen
4897 *after* `dopart` (when present).
4898
4899 If `elsepart` is present it will be executed at most once when the
4900 condition returns `False` or some value that isn't `True` and isn't
4901 matched by any `casepart`.  If there are any `casepart`s, they will be
4902 executed when the condition returns a matching value.
4903
4904 The particular sorts of values allowed in case parts has not yet been
4905 determined in the language design, so nothing is prohibited.
4906
4907 The various blocks in this complex statement potentially provide scope
4908 for variables as described earlier.  Each such block must include the
4909 "OpenScope" nonterminal before parsing the block, and must call
4910 `var_block_close()` when closing the block.
4911
4912 The code following "`if`", "`switch`" and "`for`" does not get its own
4913 scope, but is in a scope covering the whole statement, so names
4914 declared there cannot be redeclared elsewhere.  Similarly the
4915 condition following "`while`" is in a scope the covers the body
4916 ("`do`" part) of the loop, and which does not allow conditional scope
4917 extension.  Code following "`then`" (both looping and non-looping),
4918 "`else`" and "`case`" each get their own local scope.
4919
4920 The type requirements on the code block in a `whilepart` are quite
4921 unusal.  It is allowed to return a value of some identifiable type, in
4922 which case the loop aborts and an appropriate `casepart` is run, or it
4923 can return a Boolean, in which case the loop either continues to the
4924 `dopart` (on `True`) or aborts and runs the `elsepart` (on `False`).
4925 This is different both from the `ifpart` code block which is expected to
4926 return a Boolean, or the `switchpart` code block which is expected to
4927 return the same type as the casepart values.  The correct analysis of
4928 the type of the `whilepart` code block is the reason for the
4929 `Rboolok` flag which is passed to `propagate_types()`.
4930
4931 The `cond_statement` cannot fit into a `binode` so a new `exec` is
4932 defined.  As there are two scopes which cover multiple parts - one for
4933 the whole statement and one for "while" and "do" - and as we will use
4934 the 'struct exec' to track scopes, we actually need two new types of
4935 exec.  One is a `binode` for the looping part, the rest is the
4936 `cond_statement`.  The `cond_statement` will use an auxilliary `struct
4937 casepart` to track a list of case parts.
4938
4939 ###### Binode types
4940         Loop
4941
4942 ###### exec type
4943         Xcond_statement,
4944
4945 ###### ast
4946         struct casepart {
4947                 struct exec *value;
4948                 struct exec *action;
4949                 struct casepart *next;
4950         };
4951         struct cond_statement {
4952                 struct exec;
4953                 struct exec *forpart, *condpart, *thenpart, *elsepart;
4954                 struct binode *looppart;
4955                 struct casepart *casepart;
4956         };
4957
4958 ###### ast functions
4959
4960         static void free_casepart(struct casepart *cp)
4961         {
4962                 while (cp) {
4963                         struct casepart *t;
4964                         free_exec(cp->value);
4965                         free_exec(cp->action);
4966                         t = cp->next;
4967                         free(cp);
4968                         cp = t;
4969                 }
4970         }
4971
4972         static void free_cond_statement(struct cond_statement *s)
4973         {
4974                 if (!s)
4975                         return;
4976                 free_exec(s->forpart);
4977                 free_exec(s->condpart);
4978                 free_exec(s->looppart);
4979                 free_exec(s->thenpart);
4980                 free_exec(s->elsepart);
4981                 free_casepart(s->casepart);
4982                 free(s);
4983         }
4984
4985 ###### free exec cases
4986         case Xcond_statement: free_cond_statement(cast(cond_statement, e)); break;
4987
4988 ###### ComplexStatement Grammar
4989         | CondStatement ${ $0 = $<1; }$
4990
4991 ###### declare terminals
4992         $TERM for then while do
4993         $TERM else
4994         $TERM switch case
4995
4996 ###### Grammar
4997
4998         $*cond_statement
4999         // A CondStatement must end with EOL, as does CondSuffix and
5000         // IfSuffix.
5001         // ForPart, ThenPart, SwitchPart, CasePart are non-empty and
5002         // may or may not end with EOL
5003         // WhilePart and IfPart include an appropriate Suffix
5004
5005         // ForPart, SwitchPart, and IfPart open scopes, o we have to close
5006         // them.  WhilePart opens and closes its own scope.
5007         CondStatement -> ForPart OptNL ThenPart OptNL WhilePart CondSuffix ${
5008                 $0 = $<CS;
5009                 $0->forpart = $<FP;
5010                 $0->thenpart = $<TP;
5011                 $0->looppart = $<WP;
5012                 var_block_close(c, CloseSequential, $0);
5013         }$
5014         | ForPart OptNL WhilePart CondSuffix ${
5015                 $0 = $<CS;
5016                 $0->forpart = $<FP;
5017                 $0->looppart = $<WP;
5018                 var_block_close(c, CloseSequential, $0);
5019         }$
5020         | WhilePart CondSuffix ${
5021                 $0 = $<CS;
5022                 $0->looppart = $<WP;
5023         }$
5024         | SwitchPart OptNL CasePart CondSuffix ${
5025                 $0 = $<CS;
5026                 $0->condpart = $<SP;
5027                 $CP->next = $0->casepart;
5028                 $0->casepart = $<CP;
5029                 var_block_close(c, CloseSequential, $0);
5030         }$
5031         | SwitchPart : IN OptNL CasePart CondSuffix OUT Newlines ${
5032                 $0 = $<CS;
5033                 $0->condpart = $<SP;
5034                 $CP->next = $0->casepart;
5035                 $0->casepart = $<CP;
5036                 var_block_close(c, CloseSequential, $0);
5037         }$
5038         | IfPart IfSuffix ${
5039                 $0 = $<IS;
5040                 $0->condpart = $IP.condpart; $IP.condpart = NULL;
5041                 $0->thenpart = $IP.thenpart; $IP.thenpart = NULL;
5042                 // This is where we close an "if" statement
5043                 var_block_close(c, CloseSequential, $0);
5044         }$
5045
5046         CondSuffix -> IfSuffix ${
5047                 $0 = $<1;
5048         }$
5049         | Newlines CasePart CondSuffix ${
5050                 $0 = $<CS;
5051                 $CP->next = $0->casepart;
5052                 $0->casepart = $<CP;
5053         }$
5054         | CasePart CondSuffix ${
5055                 $0 = $<CS;
5056                 $CP->next = $0->casepart;
5057                 $0->casepart = $<CP;
5058         }$
5059
5060         IfSuffix -> Newlines ${ $0 = new(cond_statement); }$
5061         | Newlines ElsePart ${ $0 = $<EP; }$
5062         | ElsePart ${$0 = $<EP; }$
5063
5064         ElsePart -> else OpenBlock Newlines ${
5065                 $0 = new(cond_statement);
5066                 $0->elsepart = $<OB;
5067                 var_block_close(c, CloseElse, $0->elsepart);
5068         }$
5069         | else OpenScope CondStatement ${
5070                 $0 = new(cond_statement);
5071                 $0->elsepart = $<CS;
5072                 var_block_close(c, CloseElse, $0->elsepart);
5073         }$
5074
5075         $*casepart
5076         CasePart -> case Expression OpenScope ColonBlock ${
5077                 $0 = calloc(1,sizeof(struct casepart));
5078                 $0->value = $<Ex;
5079                 $0->action = $<Bl;
5080                 var_block_close(c, CloseParallel, $0->action);
5081         }$
5082
5083         $*exec
5084         // These scopes are closed in CondStatement
5085         ForPart -> for OpenBlock ${
5086                 $0 = $<Bl;
5087         }$
5088
5089         ThenPart -> then OpenBlock ${
5090                 $0 = $<OB;
5091                 var_block_close(c, CloseSequential, $0);
5092         }$
5093
5094         $*binode
5095         // This scope is closed in CondStatement
5096         WhilePart -> while UseBlock OptNL do OpenBlock ${
5097                 $0 = new(binode);
5098                 $0->op = Loop;
5099                 $0->left = $<UB;
5100                 $0->right = $<OB;
5101                 var_block_close(c, CloseSequential, $0->right);
5102                 var_block_close(c, CloseSequential, $0);
5103         }$
5104         | while OpenScope Expression OpenScope ColonBlock ${
5105                 $0 = new(binode);
5106                 $0->op = Loop;
5107                 $0->left = $<Exp;
5108                 $0->right = $<CB;
5109                 var_block_close(c, CloseSequential, $0->right);
5110                 var_block_close(c, CloseSequential, $0);
5111         }$
5112
5113         $cond_statement
5114         IfPart -> if UseBlock OptNL then OpenBlock ${
5115                 $0.condpart = $<UB;
5116                 $0.thenpart = $<OB;
5117                 var_block_close(c, CloseParallel, $0.thenpart);
5118         }$
5119         | if OpenScope Expression OpenScope ColonBlock ${
5120                 $0.condpart = $<Ex;
5121                 $0.thenpart = $<CB;
5122                 var_block_close(c, CloseParallel, $0.thenpart);
5123         }$
5124         | if OpenScope Expression OpenScope OptNL then Block ${
5125                 $0.condpart = $<Ex;
5126                 $0.thenpart = $<Bl;
5127                 var_block_close(c, CloseParallel, $0.thenpart);
5128         }$
5129
5130         $*exec
5131         // This scope is closed in CondStatement
5132         SwitchPart -> switch OpenScope Expression ${
5133                 $0 = $<Ex;
5134         }$
5135         | switch UseBlock ${
5136                 $0 = $<Bl;
5137         }$
5138
5139 ###### print binode cases
5140         case Loop:
5141                 if (b->left && b->left->type == Xbinode &&
5142                     cast(binode, b->left)->op == Block) {
5143                         if (bracket)
5144                                 do_indent(indent, "while {\n");
5145                         else
5146                                 do_indent(indent, "while\n");
5147                         print_exec(b->left, indent+1, bracket);
5148                         if (bracket)
5149                                 do_indent(indent, "} do {\n");
5150                         else
5151                                 do_indent(indent, "do\n");
5152                         print_exec(b->right, indent+1, bracket);
5153                         if (bracket)
5154                                 do_indent(indent, "}\n");
5155                 } else {
5156                         do_indent(indent, "while ");
5157                         print_exec(b->left, 0, bracket);
5158                         if (bracket)
5159                                 printf(" {\n");
5160                         else
5161                                 printf(":\n");
5162                         print_exec(b->right, indent+1, bracket);
5163                         if (bracket)
5164                                 do_indent(indent, "}\n");
5165                 }
5166                 break;
5167
5168 ###### print exec cases
5169
5170         case Xcond_statement:
5171         {
5172                 struct cond_statement *cs = cast(cond_statement, e);
5173                 struct casepart *cp;
5174                 if (cs->forpart) {
5175                         do_indent(indent, "for");
5176                         if (bracket) printf(" {\n"); else printf("\n");
5177                         print_exec(cs->forpart, indent+1, bracket);
5178                         if (cs->thenpart) {
5179                                 if (bracket)
5180                                         do_indent(indent, "} then {\n");
5181                                 else
5182                                         do_indent(indent, "then\n");
5183                                 print_exec(cs->thenpart, indent+1, bracket);
5184                         }
5185                         if (bracket) do_indent(indent, "}\n");
5186                 }
5187                 if (cs->looppart) {
5188                         print_exec(cs->looppart, indent, bracket);
5189                 } else {
5190                         // a condition
5191                         if (cs->casepart)
5192                                 do_indent(indent, "switch");
5193                         else
5194                                 do_indent(indent, "if");
5195                         if (cs->condpart && cs->condpart->type == Xbinode &&
5196                             cast(binode, cs->condpart)->op == Block) {
5197                                 if (bracket)
5198                                         printf(" {\n");
5199                                 else
5200                                         printf("\n");
5201                                 print_exec(cs->condpart, indent+1, bracket);
5202                                 if (bracket)
5203                                         do_indent(indent, "}\n");
5204                                 if (cs->thenpart) {
5205                                         do_indent(indent, "then\n");
5206                                         print_exec(cs->thenpart, indent+1, bracket);
5207                                 }
5208                         } else {
5209                                 printf(" ");
5210                                 print_exec(cs->condpart, 0, bracket);
5211                                 if (cs->thenpart) {
5212                                         if (bracket)
5213                                                 printf(" {\n");
5214                                         else
5215                                                 printf(":\n");
5216                                         print_exec(cs->thenpart, indent+1, bracket);
5217                                         if (bracket)
5218                                                 do_indent(indent, "}\n");
5219                                 } else
5220                                         printf("\n");
5221                         }
5222                 }
5223                 for (cp = cs->casepart; cp; cp = cp->next) {
5224                         do_indent(indent, "case ");
5225                         print_exec(cp->value, -1, 0);
5226                         if (bracket)
5227                                 printf(" {\n");
5228                         else
5229                                 printf(":\n");
5230                         print_exec(cp->action, indent+1, bracket);
5231                         if (bracket)
5232                                 do_indent(indent, "}\n");
5233                 }
5234                 if (cs->elsepart) {
5235                         do_indent(indent, "else");
5236                         if (bracket)
5237                                 printf(" {\n");
5238                         else
5239                                 printf("\n");
5240                         print_exec(cs->elsepart, indent+1, bracket);
5241                         if (bracket)
5242                                 do_indent(indent, "}\n");
5243                 }
5244                 break;
5245         }
5246
5247 ###### propagate binode cases
5248         case Loop:
5249                 t = propagate_types(b->right, c, perr, Tnone, 0);
5250                 if (!type_compat(Tnone, t, 0))
5251                         *perr |= Efail; // UNTESTED
5252                 return propagate_types(b->left, c, perr, type, rules);
5253
5254 ###### propagate exec cases
5255         case Xcond_statement:
5256         {
5257                 // forpart and looppart->right must return Tnone
5258                 // thenpart must return Tnone if there is a loopart,
5259                 // otherwise it is like elsepart.
5260                 // condpart must:
5261                 //    be bool if there is no casepart
5262                 //    match casepart->values if there is a switchpart
5263                 //    either be bool or match casepart->value if there
5264                 //             is a whilepart
5265                 // elsepart and casepart->action must match the return type
5266                 //   expected of this statement.
5267                 struct cond_statement *cs = cast(cond_statement, prog);
5268                 struct casepart *cp;
5269
5270                 t = propagate_types(cs->forpart, c, perr, Tnone, 0);
5271                 if (!type_compat(Tnone, t, 0))
5272                         *perr |= Efail; // UNTESTED
5273
5274                 if (cs->looppart) {
5275                         t = propagate_types(cs->thenpart, c, perr, Tnone, 0);
5276                         if (!type_compat(Tnone, t, 0))
5277                                 *perr |= Efail; // UNTESTED
5278                 }
5279                 if (cs->casepart == NULL) {
5280                         propagate_types(cs->condpart, c, perr, Tbool, 0);
5281                         propagate_types(cs->looppart, c, perr, Tbool, 0);
5282                 } else {
5283                         /* Condpart must match case values, with bool permitted */
5284                         t = NULL;
5285                         for (cp = cs->casepart;
5286                              cp && !t; cp = cp->next)
5287                                 t = propagate_types(cp->value, c, perr, NULL, 0);
5288                         if (!t && cs->condpart)
5289                                 t = propagate_types(cs->condpart, c, perr, NULL, Rboolok);      // UNTESTED
5290                         if (!t && cs->looppart)
5291                                 t = propagate_types(cs->looppart, c, perr, NULL, Rboolok);      // UNTESTED
5292                         // Now we have a type (I hope) push it down
5293                         if (t) {
5294                                 for (cp = cs->casepart; cp; cp = cp->next)
5295                                         propagate_types(cp->value, c, perr, t, 0);
5296                                 propagate_types(cs->condpart, c, perr, t, Rboolok);
5297                                 propagate_types(cs->looppart, c, perr, t, Rboolok);
5298                         }
5299                 }
5300                 // (if)then, else, and case parts must return expected type.
5301                 if (!cs->looppart && !type)
5302                         type = propagate_types(cs->thenpart, c, perr, NULL, rules);
5303                 if (!type)
5304                         type = propagate_types(cs->elsepart, c, perr, NULL, rules);
5305                 for (cp = cs->casepart;
5306                      cp && !type;
5307                      cp = cp->next)     // UNTESTED
5308                         type = propagate_types(cp->action, c, perr, NULL, rules);       // UNTESTED
5309                 if (type) {
5310                         if (!cs->looppart)
5311                                 propagate_types(cs->thenpart, c, perr, type, rules);
5312                         propagate_types(cs->elsepart, c, perr, type, rules);
5313                         for (cp = cs->casepart; cp ; cp = cp->next)
5314                                 propagate_types(cp->action, c, perr, type, rules);
5315                         return type;
5316                 } else
5317                         return NULL;
5318         }
5319
5320 ###### interp binode cases
5321         case Loop:
5322                 // This just performs one iterration of the loop
5323                 rv = interp_exec(c, b->left, &rvtype);
5324                 if (rvtype == Tnone ||
5325                     (rvtype == Tbool && rv.bool != 0))
5326                         // rvtype is Tnone or Tbool, doesn't need to be freed
5327                         interp_exec(c, b->right, NULL);
5328                 break;
5329
5330 ###### interp exec cases
5331         case Xcond_statement:
5332         {
5333                 struct value v, cnd;
5334                 struct type *vtype, *cndtype;
5335                 struct casepart *cp;
5336                 struct cond_statement *cs = cast(cond_statement, e);
5337
5338                 if (cs->forpart)
5339                         interp_exec(c, cs->forpart, NULL);
5340                 if (cs->looppart) {
5341                         while ((cnd = interp_exec(c, cs->looppart, &cndtype)),
5342                                cndtype == Tnone || (cndtype == Tbool && cnd.bool != 0))
5343                                 interp_exec(c, cs->thenpart, NULL);
5344                 } else {
5345                         cnd = interp_exec(c, cs->condpart, &cndtype);
5346                         if ((cndtype == Tnone ||
5347                             (cndtype == Tbool && cnd.bool != 0))) {
5348                                 // cnd is Tnone or Tbool, doesn't need to be freed
5349                                 rv = interp_exec(c, cs->thenpart, &rvtype);
5350                                 // skip else (and cases)
5351                                 goto Xcond_done;
5352                         }
5353                 }
5354                 for (cp = cs->casepart; cp; cp = cp->next) {
5355                         v = interp_exec(c, cp->value, &vtype);
5356                         if (value_cmp(cndtype, vtype, &v, &cnd) == 0) {
5357                                 free_value(vtype, &v);
5358                                 free_value(cndtype, &cnd);
5359                                 rv = interp_exec(c, cp->action, &rvtype);
5360                                 goto Xcond_done;
5361                         }
5362                         free_value(vtype, &v);
5363                 }
5364                 free_value(cndtype, &cnd);
5365                 if (cs->elsepart)
5366                         rv = interp_exec(c, cs->elsepart, &rvtype);
5367                 else
5368                         rvtype = Tnone;
5369         Xcond_done:
5370                 break;
5371         }
5372
5373 ### Top level structure
5374
5375 All the language elements so far can be used in various places.  Now
5376 it is time to clarify what those places are.
5377
5378 At the top level of a file there will be a number of declarations.
5379 Many of the things that can be declared haven't been described yet,
5380 such as functions, procedures, imports, and probably more.
5381 For now there are two sorts of things that can appear at the top
5382 level.  They are predefined constants, `struct` types, and the `main`
5383 function.  While the syntax will allow the `main` function to appear
5384 multiple times, that will trigger an error if it is actually attempted.
5385
5386 The various declarations do not return anything.  They store the
5387 various declarations in the parse context.
5388
5389 ###### Parser: grammar
5390
5391         $void
5392         Ocean -> OptNL DeclarationList
5393
5394         ## declare terminals
5395
5396         OptNL ->
5397         | OptNL NEWLINE
5398
5399         Newlines -> NEWLINE
5400         | Newlines NEWLINE
5401
5402         DeclarationList -> Declaration
5403         | DeclarationList Declaration
5404
5405         Declaration -> ERROR Newlines ${
5406                 tok_err(c,      // UNTESTED
5407                         "error: unhandled parse error", &$1);
5408         }$
5409         | DeclareConstant
5410         | DeclareFunction
5411         | DeclareStruct
5412
5413         ## top level grammar
5414
5415         ## Grammar
5416
5417 ### The `const` section
5418
5419 As well as being defined in with the code that uses them, constants can
5420 be declared at the top level.  These have full-file scope, so they are
5421 always `InScope`, even before(!) they have been declared.  The value of
5422 a top level constant can be given as an expression, and this is
5423 evaluated after parsing and before execution.
5424
5425 A function call can be used to evaluate a constant, but it will not have
5426 access to any program state, once such statement becomes meaningful.
5427 e.g.  arguments and filesystem will not be visible.
5428
5429 Constants are defined in a section that starts with the reserved word
5430 `const` and then has a block with a list of assignment statements.
5431 For syntactic consistency, these must use the double-colon syntax to
5432 make it clear that they are constants.  Type can also be given: if
5433 not, the type will be determined during analysis, as with other
5434 constants.
5435
5436 ###### parse context
5437         struct binode *constlist;
5438
5439 ###### top level grammar
5440
5441         $TERM const
5442
5443         DeclareConstant -> const { IN OptNL ConstList OUT OptNL } Newlines
5444         | const { SimpleConstList } Newlines
5445         | const IN OptNL ConstList OUT Newlines
5446         | const SimpleConstList Newlines
5447
5448         ConstList -> ConstList SimpleConstLine
5449         | SimpleConstLine
5450
5451         SimpleConstList -> SimpleConstList ; Const
5452         | Const
5453         | SimpleConstList ;
5454
5455         SimpleConstLine -> SimpleConstList Newlines
5456         | ERROR Newlines ${ tok_err(c, "Syntax error in constant", &$1); }$
5457
5458         $*type
5459         CType -> Type   ${ $0 = $<1; }$
5460         |               ${ $0 = NULL; }$
5461
5462         $void
5463         Const -> IDENTIFIER :: CType = Expression ${ {
5464                 struct variable *v;
5465                 struct binode *bl, *bv;
5466                 struct var *var = new_pos(var, $ID);
5467
5468                 v = var_decl(c, $ID.txt);
5469                 if (v) {
5470                         v->where_decl = var;
5471                         v->where_set = var;
5472                         v->type = $<CT;
5473                         v->constant = 1;
5474                         v->global = 1;
5475                 } else {
5476                         v = var_ref(c, $1.txt);
5477                         if (v->type == Tnone) {
5478                                 v->where_decl = var;
5479                                 v->where_set = var;
5480                                 v->type = $<CT;
5481                                 v->constant = 1;
5482                                 v->global = 1;
5483                         } else {
5484                                 tok_err(c, "error: name already declared", &$1);
5485                                 type_err(c, "info: this is where '%v' was first declared",
5486                                          v->where_decl, NULL, 0, NULL);
5487                         }
5488                 }
5489                 var->var = v;
5490
5491                 bv = new(binode);
5492                 bv->op = Declare;
5493                 bv->left = var;
5494                 bv->right= $<Exp;
5495
5496                 bl = new(binode);
5497                 bl->op = List;
5498                 bl->left = c->constlist;
5499                 bl->right = bv;
5500                 c->constlist = bl;
5501         } }$
5502
5503 ###### core functions
5504         static void resolve_consts(struct parse_context *c)
5505         {
5506                 struct binode *b;
5507                 int retry = 1;
5508                 enum { none, some, cannot } progress = none;
5509
5510                 c->constlist = reorder_bilist(c->constlist);
5511                 while (retry) {
5512                         retry = 0;
5513                         for (b = cast(binode, c->constlist); b;
5514                              b = cast(binode, b->right)) {
5515                                 enum prop_err perr;
5516                                 struct binode *vb = cast(binode, b->left);
5517                                 struct var *v = cast(var, vb->left);
5518                                 if (v->var->frame_pos >= 0)
5519                                         continue;
5520                                 do {
5521                                         perr = 0;
5522                                         propagate_types(vb->right, c, &perr,
5523                                                         v->var->type, 0);
5524                                 } while (perr & Eretry);
5525                                 if (perr & Efail)
5526                                         c->parse_error += 1;
5527                                 else if (!(perr & Enoconst)) {
5528                                         progress = some;
5529                                         struct value res = interp_exec(
5530                                                 c, vb->right, &v->var->type);
5531                                         global_alloc(c, v->var->type, v->var, &res);
5532                                 } else {
5533                                         if (progress == cannot)
5534                                                 type_err(c, "error: const %v cannot be resolved.",
5535                                                          v, NULL, 0, NULL);
5536                                         else
5537                                                 retry = 1;
5538                                 }
5539                         }
5540                         switch (progress) {
5541                         case cannot:
5542                                 retry = 0; break;
5543                         case none:
5544                                 progress = cannot; break;
5545                         case some:
5546                                 progress = none; break;
5547                         }
5548                 }
5549         }
5550
5551 ###### print const decls
5552         {
5553                 struct binode *b;
5554                 int first = 1;
5555
5556                 for (b = cast(binode, context.constlist); b;
5557                      b = cast(binode, b->right)) {
5558                         struct binode *vb = cast(binode, b->left);
5559                         struct var *vr = cast(var, vb->left);
5560                         struct variable *v = vr->var;
5561
5562                         if (first)
5563                                 printf("const\n");
5564                         first = 0;
5565
5566                         printf("    %.*s :: ", v->name->name.len, v->name->name.txt);
5567                         type_print(v->type, stdout);
5568                         printf(" = ");
5569                         print_exec(vb->right, -1, 0);
5570                         printf("\n");
5571                 }
5572         }
5573
5574 ###### free const decls
5575         free_binode(context.constlist);
5576
5577 ### Function declarations
5578
5579 The code in an Ocean program is all stored in function declarations.
5580 One of the functions must be named `main` and it must accept an array of
5581 strings as a parameter - the command line arguments.
5582
5583 As this is the top level, several things are handled a bit differently.
5584 The function is not interpreted by `interp_exec` as that isn't passed
5585 the argument list which the program requires.  Similarly type analysis
5586 is a bit more interesting at this level.
5587
5588 ###### ast functions
5589
5590         static struct type *handle_results(struct parse_context *c,
5591                                            struct binode *results)
5592         {
5593                 /* Create a 'struct' type from the results list, which
5594                  * is a list for 'struct var'
5595                  */
5596                 struct type *t = add_anon_type(c, &structure_prototype,
5597                                                "function result");
5598                 int cnt = 0;
5599                 struct binode *b;
5600
5601                 for (b = results; b; b = cast(binode, b->right))
5602                         cnt += 1;
5603                 t->structure.nfields = cnt;
5604                 t->structure.fields = calloc(cnt, sizeof(struct field));
5605                 cnt = 0;
5606                 for (b = results; b; b = cast(binode, b->right)) {
5607                         struct var *v = cast(var, b->left);
5608                         struct field *f = &t->structure.fields[cnt++];
5609                         int a = v->var->type->align;
5610                         f->name = v->var->name->name;
5611                         f->type = v->var->type;
5612                         f->init = NULL;
5613                         f->offset = t->size;
5614                         v->var->frame_pos = f->offset;
5615                         t->size += ((f->type->size - 1) | (a-1)) + 1;
5616                         if (a > t->align)
5617                                 t->align = a;
5618                         variable_unlink_exec(v->var);
5619                 }
5620                 free_binode(results);
5621                 return t;
5622         }
5623
5624         static struct variable *declare_function(struct parse_context *c,
5625                                                 struct variable *name,
5626                                                 struct binode *args,
5627                                                 struct type *ret,
5628                                                 struct binode *results,
5629                                                 struct exec *code)
5630         {
5631                 if (name) {
5632                         struct value fn = {.function = code};
5633                         struct type *t;
5634                         var_block_close(c, CloseFunction, code);
5635                         t = add_anon_type(c, &function_prototype,
5636                                           "func %.*s", name->name->name.len,
5637                                           name->name->name.txt);
5638                         name->type = t;
5639                         t->function.params = reorder_bilist(args);
5640                         if (!ret) {
5641                                 ret = handle_results(c, reorder_bilist(results));
5642                                 t->function.inline_result = 1;
5643                                 t->function.local_size = ret->size;
5644                         }
5645                         t->function.return_type = ret;
5646                         global_alloc(c, t, name, &fn);
5647                         name->type->function.scope = c->out_scope;
5648                 } else {
5649                         free_binode(args);
5650                         free_type(ret);
5651                         free_exec(code);
5652                         var_block_close(c, CloseFunction, NULL);
5653                 }
5654                 c->out_scope = NULL;
5655                 return name;
5656         }
5657
5658 ###### declare terminals
5659         $TERM return
5660
5661 ###### top level grammar
5662
5663         $*variable
5664         DeclareFunction -> func FuncName ( OpenScope ArgsLine ) Block Newlines ${
5665                 $0 = declare_function(c, $<FN, $<Ar, Tnone, NULL, $<Bl);
5666         }$
5667         | func FuncName IN OpenScope Args OUT OptNL do Block Newlines ${
5668                 $0 = declare_function(c, $<FN, $<Ar, Tnone, NULL, $<Bl);
5669         }$
5670         | func FuncName NEWLINE OpenScope OptNL do Block Newlines ${
5671                 $0 = declare_function(c, $<FN, NULL, Tnone, NULL, $<Bl);
5672         }$
5673         | func FuncName ( OpenScope ArgsLine ) : Type Block Newlines ${
5674                 $0 = declare_function(c, $<FN, $<Ar, $<Ty, NULL, $<Bl);
5675         }$
5676         | func FuncName ( OpenScope ArgsLine ) : ( ArgsLine ) Block Newlines ${
5677                 $0 = declare_function(c, $<FN, $<AL, NULL, $<AL2, $<Bl);
5678         }$
5679         | func FuncName IN OpenScope Args OUT OptNL return Type Newlines do Block Newlines ${
5680                 $0 = declare_function(c, $<FN, $<Ar, $<Ty, NULL, $<Bl);
5681         }$
5682         | func FuncName NEWLINE OpenScope return Type Newlines do Block Newlines ${
5683                 $0 = declare_function(c, $<FN, NULL, $<Ty, NULL, $<Bl);
5684         }$
5685         | func FuncName IN OpenScope Args OUT OptNL return IN Args OUT OptNL do Block Newlines ${
5686                 $0 = declare_function(c, $<FN, $<Ar, NULL, $<Ar2, $<Bl);
5687         }$
5688         | func FuncName NEWLINE OpenScope return IN Args OUT OptNL do Block Newlines ${
5689                 $0 = declare_function(c, $<FN, NULL, NULL, $<Ar, $<Bl);
5690         }$
5691
5692 ###### print func decls
5693         {
5694                 struct variable *v;
5695                 int target = -1;
5696
5697                 while (target != 0) {
5698                         int i = 0;
5699                         for (v = context.in_scope; v; v=v->in_scope)
5700                                 if (v->depth == 0 && v->type && v->type->check_args) {
5701                                         i += 1;
5702                                         if (i == target)
5703                                                 break;
5704                                 }
5705
5706                         if (target == -1) {
5707                                 target = i;
5708                         } else {
5709                                 struct value *val = var_value(&context, v);
5710                                 printf("func %.*s", v->name->name.len, v->name->name.txt);
5711                                 v->type->print_type_decl(v->type, stdout);
5712                                 if (brackets)
5713                                         print_exec(val->function, 0, brackets);
5714                                 else
5715                                         print_value(v->type, val, stdout);
5716                                 printf("/* frame size %d */\n", v->type->function.local_size);
5717                                 target -= 1;
5718                         }
5719                 }
5720         }
5721
5722 ###### core functions
5723
5724         static int analyse_funcs(struct parse_context *c)
5725         {
5726                 struct variable *v;
5727                 int all_ok = 1;
5728                 for (v = c->in_scope; v; v = v->in_scope) {
5729                         struct value *val;
5730                         struct type *ret;
5731                         enum prop_err perr;
5732                         if (v->depth != 0 || !v->type || !v->type->check_args)
5733                                 continue;
5734                         ret = v->type->function.inline_result ?
5735                                 Tnone : v->type->function.return_type;
5736                         val = var_value(c, v);
5737                         do {
5738                                 perr = 0;
5739                                 propagate_types(val->function, c, &perr, ret, 0);
5740                         } while (!(perr & Efail) && (perr & Eretry));
5741                         if (!(perr & Efail))
5742                                 /* Make sure everything is still consistent */
5743                                 propagate_types(val->function, c, &perr, ret, 0);
5744                         if (perr & Efail)
5745                                 all_ok = 0;
5746                         if (!v->type->function.inline_result &&
5747                             !v->type->function.return_type->dup) {
5748                                 type_err(c, "error: function cannot return value of type %1",
5749                                          v->where_decl, v->type->function.return_type, 0, NULL);
5750                         }
5751
5752                         scope_finalize(c, v->type);
5753                 }
5754                 return all_ok;
5755         }
5756
5757         static int analyse_main(struct type *type, struct parse_context *c)
5758         {
5759                 struct binode *bp = type->function.params;
5760                 struct binode *b;
5761                 enum prop_err perr;
5762                 int arg = 0;
5763                 struct type *argv_type;
5764
5765                 argv_type = add_anon_type(c, &array_prototype, "argv");
5766                 argv_type->array.member = Tstr;
5767                 argv_type->array.unspec = 1;
5768
5769                 for (b = bp; b; b = cast(binode, b->right)) {
5770                         perr = 0;
5771                         switch (arg++) {
5772                         case 0: /* argv */
5773                                 propagate_types(b->left, c, &perr, argv_type, 0);
5774                                 break;
5775                         default: /* invalid */  // NOTEST
5776                                 propagate_types(b->left, c, &perr, Tnone, 0);   // NOTEST
5777                         }
5778                         if (perr & Efail)
5779                                 c->parse_error += 1;
5780                 }
5781
5782                 return !c->parse_error;
5783         }
5784
5785         static void interp_main(struct parse_context *c, int argc, char **argv)
5786         {
5787                 struct value *progp = NULL;
5788                 struct text main_name = { "main", 4 };
5789                 struct variable *mainv;
5790                 struct binode *al;
5791                 int anum = 0;
5792                 struct value v;
5793                 struct type *vtype;
5794
5795                 mainv = var_ref(c, main_name);
5796                 if (mainv)
5797                         progp = var_value(c, mainv);
5798                 if (!progp || !progp->function) {
5799                         fprintf(stderr, "oceani: no main function found.\n");
5800                         c->parse_error += 1;
5801                         return;
5802                 }
5803                 if (!analyse_main(mainv->type, c)) {
5804                         fprintf(stderr, "oceani: main has wrong type.\n");
5805                         c->parse_error += 1;
5806                         return;
5807                 }
5808                 al = mainv->type->function.params;
5809
5810                 c->local_size = mainv->type->function.local_size;
5811                 c->local = calloc(1, c->local_size);
5812                 while (al) {
5813                         struct var *v = cast(var, al->left);
5814                         struct value *vl = var_value(c, v->var);
5815                         struct value arg;
5816                         struct type *t;
5817                         mpq_t argcq;
5818                         int i;
5819
5820                         switch (anum++) {
5821                         case 0: /* argv */
5822                                 t = v->var->type;
5823                                 mpq_init(argcq);
5824                                 mpq_set_ui(argcq, argc, 1);
5825                                 memcpy(var_value(c, t->array.vsize), &argcq, sizeof(argcq));
5826                                 t->prepare_type(c, t, 0);
5827                                 array_init(v->var->type, vl);
5828                                 for (i = 0; i < argc; i++) {
5829                                         struct value *vl2 = vl->array + i * v->var->type->array.member->size;
5830
5831                                         arg.str.txt = argv[i];
5832                                         arg.str.len = strlen(argv[i]);
5833                                         free_value(Tstr, vl2);
5834                                         dup_value(Tstr, &arg, vl2);
5835                                 }
5836                                 break;
5837                         }
5838                         al = cast(binode, al->right);
5839                 }
5840                 v = interp_exec(c, progp->function, &vtype);
5841                 free_value(vtype, &v);
5842                 free(c->local);
5843                 c->local = NULL;
5844         }
5845
5846 ###### ast functions
5847         void free_variable(struct variable *v)
5848         {
5849         }
5850
5851 ## And now to test it out.
5852
5853 Having a language requires having a "hello world" program.  I'll
5854 provide a little more than that: a program that prints "Hello world"
5855 finds the GCD of two numbers, prints the first few elements of
5856 Fibonacci, performs a binary search for a number, and a few other
5857 things which will likely grow as the languages grows.
5858
5859 ###### File: oceani.mk
5860         demos :: sayhello
5861         sayhello : oceani
5862                 @echo "===== DEMO ====="
5863                 ./oceani --section "demo: hello" oceani.mdc 55 33
5864
5865 ###### demo: hello
5866
5867         const
5868                 pi ::= 3.141_592_6
5869                 four ::= 2 + 2 ; five ::= 10/2
5870         const pie ::= "I like Pie";
5871                 cake ::= "The cake is"
5872                   ++ " a lie"
5873
5874         struct fred
5875                 size:[four]number
5876                 name:string
5877                 alive:Boolean
5878
5879         func main(argv:[argc::]string)
5880                 print "Hello World, what lovely oceans you have!"
5881                 print "Are there", five, "?"
5882                 print pi, pie, "but", cake
5883
5884                 A := $argv[1]; B := $argv[2]
5885
5886                 /* When a variable is defined in both branches of an 'if',
5887                  * and used afterwards, the variables are merged.
5888                  */
5889                 if A > B:
5890                         bigger := "yes"
5891                 else
5892                         bigger := "no"
5893                 print "Is", A, "bigger than", B,"? ", bigger
5894                 /* If a variable is not used after the 'if', no
5895                  * merge happens, so types can be different
5896                  */
5897                 if A > B * 2:
5898                         double:string = "yes"
5899                         print A, "is more than twice", B, "?", double
5900                 else
5901                         double := B*2
5902                         print "double", B, "is", double
5903
5904                 a : number
5905                 a = A;
5906                 b:number = B
5907                 if a > 0 and then b > 0:
5908                         while a != b:
5909                                 if a < b:
5910                                         b = b - a
5911                                 else
5912                                         a = a - b
5913                         print "GCD of", A, "and", B,"is", a
5914                 else if a <= 0:
5915                         print a, "is not positive, cannot calculate GCD"
5916                 else
5917                         print b, "is not positive, cannot calculate GCD"
5918
5919                 for
5920                         togo := 10
5921                         f1 := 1; f2 := 1
5922                         print "Fibonacci:", f1,f2,
5923                 then togo = togo - 1
5924                 while togo > 0:
5925                         f3 := f1 + f2
5926                         print "", f3,
5927                         f1 = f2
5928                         f2 = f3
5929                 print ""
5930
5931                 /* Binary search... */
5932                 for
5933                         lo:= 0; hi := 100
5934                         target := 77
5935                 while
5936                         mid := (lo + hi) / 2
5937                         if mid == target:
5938                                 use .Found
5939                         if mid < target:
5940                                 lo = mid
5941                         else
5942                                 hi = mid
5943                         if hi - lo < 1:
5944                                 lo = mid
5945                                 use .GiveUp
5946                         use True
5947                 do pass
5948                 case .Found:
5949                         print "Yay, I found", target
5950                 case .GiveUp:
5951                         print "Closest I found was", lo
5952
5953                 size::= 10
5954                 list:[size]number
5955                 list[0] = 1234
5956                 // "middle square" PRNG.  Not particularly good, but one my
5957                 // Dad taught me - the first one I ever heard of.
5958                 for i:=1; then i = i + 1; while i < size:
5959                         n := list[i-1] * list[i-1]
5960                         list[i] = (n / 100) % 10 000
5961
5962                 print "Before sort:",
5963                 for i:=0; then i = i + 1; while i < size:
5964                         print "", list[i],
5965                 print
5966
5967                 for i := 1; then i=i+1; while i < size:
5968                         for j:=i-1; then j=j-1; while j >= 0:
5969                                 if list[j] > list[j+1]:
5970                                         t:= list[j]
5971                                         list[j] = list[j+1]
5972                                         list[j+1] = t
5973                 print " After sort:",
5974                 for i:=0; then i = i + 1; while i < size:
5975                         print "", list[i],
5976                 print
5977
5978                 if 1 == 2 then print "yes"; else print "no"
5979
5980                 bob:fred
5981                 bob.name = "Hello"
5982                 bob.alive = (bob.name == "Hello")
5983                 print "bob", "is" if  bob.alive else "isn't", "alive"