ocean-lang.org Git - ocean/blob - csrc/oceani.mdc

   1 # Ocean Interpreter - Jamison Creek version
   2
   3 Ocean is intended to be a compiled language, so this interpreter is
   4 not targeted at being the final product.  It is, rather, an intermediate
   5 stage and fills that role in two distinct ways.
   6
   7 Firstly, it exists as a platform to experiment with the early language
   8 design.  An interpreter is easy to write and easy to get working, so
   9 the barrier for entry is lower if I aim to start with an interpreter.
  10
  11 Secondly, the plan for the Ocean compiler is to write it in the
  12 [Ocean language](http://ocean-lang.org).  To achieve this we naturally
  13 need some sort of boot-strap process and this interpreter - written in
  14 portable C - will fill that role.  It will be used to bootstrap the
  15 Ocean compiler.
  16
  17 Two features that are not needed to fill either of these roles are
  18 performance and completeness.  The interpreter only needs to be fast
  19 enough to run small test programs and occasionally to run the compiler
  20 on itself.  It only needs to be complete enough to test aspects of the
  21 design which are developed before the compiler is working, and to run
  22 the compiler on itself.  Any features not used by the compiler when
  23 compiling itself are superfluous.  They may be included anyway, but
  24 they may not.
  25
  26 Nonetheless, the interpreter should end up being reasonably complete,
  27 and any performance bottlenecks which appear and are easily fixed, will
  28 be.
  29
  30 ## Current version
  31
  32 This third version of the interpreter exists to test out some initial
  33 ideas relating to types.  Particularly it adds arrays (indexed from
  34 zero) and simple structures.  Basic control flow and variable scoping
  35 are already fairly well established, as are basic numerical and
  36 boolean operators.
  37
  38 Some operators that have only recently been added, and so have not
  39 generated all that much experience yet are "and then" and "or else" as
  40 short-circuit Boolean operators, and the "if ... else" trinary
  41 operator which can select between two expressions based on a third
  42 (which appears syntactically in the middle).
  43
  44 The "func" clause currently only allows a "main" function to be
  45 declared.  That will be extended when proper function support is added.
  46
  47 An element that is present purely to make a usable language, and
  48 without any expectation that they will remain, is the "print" statement
  49 which performs simple output.
  50
  51 The current scalar types are "number", "Boolean", and "string".
  52 Boolean will likely stay in its current form, the other two might, but
  53 could just as easily be changed.
  54
  55 ## Naming
  56
  57 Versions of the interpreter which obviously do not support a complete
  58 language will be named after creeks and streams.  This one is Jamison
  59 Creek.
  60
  61 Once we have something reasonably resembling a complete language, the
  62 names of rivers will be used.
  63 Early versions of the compiler will be named after seas.  Major
  64 releases of the compiler will be named after oceans.  Hopefully I will
  65 be finished once I get to the Pacific Ocean release.
  66
  67 ## Outline
  68
  69 As well as parsing and executing a program, the interpreter can print
  70 out the program from the parsed internal structure.  This is useful
  71 for validating the parsing.
  72 So the main requirements of the interpreter are:
  73
  74 - Parse the program, possibly with tracing,
  75 - Analyse the parsed program to ensure consistency,
  76 - Print the program,
  77 - Execute the "main" function in the program, if no parsing or
  78   consistency errors were found.
  79
  80 This is all performed by a single C program extracted with
  81 `parsergen`.
  82
  83 There will be two formats for printing the program: a default and one
  84 that uses bracketing.  So a `--bracket` command line option is needed
  85 for that.  Normally the first code section found is used, however an
  86 alternate section can be requested so that a file (such as this one)
  87 can contain multiple programs.  This is effected with the `--section`
  88 option.
  89
  90 This code must be compiled with `-fplan9-extensions` so that anonymous
  91 structures can be used.
  92
  93 ###### File: oceani.mk
  94
  95         myCFLAGS := -Wall -g -fplan9-extensions
  96         CFLAGS := $(filter-out $(myCFLAGS),$(CFLAGS)) $(myCFLAGS)
  97         myLDLIBS:= libparser.o libscanner.o libmdcode.o -licuuc
  98         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
  99         ## libs
 100         all :: $(LDLIBS) oceani
 101         oceani.c oceani.h : oceani.mdc parsergen
 102                 ./parsergen -o oceani --LALR --tag Parser oceani.mdc
 103         oceani.mk: oceani.mdc md2c
 104                 ./md2c oceani.mdc
 105
 106         oceani: oceani.o $(LDLIBS)
 107                 $(CC) $(CFLAGS) -o oceani oceani.o $(LDLIBS)
 108
 109 ###### Parser: header
 110         ## macros
 111         struct parse_context;
 112         ## ast
 113         struct parse_context {
 114                 struct token_config config;
 115                 char *file_name;
 116                 int parse_error;
 117                 ## parse context
 118         };
 119
 120 ###### macros
 121
 122         #define container_of(ptr, type, member) ({                      \
 123                 const typeof( ((type *)0)->member ) *__mptr = (ptr);    \
 124                 (type *)( (char *)__mptr - offsetof(type,member) );})
 125
 126         #define config2context(_conf) container_of(_conf, struct parse_context, \
 127                 config)
 128
 129 ###### Parser: reduce
 130         struct parse_context *c = config2context(config);
 131
 132 ###### Parser: code
 133         #define _GNU_SOURCE
 134         #include <unistd.h>
 135         #include <stdlib.h>
 136         #include <fcntl.h>
 137         #include <errno.h>
 138         #include <sys/mman.h>
 139         #include <string.h>
 140         #include <stdio.h>
 141         #include <locale.h>
 142         #include <malloc.h>
 143         #include "mdcode.h"
 144         #include "scanner.h"
 145         #include "parser.h"
 146
 147         ## includes
 148
 149         #include "oceani.h"
 150
 151         ## forward decls
 152         ## value functions
 153         ## ast functions
 154         ## core functions
 155
 156         #include <getopt.h>
 157         static char Usage[] =
 158                 "Usage: oceani --trace --print --noexec --brackets --section=SectionName prog.ocn\n";
 159         static const struct option long_options[] = {
 160                 {"trace",     0, NULL, 't'},
 161                 {"print",     0, NULL, 'p'},
 162                 {"noexec",    0, NULL, 'n'},
 163                 {"brackets",  0, NULL, 'b'},
 164                 {"section",   1, NULL, 's'},
 165                 {NULL,        0, NULL, 0},
 166         };
 167         const char *options = "tpnbs";
 168
 169         static void pr_err(char *msg)                   // NOTEST
 170         {
 171                 fprintf(stderr, "%s\n", msg);           // NOTEST
 172         }                                               // NOTEST
 173
 174         int main(int argc, char *argv[])
 175         {
 176                 int fd;
 177                 int len;
 178                 char *file;
 179                 struct section *s = NULL, *ss;
 180                 char *section = NULL;
 181                 struct parse_context context = {
 182                         .config = {
 183                                 .ignored = (1 << TK_mark),
 184                                 .number_chars = ".,_+- ",
 185                                 .word_start = "_",
 186                                 .word_cont = "_",
 187                         },
 188                 };
 189                 int doprint=0, dotrace=0, doexec=1, brackets=0;
 190                 int opt;
 191                 while ((opt = getopt_long(argc, argv, options, long_options, NULL))
 192                        != -1) {
 193                         switch(opt) {
 194                         case 't': dotrace=1; break;
 195                         case 'p': doprint=1; break;
 196                         case 'n': doexec=0; break;
 197                         case 'b': brackets=1; break;
 198                         case 's': section = optarg; break;
 199                         default: fprintf(stderr, Usage);
 200                                 exit(1);
 201                         }
 202                 }
 203                 if (optind >= argc) {
 204                         fprintf(stderr, "oceani: no input file given\n");
 205                         exit(1);
 206                 }
 207                 fd = open(argv[optind], O_RDONLY);
 208                 if (fd < 0) {
 209                         fprintf(stderr, "oceani: cannot open %s\n", argv[optind]);
 210                         exit(1);
 211                 }
 212                 context.file_name = argv[optind];
 213                 len = lseek(fd, 0, 2);
 214                 file = mmap(NULL, len, PROT_READ, MAP_SHARED, fd, 0);
 215                 s = code_extract(file, file+len, pr_err);
 216                 if (!s) {
 217                         fprintf(stderr, "oceani: could not find any code in %s\n",
 218                                 argv[optind]);
 219                         exit(1);
 220                 }
 221
 222                 ## context initialization
 223
 224                 if (section) {
 225                         for (ss = s; ss; ss = ss->next) {
 226                                 struct text sec = ss->section;
 227                                 if (sec.len == strlen(section) &&
 228                                     strncmp(sec.txt, section, sec.len) == 0)
 229                                         break;
 230                         }
 231                         if (!ss) {
 232                                 fprintf(stderr, "oceani: cannot find section %s\n",
 233                                         section);
 234                                 goto cleanup;
 235                         }
 236                 } else
 237                         ss = s;                         // NOTEST
 238                 if (!ss->code) {
 239                         fprintf(stderr, "oceani: no code found in requested section\n");        // NOTEST
 240                         goto cleanup;                   // NOTEST
 241                 }
 242
 243                 parse_oceani(ss->code, &context.config, dotrace ? stderr : NULL);
 244
 245                 resolve_consts(&context);
 246                 prepare_types(&context);
 247                 if (!context.parse_error && !analyse_funcs(&context)) {
 248                         fprintf(stderr, "oceani: type error in program - not running.\n");
 249                         context.parse_error += 1;
 250                 }
 251
 252                 if (doprint) {
 253                         ## print const decls
 254                         ## print type decls
 255                         ## print func decls
 256                 }
 257                 if (doexec && !context.parse_error)
 258                         interp_main(&context, argc - optind, argv + optind);
 259         cleanup:
 260                 while (s) {
 261                         struct section *t = s->next;
 262                         code_free(s->code);
 263                         free(s);
 264                         s = t;
 265                 }
 266                 // FIXME parser should pop scope even on error
 267                 while (context.scope_depth > 0)
 268                         scope_pop(&context);
 269                 ## free global vars
 270                 ## free const decls
 271                 ## free context types
 272                 ## free context storage
 273                 exit(context.parse_error ? 1 : 0);
 274         }
 275
 276 ### Analysis
 277
 278 The four requirements of parse, analyse, print, interpret apply to
 279 each language element individually so that is how most of the code
 280 will be structured.
 281
 282 Three of the four are fairly self explanatory.  The one that requires
 283 a little explanation is the analysis step.
 284
 285 The current language design does not require the types of variables to
 286 be declared, but they must still have a single type.  Different
 287 operations impose different requirements on the variables, for example
 288 addition requires both arguments to be numeric, and assignment
 289 requires the variable on the left to have the same type as the
 290 expression on the right.
 291
 292 Analysis involves propagating these type requirements around and
 293 consequently setting the type of each variable.  If any requirements
 294 are violated (e.g. a string is compared with a number) or if a
 295 variable needs to have two different types, then an error is raised
 296 and the program will not run.
 297
 298 If the same variable is declared in both branchs of an 'if/else', or
 299 in all cases of a 'switch' then the multiple instances may be merged
 300 into just one variable if the variable is referenced after the
 301 conditional statement.  When this happens, the types must naturally be
 302 consistent across all the branches.  When the variable is not used
 303 outside the if, the variables in the different branches are distinct
 304 and can be of different types.
 305
 306 Undeclared names may only appear in "use" statements and "case" expressions.
 307 These names are given a type of "label" and a unique value.
 308 This allows them to fill the role of a name in an enumerated type, which
 309 is useful for testing the `switch` statement.
 310
 311 As we will see, the condition part of a `while` statement can return
 312 either a Boolean or some other type.  This requires that the expected
 313 type that gets passed around comprises a type and a flag to indicate
 314 that `Tbool` is also permitted.
 315
 316 As there are, as yet, no distinct types that are compatible, there
 317 isn't much subtlety in the analysis.  When we have distinct number
 318 types, this will become more interesting.
 319
 320 #### Error reporting
 321
 322 When analysis discovers an inconsistency it needs to report an error;
 323 just refusing to run the code ensures that the error doesn't cascade,
 324 but by itself it isn't very useful.  A clear understanding of the sort
 325 of error message that are useful will help guide the process of
 326 analysis.
 327
 328 At a simplistic level, the only sort of error that type analysis can
 329 report is that the type of some construct doesn't match a contextual
 330 requirement.  For example, in `4 + "hello"` the addition provides a
 331 contextual requirement for numbers, but `"hello"` is not a number.  In
 332 this particular example no further information is needed as the types
 333 are obvious from local information.  When a variable is involved that
 334 isn't the case.  It may be helpful to explain why the variable has a
 335 particular type, by indicating the location where the type was set,
 336 whether by declaration or usage.
 337
 338 Using a recursive-descent analysis we can easily detect a problem at
 339 multiple locations. In "`hello:= "there"; 4 + hello`" the addition
 340 will detect that one argument is not a number and the usage of `hello`
 341 will detect that a number was wanted, but not provided.  In this
 342 (early) version of the language, we will generate error reports at
 343 multiple locations, so the use of `hello` will report an error and
 344 explain were the value was set, and the addition will report an error
 345 and say why numbers are needed.  To be able to report locations for
 346 errors, each language element will need to record a file location
 347 (line and column) and each variable will need to record the language
 348 element where its type was set.  For now we will assume that each line
 349 of an error message indicates one location in the file, and up to 2
 350 types.  So we provide a `printf`-like function which takes a format, a
 351 location (a `struct exec` which has not yet been introduced), and 2
 352 types. "`%1`" reports the first type, "`%2`" reports the second.  We
 353 will need a function to print the location, once we know how that is
 354 stored. e As will be explained later, there are sometimes extra rules for
 355 type matching and they might affect error messages, we need to pass those
 356 in too.
 357
 358 As well as type errors, we sometimes need to report problems with
 359 tokens, which might be unexpected or might name a type that has not
 360 been defined.  For these we have `tok_err()` which reports an error
 361 with a given token.  Each of the error functions sets the flag in the
 362 context so indicate that parsing failed.
 363
 364 ###### forward decls
 365
 366         static void fput_loc(struct exec *loc, FILE *f);
 367         static void type_err(struct parse_context *c,
 368                              char *fmt, struct exec *loc,
 369                              struct type *t1, int rules, struct type *t2);
 370
 371 ###### core functions
 372
 373         static void type_err(struct parse_context *c,
 374                              char *fmt, struct exec *loc,
 375                              struct type *t1, int rules, struct type *t2)
 376         {
 377                 fprintf(stderr, "%s:", c->file_name);
 378                 fput_loc(loc, stderr);
 379                 for (; *fmt ; fmt++) {
 380                         if (*fmt != '%') {
 381                                 fputc(*fmt, stderr);
 382                                 continue;
 383                         }
 384                         fmt++;
 385                         switch (*fmt) {
 386                         case '%': fputc(*fmt, stderr); break;   // NOTEST
 387                         default: fputc('?', stderr); break;     // NOTEST
 388                         case '1':
 389                                 type_print(t1, stderr);
 390                                 break;
 391                         case '2':
 392                                 type_print(t2, stderr);
 393                                 break;
 394                         ## format cases
 395                         }
 396                 }
 397                 fputs("\n", stderr);
 398                 c->parse_error += 1;
 399         }
 400
 401         static void tok_err(struct parse_context *c, char *fmt, struct token *t)
 402         {
 403                 fprintf(stderr, "%s:%d:%d: %s: %.*s\n", c->file_name, t->line, t->col, fmt,
 404                         t->txt.len, t->txt.txt);
 405                 c->parse_error += 1;
 406         }
 407
 408 ## Entities: declared and predeclared.
 409
 410 There are various "things" that the language and/or the interpreter
 411 needs to know about to parse and execute a program.  These include
 412 types, variables, values, and executable code.  These are all lumped
 413 together under the term "entities" (calling them "objects" would be
 414 confusing) and introduced here.  The following section will present the
 415 different specific code elements which comprise or manipulate these
 416 various entities.
 417
 418 ### Executables
 419
 420 Executables can be lots of different things.  In many cases an
 421 executable is just an operation combined with one or two other
 422 executables.  This allows for expressions and lists etc.  Other times an
 423 executable is something quite specific like a constant or variable name.
 424 So we define a `struct exec` to be a general executable with a type, and
 425 a `struct binode` which is a subclass of `exec`, forms a node in a
 426 binary tree, and holds an operation.  There will be other subclasses,
 427 and to access these we need to be able to `cast` the `exec` into the
 428 various other types.  The first field in any `struct exec` is the type
 429 from the `exec_types` enum.
 430
 431 ###### macros
 432         #define cast(structname, pointer) ({            \
 433                 const typeof( ((struct structname *)0)->type) *__mptr = &(pointer)->type; \
 434                 if (__mptr && *__mptr != X##structname) abort();                \
 435                 (struct structname *)( (char *)__mptr);})
 436
 437         #define new(structname) ({                                              \
 438                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
 439                 __ptr->type = X##structname;                                            \
 440                 __ptr->line = -1; __ptr->column = -1;                                   \
 441                 __ptr;})
 442
 443         #define new_pos(structname, token) ({                                           \
 444                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
 445                 __ptr->type = X##structname;                                            \
 446                 __ptr->line = token.line; __ptr->column = token.col;                    \
 447                 __ptr;})
 448
 449 ###### ast
 450         enum exec_types {
 451                 Xbinode,
 452                 ## exec type
 453         };
 454         struct exec {
 455                 enum exec_types type;
 456                 int line, column;
 457                 ## exec fields
 458         };
 459         struct binode {
 460                 struct exec;
 461                 enum Btype {
 462                         ## Binode types
 463                 } op;
 464                 struct exec *left, *right;
 465         };
 466
 467 ###### ast functions
 468
 469         static int __fput_loc(struct exec *loc, FILE *f)
 470         {
 471                 if (!loc)
 472                         return 0;
 473                 if (loc->line >= 0) {
 474                         fprintf(f, "%d:%d: ", loc->line, loc->column);
 475                         return 1;
 476                 }
 477                 if (loc->type == Xbinode)
 478                         return __fput_loc(cast(binode,loc)->left, f) ||
 479                                __fput_loc(cast(binode,loc)->right, f);  // NOTEST
 480                 return 0;
 481         }
 482         static void fput_loc(struct exec *loc, FILE *f)
 483         {
 484                 if (!__fput_loc(loc, f))
 485                         fprintf(f, "??:??: ");
 486         }
 487
 488 Each different type of `exec` node needs a number of functions defined,
 489 a bit like methods.  We must be able to free it, print it, analyse it
 490 and execute it.  Once we have specific `exec` types we will need to
 491 parse them too.  Let's take this a bit more slowly.
 492
 493 #### Freeing
 494
 495 The parser generator requires a `free_foo` function for each struct
 496 that stores attributes and they will often be `exec`s and subtypes
 497 there-of.  So we need `free_exec` which can handle all the subtypes,
 498 and we need `free_binode`.
 499
 500 ###### ast functions
 501
 502         static void free_binode(struct binode *b)
 503         {
 504                 if (!b)
 505                         return;
 506                 free_exec(b->left);
 507                 free_exec(b->right);
 508                 free(b);
 509         }
 510
 511 ###### core functions
 512         static void free_exec(struct exec *e)
 513         {
 514                 if (!e)
 515                         return;
 516                 switch(e->type) {
 517                         ## free exec cases
 518                 }
 519         }
 520
 521 ###### forward decls
 522
 523         static void free_exec(struct exec *e);
 524
 525 ###### free exec cases
 526         case Xbinode: free_binode(cast(binode, e)); break;
 527
 528 #### Printing
 529
 530 Printing an `exec` requires that we know the current indent level for
 531 printing line-oriented components.  As will become clear later, we
 532 also want to know what sort of bracketing to use.
 533
 534 ###### ast functions
 535
 536         static void do_indent(int i, char *str)
 537         {
 538                 while (i-- > 0)
 539                         printf("    ");
 540                 printf("%s", str);
 541         }
 542
 543 ###### core functions
 544         static void print_binode(struct binode *b, int indent, int bracket)
 545         {
 546                 struct binode *b2;
 547                 switch(b->op) {
 548                 ## print binode cases
 549                 }
 550         }
 551
 552         static void print_exec(struct exec *e, int indent, int bracket)
 553         {
 554                 if (!e)
 555                         return;
 556                 switch (e->type) {
 557                 case Xbinode:
 558                         print_binode(cast(binode, e), indent, bracket); break;
 559                 ## print exec cases
 560                 }
 561                 if (e->to_free) {
 562                         struct variable *v;
 563                         do_indent(indent, "/* FREE");
 564                         for (v = e->to_free; v; v = v->next_free) {
 565                                 printf(" %.*s", v->name->name.len, v->name->name.txt);
 566                                 printf("[%d,%d]", v->scope_start, v->scope_end);
 567                                 if (v->frame_pos >= 0)
 568                                         printf("(%d+%d)", v->frame_pos,
 569                                                v->type ? v->type->size:0);
 570                         }
 571                         printf(" */\n");
 572                 }
 573         }
 574
 575 ###### forward decls
 576
 577         static void print_exec(struct exec *e, int indent, int bracket);
 578
 579 #### Analysing
 580
 581 As discussed, analysis involves propagating type requirements around the
 582 program and looking for errors.
 583
 584 So `propagate_types` is passed an expected type (being a `struct type`
 585 pointer together with some `val_rules` flags) that the `exec` is
 586 expected to return, and returns the type that it does return, either of
 587 which can be `NULL` signifying "unknown".  A `prop_err` flag set is
 588 passed by reference.  It has `Efail` set when an error is found, and
 589 `Eretry` when the type for some element is set via propagation.  If
 590 any expression cannot be evaluated immediately, `Enoconst` is set.
 591
 592 If it remains unchanged at `0`, then no more propagation is needed.
 593
 594 ###### ast
 595
 596         enum val_rules {Rnolabel = 1<<0, Rboolok = 1<<1, Rnoconstant = 1<<2};
 597         enum prop_err {Efail = 1<<0, Eretry = 1<<1, Enoconst = 1<<2};
 598
 599 ###### format cases
 600         case 'r':
 601                 if (rules & Rnolabel)
 602                         fputs(" (labels not permitted)", stderr);
 603                 break;
 604
 605 ###### forward decls
 606         static struct type *propagate_types(struct exec *prog, struct parse_context *c, enum prop_err *perr,
 607                                             struct type *type, int rules);
 608 ###### core functions
 609
 610         static struct type *__propagate_types(struct exec *prog, struct parse_context *c, enum prop_err *perr,
 611                                               struct type *type, int rules)
 612         {
 613                 struct type *t;
 614
 615                 if (!prog)
 616                         return Tnone;
 617
 618                 switch (prog->type) {
 619                 case Xbinode:
 620                 {
 621                         struct binode *b = cast(binode, prog);
 622                         switch (b->op) {
 623                         ## propagate binode cases
 624                         }
 625                         break;
 626                 }
 627                 ## propagate exec cases
 628                 }
 629                 return Tnone;
 630         }
 631
 632         static struct type *propagate_types(struct exec *prog, struct parse_context *c, enum prop_err *perr,
 633                                             struct type *type, int rules)
 634         {
 635                 int pre_err = c->parse_error;
 636                 struct type *ret = __propagate_types(prog, c, perr, type, rules);
 637
 638                 if (c->parse_error > pre_err)
 639                         *perr |= Efail;
 640                 return ret;
 641         }
 642
 643 #### Interpreting
 644
 645 Interpreting an `exec` doesn't require anything but the `exec`.  State
 646 is stored in variables and each variable will be directly linked from
 647 within the `exec` tree.  The exception to this is the `main` function
 648 which needs to look at command line arguments.  This function will be
 649 interpreted separately.
 650
 651 Each `exec` can return a value combined with a type in `struct lrval`.
 652 The type may be `Tnone` but must be non-NULL.  Some `exec`s will return
 653 the location of a value, which can be updated, in `lval`.  Others will
 654 set `lval` to NULL indicating that there is a value of appropriate type
 655 in `rval`.
 656
 657 ###### forward decls
 658         static struct value interp_exec(struct parse_context *c, struct exec *e,
 659                                         struct type **typeret);
 660 ###### core functions
 661
 662         struct lrval {
 663                 struct type *type;
 664                 struct value rval, *lval;
 665         };
 666
 667         /* If dest is passed, dtype must give the expected type, and
 668          * result can go there, in which case type is returned as NULL.
 669          */
 670         static struct lrval _interp_exec(struct parse_context *c, struct exec *e,
 671                                          struct value *dest, struct type *dtype);
 672
 673         static struct value interp_exec(struct parse_context *c, struct exec *e,
 674                                         struct type **typeret)
 675         {
 676                 struct lrval ret = _interp_exec(c, e, NULL, NULL);
 677
 678                 if (!ret.type) abort();
 679                 if (typeret)
 680                         *typeret = ret.type;
 681                 if (ret.lval)
 682                         dup_value(ret.type, ret.lval, &ret.rval);
 683                 return ret.rval;
 684         }
 685
 686         static struct value *linterp_exec(struct parse_context *c, struct exec *e,
 687                                           struct type **typeret)
 688         {
 689                 struct lrval ret = _interp_exec(c, e, NULL, NULL);
 690
 691                 if (!ret.type) abort();
 692                 if (ret.lval)
 693                         *typeret = ret.type;
 694                 else
 695                         free_value(ret.type, &ret.rval);
 696                 return ret.lval;
 697         }
 698
 699         /* dinterp_exec is used when the destination type is certain and
 700          * the value has a place to go.
 701          */
 702         static void dinterp_exec(struct parse_context *c, struct exec *e,
 703                                  struct value *dest, struct type *dtype,
 704                                  int need_free)
 705         {
 706                 struct lrval ret = _interp_exec(c, e, dest, dtype);
 707                 if (!ret.type)
 708                         return;
 709                 if (need_free)
 710                         free_value(dtype, dest);
 711                 if (ret.lval)
 712                         dup_value(dtype, ret.lval, dest);
 713                 else
 714                         memcpy(dest, &ret.rval, dtype->size);
 715         }
 716
 717         static struct lrval _interp_exec(struct parse_context *c, struct exec *e,
 718                                          struct value *dest, struct type *dtype)
 719         {
 720                 /* If the result is copied to dest, ret.type is set to NULL */
 721                 struct lrval ret;
 722                 struct value rv = {}, *lrv = NULL;
 723                 struct type *rvtype;
 724
 725                 rvtype = ret.type = Tnone;
 726                 if (!e) {
 727                         ret.lval = lrv;
 728                         ret.rval = rv;
 729                         return ret;
 730                 }
 731
 732                 switch(e->type) {
 733                 case Xbinode:
 734                 {
 735                         struct binode *b = cast(binode, e);
 736                         struct value left, right, *lleft;
 737                         struct type *ltype, *rtype;
 738                         ltype = rtype = Tnone;
 739                         switch (b->op) {
 740                         ## interp binode cases
 741                         }
 742                         free_value(ltype, &left);
 743                         free_value(rtype, &right);
 744                         break;
 745                 }
 746                 ## interp exec cases
 747                 }
 748                 if (rvtype) {
 749                         ret.lval = lrv;
 750                         ret.rval = rv;
 751                         ret.type = rvtype;
 752                 }
 753                 ## interp exec cleanup
 754                 return ret;
 755         }
 756
 757 ### Types
 758
 759 Values come in a wide range of types, with more likely to be added.
 760 Each type needs to be able to print its own values (for convenience at
 761 least) as well as to compare two values, at least for equality and
 762 possibly for order.  For now, values might need to be duplicated and
 763 freed, though eventually such manipulations will be better integrated
 764 into the language.
 765
 766 Rather than requiring every numeric type to support all numeric
 767 operations (add, multiply, etc), we allow types to be able to present
 768 as one of a few standard types: integer, float, and fraction.  The
 769 existence of these conversion functions eventually enable types to
 770 determine if they are compatible with other types, though such types
 771 have not yet been implemented.
 772
 773 Named type are stored in a simple linked list.  Objects of each type are
 774 "values" which are often passed around by value.
 775
 776 There are both explicitly named types, and anonymous types.  Anonymous
 777 cannot be accessed by name, but are used internally and have a name
 778 which might be reported in error messages.
 779
 780 ###### ast
 781
 782         struct value {
 783                 union {
 784                         char ptr[1];
 785                         ## value union fields
 786                 };
 787         };
 788
 789         struct type {
 790                 struct text name;
 791                 struct type *next;
 792                 int size, align;
 793                 int anon;
 794                 void (*init)(struct type *type, struct value *val);
 795                 void (*prepare_type)(struct parse_context *c, struct type *type, int parse_time);
 796                 void (*print)(struct type *type, struct value *val, FILE *f);
 797                 void (*print_type)(struct type *type, FILE *f);
 798                 int (*cmp_order)(struct type *t1, struct type *t2,
 799                                  struct value *v1, struct value *v2);
 800                 int (*cmp_eq)(struct type *t1, struct type *t2,
 801                               struct value *v1, struct value *v2);
 802                 void (*dup)(struct type *type, struct value *vold, struct value *vnew);
 803                 void (*free)(struct type *type, struct value *val);
 804                 void (*free_type)(struct type *t);
 805                 long long (*to_int)(struct value *v);
 806                 double (*to_float)(struct value *v);
 807                 int (*to_mpq)(mpq_t *q, struct value *v);
 808                 ## type functions
 809                 union {
 810                         ## type union fields
 811                 };
 812         };
 813
 814 ###### parse context
 815
 816         struct type *typelist;
 817
 818 ###### includes
 819         #include <stdarg.h>
 820
 821 ###### ast functions
 822
 823         static struct type *find_type(struct parse_context *c, struct text s)
 824         {
 825                 struct type *t = c->typelist;
 826
 827                 while (t && (t->anon ||
 828                              text_cmp(t->name, s) != 0))
 829                                 t = t->next;
 830                 return t;
 831         }
 832
 833         static struct type *_add_type(struct parse_context *c, struct text s,
 834                                      struct type *proto, int anon)
 835         {
 836                 struct type *n;
 837
 838                 n = calloc(1, sizeof(*n));
 839                 *n = *proto;
 840                 n->name = s;
 841                 n->anon = anon;
 842                 n->next = c->typelist;
 843                 c->typelist = n;
 844                 return n;
 845         }
 846
 847         static struct type *add_type(struct parse_context *c, struct text s,
 848                                       struct type *proto)
 849         {
 850                 return _add_type(c, s, proto, 0);
 851         }
 852
 853         static struct type *add_anon_type(struct parse_context *c,
 854                                           struct type *proto, char *name, ...)
 855         {
 856                 struct text t;
 857                 va_list ap;
 858
 859                 va_start(ap, name);
 860                 vasprintf(&t.txt, name, ap);
 861                 va_end(ap);
 862                 t.len = strlen(name);
 863                 return _add_type(c, t, proto, 1);
 864         }
 865
 866         static void free_type(struct type *t)
 867         {
 868                 /* The type is always a reference to something in the
 869                  * context, so we don't need to free anything.
 870                  */
 871         }
 872
 873         static void free_value(struct type *type, struct value *v)
 874         {
 875                 if (type && v) {
 876                         type->free(type, v);
 877                         memset(v, 0x5a, type->size);
 878                 }
 879         }
 880
 881         static void type_print(struct type *type, FILE *f)
 882         {
 883                 if (!type)
 884                         fputs("*unknown*type*", f);     // NOTEST
 885                 else if (type->name.len && !type->anon)
 886                         fprintf(f, "%.*s", type->name.len, type->name.txt);
 887                 else if (type->print_type)
 888                         type->print_type(type, f);
 889                 else
 890                         fputs("*invalid*type*", f);
 891         }
 892
 893         static void val_init(struct type *type, struct value *val)
 894         {
 895                 if (type && type->init)
 896                         type->init(type, val);
 897         }
 898
 899         static void dup_value(struct type *type,
 900                               struct value *vold, struct value *vnew)
 901         {
 902                 if (type && type->dup)
 903                         type->dup(type, vold, vnew);
 904         }
 905
 906         static int value_cmp(struct type *tl, struct type *tr,
 907                              struct value *left, struct value *right)
 908         {
 909                 if (tl && tl->cmp_order)
 910                         return tl->cmp_order(tl, tr, left, right);
 911                 if (tl && tl->cmp_eq)                   // NOTEST
 912                         return tl->cmp_eq(tl, tr, left, right); // NOTEST
 913                 return -1;                              // NOTEST
 914         }
 915
 916         static void print_value(struct type *type, struct value *v, FILE *f)
 917         {
 918                 if (type && type->print)
 919                         type->print(type, v, f);
 920                 else
 921                         fprintf(f, "*Unknown*");                // NOTEST
 922         }
 923
 924         static void prepare_types(struct parse_context *c)
 925         {
 926                 struct type *t;
 927
 928                 for (t = c->typelist; t; t = t->next)
 929                         if (t->prepare_type)
 930                                 t->prepare_type(c, t, 1);
 931         }
 932
 933 ###### forward decls
 934
 935         static void free_value(struct type *type, struct value *v);
 936         static int type_compat(struct type *require, struct type *have, int rules);
 937         static void type_print(struct type *type, FILE *f);
 938         static void val_init(struct type *type, struct value *v);
 939         static void dup_value(struct type *type,
 940                               struct value *vold, struct value *vnew);
 941         static int value_cmp(struct type *tl, struct type *tr,
 942                              struct value *left, struct value *right);
 943         static void print_value(struct type *type, struct value *v, FILE *f);
 944
 945 ###### free context types
 946
 947         while (context.typelist) {
 948                 struct type *t = context.typelist;
 949
 950                 context.typelist = t->next;
 951                 if (t->free_type)
 952                         t->free_type(t);
 953                 if (t->anon)
 954                         free(t->name.txt);
 955                 free(t);
 956         }
 957
 958 Type can be specified for local variables, for fields in a structure,
 959 for formal parameters to functions, and possibly elsewhere.  Different
 960 rules may apply in different contexts.  As a minimum, a named type may
 961 always be used.  Currently the type of a formal parameter can be
 962 different from types in other contexts, so we have a separate grammar
 963 symbol for those.
 964
 965 ###### Grammar
 966
 967         $*type
 968         Type -> IDENTIFIER ${
 969                 $0 = find_type(c, $1.txt);
 970                 if (!$0) {
 971                         tok_err(c,
 972                                 "error: undefined type", &$1);
 973
 974                         $0 = Tnone;
 975                 }
 976         }$
 977         ## type grammar
 978
 979         FormalType -> Type ${ $0 = $<1; }$
 980         ## formal type grammar
 981
 982 #### Base Types
 983
 984 Values of the base types can be numbers, which we represent as
 985 multi-precision fractions, strings, Booleans and labels.  When
 986 analysing the program we also need to allow for places where no value
 987 is meaningful (type `Tnone`) and where we don't know what type to
 988 expect yet (type is `NULL`).
 989
 990 Values are never shared, they are always copied when used, and freed
 991 when no longer needed.
 992
 993 When propagating type information around the program, we need to
 994 determine if two types are compatible, where type `NULL` is compatible
 995 with anything.  There are two special cases with type compatibility,
 996 both related to the Conditional Statement which will be described
 997 later.  In some cases a Boolean can be accepted as well as some other
 998 primary type, and in others any type is acceptable except a label (`Vlabel`).
 999 A separate function encoding these cases will simplify some code later.
1000
1001 ###### type functions
1002
1003         int (*compat)(struct type *this, struct type *other);
1004
1005 ###### ast functions
1006
1007         static int type_compat(struct type *require, struct type *have, int rules)
1008         {
1009                 if ((rules & Rboolok) && have == Tbool)
1010                         return 1;       // NOTEST
1011                 if ((rules & Rnolabel) && have == Tlabel)
1012                         return 0;       // NOTEST
1013                 if (!require || !have)
1014                         return 1;
1015
1016                 if (require->compat)
1017                         return require->compat(require, have);
1018
1019                 return require == have;
1020         }
1021
1022 ###### includes
1023         #include <gmp.h>
1024         #include "parse_string.h"
1025         #include "parse_number.h"
1026
1027 ###### libs
1028         myLDLIBS := libnumber.o libstring.o -lgmp
1029         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
1030
1031 ###### type union fields
1032         enum vtype {Vnone, Vstr, Vnum, Vbool, Vlabel} vtype;
1033
1034 ###### value union fields
1035         struct text str;
1036         mpq_t num;
1037         unsigned char bool;
1038         void *label;
1039
1040 ###### ast functions
1041         static void _free_value(struct type *type, struct value *v)
1042         {
1043                 if (!v)
1044                         return;         // NOTEST
1045                 switch (type->vtype) {
1046                 case Vnone: break;
1047                 case Vstr: free(v->str.txt); break;
1048                 case Vnum: mpq_clear(v->num); break;
1049                 case Vlabel:
1050                 case Vbool: break;
1051                 }
1052         }
1053
1054 ###### value functions
1055
1056         static void _val_init(struct type *type, struct value *val)
1057         {
1058                 switch(type->vtype) {
1059                 case Vnone:             // NOTEST
1060                         break;          // NOTEST
1061                 case Vnum:
1062                         mpq_init(val->num); break;
1063                 case Vstr:
1064                         val->str.txt = malloc(1);
1065                         val->str.len = 0;
1066                         break;
1067                 case Vbool:
1068                         val->bool = 0;
1069                         break;
1070                 case Vlabel:
1071                         val->label = NULL;
1072                         break;
1073                 }
1074         }
1075
1076         static void _dup_value(struct type *type,
1077                                struct value *vold, struct value *vnew)
1078         {
1079                 switch (type->vtype) {
1080                 case Vnone:             // NOTEST
1081                         break;          // NOTEST
1082                 case Vlabel:
1083                         vnew->label = vold->label;
1084                         break;
1085                 case Vbool:
1086                         vnew->bool = vold->bool;
1087                         break;
1088                 case Vnum:
1089                         mpq_init(vnew->num);
1090                         mpq_set(vnew->num, vold->num);
1091                         break;
1092                 case Vstr:
1093                         vnew->str.len = vold->str.len;
1094                         vnew->str.txt = malloc(vnew->str.len);
1095                         memcpy(vnew->str.txt, vold->str.txt, vnew->str.len);
1096                         break;
1097                 }
1098         }
1099
1100         static int _value_cmp(struct type *tl, struct type *tr,
1101                               struct value *left, struct value *right)
1102         {
1103                 int cmp;
1104                 if (tl != tr)
1105                         return tl - tr; // NOTEST
1106                 switch (tl->vtype) {
1107                 case Vlabel: cmp = left->label == right->label ? 0 : 1; break;
1108                 case Vnum: cmp = mpq_cmp(left->num, right->num); break;
1109                 case Vstr: cmp = text_cmp(left->str, right->str); break;
1110                 case Vbool: cmp = left->bool - right->bool; break;
1111                 case Vnone: cmp = 0;                    // NOTEST
1112                 }
1113                 return cmp;
1114         }
1115
1116         static void _print_value(struct type *type, struct value *v, FILE *f)
1117         {
1118                 switch (type->vtype) {
1119                 case Vnone:                             // NOTEST
1120                         fprintf(f, "*no-value*"); break;        // NOTEST
1121                 case Vlabel:                            // NOTEST
1122                         fprintf(f, "*label-%p*", v->label); break; // NOTEST
1123                 case Vstr:
1124                         fprintf(f, "%.*s", v->str.len, v->str.txt); break;
1125                 case Vbool:
1126                         fprintf(f, "%s", v->bool ? "True":"False"); break;
1127                 case Vnum:
1128                         {
1129                         mpf_t fl;
1130                         mpf_init2(fl, 20);
1131                         mpf_set_q(fl, v->num);
1132                         gmp_fprintf(f, "%.10Fg", fl);
1133                         mpf_clear(fl);
1134                         break;
1135                         }
1136                 }
1137         }
1138
1139         static void _free_value(struct type *type, struct value *v);
1140
1141         static struct type base_prototype = {
1142                 .init = _val_init,
1143                 .print = _print_value,
1144                 .cmp_order = _value_cmp,
1145                 .cmp_eq = _value_cmp,
1146                 .dup = _dup_value,
1147                 .free = _free_value,
1148         };
1149
1150         static struct type *Tbool, *Tstr, *Tnum, *Tnone, *Tlabel;
1151
1152 ###### ast functions
1153         static struct type *add_base_type(struct parse_context *c, char *n,
1154                                           enum vtype vt, int size)
1155         {
1156                 struct text txt = { n, strlen(n) };
1157                 struct type *t;
1158
1159                 t = add_type(c, txt, &base_prototype);
1160                 t->vtype = vt;
1161                 t->size = size;
1162                 t->align = size > sizeof(void*) ? sizeof(void*) : size;
1163                 if (t->size & (t->align - 1))
1164                         t->size = (t->size | (t->align - 1)) + 1;       // NOTEST
1165                 return t;
1166         }
1167
1168 ###### context initialization
1169
1170         Tbool  = add_base_type(&context, "Boolean", Vbool, sizeof(char));
1171         Tstr   = add_base_type(&context, "string", Vstr, sizeof(struct text));
1172         Tnum   = add_base_type(&context, "number", Vnum, sizeof(mpq_t));
1173         Tnone  = add_base_type(&context, "none", Vnone, 0);
1174         Tlabel = add_base_type(&context, "label", Vlabel, sizeof(void*));
1175
1176 ##### Base Values
1177
1178 We have already met values as separate objects.  When manifest constants
1179 appear in the program text, that must result in an executable which has
1180 a constant value.  So the `val` structure embeds a value in an
1181 executable.
1182
1183 ###### exec type
1184         Xval,
1185
1186 ###### ast
1187         struct val {
1188                 struct exec;
1189                 struct type *vtype;
1190                 struct value val;
1191         };
1192
1193 ###### ast functions
1194         struct val *new_val(struct type *T, struct token tk)
1195         {
1196                 struct val *v = new_pos(val, tk);
1197                 v->vtype = T;
1198                 return v;
1199         }
1200
1201 ###### Grammar
1202
1203         $TERM True False
1204
1205         $*val
1206         Value ->  True ${
1207                 $0 = new_val(Tbool, $1);
1208                 $0->val.bool = 1;
1209         }$
1210         | False ${
1211                 $0 = new_val(Tbool, $1);
1212                 $0->val.bool = 0;
1213         }$
1214         | NUMBER ${ {
1215                 char tail[3];
1216                 $0 = new_val(Tnum, $1);
1217                 if (number_parse($0->val.num, tail, $1.txt) == 0)
1218                         mpq_init($0->val.num);  // UNTESTED
1219                         if (tail[0])
1220                                 tok_err(c, "error: unsupported number suffix",
1221                                         &$1);
1222         } }$
1223         | STRING ${ {
1224                 char tail[3];
1225                 $0 = new_val(Tstr, $1);
1226                 string_parse(&$1, '\\', &$0->val.str, tail);
1227                 if (tail[0])
1228                         tok_err(c, "error: unsupported string suffix",
1229                                 &$1);
1230         } }$
1231         | MULTI_STRING ${ {
1232                 char tail[3];
1233                 $0 = new_val(Tstr, $1);
1234                 string_parse(&$1, '\\', &$0->val.str, tail);
1235                 if (tail[0])
1236                         tok_err(c, "error: unsupported string suffix",
1237                                 &$1);
1238         } }$
1239
1240 ###### print exec cases
1241         case Xval:
1242         {
1243                 struct val *v = cast(val, e);
1244                 if (v->vtype == Tstr)
1245                         printf("\"");
1246                 // FIXME how to ensure numbers have same precision.
1247                 print_value(v->vtype, &v->val, stdout);
1248                 if (v->vtype == Tstr)
1249                         printf("\"");
1250                 break;
1251         }
1252
1253 ###### propagate exec cases
1254         case Xval:
1255         {
1256                 struct val *val = cast(val, prog);
1257                 if (!type_compat(type, val->vtype, rules))
1258                         type_err(c, "error: expected %1%r found %2",
1259                                    prog, type, rules, val->vtype);
1260                 return val->vtype;
1261         }
1262
1263 ###### interp exec cases
1264         case Xval:
1265                 rvtype = cast(val, e)->vtype;
1266                 dup_value(rvtype, &cast(val, e)->val, &rv);
1267                 break;
1268
1269 ###### ast functions
1270         static void free_val(struct val *v)
1271         {
1272                 if (v)
1273                         free_value(v->vtype, &v->val);
1274                 free(v);
1275         }
1276
1277 ###### free exec cases
1278         case Xval: free_val(cast(val, e)); break;
1279
1280 ###### ast functions
1281         // Move all nodes from 'b' to 'rv', reversing their order.
1282         // In 'b' 'left' is a list, and 'right' is the last node.
1283         // In 'rv', left' is the first node and 'right' is a list.
1284         static struct binode *reorder_bilist(struct binode *b)
1285         {
1286                 struct binode *rv = NULL;
1287
1288                 while (b) {
1289                         struct exec *t = b->right;
1290                         b->right = rv;
1291                         rv = b;
1292                         if (b->left)
1293                                 b = cast(binode, b->left);
1294                         else
1295                                 b = NULL;
1296                         rv->left = t;
1297                 }
1298                 return rv;
1299         }
1300
1301 ### Variables
1302
1303 Variables are scoped named values.  We store the names in a linked list
1304 of "bindings" sorted in lexical order, and use sequential search and
1305 insertion sort.
1306
1307 ###### ast
1308
1309         struct binding {
1310                 struct text name;
1311                 struct binding *next;   // in lexical order
1312                 ## binding fields
1313         };
1314
1315 This linked list is stored in the parse context so that "reduce"
1316 functions can find or add variables, and so the analysis phase can
1317 ensure that every variable gets a type.
1318
1319 ###### parse context
1320
1321         struct binding *varlist;  // In lexical order
1322
1323 ###### ast functions
1324
1325         static struct binding *find_binding(struct parse_context *c, struct text s)
1326         {
1327                 struct binding **l = &c->varlist;
1328                 struct binding *n;
1329                 int cmp = 1;
1330
1331                 while (*l &&
1332                         (cmp = text_cmp((*l)->name, s)) < 0)
1333                                 l = & (*l)->next;
1334                 if (cmp == 0)
1335                         return *l;
1336                 n = calloc(1, sizeof(*n));
1337                 n->name = s;
1338                 n->next = *l;
1339                 *l = n;
1340                 return n;
1341         }
1342
1343 Each name can be linked to multiple variables defined in different
1344 scopes.  Each scope starts where the name is declared and continues
1345 until the end of the containing code block.  Scopes of a given name
1346 cannot nest, so a declaration while a name is in-scope is an error.
1347
1348 ###### binding fields
1349         struct variable *var;
1350
1351 ###### ast
1352         struct variable {
1353                 struct variable *previous;
1354                 struct type *type;
1355                 struct binding *name;
1356                 struct exec *where_decl;// where name was declared
1357                 struct exec *where_set; // where type was set
1358                 ## variable fields
1359         };
1360
1361 When a scope closes, the values of the variables might need to be freed.
1362 This happens in the context of some `struct exec` and each `exec` will
1363 need to know which variables need to be freed when it completes.
1364
1365 ####### exec fields
1366         struct variable *to_free;
1367
1368 ####### variable fields
1369         struct exec *cleanup_exec;
1370         struct variable *next_free;
1371
1372 ####### interp exec cleanup
1373         {
1374                 struct variable *v;
1375                 for (v = e->to_free; v; v = v->next_free) {
1376                         struct value *val = var_value(c, v);
1377                         free_value(v->type, val);
1378                 }
1379         }
1380
1381 ###### ast functions
1382         static void variable_unlink_exec(struct variable *v)
1383         {
1384                 struct variable **vp;
1385                 if (!v->cleanup_exec)
1386                         return;
1387                 for (vp = &v->cleanup_exec->to_free;
1388                     *vp; vp = &(*vp)->next_free) {
1389                         if (*vp != v)
1390                                 continue;
1391                         *vp = v->next_free;
1392                         v->cleanup_exec = NULL;
1393                         break;
1394                 }
1395         }
1396
1397 While the naming seems strange, we include local constants in the
1398 definition of variables.  A name declared `var := value` can
1399 subsequently be changed, but a name declared `var ::= value` cannot -
1400 it is constant
1401
1402 ###### variable fields
1403         int constant;
1404
1405 Scopes in parallel branches can be partially merged.  More
1406 specifically, if a given name is declared in both branches of an
1407 if/else then its scope is a candidate for merging.  Similarly if
1408 every branch of an exhaustive switch (e.g. has an "else" clause)
1409 declares a given name, then the scopes from the branches are
1410 candidates for merging.
1411
1412 Note that names declared inside a loop (which is only parallel to
1413 itself) are never visible after the loop.  Similarly names defined in
1414 scopes which are not parallel, such as those started by `for` and
1415 `switch`, are never visible after the scope.  Only variables defined in
1416 both `then` and `else` (including the implicit then after an `if`, and
1417 excluding `then` used with `for`) and in all `case`s and `else` of a
1418 `switch` or `while` can be visible beyond the `if`/`switch`/`while`.
1419
1420 Labels, which are a bit like variables, follow different rules.
1421 Labels are not explicitly declared, but if an undeclared name appears
1422 in a context where a label is legal, that effectively declares the
1423 name as a label.  The declaration remains in force (or in scope) at
1424 least to the end of the immediately containing block and conditionally
1425 in any larger containing block which does not declare the name in some
1426 other way.  Importantly, the conditional scope extension happens even
1427 if the label is only used in one parallel branch of a conditional --
1428 when used in one branch it is treated as having been declared in all
1429 branches.
1430
1431 Merge candidates are tentatively visible beyond the end of the
1432 branching statement which creates them.  If the name is used, the
1433 merge is affirmed and they become a single variable visible at the
1434 outer layer.  If not - if it is redeclared first - the merge lapses.
1435
1436 To track scopes we have an extra stack, implemented as a linked list,
1437 which roughly parallels the parse stack and which is used exclusively
1438 for scoping.  When a new scope is opened, a new frame is pushed and
1439 the child-count of the parent frame is incremented.  This child-count
1440 is used to distinguish between the first of a set of parallel scopes,
1441 in which declared variables must not be in scope, and subsequent
1442 branches, whether they may already be conditionally scoped.
1443
1444 We need a total ordering of scopes so we can easily compare to variables
1445 to see if they are concurrently in scope.  To achieve this we record a
1446 `scope_count` which is actually a count of both beginnings and endings
1447 of scopes.  Then each variable has a record of the scope count where it
1448 enters scope, and where it leaves.
1449
1450 To push a new frame *before* any code in the frame is parsed, we need a
1451 grammar reduction.  This is most easily achieved with a grammar
1452 element which derives the empty string, and creates the new scope when
1453 it is recognised.  This can be placed, for example, between a keyword
1454 like "if" and the code following it.
1455
1456 ###### ast
1457         struct scope {
1458                 struct scope *parent;
1459                 int child_count;
1460         };
1461
1462 ###### parse context
1463         int scope_depth;
1464         int scope_count;
1465         struct scope *scope_stack;
1466
1467 ###### variable fields
1468         int scope_start, scope_end;
1469
1470 ###### ast functions
1471         static void scope_pop(struct parse_context *c)
1472         {
1473                 struct scope *s = c->scope_stack;
1474
1475                 c->scope_stack = s->parent;
1476                 free(s);
1477                 c->scope_depth -= 1;
1478                 c->scope_count += 1;
1479         }
1480
1481         static void scope_push(struct parse_context *c)
1482         {
1483                 struct scope *s = calloc(1, sizeof(*s));
1484                 if (c->scope_stack)
1485                         c->scope_stack->child_count += 1;
1486                 s->parent = c->scope_stack;
1487                 c->scope_stack = s;
1488                 c->scope_depth += 1;
1489                 c->scope_count += 1;
1490         }
1491
1492 ###### Grammar
1493
1494         $void
1495         OpenScope -> ${ scope_push(c); }$
1496
1497 Each variable records a scope depth and is in one of four states:
1498
1499 - "in scope".  This is the case between the declaration of the
1500   variable and the end of the containing block, and also between
1501   the usage with affirms a merge and the end of that block.
1502
1503   The scope depth is not greater than the current parse context scope
1504   nest depth.  When the block of that depth closes, the state will
1505   change.  To achieve this, all "in scope" variables are linked
1506   together as a stack in nesting order.
1507
1508 - "pending".  The "in scope" block has closed, but other parallel
1509   scopes are still being processed.  So far, every parallel block at
1510   the same level that has closed has declared the name.
1511
1512   The scope depth is the depth of the last parallel block that
1513   enclosed the declaration, and that has closed.
1514
1515 - "conditionally in scope".  The "in scope" block and all parallel
1516   scopes have closed, and no further mention of the name has been seen.
1517   This state includes a secondary nest depth (`min_depth`) which records
1518   the outermost scope seen since the variable became conditionally in
1519   scope.  If a use of the name is found, the variable becomes "in scope"
1520   and that secondary depth becomes the recorded scope depth.  If the
1521   name is declared as a new variable, the old variable becomes "out of
1522   scope" and the recorded scope depth stays unchanged.
1523
1524 - "out of scope".  The variable is neither in scope nor conditionally
1525   in scope.  It is permanently out of scope now and can be removed from
1526   the "in scope" stack.  When a variable becomes out-of-scope it is
1527   moved to a separate list (`out_scope`) of variables which have fully
1528   known scope.  This will be used at the end of each function to assign
1529   each variable a place in the stack frame.
1530
1531 ###### variable fields
1532         int depth, min_depth;
1533         enum { OutScope, PendingScope, CondScope, InScope } scope;
1534         struct variable *in_scope;
1535
1536 ###### parse context
1537
1538         struct variable *in_scope;
1539         struct variable *out_scope;
1540
1541 All variables with the same name are linked together using the
1542 'previous' link.  Those variable that have been affirmatively merged all
1543 have a 'merged' pointer that points to one primary variable - the most
1544 recently declared instance.  When merging variables, we need to also
1545 adjust the 'merged' pointer on any other variables that had previously
1546 been merged with the one that will no longer be primary.
1547
1548 A variable that is no longer the most recent instance of a name may
1549 still have "pending" scope, if it might still be merged with most
1550 recent instance.  These variables don't really belong in the
1551 "in_scope" list, but are not immediately removed when a new instance
1552 is found.  Instead, they are detected and ignored when considering the
1553 list of in_scope names.
1554
1555 The storage of the value of a variable will be described later.  For now
1556 we just need to know that when a variable goes out of scope, it might
1557 need to be freed.  For this we need to be able to find it, so assume that
1558 `var_value()` will provide that.
1559
1560 ###### variable fields
1561         struct variable *merged;
1562
1563 ###### ast functions
1564
1565         static void variable_merge(struct variable *primary, struct variable *secondary)
1566         {
1567                 struct variable *v;
1568
1569                 primary = primary->merged;
1570
1571                 for (v = primary->previous; v; v=v->previous)
1572                         if (v == secondary || v == secondary->merged ||
1573                             v->merged == secondary ||
1574                             v->merged == secondary->merged) {
1575                                 v->scope = OutScope;
1576                                 v->merged = primary;
1577                                 if (v->scope_start < primary->scope_start)
1578                                         primary->scope_start = v->scope_start;
1579                                 if (v->scope_end > primary->scope_end)
1580                                         primary->scope_end = v->scope_end;      // NOTEST
1581                                 variable_unlink_exec(v);
1582                         }
1583         }
1584
1585 ###### forward decls
1586         static struct value *var_value(struct parse_context *c, struct variable *v);
1587
1588 ###### free global vars
1589
1590         while (context.varlist) {
1591                 struct binding *b = context.varlist;
1592                 struct variable *v = b->var;
1593                 context.varlist = b->next;
1594                 free(b);
1595                 while (v) {
1596                         struct variable *next = v->previous;
1597
1598                         if (v->global && v->frame_pos >= 0) {
1599                                 free_value(v->type, var_value(&context, v));
1600                                 if (v->depth == 0 && v->type->free == function_free)
1601                                         // This is a function constant
1602                                         free_exec(v->where_decl);
1603                         }
1604                         free(v);
1605                         v = next;
1606                 }
1607         }
1608
1609 #### Manipulating Bindings
1610
1611 When a name is conditionally visible, a new declaration discards the old
1612 binding - the condition lapses.  Similarly when we reach the end of a
1613 function (outermost non-global scope) any conditional scope must lapse.
1614 Conversely a usage of the name affirms the visibility and extends it to
1615 the end of the containing block - i.e.  the block that contains both the
1616 original declaration and the latest usage.  This is determined from
1617 `min_depth`.  When a conditionally visible variable gets affirmed like
1618 this, it is also merged with other conditionally visible variables with
1619 the same name.
1620
1621 When we parse a variable declaration we either report an error if the
1622 name is currently bound, or create a new variable at the current nest
1623 depth if the name is unbound or bound to a conditionally scoped or
1624 pending-scope variable.  If the previous variable was conditionally
1625 scoped, it and its homonyms becomes out-of-scope.
1626
1627 When we parse a variable reference (including non-declarative assignment
1628 "foo = bar") we report an error if the name is not bound or is bound to
1629 a pending-scope variable; update the scope if the name is bound to a
1630 conditionally scoped variable; or just proceed normally if the named
1631 variable is in scope.
1632
1633 When we exit a scope, any variables bound at this level are either
1634 marked out of scope or pending-scoped, depending on whether the scope
1635 was sequential or parallel.  Here a "parallel" scope means the "then"
1636 or "else" part of a conditional, or any "case" or "else" branch of a
1637 switch.  Other scopes are "sequential".
1638
1639 When exiting a parallel scope we check if there are any variables that
1640 were previously pending and are still visible. If there are, then
1641 they weren't redeclared in the most recent scope, so they cannot be
1642 merged and must become out-of-scope.  If it is not the first of
1643 parallel scopes (based on `child_count`), we check that there was a
1644 previous binding that is still pending-scope.  If there isn't, the new
1645 variable must now be out-of-scope.
1646
1647 When exiting a sequential scope that immediately enclosed parallel
1648 scopes, we need to resolve any pending-scope variables.  If there was
1649 no `else` clause, and we cannot determine that the `switch` was exhaustive,
1650 we need to mark all pending-scope variable as out-of-scope.  Otherwise
1651 all pending-scope variables become conditionally scoped.
1652
1653 ###### ast
1654         enum closetype { CloseSequential, CloseFunction, CloseParallel, CloseElse };
1655
1656 ###### ast functions
1657
1658         static struct variable *var_decl(struct parse_context *c, struct text s)
1659         {
1660                 struct binding *b = find_binding(c, s);
1661                 struct variable *v = b->var;
1662
1663                 switch (v ? v->scope : OutScope) {
1664                 case InScope:
1665                         /* Caller will report the error */
1666                         return NULL;
1667                 case CondScope:
1668                         for (;
1669                              v && v->scope == CondScope;
1670                              v = v->previous)
1671                                 v->scope = OutScope;
1672                         break;
1673                 default: break;
1674                 }
1675                 v = calloc(1, sizeof(*v));
1676                 v->previous = b->var;
1677                 b->var = v;
1678                 v->name = b;
1679                 v->merged = v;
1680                 v->min_depth = v->depth = c->scope_depth;
1681                 v->scope = InScope;
1682                 v->in_scope = c->in_scope;
1683                 v->scope_start = c->scope_count;
1684                 c->in_scope = v;
1685                 ## variable init
1686                 return v;
1687         }
1688
1689         static struct variable *var_ref(struct parse_context *c, struct text s)
1690         {
1691                 struct binding *b = find_binding(c, s);
1692                 struct variable *v = b->var;
1693                 struct variable *v2;
1694
1695                 switch (v ? v->scope : OutScope) {
1696                 case OutScope:
1697                 case PendingScope:
1698                         /* Caller will report the error */
1699                         return NULL;
1700                 case CondScope:
1701                         /* All CondScope variables of this name need to be merged
1702                          * and become InScope
1703                          */
1704                         v->depth = v->min_depth;
1705                         v->scope = InScope;
1706                         for (v2 = v->previous;
1707                              v2 && v2->scope == CondScope;
1708                              v2 = v2->previous)
1709                                 variable_merge(v, v2);
1710                         break;
1711                 case InScope:
1712                         break;
1713                 }
1714                 return v;
1715         }
1716
1717         static int var_refile(struct parse_context *c, struct variable *v)
1718         {
1719                 /* Variable just went out of scope.  Add it to the out_scope
1720                  * list, sorted by ->scope_start
1721                  */
1722                 struct variable **vp = &c->out_scope;
1723                 while ((*vp) && (*vp)->scope_start < v->scope_start)
1724                         vp = &(*vp)->in_scope;
1725                 v->in_scope = *vp;
1726                 *vp = v;
1727                 return 0;
1728         }
1729
1730         static void var_block_close(struct parse_context *c, enum closetype ct,
1731                                     struct exec *e)
1732         {
1733                 /* Close off all variables that are in_scope.
1734                  * Some variables in c->scope may already be not-in-scope,
1735                  * such as when a PendingScope variable is hidden by a new
1736                  * variable with the same name.
1737                  * So we check for v->name->var != v and drop them.
1738                  * If we choose to make a variable OutScope, we drop it
1739                  * immediately too.
1740                  */
1741                 struct variable *v, **vp, *v2;
1742
1743                 scope_pop(c);
1744                 for (vp = &c->in_scope;
1745                      (v = *vp) && v->min_depth > c->scope_depth;
1746                      (v->scope == OutScope || v->name->var != v)
1747                      ? (*vp =  v->in_scope, var_refile(c, v))
1748                      : ( vp = &v->in_scope, 0)) {
1749                         v->min_depth = c->scope_depth;
1750                         if (v->name->var != v)
1751                                 /* This is still in scope, but we haven't just
1752                                  * closed the scope.
1753                                  */
1754                                 continue;
1755                         v->min_depth = c->scope_depth;
1756                         if (v->scope == InScope)
1757                                 v->scope_end = c->scope_count;
1758                         if (v->scope == InScope && e && !v->global) {
1759                                 /* This variable gets cleaned up when 'e' finishes */
1760                                 variable_unlink_exec(v);
1761                                 v->cleanup_exec = e;
1762                                 v->next_free = e->to_free;
1763                                 e->to_free = v;
1764                         }
1765                         switch (ct) {
1766                         case CloseElse:
1767                         case CloseParallel: /* handle PendingScope */
1768                                 switch(v->scope) {
1769                                 case InScope:
1770                                 case CondScope:
1771                                         if (c->scope_stack->child_count == 1)
1772                                                 /* first among parallel branches */
1773                                                 v->scope = PendingScope;
1774                                         else if (v->previous &&
1775                                                  v->previous->scope == PendingScope)
1776                                                 /* all previous branches used name */
1777                                                 v->scope = PendingScope;
1778                                         else if (v->type == Tlabel)
1779                                                 /* Labels remain pending even when not used */
1780                                                 v->scope = PendingScope;        // UNTESTED
1781                                         else
1782                                                 v->scope = OutScope;
1783                                         if (ct == CloseElse) {
1784                                                 /* All Pending variables with this name
1785                                                  * are now Conditional */
1786                                                 for (v2 = v;
1787                                                      v2 && v2->scope == PendingScope;
1788                                                      v2 = v2->previous)
1789                                                         v2->scope = CondScope;
1790                                         }
1791                                         break;
1792                                 case PendingScope:
1793                                         /* Not possible as it would require
1794                                          * parallel scope to be nested immediately
1795                                          * in a parallel scope, and that never
1796                                          * happens.
1797                                          */                     // NOTEST
1798                                 case OutScope:
1799                                         /* Not possible as we already tested for
1800                                          * OutScope
1801                                          */
1802                                         abort();                // NOTEST
1803                                 }
1804                                 break;
1805                         case CloseFunction:
1806                                 if (v->scope == CondScope)
1807                                         /* Condition cannot continue past end of function */
1808                                         v->scope = InScope;
1809                                 /* fallthrough */
1810                         case CloseSequential:
1811                                 if (v->type == Tlabel)
1812                                         v->scope = PendingScope;
1813                                 switch (v->scope) {
1814                                 case InScope:
1815                                         v->scope = OutScope;
1816                                         break;
1817                                 case PendingScope:
1818                                         /* There was no 'else', so we can only become
1819                                          * conditional if we know the cases were exhaustive,
1820                                          * and that doesn't mean anything yet.
1821                                          * So only labels become conditional..
1822                                          */
1823                                         for (v2 = v;
1824                                              v2 && v2->scope == PendingScope;
1825                                              v2 = v2->previous)
1826                                                 if (v2->type == Tlabel)
1827                                                         v2->scope = CondScope;
1828                                                 else
1829                                                         v2->scope = OutScope;
1830                                         break;
1831                                 case CondScope:
1832                                 case OutScope: break;
1833                                 }
1834                                 break;
1835                         }
1836                 }
1837         }
1838
1839 #### Storing Values
1840
1841 The value of a variable is store separately from the variable, on an
1842 analogue of a stack frame.  There are (currently) two frames that can be
1843 active.  A global frame which currently only stores constants, and a
1844 stacked frame which stores local variables.  Each variable knows if it
1845 is global or not, and what its index into the frame is.
1846
1847 Values in the global frame are known immediately they are relevant, so
1848 the frame needs to be reallocated as it grows so it can store those
1849 values.  The local frame doesn't get values until the interpreted phase
1850 is started, so there is no need to allocate until the size is known.
1851
1852 We initialize the `frame_pos` to an impossible value, so that we can
1853 tell if it was set or not later.
1854
1855 ###### variable fields
1856         short frame_pos;
1857         short global;
1858
1859 ###### variable init
1860         v->frame_pos = -1;
1861
1862 ###### parse context
1863
1864         short global_size, global_alloc;
1865         short local_size;
1866         void *global, *local;
1867
1868 ###### forward decls
1869         static struct value *global_alloc(struct parse_context *c, struct type *t,
1870                                           struct variable *v, struct value *init);
1871
1872 ###### ast functions
1873
1874         static struct value *var_value(struct parse_context *c, struct variable *v)
1875         {
1876                 if (!v->global) {
1877                         if (!c->local || !v->type)
1878                                 return NULL;    // UNTESTED
1879                         if (v->frame_pos + v->type->size > c->local_size) {
1880                                 printf("INVALID frame_pos\n");  // NOTEST
1881                                 exit(2);                        // NOTEST
1882                         }
1883                         return c->local + v->frame_pos;
1884                 }
1885                 if (c->global_size > c->global_alloc) {
1886                         int old = c->global_alloc;
1887                         c->global_alloc = (c->global_size | 1023) + 1024;
1888                         c->global = realloc(c->global, c->global_alloc);
1889                         memset(c->global + old, 0, c->global_alloc - old);
1890                 }
1891                 return c->global + v->frame_pos;
1892         }
1893
1894         static struct value *global_alloc(struct parse_context *c, struct type *t,
1895                                           struct variable *v, struct value *init)
1896         {
1897                 struct value *ret;
1898                 struct variable scratch;
1899
1900                 if (t->prepare_type)
1901                         t->prepare_type(c, t, 1);       // NOTEST
1902
1903                 if (c->global_size & (t->align - 1))
1904                         c->global_size = (c->global_size + t->align) & ~(t->align-1);   // NOTEST
1905                 if (!v) {
1906                         v = &scratch;
1907                         v->type = t;
1908                 }
1909                 v->frame_pos = c->global_size;
1910                 v->global = 1;
1911                 c->global_size += v->type->size;
1912                 ret = var_value(c, v);
1913                 if (init)
1914                         memcpy(ret, init, t->size);
1915                 else
1916                         val_init(t, ret);
1917                 return ret;
1918         }
1919
1920 As global values are found -- struct field initializers, labels etc --
1921 `global_alloc()` is called to record the value in the global frame.
1922
1923 When the program is fully parsed, each function is analysed, we need to
1924 walk the list of variables local to that function and assign them an
1925 offset in the stack frame.  For this we have `scope_finalize()`.
1926
1927 We keep the stack from dense by re-using space for between variables
1928 that are not in scope at the same time.  The `out_scope` list is sorted
1929 by `scope_start` and as we process a varible, we move it to an FIFO
1930 stack.  For each variable we consider, we first discard any from the
1931 stack anything that went out of scope before the new variable came in.
1932 Then we place the new variable just after the one at the top of the
1933 stack.
1934
1935 ###### ast functions
1936
1937         static void scope_finalize(struct parse_context *c, struct type *ft)
1938         {
1939                 int size = ft->function.local_size;
1940                 struct variable *next = ft->function.scope;
1941                 struct variable *done = NULL;
1942
1943                 while (next) {
1944                         struct variable *v = next;
1945                         struct type *t = v->type;
1946                         int pos;
1947                         next = v->in_scope;
1948                         if (v->merged != v)
1949                                 continue;
1950                         if (!t)
1951                                 continue;
1952                         if (v->frame_pos >= 0)
1953                                 continue;
1954                         while (done && done->scope_end < v->scope_start)
1955                                 done = done->in_scope;
1956                         if (done)
1957                                 pos = done->frame_pos + done->type->size;
1958                         else
1959                                 pos = ft->function.local_size;
1960                         if (pos & (t->align - 1))
1961                                 pos = (pos + t->align) & ~(t->align-1);
1962                         v->frame_pos = pos;
1963                         if (size < pos + v->type->size)
1964                                 size = pos + v->type->size;
1965                         v->in_scope = done;
1966                         done = v;
1967                 }
1968                 c->out_scope = NULL;
1969                 ft->function.local_size = size;
1970         }
1971
1972 ###### free context storage
1973         free(context.global);
1974
1975 #### Variables as executables
1976
1977 Just as we used a `val` to wrap a value into an `exec`, we similarly
1978 need a `var` to wrap a `variable` into an exec.  While each `val`
1979 contained a copy of the value, each `var` holds a link to the variable
1980 because it really is the same variable no matter where it appears.
1981 When a variable is used, we need to remember to follow the `->merged`
1982 link to find the primary instance.
1983
1984 When a variable is declared, it may or may not be given an explicit
1985 type.  We need to record which so that we can report the parsed code
1986 correctly.
1987
1988 ###### exec type
1989         Xvar,
1990
1991 ###### ast
1992         struct var {
1993                 struct exec;
1994                 struct variable *var;
1995         };
1996
1997 ###### variable fields
1998         int explicit_type;
1999
2000 ###### Grammar
2001
2002         $TERM : ::
2003
2004         $*var
2005         VariableDecl -> IDENTIFIER : ${ {
2006                 struct variable *v = var_decl(c, $1.txt);
2007                 $0 = new_pos(var, $1);
2008                 $0->var = v;
2009                 if (v)
2010                         v->where_decl = $0;
2011                 else {
2012                         v = var_ref(c, $1.txt);
2013                         $0->var = v;
2014                         type_err(c, "error: variable '%v' redeclared",
2015                                  $0, NULL, 0, NULL);
2016                         type_err(c, "info: this is where '%v' was first declared",
2017                                  v->where_decl, NULL, 0, NULL);
2018                 }
2019         } }$
2020         | IDENTIFIER :: ${ {
2021                 struct variable *v = var_decl(c, $1.txt);
2022                 $0 = new_pos(var, $1);
2023                 $0->var = v;
2024                 if (v) {
2025                         v->where_decl = $0;
2026                         v->constant = 1;
2027                 } else {
2028                         v = var_ref(c, $1.txt);
2029                         $0->var = v;
2030                         type_err(c, "error: variable '%v' redeclared",
2031                                  $0, NULL, 0, NULL);
2032                         type_err(c, "info: this is where '%v' was first declared",
2033                                  v->where_decl, NULL, 0, NULL);
2034                 }
2035         } }$
2036         | IDENTIFIER : Type ${ {
2037                 struct variable *v = var_decl(c, $1.txt);
2038                 $0 = new_pos(var, $1);
2039                 $0->var = v;
2040                 if (v) {
2041                         v->where_decl = $0;
2042                         v->where_set = $0;
2043                         v->type = $<Type;
2044                         v->explicit_type = 1;
2045                 } else {
2046                         v = var_ref(c, $1.txt);
2047                         $0->var = v;
2048                         type_err(c, "error: variable '%v' redeclared",
2049                                  $0, NULL, 0, NULL);
2050                         type_err(c, "info: this is where '%v' was first declared",
2051                                  v->where_decl, NULL, 0, NULL);
2052                 }
2053         } }$
2054         | IDENTIFIER :: Type ${ {
2055                 struct variable *v = var_decl(c, $1.txt);
2056                 $0 = new_pos(var, $1);
2057                 $0->var = v;
2058                 if (v) {
2059                         v->where_decl = $0;
2060                         v->where_set = $0;
2061                         v->type = $<Type;
2062                         v->constant = 1;
2063                         v->explicit_type = 1;
2064                 } else {
2065                         v = var_ref(c, $1.txt);
2066                         $0->var = v;
2067                         type_err(c, "error: variable '%v' redeclared",
2068                                  $0, NULL, 0, NULL);
2069                         type_err(c, "info: this is where '%v' was first declared",
2070                                  v->where_decl, NULL, 0, NULL);
2071                 }
2072         } }$
2073
2074         $*exec
2075         Variable -> IDENTIFIER ${ {
2076                 struct variable *v = var_ref(c, $1.txt);
2077                 $0 = new_pos(var, $1);
2078                 if (v == NULL) {
2079                         /* This might be a global const or a label
2080                          * Allocate a var with impossible type Tnone,
2081                          * which will be adjusted when we find out what it is,
2082                          * or will trigger an error.
2083                          */
2084                         v = var_decl(c, $1.txt);
2085                         if (v) {
2086                                 v->type = Tnone;
2087                                 v->where_decl = $0;
2088                                 v->where_set = $0;
2089                         }
2090                 }
2091                 cast(var, $0)->var = v;
2092         } }$
2093
2094 ###### print exec cases
2095         case Xvar:
2096         {
2097                 struct var *v = cast(var, e);
2098                 if (v->var) {
2099                         struct binding *b = v->var->name;
2100                         printf("%.*s", b->name.len, b->name.txt);
2101                 }
2102                 break;
2103         }
2104
2105 ###### format cases
2106         case 'v':
2107                 if (loc && loc->type == Xvar) {
2108                         struct var *v = cast(var, loc);
2109                         if (v->var) {
2110                                 struct binding *b = v->var->name;
2111                                 fprintf(stderr, "%.*s", b->name.len, b->name.txt);
2112                         } else
2113                                 fputs("???", stderr);   // NOTEST
2114                 } else
2115                         fputs("NOTVAR", stderr);
2116                 break;
2117
2118 ###### propagate exec cases
2119
2120         case Xvar:
2121         {
2122                 struct var *var = cast(var, prog);
2123                 struct variable *v = var->var;
2124                 if (!v) {
2125                         type_err(c, "%d:BUG: no variable!!", prog, NULL, 0, NULL); // NOTEST
2126                         return Tnone;                                   // NOTEST
2127                 }
2128                 v = v->merged;
2129                 if (v->constant && (rules & Rnoconstant)) {
2130                         type_err(c, "error: Cannot assign to a constant: %v",
2131                                  prog, NULL, 0, NULL);
2132                         type_err(c, "info: name was defined as a constant here",
2133                                  v->where_decl, NULL, 0, NULL);
2134                         return v->type;
2135                 }
2136                 if (v->type == Tnone && v->where_decl == prog)
2137                         type_err(c, "error: variable used but not declared: %v",
2138                                  prog, NULL, 0, NULL);
2139                 if (v->type == NULL) {
2140                         if (type && !(*perr & Efail)) {
2141                                 v->type = type;
2142                                 v->where_set = prog;
2143                                 *perr |= Eretry;
2144                         }
2145                 } else if (!type_compat(type, v->type, rules)) {
2146                         type_err(c, "error: expected %1%r but variable '%v' is %2", prog,
2147                                  type, rules, v->type);
2148                         type_err(c, "info: this is where '%v' was set to %1", v->where_set,
2149                                  v->type, rules, NULL);
2150                 }
2151                 if (!v->global || v->frame_pos < 0)
2152                         *perr |= Enoconst;
2153                 if (!type)
2154                         return v->type;
2155                 return type;
2156         }
2157
2158 ###### interp exec cases
2159         case Xvar:
2160         {
2161                 struct var *var = cast(var, e);
2162                 struct variable *v = var->var;
2163
2164                 v = v->merged;
2165                 lrv = var_value(c, v);
2166                 rvtype = v->type;
2167                 break;
2168         }
2169
2170 ###### ast functions
2171
2172         static void free_var(struct var *v)
2173         {
2174                 free(v);
2175         }
2176
2177 ###### free exec cases
2178         case Xvar: free_var(cast(var, e)); break;
2179
2180
2181 ### Complex types
2182
2183 Now that we have the shape of the interpreter in place we can add some
2184 complex types and connected them in to the data structures and the
2185 different phases of parse, analyse, print, interpret.
2186
2187 Being "complex" the language will naturally have syntax to access
2188 specifics of objects of these types.  These will fit into the grammar as
2189 "Terms" which are the things that are combined with various operators to
2190 form "Expression".  Where a Term is formed by some operation on another
2191 Term, the subordinate Term will always come first, so for example a
2192 member of an array will be expressed as the Term for the array followed
2193 by an index in square brackets.  The strict rule of using postfix
2194 operations makes precedence irrelevant within terms.  To provide a place
2195 to put the grammar for each terms of each type, we will start out by
2196 introducing the "Term" grammar production, with contains at least a
2197 simple "Value" (to be explained later).
2198
2199 ###### Grammar
2200         $*exec
2201         Term ->  Value ${ $0 = $<1; }$
2202         | Variable ${ $0 = $<1; }$
2203         ## term grammar
2204
2205 Thus far the complex types we have are arrays and structs.
2206
2207 #### Arrays
2208
2209 Arrays can be declared by giving a size and a type, as `[size]type' so
2210 `freq:[26]number` declares `freq` to be an array of 26 numbers.  The
2211 size can be either a literal number, or a named constant.  Some day an
2212 arbitrary expression will be supported.
2213
2214 As a formal parameter to a function, the array can be declared with a
2215 new variable as the size: `name:[size::number]string`.  The `size`
2216 variable is set to the size of the array and must be a constant.  As
2217 `number` is the only supported type, it can be left out:
2218 `name:[size::]string`.
2219
2220 Arrays cannot be assigned.  When pointers are introduced we will also
2221 introduce array slices which can refer to part or all of an array -
2222 the assignment syntax will create a slice.  For now, an array can only
2223 ever be referenced by the name it is declared with.  It is likely that
2224 a "`copy`" primitive will eventually be define which can be used to
2225 make a copy of an array with controllable recursive depth.
2226
2227 For now we have two sorts of array, those with fixed size either because
2228 it is given as a literal number or because it is a struct member (which
2229 cannot have a runtime-changing size), and those with a size that is
2230 determined at runtime - local variables with a const size.  The former
2231 have their size calculated at parse time, the latter at run time.
2232
2233 For the latter type, the `size` field of the type is the size of a
2234 pointer, and the array is reallocated every time it comes into scope.
2235
2236 We differentiate struct fields with a const size from local variables
2237 with a const size by whether they are prepared at parse time or not.
2238
2239 ###### type union fields
2240
2241         struct {
2242                 int unspec;     // size is unspecified - vsize must be set.
2243                 short size;
2244                 short static_size;
2245                 struct variable *vsize;
2246                 struct type *member;
2247         } array;
2248
2249 ###### value union fields
2250         void *array;  // used if not static_size
2251
2252 ###### value functions
2253
2254         static void array_prepare_type(struct parse_context *c, struct type *type,
2255                                        int parse_time)
2256         {
2257                 struct value *vsize;
2258                 mpz_t q;
2259                 if (type->array.static_size)
2260                         return;
2261                 if (type->array.unspec && parse_time)
2262                         return;
2263                 if (parse_time && type->array.vsize && !type->array.vsize->global)
2264                         return;
2265
2266                 if (type->array.vsize) {
2267                         vsize = var_value(c, type->array.vsize);
2268                         if (!vsize)
2269                                 return; // UNTESTED
2270                         mpz_init(q);
2271                         mpz_tdiv_q(q, mpq_numref(vsize->num), mpq_denref(vsize->num));
2272                         type->array.size = mpz_get_si(q);
2273                         mpz_clear(q);
2274                 }
2275
2276                 if (parse_time && type->array.member->size) {
2277                         type->array.static_size = 1;
2278                         type->size = type->array.size * type->array.member->size;
2279                         type->align = type->array.member->align;
2280                 }
2281         }
2282
2283         static void array_init(struct type *type, struct value *val)
2284         {
2285                 int i;
2286                 void *ptr = val->ptr;
2287
2288                 if (!val)
2289                         return;                         // NOTEST
2290                 if (!type->array.static_size) {
2291                         val->array = calloc(type->array.size,
2292                                             type->array.member->size);
2293                         ptr = val->array;
2294                 }
2295                 for (i = 0; i < type->array.size; i++) {
2296                         struct value *v;
2297                         v = (void*)ptr + i * type->array.member->size;
2298                         val_init(type->array.member, v);
2299                 }
2300         }
2301
2302         static void array_free(struct type *type, struct value *val)
2303         {
2304                 int i;
2305                 void *ptr = val->ptr;
2306
2307                 if (!type->array.static_size)
2308                         ptr = val->array;
2309                 for (i = 0; i < type->array.size; i++) {
2310                         struct value *v;
2311                         v = (void*)ptr + i * type->array.member->size;
2312                         free_value(type->array.member, v);
2313                 }
2314                 if (!type->array.static_size)
2315                         free(ptr);
2316         }
2317
2318         static int array_compat(struct type *require, struct type *have)
2319         {
2320                 if (have->compat != require->compat)
2321                         return 0;
2322                 /* Both are arrays, so we can look at details */
2323                 if (!type_compat(require->array.member, have->array.member, 0))
2324                         return 0;
2325                 if (have->array.unspec && require->array.unspec) {
2326                         if (have->array.vsize && require->array.vsize &&
2327                             have->array.vsize != require->array.vsize)  // UNTESTED
2328                                 /* sizes might not be the same */
2329                                 return 0;       // UNTESTED
2330                         return 1;
2331                 }
2332                 if (have->array.unspec || require->array.unspec)
2333                         return 1;       // UNTESTED
2334                 if (require->array.vsize == NULL && have->array.vsize == NULL)
2335                         return require->array.size == have->array.size;
2336
2337                 return require->array.vsize == have->array.vsize;       // UNTESTED
2338         }
2339
2340         static void array_print_type(struct type *type, FILE *f)
2341         {
2342                 fputs("[", f);
2343                 if (type->array.vsize) {
2344                         struct binding *b = type->array.vsize->name;
2345                         fprintf(f, "%.*s%s]", b->name.len, b->name.txt,
2346                                 type->array.unspec ? "::" : "");
2347                 } else if (type->array.size)
2348                         fprintf(f, "%d]", type->array.size);
2349                 else
2350                         fprintf(f, "]");
2351                 type_print(type->array.member, f);
2352         }
2353
2354         static struct type array_prototype = {
2355                 .init = array_init,
2356                 .prepare_type = array_prepare_type,
2357                 .print_type = array_print_type,
2358                 .compat = array_compat,
2359                 .free = array_free,
2360                 .size = sizeof(void*),
2361                 .align = sizeof(void*),
2362         };
2363
2364 ###### declare terminals
2365         $TERM [ ]
2366
2367 ###### type grammar
2368
2369         | [ NUMBER ] Type ${ {
2370                 char tail[3];
2371                 mpq_t num;
2372                 struct type *t;
2373                 int elements = 0;
2374
2375                 if (number_parse(num, tail, $2.txt) == 0)
2376                         tok_err(c, "error: unrecognised number", &$2);
2377                 else if (tail[0]) {
2378                         tok_err(c, "error: unsupported number suffix", &$2);
2379                         mpq_clear(num);
2380                 } else {
2381                         elements = mpz_get_ui(mpq_numref(num));
2382                         if (mpz_cmp_ui(mpq_denref(num), 1) != 0) {
2383                                 tok_err(c, "error: array size must be an integer",
2384                                         &$2);
2385                         } else if (mpz_cmp_ui(mpq_numref(num), 1UL << 30) >= 0)
2386                                 tok_err(c, "error: array size is too large",
2387                                         &$2);
2388                         mpq_clear(num);
2389                 }
2390
2391                 $0 = t = add_anon_type(c, &array_prototype, "array[%d]", elements );
2392                 t->array.size = elements;
2393                 t->array.member = $<4;
2394                 t->array.vsize = NULL;
2395         } }$
2396
2397         | [ IDENTIFIER ] Type ${ {
2398                 struct variable *v = var_ref(c, $2.txt);
2399
2400                 if (!v)
2401                         tok_err(c, "error: name undeclared", &$2);
2402                 else if (!v->constant)
2403                         tok_err(c, "error: array size must be a constant", &$2);
2404
2405                 $0 = add_anon_type(c, &array_prototype, "array[%.*s]", $2.txt.len, $2.txt.txt);
2406                 $0->array.member = $<4;
2407                 $0->array.size = 0;
2408                 $0->array.vsize = v;
2409         } }$
2410
2411 ###### Grammar
2412         $*type
2413         OptType -> Type ${ $0 = $<1; }$
2414                 | ${ $0 = NULL; }$
2415
2416 ###### formal type grammar
2417
2418         | [ IDENTIFIER :: OptType ] Type ${ {
2419                 struct variable *v = var_decl(c, $ID.txt);
2420
2421                 v->type = $<OT;
2422                 v->constant = 1;
2423                 if (!v->type)
2424                         v->type = Tnum;
2425                 $0 = add_anon_type(c, &array_prototype, "array[var]");
2426                 $0->array.member = $<6;
2427                 $0->array.size = 0;
2428                 $0->array.unspec = 1;
2429                 $0->array.vsize = v;
2430         } }$
2431
2432 ###### Binode types
2433         Index,
2434
2435 ###### term grammar
2436
2437         | Term [ Expression ] ${ {
2438                 struct binode *b = new(binode);
2439                 b->op = Index;
2440                 b->left = $<1;
2441                 b->right = $<3;
2442                 $0 = b;
2443         } }$
2444
2445 ###### print binode cases
2446         case Index:
2447                 print_exec(b->left, -1, bracket);
2448                 printf("[");
2449                 print_exec(b->right, -1, bracket);
2450                 printf("]");
2451                 break;
2452
2453 ###### propagate binode cases
2454         case Index:
2455                 /* left must be an array, right must be a number,
2456                  * result is the member type of the array
2457                  */
2458                 propagate_types(b->right, c, perr, Tnum, 0);
2459                 t = propagate_types(b->left, c, perr, NULL, rules & Rnoconstant);
2460                 if (!t || t->compat != array_compat) {
2461                         type_err(c, "error: %1 cannot be indexed", prog, t, 0, NULL);
2462                         return NULL;
2463                 } else {
2464                         if (!type_compat(type, t->array.member, rules)) {
2465                                 type_err(c, "error: have %1 but need %2", prog,
2466                                          t->array.member, rules, type);
2467                         }
2468                         return t->array.member;
2469                 }
2470                 break;
2471
2472 ###### interp binode cases
2473         case Index: {
2474                 mpz_t q;
2475                 long i;
2476                 void *ptr;
2477
2478                 lleft = linterp_exec(c, b->left, &ltype);
2479                 right = interp_exec(c, b->right, &rtype);
2480                 mpz_init(q);
2481                 mpz_tdiv_q(q, mpq_numref(right.num), mpq_denref(right.num));
2482                 i = mpz_get_si(q);
2483                 mpz_clear(q);
2484
2485                 if (ltype->array.static_size)
2486                         ptr = lleft;
2487                 else
2488                         ptr = *(void**)lleft;
2489                 rvtype = ltype->array.member;
2490                 if (i >= 0 && i < ltype->array.size)
2491                         lrv = ptr + i * rvtype->size;
2492                 else
2493                         val_init(ltype->array.member, &rv); // UNSAFE
2494                 ltype = NULL;
2495                 break;
2496         }
2497
2498 #### Structs
2499
2500 A `struct` is a data-type that contains one or more other data-types.
2501 It differs from an array in that each member can be of a different
2502 type, and they are accessed by name rather than by number.  Thus you
2503 cannot choose an element by calculation, you need to know what you
2504 want up-front.
2505
2506 The language makes no promises about how a given structure will be
2507 stored in memory - it is free to rearrange fields to suit whatever
2508 criteria seems important.
2509
2510 Structs are declared separately from program code - they cannot be
2511 declared in-line in a variable declaration like arrays can.  A struct
2512 is given a name and this name is used to identify the type - the name
2513 is not prefixed by the word `struct` as it would be in C.
2514
2515 Structs are only treated as the same if they have the same name.
2516 Simply having the same fields in the same order is not enough.  This
2517 might change once we can create structure initializers from a list of
2518 values.
2519
2520 Each component datum is identified much like a variable is declared,
2521 with a name, one or two colons, and a type.  The type cannot be omitted
2522 as there is no opportunity to deduce the type from usage.  An initial
2523 value can be given following an equals sign, so
2524
2525 ##### Example: a struct type
2526
2527         struct complex:
2528                 x:number = 0
2529                 y:number = 0
2530
2531 would declare a type called "complex" which has two number fields,
2532 each initialised to zero.
2533
2534 Struct will need to be declared separately from the code that uses
2535 them, so we will need to be able to print out the declaration of a
2536 struct when reprinting the whole program.  So a `print_type_decl` type
2537 function will be needed.
2538
2539 ###### type union fields
2540
2541         struct {
2542                 int nfields;
2543                 struct field {
2544                         struct text name;
2545                         struct type *type;
2546                         struct value *init;
2547                         int offset;
2548                 } *fields; // This is created when field_list is analysed.
2549                 struct fieldlist {
2550                         struct fieldlist *prev;
2551                         struct field f;
2552                         struct exec *init;
2553                 } *field_list; // This is created during parsing
2554         } structure;
2555
2556 ###### type functions
2557         void (*print_type_decl)(struct type *type, FILE *f);
2558
2559 ###### value functions
2560
2561         static void structure_init(struct type *type, struct value *val)
2562         {
2563                 int i;
2564
2565                 for (i = 0; i < type->structure.nfields; i++) {
2566                         struct value *v;
2567                         v = (void*) val->ptr + type->structure.fields[i].offset;
2568                         if (type->structure.fields[i].init)
2569                                 dup_value(type->structure.fields[i].type,
2570                                           type->structure.fields[i].init,
2571                                           v);
2572                         else
2573                                 val_init(type->structure.fields[i].type, v);
2574                 }
2575         }
2576
2577         static void structure_free(struct type *type, struct value *val)
2578         {
2579                 int i;
2580
2581                 for (i = 0; i < type->structure.nfields; i++) {
2582                         struct value *v;
2583                         v = (void*)val->ptr + type->structure.fields[i].offset;
2584                         free_value(type->structure.fields[i].type, v);
2585                 }
2586         }
2587
2588         static void free_fieldlist(struct fieldlist *f)
2589         {
2590                 if (!f)
2591                         return;
2592                 free_fieldlist(f->prev);
2593                 free_exec(f->init);
2594                 free(f);
2595         }
2596
2597         static void structure_free_type(struct type *t)
2598         {
2599                 int i;
2600                 for (i = 0; i < t->structure.nfields; i++)
2601                         if (t->structure.fields[i].init) {
2602                                 free_value(t->structure.fields[i].type,
2603                                            t->structure.fields[i].init);
2604                         }
2605                 free(t->structure.fields);
2606                 free_fieldlist(t->structure.field_list);
2607         }
2608
2609         static void structure_prepare_type(struct parse_context *c,
2610                                            struct type *t, int parse_time)
2611         {
2612                 int cnt = 0;
2613                 struct fieldlist *f;
2614
2615                 if (!parse_time || t->structure.fields)
2616                         return;
2617
2618                 for (f = t->structure.field_list; f; f=f->prev) {
2619                         enum prop_err perr;
2620                         cnt += 1;
2621
2622                         if (f->f.type->prepare_type)
2623                                 f->f.type->prepare_type(c, f->f.type, 1);
2624                         if (f->init == NULL)
2625                                 continue;
2626                         do {
2627                                 perr = 0;
2628                                 propagate_types(f->init, c, &perr, f->f.type, 0);
2629                         } while (perr & Eretry);
2630                         if (perr & Efail)
2631                                 c->parse_error += 1;    // NOTEST
2632                 }
2633
2634                 t->structure.nfields = cnt;
2635                 t->structure.fields = calloc(cnt, sizeof(struct field));
2636                 f = t->structure.field_list;
2637                 while (cnt > 0) {
2638                         int a = f->f.type->align;
2639                         cnt -= 1;
2640                         t->structure.fields[cnt] = f->f;
2641                         if (t->size & (a-1))
2642                                 t->size = (t->size | (a-1)) + 1;
2643                         t->structure.fields[cnt].offset = t->size;
2644                         t->size += ((f->f.type->size - 1) | (a-1)) + 1;
2645                         if (a > t->align)
2646                                 t->align = a;
2647
2648                         if (f->init && !c->parse_error) {
2649                                 struct value vl = interp_exec(c, f->init, NULL);
2650                                 t->structure.fields[cnt].init =
2651                                         global_alloc(c, f->f.type, NULL, &vl);
2652                         }
2653
2654                         f = f->prev;
2655                 }
2656         }
2657
2658         static struct type structure_prototype = {
2659                 .init = structure_init,
2660                 .free = structure_free,
2661                 .free_type = structure_free_type,
2662                 .print_type_decl = structure_print_type,
2663                 .prepare_type = structure_prepare_type,
2664         };
2665
2666 ###### exec type
2667         Xfieldref,
2668
2669 ###### ast
2670         struct fieldref {
2671                 struct exec;
2672                 struct exec *left;
2673                 int index;
2674                 struct text name;
2675         };
2676
2677 ###### free exec cases
2678         case Xfieldref:
2679                 free_exec(cast(fieldref, e)->left);
2680                 free(e);
2681                 break;
2682
2683 ###### declare terminals
2684         $TERM struct .
2685
2686 ###### term grammar
2687
2688         | Term . IDENTIFIER ${ {
2689                 struct fieldref *fr = new_pos(fieldref, $2);
2690                 fr->left = $<1;
2691                 fr->name = $3.txt;
2692                 fr->index = -2;
2693                 $0 = fr;
2694         } }$
2695
2696 ###### print exec cases
2697
2698         case Xfieldref:
2699         {
2700                 struct fieldref *f = cast(fieldref, e);
2701                 print_exec(f->left, -1, bracket);
2702                 printf(".%.*s", f->name.len, f->name.txt);
2703                 break;
2704         }
2705
2706 ###### ast functions
2707         static int find_struct_index(struct type *type, struct text field)
2708         {
2709                 int i;
2710                 for (i = 0; i < type->structure.nfields; i++)
2711                         if (text_cmp(type->structure.fields[i].name, field) == 0)
2712                                 return i;
2713                 return -1;
2714         }
2715
2716 ###### propagate exec cases
2717
2718         case Xfieldref:
2719         {
2720                 struct fieldref *f = cast(fieldref, prog);
2721                 struct type *st = propagate_types(f->left, c, perr, NULL, 0);
2722
2723                 if (!st)
2724                         type_err(c, "error: unknown type for field access", f->left,    // UNTESTED
2725                                  NULL, 0, NULL);
2726                 else if (st->init != structure_init)
2727                         type_err(c, "error: field reference attempted on %1, not a struct",
2728                                  f->left, st, 0, NULL);
2729                 else if (f->index == -2) {
2730                         f->index = find_struct_index(st, f->name);
2731                         if (f->index < 0)
2732                                 type_err(c, "error: cannot find requested field in %1",
2733                                          f->left, st, 0, NULL);
2734                 }
2735                 if (f->index >= 0) {
2736                         struct type *ft = st->structure.fields[f->index].type;
2737                         if (!type_compat(type, ft, rules))
2738                                 type_err(c, "error: have %1 but need %2", prog,
2739                                          ft, rules, type);
2740                         return ft;
2741                 }
2742                 break;
2743         }
2744
2745 ###### interp exec cases
2746         case Xfieldref:
2747         {
2748                 struct fieldref *f = cast(fieldref, e);
2749                 struct type *ltype;
2750                 struct value *lleft = linterp_exec(c, f->left, &ltype);
2751                 lrv = (void*)lleft->ptr + ltype->structure.fields[f->index].offset;
2752                 rvtype = ltype->structure.fields[f->index].type;
2753                 break;
2754         }
2755
2756 ###### top level grammar
2757         DeclareStruct -> struct IDENTIFIER FieldBlock Newlines ${ {
2758                 struct type *t =
2759                         add_type(c, $2.txt, &structure_prototype);
2760                 t->structure.field_list = $<FB;
2761         } }$
2762
2763         $*fieldlist
2764         FieldBlock -> { IN OptNL FieldLines OUT OptNL } ${ $0 = $<FL; }$
2765         | { SimpleFieldList } ${ $0 = $<SFL; }$
2766         | IN OptNL FieldLines OUT ${ $0 = $<FL; }$
2767         | SimpleFieldList EOL ${ $0 = $<SFL; }$
2768
2769         FieldLines -> SimpleFieldList Newlines ${ $0 = $<SFL; }$
2770         | FieldLines SimpleFieldList Newlines ${
2771                 $SFL->prev = $<FL;
2772                 $0 = $<SFL;
2773         }$
2774
2775         SimpleFieldList -> Field ${ $0 = $<F; }$
2776         | SimpleFieldList ; Field ${
2777                 $F->prev = $<SFL;
2778                 $0 = $<F;
2779         }$
2780         | SimpleFieldList ; ${
2781                 $0 = $<SFL;
2782         }$
2783         | ERROR ${ tok_err(c, "Syntax error in struct field", &$1); }$
2784
2785         Field -> IDENTIFIER : Type = Expression ${ {
2786                 $0 = calloc(1, sizeof(struct fieldlist));
2787                 $0->f.name = $ID.txt;
2788                 $0->f.type = $<Type;
2789                 $0->f.init = NULL;
2790                 $0->init = $<Expr;
2791         } }$
2792         | IDENTIFIER : Type ${
2793                 $0 = calloc(1, sizeof(struct fieldlist));
2794                 $0->f.name = $ID.txt;
2795                 $0->f.type = $<Type;
2796         }$
2797
2798 ###### forward decls
2799         static void structure_print_type(struct type *t, FILE *f);
2800
2801 ###### value functions
2802         static void structure_print_type(struct type *t, FILE *f)
2803         {
2804                 int i;
2805
2806                 fprintf(f, "struct %.*s\n", t->name.len, t->name.txt);
2807
2808                 for (i = 0; i < t->structure.nfields; i++) {
2809                         struct field *fl = t->structure.fields + i;
2810                         fprintf(f, "    %.*s : ", fl->name.len, fl->name.txt);
2811                         type_print(fl->type, f);
2812                         if (fl->type->print && fl->init) {
2813                                 fprintf(f, " = ");
2814                                 if (fl->type == Tstr)
2815                                         fprintf(f, "\"");       // UNTESTED
2816                                 print_value(fl->type, fl->init, f);
2817                                 if (fl->type == Tstr)
2818                                         fprintf(f, "\"");       // UNTESTED
2819                         }
2820                         fprintf(f, "\n");
2821                 }
2822         }
2823
2824 ###### print type decls
2825         {
2826                 struct type *t;
2827                 int target = -1;
2828
2829                 while (target != 0) {
2830                         int i = 0;
2831                         for (t = context.typelist; t ; t=t->next)
2832                                 if (!t->anon && t->print_type_decl &&
2833                                     !t->check_args) {
2834                                         i += 1;
2835                                         if (i == target)
2836                                                 break;
2837                                 }
2838
2839                         if (target == -1) {
2840                                 target = i;
2841                         } else {
2842                                 t->print_type_decl(t, stdout);
2843                                 target -= 1;
2844                         }
2845                 }
2846         }
2847
2848 #### Functions
2849
2850 A function is a chunk of code which can be passed parameters and can
2851 return results.  Each function has a type which includes the set of
2852 parameters and the return value.  As yet these types cannot be declared
2853 separately from the function itself.
2854
2855 The parameters can be specified either in parentheses as a ';' separated
2856 list, such as
2857
2858 ##### Example: function 1
2859
2860         func main(av:[ac::number]string; env:[envc::number]string)
2861                 code block
2862
2863 or as an indented list of one parameter per line (though each line can
2864 be a ';' separated list)
2865
2866 ##### Example: function 2
2867
2868         func main
2869                 argv:[argc::number]string
2870                 env:[envc::number]string
2871         do
2872                 code block
2873
2874 In the first case a return type can follow the parentheses after a colon,
2875 in the second it is given on a line starting with the word `return`.
2876
2877 ##### Example: functions that return
2878
2879         func add(a:number; b:number): number
2880                 code block
2881
2882         func catenate
2883                 a: string
2884                 b: string
2885         return string
2886         do
2887                 code block
2888
2889 Rather than returning a type, the function can specify a set of local
2890 variables to return as a struct.  The values of these variables when the
2891 function exits will be provided to the caller.  For this the return type
2892 is replaced with a block of result declarations, either in parentheses
2893 or bracketed by `return` and `do`.
2894
2895 ##### Example: functions returning multiple variables
2896
2897         func to_cartesian(rho:number; theta:number):(x:number; y:number)
2898                 x = .....
2899                 y = .....
2900
2901         func to_polar
2902                 x:number; y:number
2903         return
2904                 rho:number
2905                 theta:number
2906         do
2907                 rho = ....
2908                 theta = ....
2909
2910 For constructing the lists we use a `List` binode, which will be
2911 further detailed when Expression Lists are introduced.
2912
2913 ###### type union fields
2914
2915         struct {
2916                 struct binode *params;
2917                 struct type *return_type;
2918                 struct variable *scope;
2919                 int inline_result;      // return value is at start of 'local'
2920                 int local_size;
2921         } function;
2922
2923 ###### value union fields
2924         struct exec *function;
2925
2926 ###### type functions
2927         void (*check_args)(struct parse_context *c, enum prop_err *perr,
2928                            struct type *require, struct exec *args);
2929
2930 ###### value functions
2931
2932         static void function_free(struct type *type, struct value *val)
2933         {
2934                 free_exec(val->function);
2935                 val->function = NULL;
2936         }
2937
2938         static int function_compat(struct type *require, struct type *have)
2939         {
2940                 // FIXME can I do anything here yet?
2941                 return 0;
2942         }
2943
2944         static void function_check_args(struct parse_context *c, enum prop_err *perr,
2945                                         struct type *require, struct exec *args)
2946         {
2947                 /* This should be 'compat', but we don't have a 'tuple' type to
2948                  * hold the type of 'args'
2949                  */
2950                 struct binode *arg = cast(binode, args);
2951                 struct binode *param = require->function.params;
2952
2953                 while (param) {
2954                         struct var *pv = cast(var, param->left);
2955                         if (!arg) {
2956                                 type_err(c, "error: insufficient arguments to function.",
2957                                          args, NULL, 0, NULL);
2958                                 break;
2959                         }
2960                         *perr = 0;
2961                         propagate_types(arg->left, c, perr, pv->var->type, 0);
2962                         param = cast(binode, param->right);
2963                         arg = cast(binode, arg->right);
2964                 }
2965                 if (arg)
2966                         type_err(c, "error: too many arguments to function.",
2967                                  args, NULL, 0, NULL);
2968         }
2969
2970         static void function_print(struct type *type, struct value *val, FILE *f)
2971         {
2972                 print_exec(val->function, 1, 0);
2973         }
2974
2975         static void function_print_type_decl(struct type *type, FILE *f)
2976         {
2977                 struct binode *b;
2978                 fprintf(f, "(");
2979                 for (b = type->function.params; b; b = cast(binode, b->right)) {
2980                         struct variable *v = cast(var, b->left)->var;
2981                         fprintf(f, "%.*s%s", v->name->name.len, v->name->name.txt,
2982                                 v->constant ? "::" : ":");
2983                         type_print(v->type, f);
2984                         if (b->right)
2985                                 fprintf(f, "; ");
2986                 }
2987                 fprintf(f, ")");
2988                 if (type->function.return_type != Tnone) {
2989                         fprintf(f, ":");
2990                         if (type->function.inline_result) {
2991                                 int i;
2992                                 struct type *t = type->function.return_type;
2993                                 fprintf(f, " (");
2994                                 for (i = 0; i < t->structure.nfields; i++) {
2995                                         struct field *fl = t->structure.fields + i;
2996                                         if (i)
2997                                                 fprintf(f, "; ");
2998                                         fprintf(f, "%.*s:", fl->name.len, fl->name.txt);
2999                                         type_print(fl->type, f);
3000                                 }
3001                                 fprintf(f, ")");
3002                         } else
3003                                 type_print(type->function.return_type, f);
3004                 }
3005                 fprintf(f, "\n");
3006         }
3007
3008         static void function_free_type(struct type *t)
3009         {
3010                 free_exec(t->function.params);
3011         }
3012
3013         static struct type function_prototype = {
3014                 .size = sizeof(void*),
3015                 .align = sizeof(void*),
3016                 .free = function_free,
3017                 .compat = function_compat,
3018                 .check_args = function_check_args,
3019                 .print = function_print,
3020                 .print_type_decl = function_print_type_decl,
3021                 .free_type = function_free_type,
3022         };
3023
3024 ###### declare terminals
3025
3026         $TERM func
3027
3028 ###### Binode types
3029         List,
3030
3031 ###### Grammar
3032
3033         $*variable
3034         FuncName -> IDENTIFIER ${ {
3035                 struct variable *v = var_decl(c, $1.txt);
3036                 struct var *e = new_pos(var, $1);
3037                 e->var = v;
3038                 if (v) {
3039                         v->where_decl = e;
3040                         $0 = v;
3041                 } else {
3042                         v = var_ref(c, $1.txt);
3043                         e->var = v;
3044                         type_err(c, "error: function '%v' redeclared",
3045                                 e, NULL, 0, NULL);
3046                         type_err(c, "info: this is where '%v' was first declared",
3047                                 v->where_decl, NULL, 0, NULL);
3048                         free_exec(e);
3049                 }
3050         } }$
3051
3052         $*binode
3053         Args -> ArgsLine NEWLINE ${ $0 = $<AL; }$
3054         | Args ArgsLine NEWLINE ${ {
3055                 struct binode *b = $<AL;
3056                 struct binode **bp = &b;
3057                 while (*bp)
3058                         bp = (struct binode **)&(*bp)->left;
3059                 *bp = $<A;
3060                 $0 = b;
3061         } }$
3062
3063         ArgsLine -> ${ $0 = NULL; }$
3064         | Varlist ${ $0 = $<1; }$
3065         | Varlist ; ${ $0 = $<1; }$
3066
3067         Varlist -> Varlist ; ArgDecl ${
3068                 $0 = new(binode);
3069                 $0->op = List;
3070                 $0->left = $<Vl;
3071                 $0->right = $<AD;
3072         }$
3073         | ArgDecl ${
3074                 $0 = new(binode);
3075                 $0->op = List;
3076                 $0->left = NULL;
3077                 $0->right = $<AD;
3078         }$
3079
3080         $*var
3081         ArgDecl -> IDENTIFIER : FormalType ${ {
3082                 struct variable *v = var_decl(c, $1.txt);
3083                 $0 = new(var);
3084                 $0->var = v;
3085                 v->type = $<FT;
3086         } }$
3087
3088 ##### Function calls
3089
3090 A function call can appear either as an expression or as a statement.
3091 We use a new 'Funcall' binode type to link the function with a list of
3092 arguments, form with the 'List' nodes.
3093
3094 We have already seen the "Term" which is how a function call can appear
3095 in an expression.  To parse a function call into a statement we include
3096 it in the "SimpleStatement Grammar" which will be described later.
3097
3098 ###### Binode types
3099         Funcall,
3100
3101 ###### term grammar
3102         | Term ( ExpressionList ) ${ {
3103                 struct binode *b = new(binode);
3104                 b->op = Funcall;
3105                 b->left = $<T;
3106                 b->right = reorder_bilist($<EL);
3107                 $0 = b;
3108         } }$
3109         | Term ( ) ${ {
3110                 struct binode *b = new(binode);
3111                 b->op = Funcall;
3112                 b->left = $<T;
3113                 b->right = NULL;
3114                 $0 = b;
3115         } }$
3116
3117 ###### SimpleStatement Grammar
3118
3119         | Term ( ExpressionList ) ${ {
3120                 struct binode *b = new(binode);
3121                 b->op = Funcall;
3122                 b->left = $<T;
3123                 b->right = reorder_bilist($<EL);
3124                 $0 = b;
3125         } }$
3126
3127 ###### print binode cases
3128
3129         case Funcall:
3130                 do_indent(indent, "");
3131                 print_exec(b->left, -1, bracket);
3132                 printf("(");
3133                 for (b = cast(binode, b->right); b; b = cast(binode, b->right)) {
3134                         if (b->left) {
3135                                 printf(" ");
3136                                 print_exec(b->left, -1, bracket);
3137                                 if (b->right)
3138                                         printf(",");
3139                         }
3140                 }
3141                 printf(")");
3142                 if (indent >= 0)
3143                         printf("\n");
3144                 break;
3145
3146 ###### propagate binode cases
3147
3148         case Funcall: {
3149                 /* Every arg must match formal parameter, and result
3150                  * is return type of function
3151                  */
3152                 struct binode *args = cast(binode, b->right);
3153                 struct var *v = cast(var, b->left);
3154
3155                 if (!v->var->type || v->var->type->check_args == NULL) {
3156                         type_err(c, "error: attempt to call a non-function.",
3157                                  prog, NULL, 0, NULL);
3158                         return NULL;
3159                 }
3160                 *perr |= Enoconst;
3161                 v->var->type->check_args(c, perr, v->var->type, args);
3162                 return v->var->type->function.return_type;
3163         }
3164
3165 ###### interp binode cases
3166
3167         case Funcall: {
3168                 struct var *v = cast(var, b->left);
3169                 struct type *t = v->var->type;
3170                 void *oldlocal = c->local;
3171                 int old_size = c->local_size;
3172                 void *local = calloc(1, t->function.local_size);
3173                 struct value *fbody = var_value(c, v->var);
3174                 struct binode *arg = cast(binode, b->right);
3175                 struct binode *param = t->function.params;
3176
3177                 while (param) {
3178                         struct var *pv = cast(var, param->left);
3179                         struct type *vtype = NULL;
3180                         struct value val = interp_exec(c, arg->left, &vtype);
3181                         struct value *lval;
3182                         c->local = local; c->local_size = t->function.local_size;
3183                         lval = var_value(c, pv->var);
3184                         c->local = oldlocal; c->local_size = old_size;
3185                         memcpy(lval, &val, vtype->size);
3186                         param = cast(binode, param->right);
3187                         arg = cast(binode, arg->right);
3188                 }
3189                 c->local = local; c->local_size = t->function.local_size;
3190                 if (t->function.inline_result && dtype) {
3191                         _interp_exec(c, fbody->function, NULL, NULL);
3192                         memcpy(dest, local, dtype->size);
3193                         rvtype = ret.type = NULL;
3194                 } else
3195                         rv = interp_exec(c, fbody->function, &rvtype);
3196                 c->local = oldlocal; c->local_size = old_size;
3197                 free(local);
3198                 break;
3199         }
3200
3201 ## Complex executables: statements and expressions
3202
3203 Now that we have types and values and variables and most of the basic
3204 Terms which provide access to these, we can explore the more complex
3205 code that combine all of these to get useful work done.  Specifically
3206 statements and expressions.
3207
3208 Expressions are various combinations of Terms.  We will use operator
3209 precedence to ensure correct parsing.  The simplest Expression is just a
3210 Term - others will follow.
3211
3212 ###### Grammar
3213
3214         $*exec
3215         Expression -> Term ${ $0 = $<Term; }$
3216         ## expression grammar
3217
3218 ### Expressions: Conditional
3219
3220 Our first user of the `binode` will be conditional expressions, which
3221 is a bit odd as they actually have three components.  That will be
3222 handled by having 2 binodes for each expression.  The conditional
3223 expression is the lowest precedence operator which is why we define it
3224 first - to start the precedence list.
3225
3226 Conditional expressions are of the form "value `if` condition `else`
3227 other_value".  They associate to the right, so everything to the right
3228 of `else` is part of an else value, while only a higher-precedence to
3229 the left of `if` is the if values.  Between `if` and `else` there is no
3230 room for ambiguity, so a full conditional expression is allowed in
3231 there.
3232
3233 ###### Binode types
3234         CondExpr,
3235
3236 ###### declare terminals
3237
3238         $LEFT if $$ifelse
3239
3240 ###### expression grammar
3241
3242         | Expression if Expression else Expression $$ifelse ${ {
3243                 struct binode *b1 = new(binode);
3244                 struct binode *b2 = new(binode);
3245                 b1->op = CondExpr;
3246                 b1->left = $<3;
3247                 b1->right = b2;
3248                 b2->op = CondExpr;
3249                 b2->left = $<1;
3250                 b2->right = $<5;
3251                 $0 = b1;
3252         } }$
3253
3254 ###### print binode cases
3255
3256         case CondExpr:
3257                 b2 = cast(binode, b->right);
3258                 if (bracket) printf("(");
3259                 print_exec(b2->left, -1, bracket);
3260                 printf(" if ");
3261                 print_exec(b->left, -1, bracket);
3262                 printf(" else ");
3263                 print_exec(b2->right, -1, bracket);
3264                 if (bracket) printf(")");
3265                 break;
3266
3267 ###### propagate binode cases
3268
3269         case CondExpr: {
3270                 /* cond must be Tbool, others must match */
3271                 struct binode *b2 = cast(binode, b->right);
3272                 struct type *t2;
3273
3274                 propagate_types(b->left, c, perr, Tbool, 0);
3275                 t = propagate_types(b2->left, c, perr, type, Rnolabel);
3276                 t2 = propagate_types(b2->right, c, perr, type ?: t, Rnolabel);
3277                 return t ?: t2;
3278         }
3279
3280 ###### interp binode cases
3281
3282         case CondExpr: {
3283                 struct binode *b2 = cast(binode, b->right);
3284                 left = interp_exec(c, b->left, &ltype);
3285                 if (left.bool)
3286                         rv = interp_exec(c, b2->left, &rvtype); // UNTESTED
3287                 else
3288                         rv = interp_exec(c, b2->right, &rvtype);
3289                 }
3290                 break;
3291
3292 ### Expression list
3293
3294 We take a brief detour, now that we have expressions, to describe lists
3295 of expressions.  These will be needed for function parameters and
3296 possibly other situations.  They seem generic enough to introduce here
3297 to be used elsewhere.
3298
3299 And ExpressionList will use the `List` type of `binode`, building up at
3300 the end.  And place where they are used will probably call
3301 `reorder_bilist()` to get a more normal first/next arrangement.
3302
3303 ###### declare terminals
3304         $TERM ,
3305
3306 `List` execs have no implicit semantics, so they are never propagated or
3307 interpreted.  The can be printed as a comma separate list, which is how
3308 they are parsed.  Note they are also used for function formal parameter
3309 lists.  In that case a separate function is used to print them.
3310
3311 ###### print binode cases
3312         case List:
3313                 while (b) {
3314                         printf(" ");
3315                         print_exec(b->left, -1, bracket);
3316                         if (b->right)
3317                                 printf(",");
3318                         b = cast(binode, b->right);
3319                 }
3320                 break;
3321
3322 ###### propagate binode cases
3323         case List: abort(); // NOTEST
3324 ###### interp binode cases
3325         case List: abort(); // NOTEST
3326
3327 ###### Grammar
3328
3329         $*binode
3330         ExpressionList -> ExpressionList , Expression ${
3331                 $0 = new(binode);
3332                 $0->op = List;
3333                 $0->left = $<1;
3334                 $0->right = $<3;
3335         }$
3336         | Expression ${
3337                 $0 = new(binode);
3338                 $0->op = List;
3339                 $0->left = NULL;
3340                 $0->right = $<1;
3341         }$
3342
3343 ### Expressions: Boolean
3344
3345 The next class of expressions to use the `binode` will be Boolean
3346 expressions.  "`and then`" and "`or else`" are similar to `and` and `or`
3347 have same corresponding precendence.  The difference is that they don't
3348 evaluate the second expression if not necessary.
3349
3350 ###### Binode types
3351         And,
3352         AndThen,
3353         Or,
3354         OrElse,
3355         Not,
3356
3357 ###### declare terminals
3358         $LEFT or
3359         $LEFT and
3360         $LEFT not
3361
3362 ###### expression grammar
3363         | Expression or Expression ${ {
3364                 struct binode *b = new(binode);
3365                 b->op = Or;
3366                 b->left = $<1;
3367                 b->right = $<3;
3368                 $0 = b;
3369         } }$
3370         | Expression or else Expression ${ {
3371                 struct binode *b = new(binode);
3372                 b->op = OrElse;
3373                 b->left = $<1;
3374                 b->right = $<4;
3375                 $0 = b;
3376         } }$
3377
3378         | Expression and Expression ${ {
3379                 struct binode *b = new(binode);
3380                 b->op = And;
3381                 b->left = $<1;
3382                 b->right = $<3;
3383                 $0 = b;
3384         } }$
3385         | Expression and then Expression ${ {
3386                 struct binode *b = new(binode);
3387                 b->op = AndThen;
3388                 b->left = $<1;
3389                 b->right = $<4;
3390                 $0 = b;
3391         } }$
3392
3393         | not Expression ${ {
3394                 struct binode *b = new(binode);
3395                 b->op = Not;
3396                 b->right = $<2;
3397                 $0 = b;
3398         } }$
3399
3400 ###### print binode cases
3401         case And:
3402                 if (bracket) printf("(");
3403                 print_exec(b->left, -1, bracket);
3404                 printf(" and ");
3405                 print_exec(b->right, -1, bracket);
3406                 if (bracket) printf(")");
3407                 break;
3408         case AndThen:
3409                 if (bracket) printf("(");
3410                 print_exec(b->left, -1, bracket);
3411                 printf(" and then ");
3412                 print_exec(b->right, -1, bracket);
3413                 if (bracket) printf(")");
3414                 break;
3415         case Or:
3416                 if (bracket) printf("(");
3417                 print_exec(b->left, -1, bracket);
3418                 printf(" or ");
3419                 print_exec(b->right, -1, bracket);
3420                 if (bracket) printf(")");
3421                 break;
3422         case OrElse:
3423                 if (bracket) printf("(");
3424                 print_exec(b->left, -1, bracket);
3425                 printf(" or else ");
3426                 print_exec(b->right, -1, bracket);
3427                 if (bracket) printf(")");
3428                 break;
3429         case Not:
3430                 if (bracket) printf("(");
3431                 printf("not ");
3432                 print_exec(b->right, -1, bracket);
3433                 if (bracket) printf(")");
3434                 break;
3435
3436 ###### propagate binode cases
3437         case And:
3438         case AndThen:
3439         case Or:
3440         case OrElse:
3441         case Not:
3442                 /* both must be Tbool, result is Tbool */
3443                 propagate_types(b->left, c, perr, Tbool, 0);
3444                 propagate_types(b->right, c, perr, Tbool, 0);
3445                 if (type && type != Tbool)
3446                         type_err(c, "error: %1 operation found where %2 expected", prog,
3447                                    Tbool, 0, type);
3448                 return Tbool;
3449
3450 ###### interp binode cases
3451         case And:
3452                 rv = interp_exec(c, b->left, &rvtype);
3453                 right = interp_exec(c, b->right, &rtype);
3454                 rv.bool = rv.bool && right.bool;
3455                 break;
3456         case AndThen:
3457                 rv = interp_exec(c, b->left, &rvtype);
3458                 if (rv.bool)
3459                         rv = interp_exec(c, b->right, NULL);
3460                 break;
3461         case Or:
3462                 rv = interp_exec(c, b->left, &rvtype);
3463                 right = interp_exec(c, b->right, &rtype);
3464                 rv.bool = rv.bool || right.bool;
3465                 break;
3466         case OrElse:
3467                 rv = interp_exec(c, b->left, &rvtype);
3468                 if (!rv.bool)
3469                         rv = interp_exec(c, b->right, NULL);
3470                 break;
3471         case Not:
3472                 rv = interp_exec(c, b->right, &rvtype);
3473                 rv.bool = !rv.bool;
3474                 break;
3475
3476 ### Expressions: Comparison
3477
3478 Of slightly higher precedence that Boolean expressions are Comparisons.
3479 A comparison takes arguments of any comparable type, but the two types
3480 must be the same.
3481
3482 To simplify the parsing we introduce an `eop` which can record an
3483 expression operator, and the `CMPop` non-terminal will match one of them.
3484
3485 ###### ast
3486         struct eop {
3487                 enum Btype op;
3488         };
3489
3490 ###### ast functions
3491         static void free_eop(struct eop *e)
3492         {
3493                 if (e)
3494                         free(e);
3495         }
3496
3497 ###### Binode types
3498         Less,
3499         Gtr,
3500         LessEq,
3501         GtrEq,
3502         Eql,
3503         NEql,
3504
3505 ###### declare terminals
3506         $LEFT < > <= >= == != CMPop
3507
3508 ###### expression grammar
3509         | Expression CMPop Expression ${ {
3510                 struct binode *b = new(binode);
3511                 b->op = $2.op;
3512                 b->left = $<1;
3513                 b->right = $<3;
3514                 $0 = b;
3515         } }$
3516
3517 ###### Grammar
3518
3519         $eop
3520         CMPop ->  < ${ $0.op = Less; }$
3521         |         > ${ $0.op = Gtr; }$
3522         |         <= ${ $0.op = LessEq; }$
3523         |         >= ${ $0.op = GtrEq; }$
3524         |         == ${ $0.op = Eql; }$
3525         |         != ${ $0.op = NEql; }$
3526
3527 ###### print binode cases
3528
3529         case Less:
3530         case LessEq:
3531         case Gtr:
3532         case GtrEq:
3533         case Eql:
3534         case NEql:
3535                 if (bracket) printf("(");
3536                 print_exec(b->left, -1, bracket);
3537                 switch(b->op) {
3538                 case Less:   printf(" < "); break;
3539                 case LessEq: printf(" <= "); break;
3540                 case Gtr:    printf(" > "); break;
3541                 case GtrEq:  printf(" >= "); break;
3542                 case Eql:    printf(" == "); break;
3543                 case NEql:   printf(" != "); break;
3544                 default: abort();               // NOTEST
3545                 }
3546                 print_exec(b->right, -1, bracket);
3547                 if (bracket) printf(")");
3548                 break;
3549
3550 ###### propagate binode cases
3551         case Less:
3552         case LessEq:
3553         case Gtr:
3554         case GtrEq:
3555         case Eql:
3556         case NEql:
3557                 /* Both must match but not be labels, result is Tbool */
3558                 t = propagate_types(b->left, c, perr, NULL, Rnolabel);
3559                 if (t)
3560                         propagate_types(b->right, c, perr, t, 0);
3561                 else {
3562                         t = propagate_types(b->right, c, perr, NULL, Rnolabel); // UNTESTED
3563                         if (t)  // UNTESTED
3564                                 t = propagate_types(b->left, c, perr, t, 0);    // UNTESTED
3565                 }
3566                 if (!type_compat(type, Tbool, 0))
3567                         type_err(c, "error: Comparison returns %1 but %2 expected", prog,
3568                                     Tbool, rules, type);
3569                 return Tbool;
3570
3571 ###### interp binode cases
3572         case Less:
3573         case LessEq:
3574         case Gtr:
3575         case GtrEq:
3576         case Eql:
3577         case NEql:
3578         {
3579                 int cmp;
3580                 left = interp_exec(c, b->left, &ltype);
3581                 right = interp_exec(c, b->right, &rtype);
3582                 cmp = value_cmp(ltype, rtype, &left, &right);
3583                 rvtype = Tbool;
3584                 switch (b->op) {
3585                 case Less:      rv.bool = cmp <  0; break;
3586                 case LessEq:    rv.bool = cmp <= 0; break;
3587                 case Gtr:       rv.bool = cmp >  0; break;
3588                 case GtrEq:     rv.bool = cmp >= 0; break;
3589                 case Eql:       rv.bool = cmp == 0; break;
3590                 case NEql:      rv.bool = cmp != 0; break;
3591                 default:        rv.bool = 0; break;     // NOTEST
3592                 }
3593                 break;
3594         }
3595
3596 ### Expressions: Arithmetic etc.
3597
3598 The remaining expressions with the highest precedence are arithmetic,
3599 string concatenation, and string conversion.  String concatenation
3600 (`++`) has the same precedence as multiplication and division, but lower
3601 than the uniary.
3602
3603 String conversion is a temporary feature until I get a better type
3604 system.  `$` is a prefix operator which expects a string and returns
3605 a number.
3606
3607 `+` and `-` are both infix and prefix operations (where they are
3608 absolute value and negation).  These have different operator names.
3609
3610 We also have a 'Bracket' operator which records where parentheses were
3611 found.  This makes it easy to reproduce these when printing.  Possibly I
3612 should only insert brackets were needed for precedence.  Putting
3613 parentheses around an expression converts it into a Term,
3614
3615 ###### Binode types
3616         Plus, Minus,
3617         Times, Divide, Rem,
3618         Concat,
3619         Absolute, Negate,
3620         StringConv,
3621         Bracket,
3622
3623 ###### declare terminals
3624         $LEFT + - Eop
3625         $LEFT * / % ++ Top
3626         $LEFT Uop $
3627         $TERM ( )
3628
3629 ###### expression grammar
3630         | Expression Eop Expression ${ {
3631                 struct binode *b = new(binode);
3632                 b->op = $2.op;
3633                 b->left = $<1;
3634                 b->right = $<3;
3635                 $0 = b;
3636         } }$
3637
3638         | Expression Top Expression ${ {
3639                 struct binode *b = new(binode);
3640                 b->op = $2.op;
3641                 b->left = $<1;
3642                 b->right = $<3;
3643                 $0 = b;
3644         } }$
3645
3646         | Uop Expression ${ {
3647                 struct binode *b = new(binode);
3648                 b->op = $1.op;
3649                 b->right = $<2;
3650                 $0 = b;
3651         } }$
3652
3653 ###### term grammar
3654
3655         | ( Expression ) ${ {
3656                 struct binode *b = new_pos(binode, $1);
3657                 b->op = Bracket;
3658                 b->right = $<2;
3659                 $0 = b;
3660         } }$
3661
3662 ###### Grammar
3663
3664         $eop
3665         Eop ->   + ${ $0.op = Plus; }$
3666         |        - ${ $0.op = Minus; }$
3667
3668         Uop ->   + ${ $0.op = Absolute; }$
3669         |        - ${ $0.op = Negate; }$
3670         |        $ ${ $0.op = StringConv; }$
3671
3672         Top ->   * ${ $0.op = Times; }$
3673         |        / ${ $0.op = Divide; }$
3674         |        % ${ $0.op = Rem; }$
3675         |        ++ ${ $0.op = Concat; }$
3676
3677 ###### print binode cases
3678         case Plus:
3679         case Minus:
3680         case Times:
3681         case Divide:
3682         case Concat:
3683         case Rem:
3684                 if (bracket) printf("(");
3685                 print_exec(b->left, indent, bracket);
3686                 switch(b->op) {
3687                 case Plus:   fputs(" + ", stdout); break;
3688                 case Minus:  fputs(" - ", stdout); break;
3689                 case Times:  fputs(" * ", stdout); break;
3690                 case Divide: fputs(" / ", stdout); break;
3691                 case Rem:    fputs(" % ", stdout); break;
3692                 case Concat: fputs(" ++ ", stdout); break;
3693                 default: abort();       // NOTEST
3694                 }                       // NOTEST
3695                 print_exec(b->right, indent, bracket);
3696                 if (bracket) printf(")");
3697                 break;
3698         case Absolute:
3699         case Negate:
3700         case StringConv:
3701                 if (bracket) printf("(");
3702                 switch (b->op) {
3703                 case Absolute:   fputs("+", stdout); break;
3704                 case Negate:     fputs("-", stdout); break;
3705                 case StringConv: fputs("$", stdout); break;
3706                 default: abort();       // NOTEST
3707                 }                       // NOTEST
3708                 print_exec(b->right, indent, bracket);
3709                 if (bracket) printf(")");
3710                 break;
3711         case Bracket:
3712                 printf("(");
3713                 print_exec(b->right, indent, bracket);
3714                 printf(")");
3715                 break;
3716
3717 ###### propagate binode cases
3718         case Plus:
3719         case Minus:
3720         case Times:
3721         case Rem:
3722         case Divide:
3723                 /* both must be numbers, result is Tnum */
3724         case Absolute:
3725         case Negate:
3726                 /* as propagate_types ignores a NULL,
3727                  * unary ops fit here too */
3728                 propagate_types(b->left, c, perr, Tnum, 0);
3729                 propagate_types(b->right, c, perr, Tnum, 0);
3730                 if (!type_compat(type, Tnum, 0))
3731                         type_err(c, "error: Arithmetic returns %1 but %2 expected", prog,
3732                                    Tnum, rules, type);
3733                 return Tnum;
3734
3735         case Concat:
3736                 /* both must be Tstr, result is Tstr */
3737                 propagate_types(b->left, c, perr, Tstr, 0);
3738                 propagate_types(b->right, c, perr, Tstr, 0);
3739                 if (!type_compat(type, Tstr, 0))
3740                         type_err(c, "error: Concat returns %1 but %2 expected", prog,
3741                                    Tstr, rules, type);
3742                 return Tstr;
3743
3744         case StringConv:
3745                 /* op must be string, result is number */
3746                 propagate_types(b->left, c, perr, Tstr, 0);
3747                 if (!type_compat(type, Tnum, 0))
3748                         type_err(c,     // UNTESTED
3749                           "error: Can only convert string to number, not %1",
3750                                 prog, type, 0, NULL);
3751                 return Tnum;
3752
3753         case Bracket:
3754                 return propagate_types(b->right, c, perr, type, 0);
3755
3756 ###### interp binode cases
3757
3758         case Plus:
3759                 rv = interp_exec(c, b->left, &rvtype);
3760                 right = interp_exec(c, b->right, &rtype);
3761                 mpq_add(rv.num, rv.num, right.num);
3762                 break;
3763         case Minus:
3764                 rv = interp_exec(c, b->left, &rvtype);
3765                 right = interp_exec(c, b->right, &rtype);
3766                 mpq_sub(rv.num, rv.num, right.num);
3767                 break;
3768         case Times:
3769                 rv = interp_exec(c, b->left, &rvtype);
3770                 right = interp_exec(c, b->right, &rtype);
3771                 mpq_mul(rv.num, rv.num, right.num);
3772                 break;
3773         case Divide:
3774                 rv = interp_exec(c, b->left, &rvtype);
3775                 right = interp_exec(c, b->right, &rtype);
3776                 mpq_div(rv.num, rv.num, right.num);
3777                 break;
3778         case Rem: {
3779                 mpz_t l, r, rem;
3780
3781                 left = interp_exec(c, b->left, &ltype);
3782                 right = interp_exec(c, b->right, &rtype);
3783                 mpz_init(l); mpz_init(r); mpz_init(rem);
3784                 mpz_tdiv_q(l, mpq_numref(left.num), mpq_denref(left.num));
3785                 mpz_tdiv_q(r, mpq_numref(right.num), mpq_denref(right.num));
3786                 mpz_tdiv_r(rem, l, r);
3787                 val_init(Tnum, &rv);
3788                 mpq_set_z(rv.num, rem);
3789                 mpz_clear(r); mpz_clear(l); mpz_clear(rem);
3790                 rvtype = ltype;
3791                 break;
3792         }
3793         case Negate:
3794                 rv = interp_exec(c, b->right, &rvtype);
3795                 mpq_neg(rv.num, rv.num);
3796                 break;
3797         case Absolute:
3798                 rv = interp_exec(c, b->right, &rvtype);
3799                 mpq_abs(rv.num, rv.num);
3800                 break;
3801         case Bracket:
3802                 rv = interp_exec(c, b->right, &rvtype);
3803                 break;
3804         case Concat:
3805                 left = interp_exec(c, b->left, &ltype);
3806                 right = interp_exec(c, b->right, &rtype);
3807                 rvtype = Tstr;
3808                 rv.str = text_join(left.str, right.str);
3809                 break;
3810         case StringConv:
3811                 right = interp_exec(c, b->right, &rvtype);
3812                 rtype = Tstr;
3813                 rvtype = Tnum;
3814
3815                 struct text tx = right.str;
3816                 char tail[3];
3817                 int neg = 0;
3818                 if (tx.txt[0] == '-') {
3819                         neg = 1;        // UNTESTED
3820                         tx.txt++;       // UNTESTED
3821                         tx.len--;       // UNTESTED
3822                 }
3823                 if (number_parse(rv.num, tail, tx) == 0)
3824                         mpq_init(rv.num);       // UNTESTED
3825                 else if (neg)
3826                         mpq_neg(rv.num, rv.num);        // UNTESTED
3827                 if (tail[0])
3828                         printf("Unsupported suffix: %.*s\n", tx.len, tx.txt);   // UNTESTED
3829
3830                 break;
3831
3832 ###### value functions
3833
3834         static struct text text_join(struct text a, struct text b)
3835         {
3836                 struct text rv;
3837                 rv.len = a.len + b.len;
3838                 rv.txt = malloc(rv.len);
3839                 memcpy(rv.txt, a.txt, a.len);
3840                 memcpy(rv.txt+a.len, b.txt, b.len);
3841                 return rv;
3842         }
3843
3844 ### Blocks, Statements, and Statement lists.
3845
3846 Now that we have expressions out of the way we need to turn to
3847 statements.  There are simple statements and more complex statements.
3848 Simple statements do not contain (syntactic) newlines, complex statements do.
3849
3850 Statements often come in sequences and we have corresponding simple
3851 statement lists and complex statement lists.
3852 The former comprise only simple statements separated by semicolons.
3853 The later comprise complex statements and simple statement lists.  They are
3854 separated by newlines.  Thus the semicolon is only used to separate
3855 simple statements on the one line.  This may be overly restrictive,
3856 but I'm not sure I ever want a complex statement to share a line with
3857 anything else.
3858
3859 Note that a simple statement list can still use multiple lines if
3860 subsequent lines are indented, so
3861
3862 ###### Example: wrapped simple statement list
3863
3864         a = b; c = d;
3865            e = f; print g
3866
3867 is a single simple statement list.  This might allow room for
3868 confusion, so I'm not set on it yet.
3869
3870 A simple statement list needs no extra syntax.  A complex statement
3871 list has two syntactic forms.  It can be enclosed in braces (much like
3872 C blocks), or it can be introduced by an indent and continue until an
3873 unindented newline (much like Python blocks).  With this extra syntax
3874 it is referred to as a block.
3875
3876 Note that a block does not have to include any newlines if it only
3877 contains simple statements.  So both of:
3878
3879         if condition: a=b; d=f
3880
3881         if condition { a=b; print f }
3882
3883 are valid.
3884
3885 In either case the list is constructed from a `binode` list with
3886 `Block` as the operator.  When parsing the list it is most convenient
3887 to append to the end, so a list is a list and a statement.  When using
3888 the list it is more convenient to consider a list to be a statement
3889 and a list.  So we need a function to re-order a list.
3890 `reorder_bilist` serves this purpose.
3891
3892 The only stand-alone statement we introduce at this stage is `pass`
3893 which does nothing and is represented as a `NULL` pointer in a `Block`
3894 list.  Other stand-alone statements will follow once the infrastructure
3895 is in-place.
3896
3897 As many statements will use binodes, we declare a binode pointer 'b' in
3898 the common header for all reductions to use.
3899
3900 ###### Parser: reduce
3901         struct binode *b;
3902
3903 ###### Binode types
3904         Block,
3905
3906 ###### Grammar
3907
3908         $TERM { } ;
3909
3910         $*binode
3911         Block -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3912         |        { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3913         |        SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3914         |        SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3915         |        IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
3916
3917         OpenBlock -> OpenScope { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3918         |        OpenScope { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3919         |        OpenScope SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3920         |        OpenScope SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3921         |        IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
3922
3923         UseBlock -> { OpenScope IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3924         |        { OpenScope SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3925         |        IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
3926
3927         ColonBlock -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3928         |        { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3929         |        : SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3930         |        : SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3931         |        : IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
3932
3933         Statementlist -> ComplexStatements ${ $0 = reorder_bilist($<CS); }$
3934
3935         ComplexStatements -> ComplexStatements ComplexStatement ${
3936                 if ($2 == NULL) {
3937                         $0 = $<1;
3938                 } else {
3939                         $0 = new(binode);
3940                         $0->op = Block;
3941                         $0->left = $<1;
3942                         $0->right = $<2;
3943                 }
3944         }$
3945         | ComplexStatement ${
3946                 if ($1 == NULL) {
3947                         $0 = NULL;
3948                 } else {
3949                         $0 = new(binode);
3950                         $0->op = Block;
3951                         $0->left = NULL;
3952                         $0->right = $<1;
3953                 }
3954         }$
3955
3956         $*exec
3957         ComplexStatement -> SimpleStatements Newlines ${
3958                 $0 = reorder_bilist($<SS);
3959         }$
3960         |  SimpleStatements ; Newlines ${
3961                 $0 = reorder_bilist($<SS);
3962         }$
3963         ## ComplexStatement Grammar
3964
3965         $*binode
3966         SimpleStatements -> SimpleStatements ; SimpleStatement ${
3967                 $0 = new(binode);
3968                 $0->op = Block;
3969                 $0->left = $<1;
3970                 $0->right = $<3;
3971         }$
3972         | SimpleStatement ${
3973                 $0 = new(binode);
3974                 $0->op = Block;
3975                 $0->left = NULL;
3976                 $0->right = $<1;
3977         }$
3978
3979         $TERM pass
3980         $*exec
3981         SimpleStatement -> pass ${ $0 = NULL; }$
3982         | ERROR ${ tok_err(c, "Syntax error in statement", &$1); }$
3983         ## SimpleStatement Grammar
3984
3985 ###### print binode cases
3986         case Block:
3987                 if (indent < 0) {
3988                         // simple statement
3989                         if (b->left == NULL)    // UNTESTED
3990                                 printf("pass"); // UNTESTED
3991                         else
3992                                 print_exec(b->left, indent, bracket);   // UNTESTED
3993                         if (b->right) { // UNTESTED
3994                                 printf("; ");   // UNTESTED
3995                                 print_exec(b->right, indent, bracket);  // UNTESTED
3996                         }
3997                 } else {
3998                         // block, one per line
3999                         if (b->left == NULL)
4000                                 do_indent(indent, "pass\n");
4001                         else
4002                                 print_exec(b->left, indent, bracket);
4003                         if (b->right)
4004                                 print_exec(b->right, indent, bracket);
4005                 }
4006                 break;
4007
4008 ###### propagate binode cases
4009         case Block:
4010         {
4011                 /* If any statement returns something other than Tnone
4012                  * or Tbool then all such must return same type.
4013                  * As each statement may be Tnone or something else,
4014                  * we must always pass NULL (unknown) down, otherwise an incorrect
4015                  * error might occur.  We never return Tnone unless it is
4016                  * passed in.
4017                  */
4018                 struct binode *e;
4019
4020                 for (e = b; e; e = cast(binode, e->right)) {
4021                         t = propagate_types(e->left, c, perr, NULL, rules);
4022                         if ((rules & Rboolok) && (t == Tbool || t == Tnone))
4023                                 t = NULL;
4024                         if (t == Tnone && e->right)
4025                                 /* Only the final statement *must* return a value
4026                                  * when not Rboolok
4027                                  */
4028                                 t = NULL;
4029                         if (t) {
4030                                 if (!type)
4031                                         type = t;
4032                                 else if (t != type)
4033                                         type_err(c, "error: expected %1%r, found %2",
4034                                                  e->left, type, rules, t);
4035                         }
4036                 }
4037                 return type;
4038         }
4039
4040 ###### interp binode cases
4041         case Block:
4042                 while (rvtype == Tnone &&
4043                        b) {
4044                         if (b->left)
4045                                 rv = interp_exec(c, b->left, &rvtype);
4046                         b = cast(binode, b->right);
4047                 }
4048                 break;
4049
4050 ### The Print statement
4051
4052 `print` is a simple statement that takes a comma-separated list of
4053 expressions and prints the values separated by spaces and terminated
4054 by a newline.  No control of formatting is possible.
4055
4056 `print` uses `ExpressionList` to collect the expressions and stores them
4057 on the left side of a `Print` binode unlessthere is a trailing comma
4058 when the list is stored on the `right` side and no trailing newline is
4059 printed.
4060
4061 ###### Binode types
4062         Print,
4063
4064 ##### declare terminals
4065         $TERM print
4066
4067 ###### SimpleStatement Grammar
4068
4069         | print ExpressionList ${
4070                 $0 = b = new(binode);
4071                 b->op = Print;
4072                 b->right = NULL;
4073                 b->left = reorder_bilist($<EL);
4074         }$
4075         | print ExpressionList , ${ {
4076                 $0 = b = new(binode);
4077                 b->op = Print;
4078                 b->right = reorder_bilist($<EL);
4079                 b->left = NULL;
4080         } }$
4081         | print ${
4082                 $0 = b = new(binode);
4083                 b->op = Print;
4084                 b->left = NULL;
4085                 b->right = NULL;
4086         }$
4087
4088 ###### print binode cases
4089
4090         case Print:
4091                 do_indent(indent, "print");
4092                 if (b->right) {
4093                         print_exec(b->right, -1, bracket);
4094                         printf(",");
4095                 } else
4096                         print_exec(b->left, -1, bracket);
4097                 if (indent >= 0)
4098                         printf("\n");
4099                 break;
4100
4101 ###### propagate binode cases
4102
4103         case Print:
4104                 /* don't care but all must be consistent */
4105                 if (b->left)
4106                         b = cast(binode, b->left);
4107                 else
4108                         b = cast(binode, b->right);
4109                 while (b) {
4110                         propagate_types(b->left, c, perr, NULL, Rnolabel);
4111                         b = cast(binode, b->right);
4112                 }
4113                 break;
4114
4115 ###### interp binode cases
4116
4117         case Print:
4118         {
4119                 struct binode *b2 = cast(binode, b->left);
4120                 if (!b2)
4121                         b2 = cast(binode, b->right);
4122                 for (; b2; b2 = cast(binode, b2->right)) {
4123                         left = interp_exec(c, b2->left, &ltype);
4124                         print_value(ltype, &left, stdout);
4125                         free_value(ltype, &left);
4126                         if (b2->right)
4127                                 putchar(' ');
4128                 }
4129                 if (b->right == NULL)
4130                         printf("\n");
4131                 ltype = Tnone;
4132                 break;
4133         }
4134
4135 ###### Assignment statement
4136
4137 An assignment will assign a value to a variable, providing it hasn't
4138 been declared as a constant.  The analysis phase ensures that the type
4139 will be correct so the interpreter just needs to perform the
4140 calculation.  There is a form of assignment which declares a new
4141 variable as well as assigning a value.  If a name is assigned before
4142 it is declared, and error will be raised as the name is created as
4143 `Tlabel` and it is illegal to assign to such names.
4144
4145 ###### Binode types
4146         Assign,
4147         Declare,
4148
4149 ###### declare terminals
4150         $TERM =
4151
4152 ###### SimpleStatement Grammar
4153         | Term = Expression ${
4154                 $0 = b= new(binode);
4155                 b->op = Assign;
4156                 b->left = $<1;
4157                 b->right = $<3;
4158         }$
4159         | VariableDecl = Expression ${
4160                 $0 = b= new(binode);
4161                 b->op = Declare;
4162                 b->left = $<1;
4163                 b->right =$<3;
4164         }$
4165
4166         | VariableDecl ${
4167                 if ($1->var->where_set == NULL) {
4168                         type_err(c,
4169                                  "Variable declared with no type or value: %v",
4170                                  $1, NULL, 0, NULL);
4171                         free_var($1);
4172                 } else {
4173                         $0 = b = new(binode);
4174                         b->op = Declare;
4175                         b->left = $<1;
4176                         b->right = NULL;
4177                 }
4178         }$
4179
4180 ###### print binode cases
4181
4182         case Assign:
4183                 do_indent(indent, "");
4184                 print_exec(b->left, indent, bracket);
4185                 printf(" = ");
4186                 print_exec(b->right, indent, bracket);
4187                 if (indent >= 0)
4188                         printf("\n");
4189                 break;
4190
4191         case Declare:
4192                 {
4193                 struct variable *v = cast(var, b->left)->var;
4194                 do_indent(indent, "");
4195                 print_exec(b->left, indent, bracket);
4196                 if (cast(var, b->left)->var->constant) {
4197                         printf("::");
4198                         if (v->explicit_type) {
4199                                 type_print(v->type, stdout);
4200                                 printf(" ");
4201                         }
4202                 } else {
4203                         printf(":");
4204                         if (v->explicit_type) {
4205                                 type_print(v->type, stdout);
4206                                 printf(" ");
4207                         }
4208                 }
4209                 if (b->right) {
4210                         printf("= ");
4211                         print_exec(b->right, indent, bracket);
4212                 }
4213                 if (indent >= 0)
4214                         printf("\n");
4215                 }
4216                 break;
4217
4218 ###### propagate binode cases
4219
4220         case Assign:
4221         case Declare:
4222                 /* Both must match and not be labels,
4223                  * Type must support 'dup',
4224                  * For Assign, left must not be constant.
4225                  * result is Tnone
4226                  */
4227                 t = propagate_types(b->left, c, perr, NULL,
4228                                     Rnolabel | (b->op == Assign ? Rnoconstant : 0));
4229                 if (!b->right)
4230                         return Tnone;
4231
4232                 if (t) {
4233                         if (propagate_types(b->right, c, perr, t, 0) != t)
4234                                 if (b->left->type == Xvar)
4235                                         type_err(c, "info: variable '%v' was set as %1 here.",
4236                                                  cast(var, b->left)->var->where_set, t, rules, NULL);
4237                 } else {
4238                         t = propagate_types(b->right, c, perr, NULL, Rnolabel);
4239                         if (t)
4240                                 propagate_types(b->left, c, perr, t,
4241                                                 (b->op == Assign ? Rnoconstant : 0));
4242                 }
4243                 if (t && t->dup == NULL && t->name.txt[0] != ' ') // HACK
4244                         type_err(c, "error: cannot assign value of type %1", b, t, 0, NULL);
4245                 return Tnone;
4246
4247                 break;
4248
4249 ###### interp binode cases
4250
4251         case Assign:
4252                 lleft = linterp_exec(c, b->left, &ltype);
4253                 if (lleft)
4254                         dinterp_exec(c, b->right, lleft, ltype, 1);
4255                 ltype = Tnone;
4256                 break;
4257
4258         case Declare:
4259         {
4260                 struct variable *v = cast(var, b->left)->var;
4261                 struct value *val;
4262                 v = v->merged;
4263                 val = var_value(c, v);
4264                 if (v->type->prepare_type)
4265                         v->type->prepare_type(c, v->type, 0);
4266                 if (b->right)
4267                         dinterp_exec(c, b->right, val, v->type, 0);
4268                 else
4269                         val_init(v->type, val);
4270                 break;
4271         }
4272
4273 ### The `use` statement
4274
4275 The `use` statement is the last "simple" statement.  It is needed when a
4276 statement block can return a value.  This includes the body of a
4277 function which has a return type, and the "condition" code blocks in
4278 `if`, `while`, and `switch` statements.
4279
4280 ###### Binode types
4281         Use,
4282
4283 ###### declare terminals
4284         $TERM use
4285
4286 ###### SimpleStatement Grammar
4287         | use Expression ${
4288                 $0 = b = new_pos(binode, $1);
4289                 b->op = Use;
4290                 b->right = $<2;
4291                 if (b->right->type == Xvar) {
4292                         struct var *v = cast(var, b->right);
4293                         if (v->var->type == Tnone) {
4294                                 /* Convert this to a label */
4295                                 struct value *val;
4296
4297                                 v->var->type = Tlabel;
4298                                 val = global_alloc(c, Tlabel, v->var, NULL);
4299                                 val->label = val;
4300                         }
4301                 }
4302         }$
4303
4304 ###### print binode cases
4305
4306         case Use:
4307                 do_indent(indent, "use ");
4308                 print_exec(b->right, -1, bracket);
4309                 if (indent >= 0)
4310                         printf("\n");
4311                 break;
4312
4313 ###### propagate binode cases
4314
4315         case Use:
4316                 /* result matches value */
4317                 return propagate_types(b->right, c, perr, type, 0);
4318
4319 ###### interp binode cases
4320
4321         case Use:
4322                 rv = interp_exec(c, b->right, &rvtype);
4323                 break;
4324
4325 ### The Conditional Statement
4326
4327 This is the biggy and currently the only complex statement.  This
4328 subsumes `if`, `while`, `do/while`, `switch`, and some parts of `for`.
4329 It is comprised of a number of parts, all of which are optional though
4330 set combinations apply.  Each part is (usually) a key word (`then` is
4331 sometimes optional) followed by either an expression or a code block,
4332 except the `casepart` which is a "key word and an expression" followed
4333 by a code block.  The code-block option is valid for all parts and,
4334 where an expression is also allowed, the code block can use the `use`
4335 statement to report a value.  If the code block does not report a value
4336 the effect is similar to reporting `True`.
4337
4338 The `else` and `case` parts, as well as `then` when combined with
4339 `if`, can contain a `use` statement which will apply to some
4340 containing conditional statement. `for` parts, `do` parts and `then`
4341 parts used with `for` can never contain a `use`, except in some
4342 subordinate conditional statement.
4343
4344 If there is a `forpart`, it is executed first, only once.
4345 If there is a `dopart`, then it is executed repeatedly providing
4346 always that the `condpart` or `cond`, if present, does not return a non-True
4347 value.  `condpart` can fail to return any value if it simply executes
4348 to completion.  This is treated the same as returning `True`.
4349
4350 If there is a `thenpart` it will be executed whenever the `condpart`
4351 or `cond` returns True (or does not return any value), but this will happen
4352 *after* `dopart` (when present).
4353
4354 If `elsepart` is present it will be executed at most once when the
4355 condition returns `False` or some value that isn't `True` and isn't
4356 matched by any `casepart`.  If there are any `casepart`s, they will be
4357 executed when the condition returns a matching value.
4358
4359 The particular sorts of values allowed in case parts has not yet been
4360 determined in the language design, so nothing is prohibited.
4361
4362 The various blocks in this complex statement potentially provide scope
4363 for variables as described earlier.  Each such block must include the
4364 "OpenScope" nonterminal before parsing the block, and must call
4365 `var_block_close()` when closing the block.
4366
4367 The code following "`if`", "`switch`" and "`for`" does not get its own
4368 scope, but is in a scope covering the whole statement, so names
4369 declared there cannot be redeclared elsewhere.  Similarly the
4370 condition following "`while`" is in a scope the covers the body
4371 ("`do`" part) of the loop, and which does not allow conditional scope
4372 extension.  Code following "`then`" (both looping and non-looping),
4373 "`else`" and "`case`" each get their own local scope.
4374
4375 The type requirements on the code block in a `whilepart` are quite
4376 unusal.  It is allowed to return a value of some identifiable type, in
4377 which case the loop aborts and an appropriate `casepart` is run, or it
4378 can return a Boolean, in which case the loop either continues to the
4379 `dopart` (on `True`) or aborts and runs the `elsepart` (on `False`).
4380 This is different both from the `ifpart` code block which is expected to
4381 return a Boolean, or the `switchpart` code block which is expected to
4382 return the same type as the casepart values.  The correct analysis of
4383 the type of the `whilepart` code block is the reason for the
4384 `Rboolok` flag which is passed to `propagate_types()`.
4385
4386 The `cond_statement` cannot fit into a `binode` so a new `exec` is
4387 defined.  As there are two scopes which cover multiple parts - one for
4388 the whole statement and one for "while" and "do" - and as we will use
4389 the 'struct exec' to track scopes, we actually need two new types of
4390 exec.  One is a `binode` for the looping part, the rest is the
4391 `cond_statement`.  The `cond_statement` will use an auxilliary `struct
4392 casepart` to track a list of case parts.
4393
4394 ###### Binode types
4395         Loop
4396
4397 ###### exec type
4398         Xcond_statement,
4399
4400 ###### ast
4401         struct casepart {
4402                 struct exec *value;
4403                 struct exec *action;
4404                 struct casepart *next;
4405         };
4406         struct cond_statement {
4407                 struct exec;
4408                 struct exec *forpart, *condpart, *thenpart, *elsepart;
4409                 struct binode *looppart;
4410                 struct casepart *casepart;
4411         };
4412
4413 ###### ast functions
4414
4415         static void free_casepart(struct casepart *cp)
4416         {
4417                 while (cp) {
4418                         struct casepart *t;
4419                         free_exec(cp->value);
4420                         free_exec(cp->action);
4421                         t = cp->next;
4422                         free(cp);
4423                         cp = t;
4424                 }
4425         }
4426
4427         static void free_cond_statement(struct cond_statement *s)
4428         {
4429                 if (!s)
4430                         return;
4431                 free_exec(s->forpart);
4432                 free_exec(s->condpart);
4433                 free_exec(s->looppart);
4434                 free_exec(s->thenpart);
4435                 free_exec(s->elsepart);
4436                 free_casepart(s->casepart);
4437                 free(s);
4438         }
4439
4440 ###### free exec cases
4441         case Xcond_statement: free_cond_statement(cast(cond_statement, e)); break;
4442
4443 ###### ComplexStatement Grammar
4444         | CondStatement ${ $0 = $<1; }$
4445
4446 ###### declare terminals
4447         $TERM for then while do
4448         $TERM else
4449         $TERM switch case
4450
4451 ###### Grammar
4452
4453         $*cond_statement
4454         // A CondStatement must end with EOL, as does CondSuffix and
4455         // IfSuffix.
4456         // ForPart, ThenPart, SwitchPart, CasePart are non-empty and
4457         // may or may not end with EOL
4458         // WhilePart and IfPart include an appropriate Suffix
4459
4460         // ForPart, SwitchPart, and IfPart open scopes, o we have to close
4461         // them.  WhilePart opens and closes its own scope.
4462         CondStatement -> ForPart OptNL ThenPart OptNL WhilePart CondSuffix ${
4463                 $0 = $<CS;
4464                 $0->forpart = $<FP;
4465                 $0->thenpart = $<TP;
4466                 $0->looppart = $<WP;
4467                 var_block_close(c, CloseSequential, $0);
4468         }$
4469         | ForPart OptNL WhilePart CondSuffix ${
4470                 $0 = $<CS;
4471                 $0->forpart = $<FP;
4472                 $0->looppart = $<WP;
4473                 var_block_close(c, CloseSequential, $0);
4474         }$
4475         | WhilePart CondSuffix ${
4476                 $0 = $<CS;
4477                 $0->looppart = $<WP;
4478         }$
4479         | SwitchPart OptNL CasePart CondSuffix ${
4480                 $0 = $<CS;
4481                 $0->condpart = $<SP;
4482                 $CP->next = $0->casepart;
4483                 $0->casepart = $<CP;
4484                 var_block_close(c, CloseSequential, $0);
4485         }$
4486         | SwitchPart : IN OptNL CasePart CondSuffix OUT Newlines ${
4487                 $0 = $<CS;
4488                 $0->condpart = $<SP;
4489                 $CP->next = $0->casepart;
4490                 $0->casepart = $<CP;
4491                 var_block_close(c, CloseSequential, $0);
4492         }$
4493         | IfPart IfSuffix ${
4494                 $0 = $<IS;
4495                 $0->condpart = $IP.condpart; $IP.condpart = NULL;
4496                 $0->thenpart = $IP.thenpart; $IP.thenpart = NULL;
4497                 // This is where we close an "if" statement
4498                 var_block_close(c, CloseSequential, $0);
4499         }$
4500
4501         CondSuffix -> IfSuffix ${
4502                 $0 = $<1;
4503         }$
4504         | Newlines CasePart CondSuffix ${
4505                 $0 = $<CS;
4506                 $CP->next = $0->casepart;
4507                 $0->casepart = $<CP;
4508         }$
4509         | CasePart CondSuffix ${
4510                 $0 = $<CS;
4511                 $CP->next = $0->casepart;
4512                 $0->casepart = $<CP;
4513         }$
4514
4515         IfSuffix -> Newlines ${ $0 = new(cond_statement); }$
4516         | Newlines ElsePart ${ $0 = $<EP; }$
4517         | ElsePart ${$0 = $<EP; }$
4518
4519         ElsePart -> else OpenBlock Newlines ${
4520                 $0 = new(cond_statement);
4521                 $0->elsepart = $<OB;
4522                 var_block_close(c, CloseElse, $0->elsepart);
4523         }$
4524         | else OpenScope CondStatement ${
4525                 $0 = new(cond_statement);
4526                 $0->elsepart = $<CS;
4527                 var_block_close(c, CloseElse, $0->elsepart);
4528         }$
4529
4530         $*casepart
4531         CasePart -> case Expression OpenScope ColonBlock ${
4532                 $0 = calloc(1,sizeof(struct casepart));
4533                 $0->value = $<Ex;
4534                 $0->action = $<Bl;
4535                 var_block_close(c, CloseParallel, $0->action);
4536         }$
4537
4538         $*exec
4539         // These scopes are closed in CondStatement
4540         ForPart -> for OpenBlock ${
4541                 $0 = $<Bl;
4542         }$
4543
4544         ThenPart -> then OpenBlock ${
4545                 $0 = $<OB;
4546                 var_block_close(c, CloseSequential, $0);
4547         }$
4548
4549         $*binode
4550         // This scope is closed in CondStatement
4551         WhilePart -> while UseBlock OptNL do OpenBlock ${
4552                 $0 = new(binode);
4553                 $0->op = Loop;
4554                 $0->left = $<UB;
4555                 $0->right = $<OB;
4556                 var_block_close(c, CloseSequential, $0->right);
4557                 var_block_close(c, CloseSequential, $0);
4558         }$
4559         | while OpenScope Expression OpenScope ColonBlock ${
4560                 $0 = new(binode);
4561                 $0->op = Loop;
4562                 $0->left = $<Exp;
4563                 $0->right = $<CB;
4564                 var_block_close(c, CloseSequential, $0->right);
4565                 var_block_close(c, CloseSequential, $0);
4566         }$
4567
4568         $cond_statement
4569         IfPart -> if UseBlock OptNL then OpenBlock ${
4570                 $0.condpart = $<UB;
4571                 $0.thenpart = $<OB;
4572                 var_block_close(c, CloseParallel, $0.thenpart);
4573         }$
4574         | if OpenScope Expression OpenScope ColonBlock ${
4575                 $0.condpart = $<Ex;
4576                 $0.thenpart = $<CB;
4577                 var_block_close(c, CloseParallel, $0.thenpart);
4578         }$
4579         | if OpenScope Expression OpenScope OptNL then Block ${
4580                 $0.condpart = $<Ex;
4581                 $0.thenpart = $<Bl;
4582                 var_block_close(c, CloseParallel, $0.thenpart);
4583         }$
4584
4585         $*exec
4586         // This scope is closed in CondStatement
4587         SwitchPart -> switch OpenScope Expression ${
4588                 $0 = $<Ex;
4589         }$
4590         | switch UseBlock ${
4591                 $0 = $<Bl;
4592         }$
4593
4594 ###### print binode cases
4595         case Loop:
4596                 if (b->left && b->left->type == Xbinode &&
4597                     cast(binode, b->left)->op == Block) {
4598                         if (bracket)
4599                                 do_indent(indent, "while {\n");
4600                         else
4601                                 do_indent(indent, "while\n");
4602                         print_exec(b->left, indent+1, bracket);
4603                         if (bracket)
4604                                 do_indent(indent, "} do {\n");
4605                         else
4606                                 do_indent(indent, "do\n");
4607                         print_exec(b->right, indent+1, bracket);
4608                         if (bracket)
4609                                 do_indent(indent, "}\n");
4610                 } else {
4611                         do_indent(indent, "while ");
4612                         print_exec(b->left, 0, bracket);
4613                         if (bracket)
4614                                 printf(" {\n");
4615                         else
4616                                 printf(":\n");
4617                         print_exec(b->right, indent+1, bracket);
4618                         if (bracket)
4619                                 do_indent(indent, "}\n");
4620                 }
4621                 break;
4622
4623 ###### print exec cases
4624
4625         case Xcond_statement:
4626         {
4627                 struct cond_statement *cs = cast(cond_statement, e);
4628                 struct casepart *cp;
4629                 if (cs->forpart) {
4630                         do_indent(indent, "for");
4631                         if (bracket) printf(" {\n"); else printf("\n");
4632                         print_exec(cs->forpart, indent+1, bracket);
4633                         if (cs->thenpart) {
4634                                 if (bracket)
4635                                         do_indent(indent, "} then {\n");
4636                                 else
4637                                         do_indent(indent, "then\n");
4638                                 print_exec(cs->thenpart, indent+1, bracket);
4639                         }
4640                         if (bracket) do_indent(indent, "}\n");
4641                 }
4642                 if (cs->looppart) {
4643                         print_exec(cs->looppart, indent, bracket);
4644                 } else {
4645                         // a condition
4646                         if (cs->casepart)
4647                                 do_indent(indent, "switch");
4648                         else
4649                                 do_indent(indent, "if");
4650                         if (cs->condpart && cs->condpart->type == Xbinode &&
4651                             cast(binode, cs->condpart)->op == Block) {
4652                                 if (bracket)
4653                                         printf(" {\n");
4654                                 else
4655                                         printf("\n");
4656                                 print_exec(cs->condpart, indent+1, bracket);
4657                                 if (bracket)
4658                                         do_indent(indent, "}\n");
4659                                 if (cs->thenpart) {
4660                                         do_indent(indent, "then\n");
4661                                         print_exec(cs->thenpart, indent+1, bracket);
4662                                 }
4663                         } else {
4664                                 printf(" ");
4665                                 print_exec(cs->condpart, 0, bracket);
4666                                 if (cs->thenpart) {
4667                                         if (bracket)
4668                                                 printf(" {\n");
4669                                         else
4670                                                 printf(":\n");
4671                                         print_exec(cs->thenpart, indent+1, bracket);
4672                                         if (bracket)
4673                                                 do_indent(indent, "}\n");
4674                                 } else
4675                                         printf("\n");
4676                         }
4677                 }
4678                 for (cp = cs->casepart; cp; cp = cp->next) {
4679                         do_indent(indent, "case ");
4680                         print_exec(cp->value, -1, 0);
4681                         if (bracket)
4682                                 printf(" {\n");
4683                         else
4684                                 printf(":\n");
4685                         print_exec(cp->action, indent+1, bracket);
4686                         if (bracket)
4687                                 do_indent(indent, "}\n");
4688                 }
4689                 if (cs->elsepart) {
4690                         do_indent(indent, "else");
4691                         if (bracket)
4692                                 printf(" {\n");
4693                         else
4694                                 printf("\n");
4695                         print_exec(cs->elsepart, indent+1, bracket);
4696                         if (bracket)
4697                                 do_indent(indent, "}\n");
4698                 }
4699                 break;
4700         }
4701
4702 ###### propagate binode cases
4703         case Loop:
4704                 t = propagate_types(b->right, c, perr, Tnone, 0);
4705                 if (!type_compat(Tnone, t, 0))
4706                         *perr |= Efail; // UNTESTED
4707                 return propagate_types(b->left, c, perr, type, rules);
4708
4709 ###### propagate exec cases
4710         case Xcond_statement:
4711         {
4712                 // forpart and looppart->right must return Tnone
4713                 // thenpart must return Tnone if there is a loopart,
4714                 // otherwise it is like elsepart.
4715                 // condpart must:
4716                 //    be bool if there is no casepart
4717                 //    match casepart->values if there is a switchpart
4718                 //    either be bool or match casepart->value if there
4719                 //             is a whilepart
4720                 // elsepart and casepart->action must match the return type
4721                 //   expected of this statement.
4722                 struct cond_statement *cs = cast(cond_statement, prog);
4723                 struct casepart *cp;
4724
4725                 t = propagate_types(cs->forpart, c, perr, Tnone, 0);
4726                 if (!type_compat(Tnone, t, 0))
4727                         *perr |= Efail; // UNTESTED
4728
4729                 if (cs->looppart) {
4730                         t = propagate_types(cs->thenpart, c, perr, Tnone, 0);
4731                         if (!type_compat(Tnone, t, 0))
4732                                 *perr |= Efail; // UNTESTED
4733                 }
4734                 if (cs->casepart == NULL) {
4735                         propagate_types(cs->condpart, c, perr, Tbool, 0);
4736                         propagate_types(cs->looppart, c, perr, Tbool, 0);
4737                 } else {
4738                         /* Condpart must match case values, with bool permitted */
4739                         t = NULL;
4740                         for (cp = cs->casepart;
4741                              cp && !t; cp = cp->next)
4742                                 t = propagate_types(cp->value, c, perr, NULL, 0);
4743                         if (!t && cs->condpart)
4744                                 t = propagate_types(cs->condpart, c, perr, NULL, Rboolok);      // UNTESTED
4745                         if (!t && cs->looppart)
4746                                 t = propagate_types(cs->looppart, c, perr, NULL, Rboolok);      // UNTESTED
4747                         // Now we have a type (I hope) push it down
4748                         if (t) {
4749                                 for (cp = cs->casepart; cp; cp = cp->next)
4750                                         propagate_types(cp->value, c, perr, t, 0);
4751                                 propagate_types(cs->condpart, c, perr, t, Rboolok);
4752                                 propagate_types(cs->looppart, c, perr, t, Rboolok);
4753                         }
4754                 }
4755                 // (if)then, else, and case parts must return expected type.
4756                 if (!cs->looppart && !type)
4757                         type = propagate_types(cs->thenpart, c, perr, NULL, rules);
4758                 if (!type)
4759                         type = propagate_types(cs->elsepart, c, perr, NULL, rules);
4760                 for (cp = cs->casepart;
4761                      cp && !type;
4762                      cp = cp->next)     // UNTESTED
4763                         type = propagate_types(cp->action, c, perr, NULL, rules);       // UNTESTED
4764                 if (type) {
4765                         if (!cs->looppart)
4766                                 propagate_types(cs->thenpart, c, perr, type, rules);
4767                         propagate_types(cs->elsepart, c, perr, type, rules);
4768                         for (cp = cs->casepart; cp ; cp = cp->next)
4769                                 propagate_types(cp->action, c, perr, type, rules);
4770                         return type;
4771                 } else
4772                         return NULL;
4773         }
4774
4775 ###### interp binode cases
4776         case Loop:
4777                 // This just performs one iterration of the loop
4778                 rv = interp_exec(c, b->left, &rvtype);
4779                 if (rvtype == Tnone ||
4780                     (rvtype == Tbool && rv.bool != 0))
4781                         // rvtype is Tnone or Tbool, doesn't need to be freed
4782                         interp_exec(c, b->right, NULL);
4783                 break;
4784
4785 ###### interp exec cases
4786         case Xcond_statement:
4787         {
4788                 struct value v, cnd;
4789                 struct type *vtype, *cndtype;
4790                 struct casepart *cp;
4791                 struct cond_statement *cs = cast(cond_statement, e);
4792
4793                 if (cs->forpart)
4794                         interp_exec(c, cs->forpart, NULL);
4795                 if (cs->looppart) {
4796                         while ((cnd = interp_exec(c, cs->looppart, &cndtype)),
4797                                cndtype == Tnone || (cndtype == Tbool && cnd.bool != 0))
4798                                 interp_exec(c, cs->thenpart, NULL);
4799                 } else {
4800                         cnd = interp_exec(c, cs->condpart, &cndtype);
4801                         if ((cndtype == Tnone ||
4802                             (cndtype == Tbool && cnd.bool != 0))) {
4803                                 // cnd is Tnone or Tbool, doesn't need to be freed
4804                                 rv = interp_exec(c, cs->thenpart, &rvtype);
4805                                 // skip else (and cases)
4806                                 goto Xcond_done;
4807                         }
4808                 }
4809                 for (cp = cs->casepart; cp; cp = cp->next) {
4810                         v = interp_exec(c, cp->value, &vtype);
4811                         if (value_cmp(cndtype, vtype, &v, &cnd) == 0) {
4812                                 free_value(vtype, &v);
4813                                 free_value(cndtype, &cnd);
4814                                 rv = interp_exec(c, cp->action, &rvtype);
4815                                 goto Xcond_done;
4816                         }
4817                         free_value(vtype, &v);
4818                 }
4819                 free_value(cndtype, &cnd);
4820                 if (cs->elsepart)
4821                         rv = interp_exec(c, cs->elsepart, &rvtype);
4822                 else
4823                         rvtype = Tnone;
4824         Xcond_done:
4825                 break;
4826         }
4827
4828 ### Top level structure
4829
4830 All the language elements so far can be used in various places.  Now
4831 it is time to clarify what those places are.
4832
4833 At the top level of a file there will be a number of declarations.
4834 Many of the things that can be declared haven't been described yet,
4835 such as functions, procedures, imports, and probably more.
4836 For now there are two sorts of things that can appear at the top
4837 level.  They are predefined constants, `struct` types, and the `main`
4838 function.  While the syntax will allow the `main` function to appear
4839 multiple times, that will trigger an error if it is actually attempted.
4840
4841 The various declarations do not return anything.  They store the
4842 various declarations in the parse context.
4843
4844 ###### Parser: grammar
4845
4846         $void
4847         Ocean -> OptNL DeclarationList
4848
4849         ## declare terminals
4850
4851         OptNL ->
4852         | OptNL NEWLINE
4853
4854         Newlines -> NEWLINE
4855         | Newlines NEWLINE
4856
4857         DeclarationList -> Declaration
4858         | DeclarationList Declaration
4859
4860         Declaration -> ERROR Newlines ${
4861                 tok_err(c,      // UNTESTED
4862                         "error: unhandled parse error", &$1);
4863         }$
4864         | DeclareConstant
4865         | DeclareFunction
4866         | DeclareStruct
4867
4868         ## top level grammar
4869
4870         ## Grammar
4871
4872 ### The `const` section
4873
4874 As well as being defined in with the code that uses them, constants can
4875 be declared at the top level.  These have full-file scope, so they are
4876 always `InScope`, even before(!) they have been declared.  The value of
4877 a top level constant can be given as an expression, and this is
4878 evaluated after parsing and before execution.
4879
4880 A function call can be used to evaluate a constant, but it will not have
4881 access to any program state, once such statement becomes meaningful.
4882 e.g.  arguments and filesystem will not be visible.
4883
4884 Constants are defined in a section that starts with the reserved word
4885 `const` and then has a block with a list of assignment statements.
4886 For syntactic consistency, these must use the double-colon syntax to
4887 make it clear that they are constants.  Type can also be given: if
4888 not, the type will be determined during analysis, as with other
4889 constants.
4890
4891 ###### parse context
4892         struct binode *constlist;
4893
4894 ###### top level grammar
4895
4896         $TERM const
4897
4898         DeclareConstant -> const { IN OptNL ConstList OUT OptNL } Newlines
4899         | const { SimpleConstList } Newlines
4900         | const IN OptNL ConstList OUT Newlines
4901         | const SimpleConstList Newlines
4902
4903         ConstList -> ConstList SimpleConstLine
4904         | SimpleConstLine
4905
4906         SimpleConstList -> SimpleConstList ; Const
4907         | Const
4908         | SimpleConstList ;
4909
4910         SimpleConstLine -> SimpleConstList Newlines
4911         | ERROR Newlines ${ tok_err(c, "Syntax error in constant", &$1); }$
4912
4913         $*type
4914         CType -> Type   ${ $0 = $<1; }$
4915         |               ${ $0 = NULL; }$
4916
4917         $void
4918         Const -> IDENTIFIER :: CType = Expression ${ {
4919                 struct variable *v;
4920                 struct binode *bl, *bv;
4921                 struct var *var = new_pos(var, $ID);
4922
4923                 v = var_decl(c, $ID.txt);
4924                 if (v) {
4925                         v->where_decl = var;
4926                         v->where_set = var;
4927                         v->type = $<CT;
4928                         v->constant = 1;
4929                         v->global = 1;
4930                 } else {
4931                         v = var_ref(c, $1.txt);
4932                         if (v->type == Tnone) {
4933                                 v->where_decl = var;
4934                                 v->where_set = var;
4935                                 v->type = $<CT;
4936                                 v->constant = 1;
4937                                 v->global = 1;
4938                         } else {
4939                                 tok_err(c, "error: name already declared", &$1);
4940                                 type_err(c, "info: this is where '%v' was first declared",
4941                                          v->where_decl, NULL, 0, NULL);
4942                         }
4943                 }
4944                 var->var = v;
4945
4946                 bv = new(binode);
4947                 bv->op = Declare;
4948                 bv->left = var;
4949                 bv->right= $<Exp;
4950
4951                 bl = new(binode);
4952                 bl->op = List;
4953                 bl->left = c->constlist;
4954                 bl->right = bv;
4955                 c->constlist = bl;
4956         } }$
4957
4958 ###### core functions
4959         static void resolve_consts(struct parse_context *c)
4960         {
4961                 struct binode *b;
4962                 int retry = 1;
4963                 enum { none, some, cannot } progress = none;
4964
4965                 c->constlist = reorder_bilist(c->constlist);
4966                 while (retry) {
4967                         retry = 0;
4968                         for (b = cast(binode, c->constlist); b;
4969                              b = cast(binode, b->right)) {
4970                                 enum prop_err perr;
4971                                 struct binode *vb = cast(binode, b->left);
4972                                 struct var *v = cast(var, vb->left);
4973                                 if (v->var->frame_pos >= 0)
4974                                         continue;
4975                                 do {
4976                                         perr = 0;
4977                                         propagate_types(vb->right, c, &perr,
4978                                                         v->var->type, 0);
4979                                 } while (perr & Eretry);
4980                                 if (perr & Efail)
4981                                         c->parse_error += 1;
4982                                 else if (!(perr & Enoconst)) {
4983                                         progress = some;
4984                                         struct value res = interp_exec(
4985                                                 c, vb->right, &v->var->type);
4986                                         global_alloc(c, v->var->type, v->var, &res);
4987                                 } else {
4988                                         if (progress == cannot)
4989                                                 type_err(c, "error: const %v cannot be resolved.",
4990                                                          v, NULL, 0, NULL);
4991                                         else
4992                                                 retry = 1;
4993                                 }
4994                         }
4995                         switch (progress) {
4996                         case cannot:
4997                                 retry = 0; break;
4998                         case none:
4999                                 progress = cannot; break;
5000                         case some:
5001                                 progress = none; break;
5002                         }
5003                 }
5004         }
5005
5006 ###### print const decls
5007         {
5008                 struct binode *b;
5009                 int first = 1;
5010
5011                 for (b = cast(binode, context.constlist); b;
5012                      b = cast(binode, b->right)) {
5013                         struct binode *vb = cast(binode, b->left);
5014                         struct var *vr = cast(var, vb->left);
5015                         struct variable *v = vr->var;
5016
5017                         if (first)
5018                                 printf("const\n");
5019                         first = 0;
5020
5021                         printf("    %.*s :: ", v->name->name.len, v->name->name.txt);
5022                         type_print(v->type, stdout);
5023                         printf(" = ");
5024                         print_exec(vb->right, -1, 0);
5025                         printf("\n");
5026                 }
5027         }
5028
5029 ###### free const decls
5030         free_binode(context.constlist);
5031
5032 ### Function declarations
5033
5034 The code in an Ocean program is all stored in function declarations.
5035 One of the functions must be named `main` and it must accept an array of
5036 strings as a parameter - the command line arguments.
5037
5038 As this is the top level, several things are handled a bit differently.
5039 The function is not interpreted by `interp_exec` as that isn't passed
5040 the argument list which the program requires.  Similarly type analysis
5041 is a bit more interesting at this level.
5042
5043 ###### ast functions
5044
5045         static struct type *handle_results(struct parse_context *c,
5046                                            struct binode *results)
5047         {
5048                 /* Create a 'struct' type from the results list, which
5049                  * is a list for 'struct var'
5050                  */
5051                 struct type *t = add_anon_type(c, &structure_prototype,
5052                                                " function result");
5053                 int cnt = 0;
5054                 struct binode *b;
5055
5056                 for (b = results; b; b = cast(binode, b->right))
5057                         cnt += 1;
5058                 t->structure.nfields = cnt;
5059                 t->structure.fields = calloc(cnt, sizeof(struct field));
5060                 cnt = 0;
5061                 for (b = results; b; b = cast(binode, b->right)) {
5062                         struct var *v = cast(var, b->left);
5063                         struct field *f = &t->structure.fields[cnt++];
5064                         int a = v->var->type->align;
5065                         f->name = v->var->name->name;
5066                         f->type = v->var->type;
5067                         f->init = NULL;
5068                         f->offset = t->size;
5069                         v->var->frame_pos = f->offset;
5070                         t->size += ((f->type->size - 1) | (a-1)) + 1;
5071                         if (a > t->align)
5072                                 t->align = a;
5073                         variable_unlink_exec(v->var);
5074                 }
5075                 free_binode(results);
5076                 return t;
5077         }
5078
5079         static struct variable *declare_function(struct parse_context *c,
5080                                                 struct variable *name,
5081                                                 struct binode *args,
5082                                                 struct type *ret,
5083                                                 struct binode *results,
5084                                                 struct exec *code)
5085         {
5086                 if (name) {
5087                         struct value fn = {.function = code};
5088                         struct type *t;
5089                         var_block_close(c, CloseFunction, code);
5090                         t = add_anon_type(c, &function_prototype,
5091                                           "func %.*s", name->name->name.len,
5092                                           name->name->name.txt);
5093                         name->type = t;
5094                         t->function.params = reorder_bilist(args);
5095                         if (!ret) {
5096                                 ret = handle_results(c, reorder_bilist(results));
5097                                 t->function.inline_result = 1;
5098                                 t->function.local_size = ret->size;
5099                         }
5100                         t->function.return_type = ret;
5101                         global_alloc(c, t, name, &fn);
5102                         name->type->function.scope = c->out_scope;
5103                 } else {
5104                         free_binode(args);
5105                         free_type(ret);
5106                         free_exec(code);
5107                         var_block_close(c, CloseFunction, NULL);
5108                 }
5109                 c->out_scope = NULL;
5110                 return name;
5111         }
5112
5113 ###### declare terminals
5114         $TERM return
5115
5116 ###### top level grammar
5117
5118         $*variable
5119         DeclareFunction -> func FuncName ( OpenScope ArgsLine ) Block Newlines ${
5120                 $0 = declare_function(c, $<FN, $<Ar, Tnone, NULL, $<Bl);
5121         }$
5122         | func FuncName IN OpenScope Args OUT OptNL do Block Newlines ${
5123                 $0 = declare_function(c, $<FN, $<Ar, Tnone, NULL, $<Bl);
5124         }$
5125         | func FuncName NEWLINE OpenScope OptNL do Block Newlines ${
5126                 $0 = declare_function(c, $<FN, NULL, Tnone, NULL, $<Bl);
5127         }$
5128         | func FuncName ( OpenScope ArgsLine ) : Type Block Newlines ${
5129                 $0 = declare_function(c, $<FN, $<Ar, $<Ty, NULL, $<Bl);
5130         }$
5131         | func FuncName ( OpenScope ArgsLine ) : ( ArgsLine ) Block Newlines ${
5132                 $0 = declare_function(c, $<FN, $<AL, NULL, $<AL2, $<Bl);
5133         }$
5134         | func FuncName IN OpenScope Args OUT OptNL return Type Newlines do Block Newlines ${
5135                 $0 = declare_function(c, $<FN, $<Ar, $<Ty, NULL, $<Bl);
5136         }$
5137         | func FuncName NEWLINE OpenScope return Type Newlines do Block Newlines ${
5138                 $0 = declare_function(c, $<FN, NULL, $<Ty, NULL, $<Bl);
5139         }$
5140         | func FuncName IN OpenScope Args OUT OptNL return IN Args OUT OptNL do Block Newlines ${
5141                 $0 = declare_function(c, $<FN, $<Ar, NULL, $<Ar2, $<Bl);
5142         }$
5143         | func FuncName NEWLINE OpenScope return IN Args OUT OptNL do Block Newlines ${
5144                 $0 = declare_function(c, $<FN, NULL, NULL, $<Ar, $<Bl);
5145         }$
5146
5147 ###### print func decls
5148         {
5149                 struct variable *v;
5150                 int target = -1;
5151
5152                 while (target != 0) {
5153                         int i = 0;
5154                         for (v = context.in_scope; v; v=v->in_scope)
5155                                 if (v->depth == 0 && v->type && v->type->check_args) {
5156                                         i += 1;
5157                                         if (i == target)
5158                                                 break;
5159                                 }
5160
5161                         if (target == -1) {
5162                                 target = i;
5163                         } else {
5164                                 struct value *val = var_value(&context, v);
5165                                 printf("func %.*s", v->name->name.len, v->name->name.txt);
5166                                 v->type->print_type_decl(v->type, stdout);
5167                                 if (brackets)
5168                                         print_exec(val->function, 0, brackets);
5169                                 else
5170                                         print_value(v->type, val, stdout);
5171                                 printf("/* frame size %d */\n", v->type->function.local_size);
5172                                 target -= 1;
5173                         }
5174                 }
5175         }
5176
5177 ###### core functions
5178
5179         static int analyse_funcs(struct parse_context *c)
5180         {
5181                 struct variable *v;
5182                 int all_ok = 1;
5183                 for (v = c->in_scope; v; v = v->in_scope) {
5184                         struct value *val;
5185                         struct type *ret;
5186                         enum prop_err perr;
5187                         if (v->depth != 0 || !v->type || !v->type->check_args)
5188                                 continue;
5189                         ret = v->type->function.inline_result ?
5190                                 Tnone : v->type->function.return_type;
5191                         val = var_value(c, v);
5192                         do {
5193                                 perr = 0;
5194                                 propagate_types(val->function, c, &perr, ret, 0);
5195                         } while (!(perr & Efail) && (perr & Eretry));
5196                         if (!(perr & Efail))
5197                                 /* Make sure everything is still consistent */
5198                                 propagate_types(val->function, c, &perr, ret, 0);
5199                         if (perr & Efail)
5200                                 all_ok = 0;
5201                         if (!v->type->function.inline_result &&
5202                             !v->type->function.return_type->dup) {
5203                                 type_err(c, "error: function cannot return value of type %1",
5204                                          v->where_decl, v->type->function.return_type, 0, NULL);
5205                         }
5206
5207                         scope_finalize(c, v->type);
5208                 }
5209                 return all_ok;
5210         }
5211
5212         static int analyse_main(struct type *type, struct parse_context *c)
5213         {
5214                 struct binode *bp = type->function.params;
5215                 struct binode *b;
5216                 enum prop_err perr;
5217                 int arg = 0;
5218                 struct type *argv_type;
5219
5220                 argv_type = add_anon_type(c, &array_prototype, "argv");
5221                 argv_type->array.member = Tstr;
5222                 argv_type->array.unspec = 1;
5223
5224                 for (b = bp; b; b = cast(binode, b->right)) {
5225                         perr = 0;
5226                         switch (arg++) {
5227                         case 0: /* argv */
5228                                 propagate_types(b->left, c, &perr, argv_type, 0);
5229                                 break;
5230                         default: /* invalid */  // NOTEST
5231                                 propagate_types(b->left, c, &perr, Tnone, 0);   // NOTEST
5232                         }
5233                         if (perr & Efail)
5234                                 c->parse_error += 1;
5235                 }
5236
5237                 return !c->parse_error;
5238         }
5239
5240         static void interp_main(struct parse_context *c, int argc, char **argv)
5241         {
5242                 struct value *progp = NULL;
5243                 struct text main_name = { "main", 4 };
5244                 struct variable *mainv;
5245                 struct binode *al;
5246                 int anum = 0;
5247                 struct value v;
5248                 struct type *vtype;
5249
5250                 mainv = var_ref(c, main_name);
5251                 if (mainv)
5252                         progp = var_value(c, mainv);
5253                 if (!progp || !progp->function) {
5254                         fprintf(stderr, "oceani: no main function found.\n");
5255                         c->parse_error += 1;
5256                         return;
5257                 }
5258                 if (!analyse_main(mainv->type, c)) {
5259                         fprintf(stderr, "oceani: main has wrong type.\n");
5260                         c->parse_error += 1;
5261                         return;
5262                 }
5263                 al = mainv->type->function.params;
5264
5265                 c->local_size = mainv->type->function.local_size;
5266                 c->local = calloc(1, c->local_size);
5267                 while (al) {
5268                         struct var *v = cast(var, al->left);
5269                         struct value *vl = var_value(c, v->var);
5270                         struct value arg;
5271                         struct type *t;
5272                         mpq_t argcq;
5273                         int i;
5274
5275                         switch (anum++) {
5276                         case 0: /* argv */
5277                                 t = v->var->type;
5278                                 mpq_init(argcq);
5279                                 mpq_set_ui(argcq, argc, 1);
5280                                 memcpy(var_value(c, t->array.vsize), &argcq, sizeof(argcq));
5281                                 t->prepare_type(c, t, 0);
5282                                 array_init(v->var->type, vl);
5283                                 for (i = 0; i < argc; i++) {
5284                                         struct value *vl2 = vl->array + i * v->var->type->array.member->size;
5285
5286                                         arg.str.txt = argv[i];
5287                                         arg.str.len = strlen(argv[i]);
5288                                         free_value(Tstr, vl2);
5289                                         dup_value(Tstr, &arg, vl2);
5290                                 }
5291                                 break;
5292                         }
5293                         al = cast(binode, al->right);
5294                 }
5295                 v = interp_exec(c, progp->function, &vtype);
5296                 free_value(vtype, &v);
5297                 free(c->local);
5298                 c->local = NULL;
5299         }
5300
5301 ###### ast functions
5302         void free_variable(struct variable *v)
5303         {
5304         }
5305
5306 ## And now to test it out.
5307
5308 Having a language requires having a "hello world" program.  I'll
5309 provide a little more than that: a program that prints "Hello world"
5310 finds the GCD of two numbers, prints the first few elements of
5311 Fibonacci, performs a binary search for a number, and a few other
5312 things which will likely grow as the languages grows.
5313
5314 ###### File: oceani.mk
5315         demos :: sayhello
5316         sayhello : oceani
5317                 @echo "===== DEMO ====="
5318                 ./oceani --section "demo: hello" oceani.mdc 55 33
5319
5320 ###### demo: hello
5321
5322         const
5323                 pi ::= 3.141_592_6
5324                 four ::= 2 + 2 ; five ::= 10/2
5325         const pie ::= "I like Pie";
5326                 cake ::= "The cake is"
5327                   ++ " a lie"
5328
5329         struct fred
5330                 size:[four]number
5331                 name:string
5332                 alive:Boolean
5333
5334         func main(argv:[argc::]string)
5335                 print "Hello World, what lovely oceans you have!"
5336                 print "Are there", five, "?"
5337                 print pi, pie, "but", cake
5338
5339                 A := $argv[1]; B := $argv[2]
5340
5341                 /* When a variable is defined in both branches of an 'if',
5342                  * and used afterwards, the variables are merged.
5343                  */
5344                 if A > B:
5345                         bigger := "yes"
5346                 else
5347                         bigger := "no"
5348                 print "Is", A, "bigger than", B,"? ", bigger
5349                 /* If a variable is not used after the 'if', no
5350                  * merge happens, so types can be different
5351                  */
5352                 if A > B * 2:
5353                         double:string = "yes"
5354                         print A, "is more than twice", B, "?", double
5355                 else
5356                         double := B*2
5357                         print "double", B, "is", double
5358
5359                 a : number
5360                 a = A;
5361                 b:number = B
5362                 if a > 0 and then b > 0:
5363                         while a != b:
5364                                 if a < b:
5365                                         b = b - a
5366                                 else
5367                                         a = a - b
5368                         print "GCD of", A, "and", B,"is", a
5369                 else if a <= 0:
5370                         print a, "is not positive, cannot calculate GCD"
5371                 else
5372                         print b, "is not positive, cannot calculate GCD"
5373
5374                 for
5375                         togo := 10
5376                         f1 := 1; f2 := 1
5377                         print "Fibonacci:", f1,f2,
5378                 then togo = togo - 1
5379                 while togo > 0:
5380                         f3 := f1 + f2
5381                         print "", f3,
5382                         f1 = f2
5383                         f2 = f3
5384                 print ""
5385
5386                 /* Binary search... */
5387                 for
5388                         lo:= 0; hi := 100
5389                         target := 77
5390                 while
5391                         mid := (lo + hi) / 2
5392                         if mid == target:
5393                                 use Found
5394                         if mid < target:
5395                                 lo = mid
5396                         else
5397                                 hi = mid
5398                         if hi - lo < 1:
5399                                 lo = mid
5400                                 use GiveUp
5401                         use True
5402                 do pass
5403                 case Found:
5404                         print "Yay, I found", target
5405                 case GiveUp:
5406                         print "Closest I found was", lo
5407
5408                 size::= 10
5409                 list:[size]number
5410                 list[0] = 1234
5411                 // "middle square" PRNG.  Not particularly good, but one my
5412                 // Dad taught me - the first one I ever heard of.
5413                 for i:=1; then i = i + 1; while i < size:
5414                         n := list[i-1] * list[i-1]
5415                         list[i] = (n / 100) % 10 000
5416
5417                 print "Before sort:",
5418                 for i:=0; then i = i + 1; while i < size:
5419                         print "", list[i],
5420                 print
5421
5422                 for i := 1; then i=i+1; while i < size:
5423                         for j:=i-1; then j=j-1; while j >= 0:
5424                                 if list[j] > list[j+1]:
5425                                         t:= list[j]
5426                                         list[j] = list[j+1]
5427                                         list[j+1] = t
5428                 print " After sort:",
5429                 for i:=0; then i = i + 1; while i < size:
5430                         print "", list[i],
5431                 print
5432
5433                 if 1 == 2 then print "yes"; else print "no"
5434
5435                 bob:fred
5436                 bob.name = "Hello"
5437                 bob.alive = (bob.name == "Hello")
5438                 print "bob", "is" if  bob.alive else "isn't", "alive"