ocean-lang.org Git - ocean/blob - csrc/oceani.mdc

   1 # Ocean Interpreter - Jamison Creek version
   2
   3 Ocean is intended to be a compiled language, so this interpreter is
   4 not targeted at being the final product.  It is, rather, an intermediate
   5 stage and fills that role in two distinct ways.
   6
   7 Firstly, it exists as a platform to experiment with the early language
   8 design.  An interpreter is easy to write and easy to get working, so
   9 the barrier for entry is lower if I aim to start with an interpreter.
  10
  11 Secondly, the plan for the Ocean compiler is to write it in the
  12 [Ocean language](http://ocean-lang.org).  To achieve this we naturally
  13 need some sort of boot-strap process and this interpreter - written in
  14 portable C - will fill that role.  It will be used to bootstrap the
  15 Ocean compiler.
  16
  17 Two features that are not needed to fill either of these roles are
  18 performance and completeness.  The interpreter only needs to be fast
  19 enough to run small test programs and occasionally to run the compiler
  20 on itself.  It only needs to be complete enough to test aspects of the
  21 design which are developed before the compiler is working, and to run
  22 the compiler on itself.  Any features not used by the compiler when
  23 compiling itself are superfluous.  They may be included anyway, but
  24 they may not.
  25
  26 Nonetheless, the interpreter should end up being reasonably complete,
  27 and any performance bottlenecks which appear and are easily fixed, will
  28 be.
  29
  30 ## Current version
  31
  32 This third version of the interpreter exists to test out some initial
  33 ideas relating to types.  Particularly it adds arrays (indexed from
  34 zero) and simple structures.  Basic control flow and variable scoping
  35 are already fairly well established, as are basic numerical and
  36 boolean operators.
  37
  38 Some operators that have only recently been added, and so have not
  39 generated all that much experience yet are "and then" and "or else" as
  40 short-circuit Boolean operators, and the "if ... else" trinary
  41 operator which can select between two expressions based on a third
  42 (which appears syntactically in the middle).
  43
  44 The "func" clause currently only allows a "main" function to be
  45 declared.  That will be extended when proper function support is added.
  46
  47 An element that is present purely to make a usable language, and
  48 without any expectation that they will remain, is the "print" statement
  49 which performs simple output.
  50
  51 The current scalar types are "number", "Boolean", and "string".
  52 Boolean will likely stay in its current form, the other two might, but
  53 could just as easily be changed.
  54
  55 ## Naming
  56
  57 Versions of the interpreter which obviously do not support a complete
  58 language will be named after creeks and streams.  This one is Jamison
  59 Creek.
  60
  61 Once we have something reasonably resembling a complete language, the
  62 names of rivers will be used.
  63 Early versions of the compiler will be named after seas.  Major
  64 releases of the compiler will be named after oceans.  Hopefully I will
  65 be finished once I get to the Pacific Ocean release.
  66
  67 ## Outline
  68
  69 As well as parsing and executing a program, the interpreter can print
  70 out the program from the parsed internal structure.  This is useful
  71 for validating the parsing.
  72 So the main requirements of the interpreter are:
  73
  74 - Parse the program, possibly with tracing,
  75 - Analyse the parsed program to ensure consistency,
  76 - Print the program,
  77 - Execute the "main" function in the program, if no parsing or
  78   consistency errors were found.
  79
  80 This is all performed by a single C program extracted with
  81 `parsergen`.
  82
  83 There will be two formats for printing the program: a default and one
  84 that uses bracketing.  So a `--bracket` command line option is needed
  85 for that.  Normally the first code section found is used, however an
  86 alternate section can be requested so that a file (such as this one)
  87 can contain multiple programs.  This is effected with the `--section`
  88 option.
  89
  90 This code must be compiled with `-fplan9-extensions` so that anonymous
  91 structures can be used.
  92
  93 ###### File: oceani.mk
  94
  95         myCFLAGS := -Wall -g -fplan9-extensions
  96         CFLAGS := $(filter-out $(myCFLAGS),$(CFLAGS)) $(myCFLAGS)
  97         myLDLIBS:= libparser.o libscanner.o libmdcode.o -licuuc
  98         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
  99         ## libs
 100         all :: $(LDLIBS) oceani
 101         oceani.c oceani.h : oceani.mdc parsergen
 102                 ./parsergen -o oceani --LALR --tag Parser oceani.mdc
 103         oceani.mk: oceani.mdc md2c
 104                 ./md2c oceani.mdc
 105
 106         oceani: oceani.o $(LDLIBS)
 107                 $(CC) $(CFLAGS) -o oceani oceani.o $(LDLIBS)
 108
 109 ###### Parser: header
 110         ## macros
 111         struct parse_context;
 112         ## ast
 113         ## ast late
 114         struct parse_context {
 115                 struct token_config config;
 116                 char *file_name;
 117                 int parse_error;
 118                 ## parse context
 119         };
 120
 121 ###### macros
 122
 123         #define container_of(ptr, type, member) ({                      \
 124                 const typeof( ((type *)0)->member ) *__mptr = (ptr);    \
 125                 (type *)( (char *)__mptr - offsetof(type,member) );})
 126
 127         #define config2context(_conf) container_of(_conf, struct parse_context, \
 128                 config)
 129
 130 ###### Parser: reduce
 131         struct parse_context *c = config2context(config);
 132
 133 ###### Parser: code
 134         #define _GNU_SOURCE
 135         #include <unistd.h>
 136         #include <stdlib.h>
 137         #include <fcntl.h>
 138         #include <errno.h>
 139         #include <sys/mman.h>
 140         #include <string.h>
 141         #include <stdio.h>
 142         #include <locale.h>
 143         #include <malloc.h>
 144         #include "mdcode.h"
 145         #include "scanner.h"
 146         #include "parser.h"
 147
 148         ## includes
 149
 150         #include "oceani.h"
 151
 152         ## forward decls
 153         ## value functions
 154         ## ast functions
 155         ## core functions
 156
 157         #include <getopt.h>
 158         static char Usage[] =
 159                 "Usage: oceani --trace --print --noexec --brackets --section=SectionName prog.ocn\n";
 160         static const struct option long_options[] = {
 161                 {"trace",     0, NULL, 't'},
 162                 {"print",     0, NULL, 'p'},
 163                 {"noexec",    0, NULL, 'n'},
 164                 {"brackets",  0, NULL, 'b'},
 165                 {"section",   1, NULL, 's'},
 166                 {NULL,        0, NULL, 0},
 167         };
 168         const char *options = "tpnbs";
 169
 170         static void pr_err(char *msg)                   // NOTEST
 171         {
 172                 fprintf(stderr, "%s\n", msg);           // NOTEST
 173         }                                               // NOTEST
 174
 175         int main(int argc, char *argv[])
 176         {
 177                 int fd;
 178                 int len;
 179                 char *file;
 180                 struct section *s = NULL, *ss;
 181                 char *section = NULL;
 182                 struct parse_context context = {
 183                         .config = {
 184                                 .ignored = (1 << TK_mark),
 185                                 .number_chars = ".,_+- ",
 186                                 .word_start = "_",
 187                                 .word_cont = "_",
 188                         },
 189                 };
 190                 int doprint=0, dotrace=0, doexec=1, brackets=0;
 191                 int opt;
 192                 while ((opt = getopt_long(argc, argv, options, long_options, NULL))
 193                        != -1) {
 194                         switch(opt) {
 195                         case 't': dotrace=1; break;
 196                         case 'p': doprint=1; break;
 197                         case 'n': doexec=0; break;
 198                         case 'b': brackets=1; break;
 199                         case 's': section = optarg; break;
 200                         default: fprintf(stderr, Usage);
 201                                 exit(1);
 202                         }
 203                 }
 204                 if (optind >= argc) {
 205                         fprintf(stderr, "oceani: no input file given\n");
 206                         exit(1);
 207                 }
 208                 fd = open(argv[optind], O_RDONLY);
 209                 if (fd < 0) {
 210                         fprintf(stderr, "oceani: cannot open %s\n", argv[optind]);
 211                         exit(1);
 212                 }
 213                 context.file_name = argv[optind];
 214                 len = lseek(fd, 0, 2);
 215                 file = mmap(NULL, len, PROT_READ, MAP_SHARED, fd, 0);
 216                 s = code_extract(file, file+len, pr_err);
 217                 if (!s) {
 218                         fprintf(stderr, "oceani: could not find any code in %s\n",
 219                                 argv[optind]);
 220                         exit(1);
 221                 }
 222
 223                 ## context initialization
 224
 225                 if (section) {
 226                         for (ss = s; ss; ss = ss->next) {
 227                                 struct text sec = ss->section;
 228                                 if (sec.len == strlen(section) &&
 229                                     strncmp(sec.txt, section, sec.len) == 0)
 230                                         break;
 231                         }
 232                         if (!ss) {
 233                                 fprintf(stderr, "oceani: cannot find section %s\n",
 234                                         section);
 235                                 goto cleanup;
 236                         }
 237                 } else
 238                         ss = s;                         // NOTEST
 239                 if (!ss->code) {
 240                         fprintf(stderr, "oceani: no code found in requested section\n");        // NOTEST
 241                         goto cleanup;                   // NOTEST
 242                 }
 243
 244                 parse_oceani(ss->code, &context.config, dotrace ? stderr : NULL);
 245
 246                 resolve_consts(&context);
 247                 prepare_types(&context);
 248                 if (!context.parse_error && !analyse_funcs(&context)) {
 249                         fprintf(stderr, "oceani: type error in program - not running.\n");
 250                         context.parse_error += 1;
 251                 }
 252
 253                 if (doprint) {
 254                         ## print const decls
 255                         ## print type decls
 256                         ## print func decls
 257                 }
 258                 if (doexec && !context.parse_error)
 259                         interp_main(&context, argc - optind, argv + optind);
 260         cleanup:
 261                 while (s) {
 262                         struct section *t = s->next;
 263                         code_free(s->code);
 264                         free(s);
 265                         s = t;
 266                 }
 267                 // FIXME parser should pop scope even on error
 268                 while (context.scope_depth > 0)
 269                         scope_pop(&context);
 270                 ## free global vars
 271                 ## free const decls
 272                 ## free context types
 273                 ## free context storage
 274                 exit(context.parse_error ? 1 : 0);
 275         }
 276
 277 ### Analysis
 278
 279 The four requirements of parse, analyse, print, interpret apply to
 280 each language element individually so that is how most of the code
 281 will be structured.
 282
 283 Three of the four are fairly self explanatory.  The one that requires
 284 a little explanation is the analysis step.
 285
 286 The current language design does not require the types of variables to
 287 be declared, but they must still have a single type.  Different
 288 operations impose different requirements on the variables, for example
 289 addition requires both arguments to be numeric, and assignment
 290 requires the variable on the left to have the same type as the
 291 expression on the right.
 292
 293 Analysis involves propagating these type requirements around and
 294 consequently setting the type of each variable.  If any requirements
 295 are violated (e.g. a string is compared with a number) or if a
 296 variable needs to have two different types, then an error is raised
 297 and the program will not run.
 298
 299 If the same variable is declared in both branchs of an 'if/else', or
 300 in all cases of a 'switch' then the multiple instances may be merged
 301 into just one variable if the variable is referenced after the
 302 conditional statement.  When this happens, the types must naturally be
 303 consistent across all the branches.  When the variable is not used
 304 outside the if, the variables in the different branches are distinct
 305 and can be of different types.
 306
 307 Undeclared names may only appear in "use" statements and "case" expressions.
 308 These names are given a type of "label" and a unique value.
 309 This allows them to fill the role of a name in an enumerated type, which
 310 is useful for testing the `switch` statement.
 311
 312 As we will see, the condition part of a `while` statement can return
 313 either a Boolean or some other type.  This requires that the expected
 314 type that gets passed around comprises a type and a flag to indicate
 315 that `Tbool` is also permitted.
 316
 317 As there are, as yet, no distinct types that are compatible, there
 318 isn't much subtlety in the analysis.  When we have distinct number
 319 types, this will become more interesting.
 320
 321 #### Error reporting
 322
 323 When analysis discovers an inconsistency it needs to report an error;
 324 just refusing to run the code ensures that the error doesn't cascade,
 325 but by itself it isn't very useful.  A clear understanding of the sort
 326 of error message that are useful will help guide the process of
 327 analysis.
 328
 329 At a simplistic level, the only sort of error that type analysis can
 330 report is that the type of some construct doesn't match a contextual
 331 requirement.  For example, in `4 + "hello"` the addition provides a
 332 contextual requirement for numbers, but `"hello"` is not a number.  In
 333 this particular example no further information is needed as the types
 334 are obvious from local information.  When a variable is involved that
 335 isn't the case.  It may be helpful to explain why the variable has a
 336 particular type, by indicating the location where the type was set,
 337 whether by declaration or usage.
 338
 339 Using a recursive-descent analysis we can easily detect a problem at
 340 multiple locations. In "`hello:= "there"; 4 + hello`" the addition
 341 will detect that one argument is not a number and the usage of `hello`
 342 will detect that a number was wanted, but not provided.  In this
 343 (early) version of the language, we will generate error reports at
 344 multiple locations, so the use of `hello` will report an error and
 345 explain were the value was set, and the addition will report an error
 346 and say why numbers are needed.  To be able to report locations for
 347 errors, each language element will need to record a file location
 348 (line and column) and each variable will need to record the language
 349 element where its type was set.  For now we will assume that each line
 350 of an error message indicates one location in the file, and up to 2
 351 types.  So we provide a `printf`-like function which takes a format, a
 352 location (a `struct exec` which has not yet been introduced), and 2
 353 types. "`%1`" reports the first type, "`%2`" reports the second.  We
 354 will need a function to print the location, once we know how that is
 355 stored. e As will be explained later, there are sometimes extra rules for
 356 type matching and they might affect error messages, we need to pass those
 357 in too.
 358
 359 As well as type errors, we sometimes need to report problems with
 360 tokens, which might be unexpected or might name a type that has not
 361 been defined.  For these we have `tok_err()` which reports an error
 362 with a given token.  Each of the error functions sets the flag in the
 363 context so indicate that parsing failed.
 364
 365 ###### forward decls
 366
 367         static void fput_loc(struct exec *loc, FILE *f);
 368         static void type_err(struct parse_context *c,
 369                              char *fmt, struct exec *loc,
 370                              struct type *t1, enum val_rules rules, struct type *t2);
 371         static void tok_err(struct parse_context *c, char *fmt, struct token *t);
 372
 373 ###### core functions
 374
 375         static void type_err(struct parse_context *c,
 376                              char *fmt, struct exec *loc,
 377                              struct type *t1, enum val_rules rules, struct type *t2)
 378         {
 379                 fprintf(stderr, "%s:", c->file_name);
 380                 fput_loc(loc, stderr);
 381                 for (; *fmt ; fmt++) {
 382                         if (*fmt != '%') {
 383                                 fputc(*fmt, stderr);
 384                                 continue;
 385                         }
 386                         fmt++;
 387                         switch (*fmt) {
 388                         case '%': fputc(*fmt, stderr); break;   // NOTEST
 389                         default: fputc('?', stderr); break;     // NOTEST
 390                         case '1':
 391                                 type_print(t1, stderr);
 392                                 break;
 393                         case '2':
 394                                 type_print(t2, stderr);
 395                                 break;
 396                         ## format cases
 397                         }
 398                 }
 399                 fputs("\n", stderr);
 400                 c->parse_error += 1;
 401         }
 402
 403         static void tok_err(struct parse_context *c, char *fmt, struct token *t)
 404         {
 405                 fprintf(stderr, "%s:%d:%d: %s: %.*s\n", c->file_name, t->line, t->col, fmt,
 406                         t->txt.len, t->txt.txt);
 407                 c->parse_error += 1;
 408         }
 409
 410 ## Entities: declared and predeclared.
 411
 412 There are various "things" that the language and/or the interpreter
 413 needs to know about to parse and execute a program.  These include
 414 types, variables, values, and executable code.  These are all lumped
 415 together under the term "entities" (calling them "objects" would be
 416 confusing) and introduced here.  The following section will present the
 417 different specific code elements which comprise or manipulate these
 418 various entities.
 419
 420 ### Executables
 421
 422 Executables can be lots of different things.  In many cases an
 423 executable is just an operation combined with one or two other
 424 executables.  This allows for expressions and lists etc.  Other times an
 425 executable is something quite specific like a constant or variable name.
 426 So we define a `struct exec` to be a general executable with a type, and
 427 a `struct binode` which is a subclass of `exec`, forms a node in a
 428 binary tree, and holds an operation.  There will be other subclasses,
 429 and to access these we need to be able to `cast` the `exec` into the
 430 various other types.  The first field in any `struct exec` is the type
 431 from the `exec_types` enum.
 432
 433 ###### macros
 434         #define cast(structname, pointer) ({            \
 435                 const typeof( ((struct structname *)0)->type) *__mptr = &(pointer)->type; \
 436                 if (__mptr && *__mptr != X##structname) abort();                \
 437                 (struct structname *)( (char *)__mptr);})
 438
 439         #define new(structname) ({                                              \
 440                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
 441                 __ptr->type = X##structname;                                            \
 442                 __ptr->line = -1; __ptr->column = -1;                                   \
 443                 __ptr;})
 444
 445         #define new_pos(structname, token) ({                                           \
 446                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
 447                 __ptr->type = X##structname;                                            \
 448                 __ptr->line = token.line; __ptr->column = token.col;                    \
 449                 __ptr;})
 450
 451 ###### ast
 452         enum exec_types {
 453                 Xbinode,
 454                 ## exec type
 455         };
 456         struct exec {
 457                 enum exec_types type;
 458                 int line, column;
 459                 ## exec fields
 460         };
 461         struct binode {
 462                 struct exec;
 463                 enum Btype {
 464                         ## Binode types
 465                 } op;
 466                 struct exec *left, *right;
 467         };
 468
 469 ###### ast functions
 470
 471         static int __fput_loc(struct exec *loc, FILE *f)
 472         {
 473                 if (!loc)
 474                         return 0;
 475                 if (loc->line >= 0) {
 476                         fprintf(f, "%d:%d: ", loc->line, loc->column);
 477                         return 1;
 478                 }
 479                 if (loc->type == Xbinode)
 480                         return __fput_loc(cast(binode,loc)->left, f) ||
 481                                __fput_loc(cast(binode,loc)->right, f);  // NOTEST
 482                 return 0;       // NOTEST
 483         }
 484         static void fput_loc(struct exec *loc, FILE *f)
 485         {
 486                 if (!__fput_loc(loc, f))
 487                         fprintf(f, "??:??: ");  // NOTEST
 488         }
 489
 490 Each different type of `exec` node needs a number of functions defined,
 491 a bit like methods.  We must be able to free it, print it, analyse it
 492 and execute it.  Once we have specific `exec` types we will need to
 493 parse them too.  Let's take this a bit more slowly.
 494
 495 #### Freeing
 496
 497 The parser generator requires a `free_foo` function for each struct
 498 that stores attributes and they will often be `exec`s and subtypes
 499 there-of.  So we need `free_exec` which can handle all the subtypes,
 500 and we need `free_binode`.
 501
 502 ###### ast functions
 503
 504         static void free_binode(struct binode *b)
 505         {
 506                 if (!b)
 507                         return;
 508                 free_exec(b->left);
 509                 free_exec(b->right);
 510                 free(b);
 511         }
 512
 513 ###### core functions
 514         static void free_exec(struct exec *e)
 515         {
 516                 if (!e)
 517                         return;
 518                 switch(e->type) {
 519                         ## free exec cases
 520                 }
 521         }
 522
 523 ###### forward decls
 524
 525         static void free_exec(struct exec *e);
 526
 527 ###### free exec cases
 528         case Xbinode: free_binode(cast(binode, e)); break;
 529
 530 #### Printing
 531
 532 Printing an `exec` requires that we know the current indent level for
 533 printing line-oriented components.  As will become clear later, we
 534 also want to know what sort of bracketing to use.
 535
 536 ###### ast functions
 537
 538         static void do_indent(int i, char *str)
 539         {
 540                 while (i-- > 0)
 541                         printf("    ");
 542                 printf("%s", str);
 543         }
 544
 545 ###### core functions
 546         static void print_binode(struct binode *b, int indent, int bracket)
 547         {
 548                 struct binode *b2;
 549                 switch(b->op) {
 550                 ## print binode cases
 551                 }
 552         }
 553
 554         static void print_exec(struct exec *e, int indent, int bracket)
 555         {
 556                 if (!e)
 557                         return;
 558                 switch (e->type) {
 559                 case Xbinode:
 560                         print_binode(cast(binode, e), indent, bracket); break;
 561                 ## print exec cases
 562                 }
 563                 if (e->to_free) {
 564                         struct variable *v;
 565                         do_indent(indent, "/* FREE");
 566                         for (v = e->to_free; v; v = v->next_free) {
 567                                 printf(" %.*s", v->name->name.len, v->name->name.txt);
 568                                 printf("[%d,%d]", v->scope_start, v->scope_end);
 569                                 if (v->frame_pos >= 0)
 570                                         printf("(%d+%d)", v->frame_pos,
 571                                                v->type ? v->type->size:0);
 572                         }
 573                         printf(" */\n");
 574                 }
 575         }
 576
 577 ###### forward decls
 578
 579         static void print_exec(struct exec *e, int indent, int bracket);
 580
 581 #### Analysing
 582
 583 As discussed, analysis involves propagating type requirements around the
 584 program and looking for errors.
 585
 586 So `propagate_types` is passed an expected type (being a `struct type`
 587 pointer together with some `val_rules` flags) that the `exec` is
 588 expected to return, and returns the type that it does return, either of
 589 which can be `NULL` signifying "unknown".  A `prop_err` flag set is
 590 passed by reference.  It has `Efail` set when an error is found, and
 591 `Eretry` when the type for some element is set via propagation.  If
 592 any expression cannot be evaluated a compile time, `Eruntime` is set.
 593 If the expression can be copied, `Emaycopy` is set.
 594
 595 If `Erval` is set, then the value cannot be assigned to because it is
 596 a temporary result.  If `Erval` is clear but `Econst` is set, then
 597 the value can only be assigned once, when the variable is declared.
 598
 599 ###### ast
 600
 601         enum val_rules {Rboolok = 1<<0, Rrefok = 1<<1,};
 602         enum prop_err {Efail = 1<<0, Eretry = 1<<1, Eruntime = 1<<2,
 603                        Emaycopy = 1<<3, Erval = 1<<4, Econst = 1<<5};
 604
 605 ###### forward decls
 606         static struct type *propagate_types(struct exec *prog, struct parse_context *c, enum prop_err *perr,
 607                                             struct type *type, enum val_rules rules);
 608 ###### core functions
 609
 610         static struct type *__propagate_types(struct exec *prog, struct parse_context *c, enum prop_err *perr,
 611                                               enum prop_err *perr_local,
 612                                               struct type *type, enum val_rules rules)
 613         {
 614                 struct type *t;
 615
 616                 if (!prog)
 617                         return Tnone;
 618
 619                 switch (prog->type) {
 620                 case Xbinode:
 621                 {
 622                         struct binode *b = cast(binode, prog);
 623                         switch (b->op) {
 624                         ## propagate binode cases
 625                         }
 626                         break;
 627                 }
 628                 ## propagate exec cases
 629                 }
 630                 return Tnone;
 631         }
 632
 633         static struct type *propagate_types(struct exec *prog, struct parse_context *c, enum prop_err *perr,
 634                                             struct type *type, enum val_rules rules)
 635         {
 636                 int pre_err = c->parse_error;
 637                 enum prop_err perr_local = 0;
 638                 struct type *ret = __propagate_types(prog, c, perr, &perr_local, type, rules);
 639
 640                 *perr |= perr_local & (Efail | Eretry);
 641                 if (c->parse_error > pre_err)
 642                         *perr |= Efail;
 643                 return ret;
 644         }
 645
 646 #### Interpreting
 647
 648 Interpreting an `exec` doesn't require anything but the `exec`.  State
 649 is stored in variables and each variable will be directly linked from
 650 within the `exec` tree.  The exception to this is the `main` function
 651 which needs to look at command line arguments.  This function will be
 652 interpreted separately.
 653
 654 Each `exec` can return a value combined with a type in `struct lrval`.
 655 The type may be `Tnone` but must be non-NULL.  Some `exec`s will return
 656 the location of a value, which can be updated, in `lval`.  Others will
 657 set `lval` to NULL indicating that there is a value of appropriate type
 658 in `rval`.
 659
 660 ###### forward decls
 661         static struct value interp_exec(struct parse_context *c, struct exec *e,
 662                                         struct type **typeret);
 663 ###### core functions
 664
 665         struct lrval {
 666                 struct type *type;
 667                 struct value rval, *lval;
 668         };
 669
 670         /* If dest is passed, dtype must give the expected type, and
 671          * result can go there, in which case type is returned as NULL.
 672          */
 673         static struct lrval _interp_exec(struct parse_context *c, struct exec *e,
 674                                          struct value *dest, struct type *dtype);
 675
 676         static struct value interp_exec(struct parse_context *c, struct exec *e,
 677                                         struct type **typeret)
 678         {
 679                 struct lrval ret = _interp_exec(c, e, NULL, NULL);
 680
 681                 if (!ret.type) abort();
 682                 if (typeret)
 683                         *typeret = ret.type;
 684                 if (ret.lval)
 685                         dup_value(ret.type, ret.lval, &ret.rval);
 686                 return ret.rval;
 687         }
 688
 689         static struct value *linterp_exec(struct parse_context *c, struct exec *e,
 690                                           struct type **typeret)
 691         {
 692                 struct lrval ret = _interp_exec(c, e, NULL, NULL);
 693
 694                 if (!ret.type) abort();
 695                 if (ret.lval)
 696                         *typeret = ret.type;
 697                 else
 698                         free_value(ret.type, &ret.rval);
 699                 return ret.lval;
 700         }
 701
 702         /* dinterp_exec is used when the destination type is certain and
 703          * the value has a place to go.
 704          */
 705         static void dinterp_exec(struct parse_context *c, struct exec *e,
 706                                  struct value *dest, struct type *dtype,
 707                                  int need_free)
 708         {
 709                 struct lrval ret = _interp_exec(c, e, dest, dtype);
 710                 if (!ret.type)
 711                         return;
 712                 if (need_free)
 713                         free_value(dtype, dest);
 714                 if (ret.lval)
 715                         dup_value(dtype, ret.lval, dest);
 716                 else
 717                         memcpy(dest, &ret.rval, dtype->size);
 718         }
 719
 720         static struct lrval _interp_exec(struct parse_context *c, struct exec *e,
 721                                          struct value *dest, struct type *dtype)
 722         {
 723                 /* If the result is copied to dest, ret.type is set to NULL */
 724                 struct lrval ret;
 725                 struct value rv = {}, *lrv = NULL;
 726                 struct type *rvtype;
 727
 728                 rvtype = ret.type = Tnone;
 729                 if (!e) {
 730                         ret.lval = lrv;
 731                         ret.rval = rv;
 732                         return ret;
 733                 }
 734
 735                 switch(e->type) {
 736                 case Xbinode:
 737                 {
 738                         struct binode *b = cast(binode, e);
 739                         struct value left, right, *lleft;
 740                         struct type *ltype, *rtype;
 741                         ltype = rtype = Tnone;
 742                         switch (b->op) {
 743                         ## interp binode cases
 744                         }
 745                         free_value(ltype, &left);
 746                         free_value(rtype, &right);
 747                         break;
 748                 }
 749                 ## interp exec cases
 750                 }
 751                 if (rvtype) {
 752                         ret.lval = lrv;
 753                         ret.rval = rv;
 754                         ret.type = rvtype;
 755                 }
 756                 ## interp exec cleanup
 757                 return ret;
 758         }
 759
 760 ### Types
 761
 762 Values come in a wide range of types, with more likely to be added.
 763 Each type needs to be able to print its own values (for convenience at
 764 least) as well as to compare two values, at least for equality and
 765 possibly for order.  For now, values might need to be duplicated and
 766 freed, though eventually such manipulations will be better integrated
 767 into the language.
 768
 769 Rather than requiring every numeric type to support all numeric
 770 operations (add, multiply, etc), we allow types to be able to present
 771 as one of a few standard types: integer, float, and fraction.  The
 772 existence of these conversion functions eventually enable types to
 773 determine if they are compatible with other types, though such types
 774 have not yet been implemented.
 775
 776 Named type are stored in a simple linked list.  Objects of each type are
 777 "values" which are often passed around by value.
 778
 779 There are both explicitly named types, and anonymous types.  Anonymous
 780 cannot be accessed by name, but are used internally and have a name
 781 which might be reported in error messages.
 782
 783 ###### ast
 784
 785         struct value {
 786                 union {
 787                         char ptr[1];
 788                         ## value union fields
 789                 };
 790         };
 791
 792 ###### ast late
 793         struct type {
 794                 struct text name;
 795                 struct type *next;
 796                 struct token first_use;
 797                 int size, align;
 798                 int anon;
 799                 void (*init)(struct type *type, struct value *val);
 800                 int (*prepare_type)(struct parse_context *c, struct type *type, int parse_time);
 801                 void (*print)(struct type *type, struct value *val, FILE *f);
 802                 void (*print_type)(struct type *type, FILE *f);
 803                 int (*cmp_order)(struct type *t1, struct type *t2,
 804                                  struct value *v1, struct value *v2);
 805                 int (*cmp_eq)(struct type *t1, struct type *t2,
 806                               struct value *v1, struct value *v2);
 807                 void (*dup)(struct type *type, struct value *vold, struct value *vnew);
 808                 int (*test)(struct type *type, struct value *val);
 809                 void (*free)(struct type *type, struct value *val);
 810                 void (*free_type)(struct type *t);
 811                 long long (*to_int)(struct value *v);
 812                 double (*to_float)(struct value *v);
 813                 int (*to_mpq)(mpq_t *q, struct value *v);
 814                 ## type functions
 815                 union {
 816                         ## type union fields
 817                 };
 818         };
 819
 820 ###### parse context
 821
 822         struct type *typelist;
 823
 824 ###### includes
 825         #include <stdarg.h>
 826
 827 ###### ast functions
 828
 829         static struct type *find_type(struct parse_context *c, struct text s)
 830         {
 831                 struct type *t = c->typelist;
 832
 833                 while (t && (t->anon ||
 834                              text_cmp(t->name, s) != 0))
 835                                 t = t->next;
 836                 return t;
 837         }
 838
 839         static struct type *_add_type(struct parse_context *c, struct text s,
 840                                      struct type *proto, int anon)
 841         {
 842                 struct type *n;
 843
 844                 n = calloc(1, sizeof(*n));
 845                 if (proto)
 846                         *n = *proto;
 847                 else
 848                         n->size = -1;
 849                 n->name = s;
 850                 n->anon = anon;
 851                 n->next = c->typelist;
 852                 c->typelist = n;
 853                 return n;
 854         }
 855
 856         static struct type *add_type(struct parse_context *c, struct text s,
 857                                       struct type *proto)
 858         {
 859                 return _add_type(c, s, proto, 0);
 860         }
 861
 862         static struct type *add_anon_type(struct parse_context *c,
 863                                           struct type *proto, char *name, ...)
 864         {
 865                 struct text t;
 866                 va_list ap;
 867
 868                 va_start(ap, name);
 869                 vasprintf(&t.txt, name, ap);
 870                 va_end(ap);
 871                 t.len = strlen(t.txt);
 872                 return _add_type(c, t, proto, 1);
 873         }
 874
 875         static struct type *find_anon_type(struct parse_context *c,
 876                                            struct type *proto, char *name, ...)
 877         {
 878                 struct type *t = c->typelist;
 879                 struct text nm;
 880                 va_list ap;
 881
 882                 va_start(ap, name);
 883                 vasprintf(&nm.txt, name, ap);
 884                 va_end(ap);
 885                 nm.len = strlen(name);
 886
 887                 while (t && (!t->anon ||
 888                              text_cmp(t->name, nm) != 0))
 889                                 t = t->next;
 890                 if (t) {
 891                         free(nm.txt);
 892                         return t;
 893                 }
 894                 return _add_type(c, nm, proto, 1);
 895         }
 896
 897         static void free_type(struct type *t)
 898         {
 899                 /* The type is always a reference to something in the
 900                  * context, so we don't need to free anything.
 901                  */
 902         }
 903
 904         static void free_value(struct type *type, struct value *v)
 905         {
 906                 if (type && v) {
 907                         type->free(type, v);
 908                         memset(v, 0x5a, type->size);
 909                 }
 910         }
 911
 912         static void type_print(struct type *type, FILE *f)
 913         {
 914                 if (!type)
 915                         fputs("*unknown*type*", f);     // NOTEST
 916                 else if (type->name.len && !type->anon)
 917                         fprintf(f, "%.*s", type->name.len, type->name.txt);
 918                 else if (type->print_type)
 919                         type->print_type(type, f);
 920                 else if (type->name.len && type->anon)
 921                         fprintf(f, "\"%.*s\"", type->name.len, type->name.txt);
 922                 else
 923                         fputs("*invalid*type*", f);     // NOTEST
 924         }
 925
 926         static void val_init(struct type *type, struct value *val)
 927         {
 928                 if (type && type->init)
 929                         type->init(type, val);
 930         }
 931
 932         static void dup_value(struct type *type,
 933                               struct value *vold, struct value *vnew)
 934         {
 935                 if (type && type->dup)
 936                         type->dup(type, vold, vnew);
 937         }
 938
 939         static int value_cmp(struct type *tl, struct type *tr,
 940                              struct value *left, struct value *right)
 941         {
 942                 if (tl && tl->cmp_order)
 943                         return tl->cmp_order(tl, tr, left, right);
 944                 if (tl && tl->cmp_eq)
 945                         return tl->cmp_eq(tl, tr, left, right);
 946                 return -1;                              // NOTEST
 947         }
 948
 949         static void print_value(struct type *type, struct value *v, FILE *f)
 950         {
 951                 if (type && type->print)
 952                         type->print(type, v, f);
 953                 else
 954                         fprintf(f, "*Unknown*");                // NOTEST
 955         }
 956
 957         static void prepare_types(struct parse_context *c)
 958         {
 959                 struct type *t;
 960                 int retry = 1;
 961                 enum { none, some, cannot } progress = none;
 962
 963                 while (retry) {
 964                         retry = 0;
 965
 966                         for (t = c->typelist; t; t = t->next) {
 967                                 if (t->size < 0)
 968                                         tok_err(c, "error: type used but not declared",
 969                                                  &t->first_use);
 970                                 if (t->size == 0 && t->prepare_type) {
 971                                         if (t->prepare_type(c, t, 1))
 972                                                 progress = some;
 973                                         else if (progress == cannot)
 974                                                 tok_err(c, "error: type has recursive definition",
 975                                                         &t->first_use);
 976                                         else
 977                                                 retry = 1;
 978                                 }
 979                         }
 980                         switch (progress) {
 981                         case cannot:
 982                                 retry = 0; break;
 983                         case none:
 984                                 progress = cannot; break;
 985                         case some:
 986                                 progress = none; break;
 987                         }
 988                 }
 989         }
 990
 991 ###### forward decls
 992
 993         static void free_value(struct type *type, struct value *v);
 994         static int type_compat(struct type *require, struct type *have, enum val_rules rules);
 995         static void type_print(struct type *type, FILE *f);
 996         static void val_init(struct type *type, struct value *v);
 997         static void dup_value(struct type *type,
 998                               struct value *vold, struct value *vnew);
 999         static int value_cmp(struct type *tl, struct type *tr,
1000                              struct value *left, struct value *right);
1001         static void print_value(struct type *type, struct value *v, FILE *f);
1002
1003 ###### free context types
1004
1005         while (context.typelist) {
1006                 struct type *t = context.typelist;
1007
1008                 context.typelist = t->next;
1009                 if (t->free_type)
1010                         t->free_type(t);
1011                 if (t->anon)
1012                         free(t->name.txt);
1013                 free(t);
1014         }
1015
1016 Type can be specified for local variables, for fields in a structure,
1017 for formal parameters to functions, and possibly elsewhere.  Different
1018 rules may apply in different contexts.  As a minimum, a named type may
1019 always be used.  Currently the type of a formal parameter can be
1020 different from types in other contexts, so we have a separate grammar
1021 symbol for those.
1022
1023 ###### Grammar
1024
1025         $*type
1026         Type -> IDENTIFIER ${
1027                 $0 = find_type(c, $ID.txt);
1028                 if (!$0) {
1029                         $0 = add_type(c, $ID.txt, NULL);
1030                         $0->first_use = $ID;
1031                 }
1032         }$
1033         ## type grammar
1034
1035         FormalType -> Type ${ $0 = $<1; }$
1036         ## formal type grammar
1037
1038 #### Base Types
1039
1040 Values of the base types can be numbers, which we represent as
1041 multi-precision fractions, strings, Booleans and labels.  When
1042 analysing the program we also need to allow for places where no value
1043 is meaningful (type `Tnone`) and where we don't know what type to
1044 expect yet (type is `NULL`).
1045
1046 Values are never shared, they are always copied when used, and freed
1047 when no longer needed.
1048
1049 When propagating type information around the program, we need to
1050 determine if two types are compatible, where type `NULL` is compatible
1051 with anything.  There are two special cases with type compatibility,
1052 both related to the Conditional Statement which will be described
1053 later.  In some cases a Boolean can be accepted as well as some other
1054 primary type, and in others any type is acceptable except a label (`Vlabel`).
1055 A separate function encoding these cases will simplify some code later.
1056
1057 ###### type functions
1058
1059         int (*compat)(struct type *this, struct type *other, enum val_rules rules);
1060
1061 ###### ast functions
1062
1063         static int type_compat(struct type *require, struct type *have,
1064                                enum val_rules rules)
1065         {
1066                 if ((rules & Rboolok) && have == Tbool)
1067                         return 1;       // NOTEST
1068                 if (!require || !have)
1069                         return 1;
1070
1071                 if (require->compat)
1072                         return require->compat(require, have, rules);
1073
1074                 return require == have;
1075         }
1076
1077 ###### includes
1078         #include <gmp.h>
1079         #include "parse_string.h"
1080         #include "parse_number.h"
1081
1082 ###### libs
1083         myLDLIBS := libnumber.o libstring.o -lgmp
1084         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
1085
1086 ###### type union fields
1087         enum vtype {Vnone, Vstr, Vnum, Vbool, Vlabel} vtype;
1088
1089 ###### value union fields
1090         struct text str;
1091         mpq_t num;
1092         unsigned char bool;
1093         int label;
1094
1095 ###### ast functions
1096         static void _free_value(struct type *type, struct value *v)
1097         {
1098                 if (!v)
1099                         return;         // NOTEST
1100                 switch (type->vtype) {
1101                 case Vnone: break;
1102                 case Vstr: free(v->str.txt); break;
1103                 case Vnum: mpq_clear(v->num); break;
1104                 case Vlabel:
1105                 case Vbool: break;
1106                 }
1107         }
1108
1109 ###### value functions
1110
1111         static void _val_init(struct type *type, struct value *val)
1112         {
1113                 switch(type->vtype) {
1114                 case Vnone:             // NOTEST
1115                         break;          // NOTEST
1116                 case Vnum:
1117                         mpq_init(val->num); break;
1118                 case Vstr:
1119                         val->str.txt = malloc(1);
1120                         val->str.len = 0;
1121                         break;
1122                 case Vbool:
1123                         val->bool = 0;
1124                         break;
1125                 case Vlabel:
1126                         val->label = 0; // NOTEST
1127                         break;          // NOTEST
1128                 }
1129         }
1130
1131         static void _dup_value(struct type *type,
1132                                struct value *vold, struct value *vnew)
1133         {
1134                 switch (type->vtype) {
1135                 case Vnone:             // NOTEST
1136                         break;          // NOTEST
1137                 case Vlabel:
1138                         vnew->label = vold->label;      // NOTEST
1139                         break;          // NOTEST
1140                 case Vbool:
1141                         vnew->bool = vold->bool;
1142                         break;
1143                 case Vnum:
1144                         mpq_init(vnew->num);
1145                         mpq_set(vnew->num, vold->num);
1146                         break;
1147                 case Vstr:
1148                         vnew->str.len = vold->str.len;
1149                         vnew->str.txt = malloc(vnew->str.len);
1150                         memcpy(vnew->str.txt, vold->str.txt, vnew->str.len);
1151                         break;
1152                 }
1153         }
1154
1155         static int _value_cmp(struct type *tl, struct type *tr,
1156                               struct value *left, struct value *right)
1157         {
1158                 int cmp;
1159                 if (tl != tr)
1160                         return tl - tr; // NOTEST
1161                 switch (tl->vtype) {
1162                 case Vlabel: cmp = left->label == right->label ? 0 : 1; break;
1163                 case Vnum: cmp = mpq_cmp(left->num, right->num); break;
1164                 case Vstr: cmp = text_cmp(left->str, right->str); break;
1165                 case Vbool: cmp = left->bool - right->bool; break;
1166                 case Vnone: cmp = 0;                    // NOTEST
1167                 }
1168                 return cmp;
1169         }
1170
1171         static void _print_value(struct type *type, struct value *v, FILE *f)
1172         {
1173                 switch (type->vtype) {
1174                 case Vnone:                             // NOTEST
1175                         fprintf(f, "*no-value*"); break;        // NOTEST
1176                 case Vlabel:                            // NOTEST
1177                         fprintf(f, "*label-%d*", v->label); break; // NOTEST
1178                 case Vstr:
1179                         fprintf(f, "%.*s", v->str.len, v->str.txt); break;
1180                 case Vbool:
1181                         fprintf(f, "%s", v->bool ? "True":"False"); break;
1182                 case Vnum:
1183                         {
1184                         mpf_t fl;
1185                         mpf_init2(fl, 20);
1186                         mpf_set_q(fl, v->num);
1187                         gmp_fprintf(f, "%.10Fg", fl);
1188                         mpf_clear(fl);
1189                         break;
1190                         }
1191                 }
1192         }
1193
1194         static void _free_value(struct type *type, struct value *v);
1195
1196         static int bool_test(struct type *type, struct value *v)
1197         {
1198                 return v->bool;
1199         }
1200
1201         static struct type base_prototype = {
1202                 .init = _val_init,
1203                 .print = _print_value,
1204                 .cmp_order = _value_cmp,
1205                 .cmp_eq = _value_cmp,
1206                 .dup = _dup_value,
1207                 .free = _free_value,
1208         };
1209
1210         static struct type *Tbool, *Tstr, *Tnum, *Tnone, *Tlabel;
1211
1212 ###### ast functions
1213         static struct type *add_base_type(struct parse_context *c, char *n,
1214                                           enum vtype vt, int size)
1215         {
1216                 struct text txt = { n, strlen(n) };
1217                 struct type *t;
1218
1219                 t = add_type(c, txt, &base_prototype);
1220                 t->vtype = vt;
1221                 t->size = size;
1222                 t->align = size > sizeof(void*) ? sizeof(void*) : size;
1223                 if (t->size & (t->align - 1))
1224                         t->size = (t->size | (t->align - 1)) + 1;       // NOTEST
1225                 return t;
1226         }
1227
1228 ###### context initialization
1229
1230         Tbool  = add_base_type(&context, "Boolean", Vbool, sizeof(char));
1231         Tbool->test = bool_test;
1232         Tstr   = add_base_type(&context, "string", Vstr, sizeof(struct text));
1233         Tnum   = add_base_type(&context, "number", Vnum, sizeof(mpq_t));
1234         Tnone  = add_base_type(&context, "none", Vnone, 0);
1235         Tlabel = add_base_type(&context, "label", Vlabel, sizeof(void*));
1236
1237 ##### Base Values
1238
1239 We have already met values as separate objects.  When manifest constants
1240 appear in the program text, that must result in an executable which has
1241 a constant value.  So the `val` structure embeds a value in an
1242 executable.
1243
1244 ###### exec type
1245         Xval,
1246
1247 ###### ast
1248         struct val {
1249                 struct exec;
1250                 struct type *vtype;
1251                 struct value val;
1252         };
1253
1254 ###### ast functions
1255         struct val *new_val(struct type *T, struct token tk)
1256         {
1257                 struct val *v = new_pos(val, tk);
1258                 v->vtype = T;
1259                 return v;
1260         }
1261
1262 ###### declare terminals
1263         $TERM True False
1264
1265 ###### Grammar
1266
1267         $*val
1268         Value ->  True ${
1269                 $0 = new_val(Tbool, $1);
1270                 $0->val.bool = 1;
1271         }$
1272         | False ${
1273                 $0 = new_val(Tbool, $1);
1274                 $0->val.bool = 0;
1275         }$
1276         | NUMBER ${ {
1277                 char tail[3];
1278                 $0 = new_val(Tnum, $1);
1279                 if (number_parse($0->val.num, tail, $1.txt) == 0)
1280                         mpq_init($0->val.num);  // UNTESTED
1281                         if (tail[0])
1282                                 tok_err(c, "error: unsupported number suffix",
1283                                         &$1);
1284         } }$
1285         | STRING ${ {
1286                 char tail[3];
1287                 $0 = new_val(Tstr, $1);
1288                 string_parse(&$1, '\\', &$0->val.str, tail);
1289                 if (tail[0])
1290                         tok_err(c, "error: unsupported string suffix",
1291                                 &$1);
1292         } }$
1293         | MULTI_STRING ${ {
1294                 char tail[3];
1295                 $0 = new_val(Tstr, $1);
1296                 string_parse(&$1, '\\', &$0->val.str, tail);
1297                 if (tail[0])
1298                         tok_err(c, "error: unsupported string suffix",
1299                                 &$1);
1300         } }$
1301
1302 ###### print exec cases
1303         case Xval:
1304         {
1305                 struct val *v = cast(val, e);
1306                 if (v->vtype == Tstr)
1307                         printf("\"");
1308                 // FIXME how to ensure numbers have same precision.
1309                 print_value(v->vtype, &v->val, stdout);
1310                 if (v->vtype == Tstr)
1311                         printf("\"");
1312                 break;
1313         }
1314
1315 ###### propagate exec cases
1316         case Xval:
1317         {
1318                 struct val *val = cast(val, prog);
1319                 if (!type_compat(type, val->vtype, rules))
1320                         type_err(c, "error: expected %1 found %2",
1321                                    prog, type, rules, val->vtype);
1322                 *perr |= Erval;
1323                 return val->vtype;
1324         }
1325
1326 ###### interp exec cases
1327         case Xval:
1328                 rvtype = cast(val, e)->vtype;
1329                 dup_value(rvtype, &cast(val, e)->val, &rv);
1330                 break;
1331
1332 ###### ast functions
1333         static void free_val(struct val *v)
1334         {
1335                 if (v)
1336                         free_value(v->vtype, &v->val);
1337                 free(v);
1338         }
1339
1340 ###### free exec cases
1341         case Xval: free_val(cast(val, e)); break;
1342
1343 ###### ast functions
1344         // Move all nodes from 'b' to 'rv', reversing their order.
1345         // In 'b' 'left' is a list, and 'right' is the last node.
1346         // In 'rv', left' is the first node and 'right' is a list.
1347         static struct binode *reorder_bilist(struct binode *b)
1348         {
1349                 struct binode *rv = NULL;
1350
1351                 while (b) {
1352                         struct exec *t = b->right;
1353                         b->right = rv;
1354                         rv = b;
1355                         if (b->left)
1356                                 b = cast(binode, b->left);
1357                         else
1358                                 b = NULL;
1359                         rv->left = t;
1360                 }
1361                 return rv;
1362         }
1363
1364 #### Labels
1365
1366 Labels are a temporary concept until I implement enums.  There are an
1367 anonymous enum which is declared by usage.  Thet are only allowed in
1368 `use` statements and corresponding `case` entries.  They appear as a
1369 period followed by an identifier.  All identifiers that are "used" must
1370 have a "case".
1371
1372 For now, we have a global list of labels, and don't check that all "use"
1373 match "case".
1374
1375 ###### exec type
1376         Xlabel,
1377
1378 ###### ast
1379         struct label {
1380                 struct exec;
1381                 struct text name;
1382                 int value;
1383         };
1384 ###### free exec cases
1385         case Xlabel:
1386                 free(e);
1387                 break;
1388 ###### print exec cases
1389         case Xlabel: {
1390                 struct label *l = cast(label, e);
1391                 printf(".%.*s", l->name.len, l->name.txt);
1392                 break;
1393         }
1394
1395 ###### ast
1396         struct labels {
1397                 struct labels *next;
1398                 struct text name;
1399                 int value;
1400         };
1401 ###### parse context
1402         struct labels *labels;
1403         int next_label;
1404 ###### ast functions
1405         static int label_lookup(struct parse_context *c, struct text name)
1406         {
1407                 struct labels *l, **lp = &c->labels;
1408                 while (*lp && text_cmp((*lp)->name, name) < 0)
1409                         lp = &(*lp)->next;
1410                 if (*lp && text_cmp((*lp)->name, name) == 0)
1411                         return (*lp)->value;
1412                 l = calloc(1, sizeof(*l));
1413                 l->next = *lp;
1414                 l->name = name;
1415                 if (c->next_label == 0)
1416                         c->next_label = 2;
1417                 l->value = c->next_label;
1418                 c->next_label += 1;
1419                 *lp = l;
1420                 return l->value;
1421         }
1422
1423 ###### free context storage
1424         while (context.labels) {
1425                 struct labels *l = context.labels;
1426                 context.labels = l->next;
1427                 free(l);
1428         }
1429
1430 ###### declare terminals
1431         $TERM .
1432 ###### term grammar
1433         | . IDENTIFIER ${ {
1434                 struct label *l = new_pos(label, $ID);
1435                 l->name = $ID.txt;
1436                 $0 = l;
1437         } }$
1438 ###### propagate exec cases
1439         case Xlabel: {
1440                 struct label *l = cast(label, prog);
1441                 l->value = label_lookup(c, l->name);
1442                 if (!type_compat(type, Tlabel, rules))
1443                         type_err(c, "error: expected %1 found %2",
1444                                  prog, type, rules, Tlabel);
1445                 *perr |= Erval;
1446                 return Tlabel;
1447         }
1448 ###### interp exec cases
1449         case Xlabel : {
1450                 struct label *l = cast(label, e);
1451                 rv.label = l->value;
1452                 rvtype = Tlabel;
1453                 break;
1454         }
1455
1456
1457 ### Variables
1458
1459 Variables are scoped named values.  We store the names in a linked list
1460 of "bindings" sorted in lexical order, and use sequential search and
1461 insertion sort.
1462
1463 ###### ast
1464
1465         struct binding {
1466                 struct text name;
1467                 struct binding *next;   // in lexical order
1468                 ## binding fields
1469         };
1470
1471 This linked list is stored in the parse context so that "reduce"
1472 functions can find or add variables, and so the analysis phase can
1473 ensure that every variable gets a type.
1474
1475 ###### parse context
1476
1477         struct binding *varlist;  // In lexical order
1478
1479 ###### ast functions
1480
1481         static struct binding *find_binding(struct parse_context *c, struct text s)
1482         {
1483                 struct binding **l = &c->varlist;
1484                 struct binding *n;
1485                 int cmp = 1;
1486
1487                 while (*l &&
1488                         (cmp = text_cmp((*l)->name, s)) < 0)
1489                                 l = & (*l)->next;
1490                 if (cmp == 0)
1491                         return *l;
1492                 n = calloc(1, sizeof(*n));
1493                 n->name = s;
1494                 n->next = *l;
1495                 *l = n;
1496                 return n;
1497         }
1498
1499 Each name can be linked to multiple variables defined in different
1500 scopes.  Each scope starts where the name is declared and continues
1501 until the end of the containing code block.  Scopes of a given name
1502 cannot nest, so a declaration while a name is in-scope is an error.
1503
1504 ###### binding fields
1505         struct variable *var;
1506
1507 ###### ast
1508         struct variable {
1509                 struct variable *previous;
1510                 struct type *type;
1511                 struct binding *name;
1512                 struct exec *where_decl;// where name was declared
1513                 struct exec *where_set; // where type was set
1514                 ## variable fields
1515         };
1516
1517 When a scope closes, the values of the variables might need to be freed.
1518 This happens in the context of some `struct exec` and each `exec` will
1519 need to know which variables need to be freed when it completes.
1520
1521 ####### exec fields
1522         struct variable *to_free;
1523
1524 ####### variable fields
1525         struct exec *cleanup_exec;
1526         struct variable *next_free;
1527
1528 ####### interp exec cleanup
1529         {
1530                 struct variable *v;
1531                 for (v = e->to_free; v; v = v->next_free) {
1532                         struct value *val = var_value(c, v);
1533                         free_value(v->type, val);
1534                 }
1535         }
1536
1537 ###### ast functions
1538         static void variable_unlink_exec(struct variable *v)
1539         {
1540                 struct variable **vp;
1541                 if (!v->cleanup_exec)
1542                         return;
1543                 for (vp = &v->cleanup_exec->to_free;
1544                     *vp; vp = &(*vp)->next_free) {
1545                         if (*vp != v)
1546                                 continue;
1547                         *vp = v->next_free;
1548                         v->cleanup_exec = NULL;
1549                         break;
1550                 }
1551         }
1552
1553 While the naming seems strange, we include local constants in the
1554 definition of variables.  A name declared `var := value` can
1555 subsequently be changed, but a name declared `var ::= value` cannot -
1556 it is constant
1557
1558 ###### variable fields
1559         int constant;
1560
1561 Scopes in parallel branches can be partially merged.  More
1562 specifically, if a given name is declared in both branches of an
1563 if/else then its scope is a candidate for merging.  Similarly if
1564 every branch of an exhaustive switch (e.g. has an "else" clause)
1565 declares a given name, then the scopes from the branches are
1566 candidates for merging.
1567
1568 Note that names declared inside a loop (which is only parallel to
1569 itself) are never visible after the loop.  Similarly names defined in
1570 scopes which are not parallel, such as those started by `for` and
1571 `switch`, are never visible after the scope.  Only variables defined in
1572 both `then` and `else` (including the implicit then after an `if`, and
1573 excluding `then` used with `for`) and in all `case`s and `else` of a
1574 `switch` or `while` can be visible beyond the `if`/`switch`/`while`.
1575
1576 Labels, which are a bit like variables, follow different rules.
1577 Labels are not explicitly declared, but if an undeclared name appears
1578 in a context where a label is legal, that effectively declares the
1579 name as a label.  The declaration remains in force (or in scope) at
1580 least to the end of the immediately containing block and conditionally
1581 in any larger containing block which does not declare the name in some
1582 other way.  Importantly, the conditional scope extension happens even
1583 if the label is only used in one parallel branch of a conditional --
1584 when used in one branch it is treated as having been declared in all
1585 branches.
1586
1587 Merge candidates are tentatively visible beyond the end of the
1588 branching statement which creates them.  If the name is used, the
1589 merge is affirmed and they become a single variable visible at the
1590 outer layer.  If not - if it is redeclared first - the merge lapses.
1591
1592 To track scopes we have an extra stack, implemented as a linked list,
1593 which roughly parallels the parse stack and which is used exclusively
1594 for scoping.  When a new scope is opened, a new frame is pushed and
1595 the child-count of the parent frame is incremented.  This child-count
1596 is used to distinguish between the first of a set of parallel scopes,
1597 in which declared variables must not be in scope, and subsequent
1598 branches, whether they may already be conditionally scoped.
1599
1600 We need a total ordering of scopes so we can easily compare to variables
1601 to see if they are concurrently in scope.  To achieve this we record a
1602 `scope_count` which is actually a count of both beginnings and endings
1603 of scopes.  Then each variable has a record of the scope count where it
1604 enters scope, and where it leaves.
1605
1606 To push a new frame *before* any code in the frame is parsed, we need a
1607 grammar reduction.  This is most easily achieved with a grammar
1608 element which derives the empty string, and creates the new scope when
1609 it is recognised.  This can be placed, for example, between a keyword
1610 like "if" and the code following it.
1611
1612 ###### ast
1613         struct scope {
1614                 struct scope *parent;
1615                 int child_count;
1616         };
1617
1618 ###### parse context
1619         int scope_depth;
1620         int scope_count;
1621         struct scope *scope_stack;
1622
1623 ###### variable fields
1624         int scope_start, scope_end;
1625
1626 ###### ast functions
1627         static void scope_pop(struct parse_context *c)
1628         {
1629                 struct scope *s = c->scope_stack;
1630
1631                 c->scope_stack = s->parent;
1632                 free(s);
1633                 c->scope_depth -= 1;
1634                 c->scope_count += 1;
1635         }
1636
1637         static void scope_push(struct parse_context *c)
1638         {
1639                 struct scope *s = calloc(1, sizeof(*s));
1640                 if (c->scope_stack)
1641                         c->scope_stack->child_count += 1;
1642                 s->parent = c->scope_stack;
1643                 c->scope_stack = s;
1644                 c->scope_depth += 1;
1645                 c->scope_count += 1;
1646         }
1647
1648 ###### Grammar
1649
1650         $void
1651         OpenScope -> ${ scope_push(c); }$
1652
1653 Each variable records a scope depth and is in one of four states:
1654
1655 - "in scope".  This is the case between the declaration of the
1656   variable and the end of the containing block, and also between
1657   the usage with affirms a merge and the end of that block.
1658
1659   The scope depth is not greater than the current parse context scope
1660   nest depth.  When the block of that depth closes, the state will
1661   change.  To achieve this, all "in scope" variables are linked
1662   together as a stack in nesting order.
1663
1664 - "pending".  The "in scope" block has closed, but other parallel
1665   scopes are still being processed.  So far, every parallel block at
1666   the same level that has closed has declared the name.
1667
1668   The scope depth is the depth of the last parallel block that
1669   enclosed the declaration, and that has closed.
1670
1671 - "conditionally in scope".  The "in scope" block and all parallel
1672   scopes have closed, and no further mention of the name has been seen.
1673   This state includes a secondary nest depth (`min_depth`) which records
1674   the outermost scope seen since the variable became conditionally in
1675   scope.  If a use of the name is found, the variable becomes "in scope"
1676   and that secondary depth becomes the recorded scope depth.  If the
1677   name is declared as a new variable, the old variable becomes "out of
1678   scope" and the recorded scope depth stays unchanged.
1679
1680 - "out of scope".  The variable is neither in scope nor conditionally
1681   in scope.  It is permanently out of scope now and can be removed from
1682   the "in scope" stack.  When a variable becomes out-of-scope it is
1683   moved to a separate list (`out_scope`) of variables which have fully
1684   known scope.  This will be used at the end of each function to assign
1685   each variable a place in the stack frame.
1686
1687 ###### variable fields
1688         int depth, min_depth;
1689         enum { OutScope, PendingScope, CondScope, InScope } scope;
1690         struct variable *in_scope;
1691
1692 ###### parse context
1693
1694         struct variable *in_scope;
1695         struct variable *out_scope;
1696
1697 All variables with the same name are linked together using the
1698 'previous' link.  Those variable that have been affirmatively merged all
1699 have a 'merged' pointer that points to one primary variable - the most
1700 recently declared instance.  When merging variables, we need to also
1701 adjust the 'merged' pointer on any other variables that had previously
1702 been merged with the one that will no longer be primary.
1703
1704 A variable that is no longer the most recent instance of a name may
1705 still have "pending" scope, if it might still be merged with most
1706 recent instance.  These variables don't really belong in the
1707 "in_scope" list, but are not immediately removed when a new instance
1708 is found.  Instead, they are detected and ignored when considering the
1709 list of in_scope names.
1710
1711 The storage of the value of a variable will be described later.  For now
1712 we just need to know that when a variable goes out of scope, it might
1713 need to be freed.  For this we need to be able to find it, so assume that
1714 `var_value()` will provide that.
1715
1716 ###### variable fields
1717         struct variable *merged;
1718
1719 ###### ast functions
1720
1721         static void variable_merge(struct variable *primary, struct variable *secondary)
1722         {
1723                 struct variable *v;
1724
1725                 primary = primary->merged;
1726
1727                 for (v = primary->previous; v; v=v->previous)
1728                         if (v == secondary || v == secondary->merged ||
1729                             v->merged == secondary ||
1730                             v->merged == secondary->merged) {
1731                                 v->scope = OutScope;
1732                                 v->merged = primary;
1733                                 if (v->scope_start < primary->scope_start)
1734                                         primary->scope_start = v->scope_start;
1735                                 if (v->scope_end > primary->scope_end)
1736                                         primary->scope_end = v->scope_end;      // NOTEST
1737                                 variable_unlink_exec(v);
1738                         }
1739         }
1740
1741 ###### forward decls
1742         static struct value *var_value(struct parse_context *c, struct variable *v);
1743
1744 ###### free global vars
1745
1746         while (context.varlist) {
1747                 struct binding *b = context.varlist;
1748                 struct variable *v = b->var;
1749                 context.varlist = b->next;
1750                 free(b);
1751                 while (v) {
1752                         struct variable *next = v->previous;
1753
1754                         if (v->global && v->frame_pos >= 0) {
1755                                 free_value(v->type, var_value(&context, v));
1756                                 if (v->depth == 0 && v->type->free == function_free)
1757                                         // This is a function constant
1758                                         free_exec(v->where_decl);
1759                         }
1760                         free(v);
1761                         v = next;
1762                 }
1763         }
1764
1765 #### Manipulating Bindings
1766
1767 When a name is conditionally visible, a new declaration discards the old
1768 binding - the condition lapses.  Similarly when we reach the end of a
1769 function (outermost non-global scope) any conditional scope must lapse.
1770 Conversely a usage of the name affirms the visibility and extends it to
1771 the end of the containing block - i.e.  the block that contains both the
1772 original declaration and the latest usage.  This is determined from
1773 `min_depth`.  When a conditionally visible variable gets affirmed like
1774 this, it is also merged with other conditionally visible variables with
1775 the same name.
1776
1777 When we parse a variable declaration we either report an error if the
1778 name is currently bound, or create a new variable at the current nest
1779 depth if the name is unbound or bound to a conditionally scoped or
1780 pending-scope variable.  If the previous variable was conditionally
1781 scoped, it and its homonyms becomes out-of-scope.
1782
1783 When we parse a variable reference (including non-declarative assignment
1784 "foo = bar") we report an error if the name is not bound or is bound to
1785 a pending-scope variable; update the scope if the name is bound to a
1786 conditionally scoped variable; or just proceed normally if the named
1787 variable is in scope.
1788
1789 When we exit a scope, any variables bound at this level are either
1790 marked out of scope or pending-scoped, depending on whether the scope
1791 was sequential or parallel.  Here a "parallel" scope means the "then"
1792 or "else" part of a conditional, or any "case" or "else" branch of a
1793 switch.  Other scopes are "sequential".
1794
1795 When exiting a parallel scope we check if there are any variables that
1796 were previously pending and are still visible. If there are, then
1797 they weren't redeclared in the most recent scope, so they cannot be
1798 merged and must become out-of-scope.  If it is not the first of
1799 parallel scopes (based on `child_count`), we check that there was a
1800 previous binding that is still pending-scope.  If there isn't, the new
1801 variable must now be out-of-scope.
1802
1803 When exiting a sequential scope that immediately enclosed parallel
1804 scopes, we need to resolve any pending-scope variables.  If there was
1805 no `else` clause, and we cannot determine that the `switch` was exhaustive,
1806 we need to mark all pending-scope variable as out-of-scope.  Otherwise
1807 all pending-scope variables become conditionally scoped.
1808
1809 ###### ast
1810         enum closetype { CloseSequential, CloseFunction, CloseParallel, CloseElse };
1811
1812 ###### ast functions
1813
1814         static struct variable *var_decl(struct parse_context *c, struct text s)
1815         {
1816                 struct binding *b = find_binding(c, s);
1817                 struct variable *v = b->var;
1818
1819                 switch (v ? v->scope : OutScope) {
1820                 case InScope:
1821                         /* Caller will report the error */
1822                         return NULL;
1823                 case CondScope:
1824                         for (;
1825                              v && v->scope == CondScope;
1826                              v = v->previous)
1827                                 v->scope = OutScope;
1828                         break;
1829                 default: break;
1830                 }
1831                 v = calloc(1, sizeof(*v));
1832                 v->previous = b->var;
1833                 b->var = v;
1834                 v->name = b;
1835                 v->merged = v;
1836                 v->min_depth = v->depth = c->scope_depth;
1837                 v->scope = InScope;
1838                 v->in_scope = c->in_scope;
1839                 v->scope_start = c->scope_count;
1840                 c->in_scope = v;
1841                 ## variable init
1842                 return v;
1843         }
1844
1845         static struct variable *var_ref(struct parse_context *c, struct text s)
1846         {
1847                 struct binding *b = find_binding(c, s);
1848                 struct variable *v = b->var;
1849                 struct variable *v2;
1850
1851                 switch (v ? v->scope : OutScope) {
1852                 case OutScope:
1853                 case PendingScope:
1854                         /* Caller will report the error */
1855                         return NULL;
1856                 case CondScope:
1857                         /* All CondScope variables of this name need to be merged
1858                          * and become InScope
1859                          */
1860                         v->depth = v->min_depth;
1861                         v->scope = InScope;
1862                         for (v2 = v->previous;
1863                              v2 && v2->scope == CondScope;
1864                              v2 = v2->previous)
1865                                 variable_merge(v, v2);
1866                         break;
1867                 case InScope:
1868                         break;
1869                 }
1870                 return v;
1871         }
1872
1873         static int var_refile(struct parse_context *c, struct variable *v)
1874         {
1875                 /* Variable just went out of scope.  Add it to the out_scope
1876                  * list, sorted by ->scope_start
1877                  */
1878                 struct variable **vp = &c->out_scope;
1879                 while ((*vp) && (*vp)->scope_start < v->scope_start)
1880                         vp = &(*vp)->in_scope;
1881                 v->in_scope = *vp;
1882                 *vp = v;
1883                 return 0;
1884         }
1885
1886         static void var_block_close(struct parse_context *c, enum closetype ct,
1887                                     struct exec *e)
1888         {
1889                 /* Close off all variables that are in_scope.
1890                  * Some variables in c->scope may already be not-in-scope,
1891                  * such as when a PendingScope variable is hidden by a new
1892                  * variable with the same name.
1893                  * So we check for v->name->var != v and drop them.
1894                  * If we choose to make a variable OutScope, we drop it
1895                  * immediately too.
1896                  */
1897                 struct variable *v, **vp, *v2;
1898
1899                 scope_pop(c);
1900                 for (vp = &c->in_scope;
1901                      (v = *vp) && v->min_depth > c->scope_depth;
1902                      (v->scope == OutScope || v->name->var != v)
1903                      ? (*vp =  v->in_scope, var_refile(c, v))
1904                      : ( vp = &v->in_scope, 0)) {
1905                         v->min_depth = c->scope_depth;
1906                         if (v->name->var != v)
1907                                 /* This is still in scope, but we haven't just
1908                                  * closed the scope.
1909                                  */
1910                                 continue;
1911                         v->min_depth = c->scope_depth;
1912                         if (v->scope == InScope)
1913                                 v->scope_end = c->scope_count;
1914                         if (v->scope == InScope && e && !v->global) {
1915                                 /* This variable gets cleaned up when 'e' finishes */
1916                                 variable_unlink_exec(v);
1917                                 v->cleanup_exec = e;
1918                                 v->next_free = e->to_free;
1919                                 e->to_free = v;
1920                         }
1921                         switch (ct) {
1922                         case CloseElse:
1923                         case CloseParallel: /* handle PendingScope */
1924                                 switch(v->scope) {
1925                                 case InScope:
1926                                 case CondScope:
1927                                         if (c->scope_stack->child_count == 1)
1928                                                 /* first among parallel branches */
1929                                                 v->scope = PendingScope;
1930                                         else if (v->previous &&
1931                                                  v->previous->scope == PendingScope)
1932                                                 /* all previous branches used name */
1933                                                 v->scope = PendingScope;
1934                                         else
1935                                                 v->scope = OutScope;
1936                                         if (ct == CloseElse) {
1937                                                 /* All Pending variables with this name
1938                                                  * are now Conditional */
1939                                                 for (v2 = v;
1940                                                      v2 && v2->scope == PendingScope;
1941                                                      v2 = v2->previous)
1942                                                         v2->scope = CondScope;
1943                                         }
1944                                         break;
1945                                 case PendingScope:
1946                                         /* Not possible as it would require
1947                                          * parallel scope to be nested immediately
1948                                          * in a parallel scope, and that never
1949                                          * happens.
1950                                          */                     // NOTEST
1951                                 case OutScope:
1952                                         /* Not possible as we already tested for
1953                                          * OutScope
1954                                          */
1955                                         abort();                // NOTEST
1956                                 }
1957                                 break;
1958                         case CloseFunction:
1959                                 if (v->scope == CondScope)
1960                                         /* Condition cannot continue past end of function */
1961                                         v->scope = InScope;
1962                                 /* fallthrough */
1963                         case CloseSequential:
1964                                 switch (v->scope) {
1965                                 case InScope:
1966                                         v->scope = OutScope;
1967                                         break;
1968                                 case PendingScope:
1969                                         /* There was no 'else', so we can only become
1970                                          * conditional if we know the cases were exhaustive,
1971                                          * and that doesn't mean anything yet.
1972                                          * So only labels become conditional..
1973                                          */
1974                                         for (v2 = v;
1975                                              v2 && v2->scope == PendingScope;
1976                                              v2 = v2->previous)
1977                                                 v2->scope = OutScope;
1978                                         break;
1979                                 case CondScope:
1980                                 case OutScope: break;
1981                                 }
1982                                 break;
1983                         }
1984                 }
1985         }
1986
1987 #### Storing Values
1988
1989 The value of a variable is store separately from the variable, on an
1990 analogue of a stack frame.  There are (currently) two frames that can be
1991 active.  A global frame which currently only stores constants, and a
1992 stacked frame which stores local variables.  Each variable knows if it
1993 is global or not, and what its index into the frame is.
1994
1995 Values in the global frame are known immediately they are relevant, so
1996 the frame needs to be reallocated as it grows so it can store those
1997 values.  The local frame doesn't get values until the interpreted phase
1998 is started, so there is no need to allocate until the size is known.
1999
2000 We initialize the `frame_pos` to an impossible value, so that we can
2001 tell if it was set or not later.
2002
2003 ###### variable fields
2004         short frame_pos;
2005         short global;
2006
2007 ###### variable init
2008         v->frame_pos = -1;
2009
2010 ###### parse context
2011
2012         short global_size, global_alloc;
2013         short local_size;
2014         void *global, *local;
2015
2016 ###### forward decls
2017         static struct value *global_alloc(struct parse_context *c, struct type *t,
2018                                           struct variable *v, struct value *init);
2019
2020 ###### ast functions
2021
2022         static struct value *var_value(struct parse_context *c, struct variable *v)
2023         {
2024                 if (!v->global) {
2025                         if (!c->local || !v->type)
2026                                 return NULL;    // UNTESTED
2027                         if (v->frame_pos + v->type->size > c->local_size) {
2028                                 printf("INVALID frame_pos\n");  // NOTEST
2029                                 exit(2);                        // NOTEST
2030                         }
2031                         return c->local + v->frame_pos;
2032                 }
2033                 if (c->global_size > c->global_alloc) {
2034                         int old = c->global_alloc;
2035                         c->global_alloc = (c->global_size | 1023) + 1024;
2036                         c->global = realloc(c->global, c->global_alloc);
2037                         memset(c->global + old, 0, c->global_alloc - old);
2038                 }
2039                 return c->global + v->frame_pos;
2040         }
2041
2042         static struct value *global_alloc(struct parse_context *c, struct type *t,
2043                                           struct variable *v, struct value *init)
2044         {
2045                 struct value *ret;
2046                 struct variable scratch;
2047
2048                 if (t->prepare_type)
2049                         t->prepare_type(c, t, 1);       // NOTEST
2050
2051                 if (c->global_size & (t->align - 1))
2052                         c->global_size = (c->global_size + t->align) & ~(t->align-1);   // NOTEST
2053                 if (!v) {
2054                         v = &scratch;
2055                         v->type = t;
2056                 }
2057                 v->frame_pos = c->global_size;
2058                 v->global = 1;
2059                 c->global_size += v->type->size;
2060                 ret = var_value(c, v);
2061                 if (init)
2062                         memcpy(ret, init, t->size);
2063                 else
2064                         val_init(t, ret);       // NOTEST
2065                 return ret;
2066         }
2067
2068 As global values are found -- struct field initializers, labels etc --
2069 `global_alloc()` is called to record the value in the global frame.
2070
2071 When the program is fully parsed, each function is analysed, we need to
2072 walk the list of variables local to that function and assign them an
2073 offset in the stack frame.  For this we have `scope_finalize()`.
2074
2075 We keep the stack from dense by re-using space for between variables
2076 that are not in scope at the same time.  The `out_scope` list is sorted
2077 by `scope_start` and as we process a varible, we move it to an FIFO
2078 stack.  For each variable we consider, we first discard any from the
2079 stack anything that went out of scope before the new variable came in.
2080 Then we place the new variable just after the one at the top of the
2081 stack.
2082
2083 ###### ast functions
2084
2085         static void scope_finalize(struct parse_context *c, struct type *ft)
2086         {
2087                 int size = ft->function.local_size;
2088                 struct variable *next = ft->function.scope;
2089                 struct variable *done = NULL;
2090
2091                 while (next) {
2092                         struct variable *v = next;
2093                         struct type *t = v->type;
2094                         int pos;
2095                         next = v->in_scope;
2096                         if (v->merged != v)
2097                                 continue;
2098                         if (!t)
2099                                 continue;
2100                         if (v->frame_pos >= 0)
2101                                 continue;
2102                         while (done && done->scope_end < v->scope_start)
2103                                 done = done->in_scope;
2104                         if (done)
2105                                 pos = done->frame_pos + done->type->size;
2106                         else
2107                                 pos = ft->function.local_size;
2108                         if (pos & (t->align - 1))
2109                                 pos = (pos + t->align) & ~(t->align-1);
2110                         v->frame_pos = pos;
2111                         if (size < pos + v->type->size)
2112                                 size = pos + v->type->size;
2113                         v->in_scope = done;
2114                         done = v;
2115                 }
2116                 c->out_scope = NULL;
2117                 ft->function.local_size = size;
2118         }
2119
2120 ###### free context storage
2121         free(context.global);
2122
2123 #### Variables as executables
2124
2125 Just as we used a `val` to wrap a value into an `exec`, we similarly
2126 need a `var` to wrap a `variable` into an exec.  While each `val`
2127 contained a copy of the value, each `var` holds a link to the variable
2128 because it really is the same variable no matter where it appears.
2129 When a variable is used, we need to remember to follow the `->merged`
2130 link to find the primary instance.
2131
2132 When a variable is declared, it may or may not be given an explicit
2133 type.  We need to record which so that we can report the parsed code
2134 correctly.
2135
2136 ###### exec type
2137         Xvar,
2138
2139 ###### ast
2140         struct var {
2141                 struct exec;
2142                 struct variable *var;
2143         };
2144
2145 ###### variable fields
2146         int explicit_type;
2147
2148 ###### Grammar
2149
2150         $TERM : ::
2151
2152         $*var
2153         VariableDecl -> IDENTIFIER : ${ {
2154                 struct variable *v = var_decl(c, $1.txt);
2155                 $0 = new_pos(var, $1);
2156                 $0->var = v;
2157                 if (v)
2158                         v->where_decl = $0;
2159                 else {
2160                         v = var_ref(c, $1.txt);
2161                         $0->var = v;
2162                         type_err(c, "error: variable '%v' redeclared",
2163                                  $0, NULL, 0, NULL);
2164                         type_err(c, "info: this is where '%v' was first declared",
2165                                  v->where_decl, NULL, 0, NULL);
2166                 }
2167         } }$
2168         | IDENTIFIER :: ${ {
2169                 struct variable *v = var_decl(c, $1.txt);
2170                 $0 = new_pos(var, $1);
2171                 $0->var = v;
2172                 if (v) {
2173                         v->where_decl = $0;
2174                         v->constant = 1;
2175                 } else {
2176                         v = var_ref(c, $1.txt);
2177                         $0->var = v;
2178                         type_err(c, "error: variable '%v' redeclared",
2179                                  $0, NULL, 0, NULL);
2180                         type_err(c, "info: this is where '%v' was first declared",
2181                                  v->where_decl, NULL, 0, NULL);
2182                 }
2183         } }$
2184         | IDENTIFIER : Type ${ {
2185                 struct variable *v = var_decl(c, $1.txt);
2186                 $0 = new_pos(var, $1);
2187                 $0->var = v;
2188                 if (v) {
2189                         v->where_decl = $0;
2190                         v->where_set = $0;
2191                         v->type = $<Type;
2192                         v->explicit_type = 1;
2193                 } else {
2194                         v = var_ref(c, $1.txt);
2195                         $0->var = v;
2196                         type_err(c, "error: variable '%v' redeclared",
2197                                  $0, NULL, 0, NULL);
2198                         type_err(c, "info: this is where '%v' was first declared",
2199                                  v->where_decl, NULL, 0, NULL);
2200                 }
2201         } }$
2202         | IDENTIFIER :: Type ${ {
2203                 struct variable *v = var_decl(c, $1.txt);
2204                 $0 = new_pos(var, $1);
2205                 $0->var = v;
2206                 if (v) {
2207                         v->where_decl = $0;
2208                         v->where_set = $0;
2209                         v->type = $<Type;
2210                         v->constant = 1;
2211                         v->explicit_type = 1;
2212                 } else {
2213                         v = var_ref(c, $1.txt);
2214                         $0->var = v;
2215                         type_err(c, "error: variable '%v' redeclared",
2216                                  $0, NULL, 0, NULL);
2217                         type_err(c, "info: this is where '%v' was first declared",
2218                                  v->where_decl, NULL, 0, NULL);
2219                 }
2220         } }$
2221
2222         $*exec
2223         Variable -> IDENTIFIER ${ {
2224                 struct variable *v = var_ref(c, $1.txt);
2225                 $0 = new_pos(var, $1);
2226                 if (v == NULL) {
2227                         /* This might be a global const or a label
2228                          * Allocate a var with impossible type Tnone,
2229                          * which will be adjusted when we find out what it is,
2230                          * or will trigger an error.
2231                          */
2232                         v = var_decl(c, $1.txt);
2233                         if (v) {
2234                                 v->type = Tnone;
2235                                 v->where_decl = $0;
2236                                 v->where_set = $0;
2237                         }
2238                 }
2239                 cast(var, $0)->var = v;
2240         } }$
2241
2242 ###### print exec cases
2243         case Xvar:
2244         {
2245                 struct var *v = cast(var, e);
2246                 if (v->var) {
2247                         struct binding *b = v->var->name;
2248                         printf("%.*s", b->name.len, b->name.txt);
2249                 }
2250                 break;
2251         }
2252
2253 ###### format cases
2254         case 'v':
2255                 if (loc && loc->type == Xvar) {
2256                         struct var *v = cast(var, loc);
2257                         if (v->var) {
2258                                 struct binding *b = v->var->name;
2259                                 fprintf(stderr, "%.*s", b->name.len, b->name.txt);
2260                         } else
2261                                 fputs("???", stderr);   // NOTEST
2262                 } else
2263                         fputs("NOTVAR", stderr);        // NOTEST
2264                 break;
2265
2266 ###### propagate exec cases
2267
2268         case Xvar:
2269         {
2270                 struct var *var = cast(var, prog);
2271                 struct variable *v = var->var;
2272                 if (!v) {
2273                         type_err(c, "%d:BUG: no variable!!", prog, NULL, 0, NULL); // NOTEST
2274                         return Tnone;                                   // NOTEST
2275                 }
2276                 v = v->merged;
2277                 if (v->type == Tnone && v->where_decl == prog)
2278                         type_err(c, "error: variable used but not declared: %v",
2279                                  prog, NULL, 0, NULL);
2280                 if (v->type == NULL) {
2281                         if (type && !(*perr & Efail)) {
2282                                 v->type = type;
2283                                 v->where_set = prog;
2284                                 *perr |= Eretry;
2285                         }
2286                 } else if (!type_compat(type, v->type, rules)) {
2287                         type_err(c, "error: expected %1 but variable '%v' is %2", prog,
2288                                  type, rules, v->type);
2289                         type_err(c, "info: this is where '%v' was set to %1", v->where_set,
2290                                  v->type, rules, NULL);
2291                 }
2292                 if (!v->global || v->frame_pos < 0)
2293                         *perr |= Eruntime;
2294                 if (v->constant)
2295                         *perr |= Econst;
2296                 return v->type;
2297         }
2298
2299 ###### interp exec cases
2300         case Xvar:
2301         {
2302                 struct var *var = cast(var, e);
2303                 struct variable *v = var->var;
2304
2305                 v = v->merged;
2306                 lrv = var_value(c, v);
2307                 rvtype = v->type;
2308                 break;
2309         }
2310
2311 ###### ast functions
2312
2313         static void free_var(struct var *v)
2314         {
2315                 free(v);
2316         }
2317
2318 ###### free exec cases
2319         case Xvar: free_var(cast(var, e)); break;
2320
2321
2322 ### Complex types
2323
2324 Now that we have the shape of the interpreter in place we can add some
2325 complex types and connected them in to the data structures and the
2326 different phases of parse, analyse, print, interpret.
2327
2328 Being "complex" the language will naturally have syntax to access
2329 specifics of objects of these types.  These will fit into the grammar as
2330 "Terms" which are the things that are combined with various operators to
2331 form "Expression".  Where a Term is formed by some operation on another
2332 Term, the subordinate Term will always come first, so for example a
2333 member of an array will be expressed as the Term for the array followed
2334 by an index in square brackets.  The strict rule of using postfix
2335 operations makes precedence irrelevant within terms.  To provide a place
2336 to put the grammar for each terms of each type, we will start out by
2337 introducing the "Term" grammar production, with contains at least a
2338 simple "Value" (to be explained later).
2339
2340 ###### Grammar
2341         $*exec
2342         Term ->  Value ${ $0 = $<1; }$
2343         | Variable ${ $0 = $<1; }$
2344         ## term grammar
2345
2346 Thus far the complex types we have are arrays and structs.
2347
2348 #### Arrays
2349
2350 Arrays can be declared by giving a size and a type, as `[size]type' so
2351 `freq:[26]number` declares `freq` to be an array of 26 numbers.  The
2352 size can be either a literal number, or a named constant.  Some day an
2353 arbitrary expression will be supported.
2354
2355 As a formal parameter to a function, the array can be declared with a
2356 new variable as the size: `name:[size::number]string`.  The `size`
2357 variable is set to the size of the array and must be a constant.  As
2358 `number` is the only supported type, it can be left out:
2359 `name:[size::]string`.
2360
2361 Arrays cannot be assigned.  When pointers are introduced we will also
2362 introduce array slices which can refer to part or all of an array -
2363 the assignment syntax will create a slice.  For now, an array can only
2364 ever be referenced by the name it is declared with.  It is likely that
2365 a "`copy`" primitive will eventually be define which can be used to
2366 make a copy of an array with controllable recursive depth.
2367
2368 For now we have two sorts of array, those with fixed size either because
2369 it is given as a literal number or because it is a struct member (which
2370 cannot have a runtime-changing size), and those with a size that is
2371 determined at runtime - local variables with a const size.  The former
2372 have their size calculated at parse time, the latter at run time.
2373
2374 For the latter type, the `size` field of the type is the size of a
2375 pointer, and the array is reallocated every time it comes into scope.
2376
2377 We differentiate struct fields with a const size from local variables
2378 with a const size by whether they are prepared at parse time or not.
2379
2380 ###### type union fields
2381
2382         struct {
2383                 int unspec;     // size is unspecified - vsize must be set.
2384                 short size;
2385                 short static_size;
2386                 struct variable *vsize;
2387                 struct type *member;
2388         } array;
2389
2390 ###### value union fields
2391         void *array;  // used if not static_size
2392
2393 ###### value functions
2394
2395         static int array_prepare_type(struct parse_context *c, struct type *type,
2396                                        int parse_time)
2397         {
2398                 struct value *vsize;
2399                 mpz_t q;
2400                 if (type->array.static_size)
2401                         return 1;       // UNTESTED
2402                 if (type->array.unspec && parse_time)
2403                         return 1;       // UNTESTED
2404                 if (parse_time && type->array.vsize && !type->array.vsize->global)
2405                         return 1;       // UNTESTED
2406
2407                 if (type->array.vsize) {
2408                         vsize = var_value(c, type->array.vsize);
2409                         if (!vsize)
2410                                 return 1;       // UNTESTED
2411                         mpz_init(q);
2412                         mpz_tdiv_q(q, mpq_numref(vsize->num), mpq_denref(vsize->num));
2413                         type->array.size = mpz_get_si(q);
2414                         mpz_clear(q);
2415                 }
2416                 if (!parse_time)
2417                         return 1;
2418                 if (type->array.member->size <= 0)
2419                         return 0;       // UNTESTED
2420
2421                 type->array.static_size = 1;
2422                 type->size = type->array.size * type->array.member->size;
2423                 type->align = type->array.member->align;
2424
2425                 return 1;
2426         }
2427
2428         static void array_init(struct type *type, struct value *val)
2429         {
2430                 int i;
2431                 void *ptr = val->ptr;
2432
2433                 if (!val)
2434                         return;                         // NOTEST
2435                 if (!type->array.static_size) {
2436                         val->array = calloc(type->array.size,
2437                                             type->array.member->size);
2438                         ptr = val->array;
2439                 }
2440                 for (i = 0; i < type->array.size; i++) {
2441                         struct value *v;
2442                         v = (void*)ptr + i * type->array.member->size;
2443                         val_init(type->array.member, v);
2444                 }
2445         }
2446
2447         static void array_free(struct type *type, struct value *val)
2448         {
2449                 int i;
2450                 void *ptr = val->ptr;
2451
2452                 if (!type->array.static_size)
2453                         ptr = val->array;
2454                 for (i = 0; i < type->array.size; i++) {
2455                         struct value *v;
2456                         v = (void*)ptr + i * type->array.member->size;
2457                         free_value(type->array.member, v);
2458                 }
2459                 if (!type->array.static_size)
2460                         free(ptr);
2461         }
2462
2463         static int array_compat(struct type *require, struct type *have,
2464                                 enum val_rules rules)
2465         {
2466                 if (have->compat != require->compat)
2467                         return 0;
2468                 /* Both are arrays, so we can look at details */
2469                 if (!type_compat(require->array.member, have->array.member, 0))
2470                         return 0;
2471                 if (have->array.unspec && require->array.unspec) {
2472                         if (have->array.vsize && require->array.vsize &&
2473                             have->array.vsize != require->array.vsize)  // UNTESTED
2474                                 /* sizes might not be the same */
2475                                 return 0;       // UNTESTED
2476                         return 1;
2477                 }
2478                 if (have->array.unspec || require->array.unspec)
2479                         return 1;       // UNTESTED
2480                 if (require->array.vsize == NULL && have->array.vsize == NULL)
2481                         return require->array.size == have->array.size;
2482
2483                 return require->array.vsize == have->array.vsize;       // UNTESTED
2484         }
2485
2486         static void array_print_type(struct type *type, FILE *f)
2487         {
2488                 fputs("[", f);
2489                 if (type->array.vsize) {
2490                         struct binding *b = type->array.vsize->name;
2491                         fprintf(f, "%.*s%s]", b->name.len, b->name.txt,
2492                                 type->array.unspec ? "::" : "");
2493                 } else if (type->array.size)
2494                         fprintf(f, "%d]", type->array.size);
2495                 else
2496                         fprintf(f, "]");
2497                 type_print(type->array.member, f);
2498         }
2499
2500         static struct type array_prototype = {
2501                 .init = array_init,
2502                 .prepare_type = array_prepare_type,
2503                 .print_type = array_print_type,
2504                 .compat = array_compat,
2505                 .free = array_free,
2506                 .size = sizeof(void*),
2507                 .align = sizeof(void*),
2508         };
2509
2510 ###### declare terminals
2511         $TERM [ ]
2512
2513 ###### type grammar
2514
2515         | [ NUMBER ] Type ${ {
2516                 char tail[3];
2517                 mpq_t num;
2518                 struct type *t;
2519                 int elements = 0;
2520
2521                 if (number_parse(num, tail, $2.txt) == 0)
2522                         tok_err(c, "error: unrecognised number", &$2);
2523                 else if (tail[0]) {
2524                         tok_err(c, "error: unsupported number suffix", &$2);
2525                         mpq_clear(num);
2526                 } else {
2527                         elements = mpz_get_ui(mpq_numref(num));
2528                         if (mpz_cmp_ui(mpq_denref(num), 1) != 0) {
2529                                 tok_err(c, "error: array size must be an integer",
2530                                         &$2);
2531                         } else if (mpz_cmp_ui(mpq_numref(num), 1UL << 30) >= 0)
2532                                 tok_err(c, "error: array size is too large",
2533                                         &$2);
2534                         mpq_clear(num);
2535                 }
2536
2537                 $0 = t = add_anon_type(c, &array_prototype, "array[%d]", elements );
2538                 t->array.size = elements;
2539                 t->array.member = $<4;
2540                 t->array.vsize = NULL;
2541         } }$
2542
2543         | [ IDENTIFIER ] Type ${ {
2544                 struct variable *v = var_ref(c, $2.txt);
2545
2546                 if (!v)
2547                         tok_err(c, "error: name undeclared", &$2);
2548                 else if (!v->constant)
2549                         tok_err(c, "error: array size must be a constant", &$2);
2550
2551                 $0 = add_anon_type(c, &array_prototype, "array[%.*s]", $2.txt.len, $2.txt.txt);
2552                 $0->array.member = $<4;
2553                 $0->array.size = 0;
2554                 $0->array.vsize = v;
2555         } }$
2556
2557 ###### Grammar
2558         $*type
2559         OptType -> Type ${ $0 = $<1; }$
2560                 | ${ $0 = NULL; }$
2561
2562 ###### formal type grammar
2563
2564         | [ IDENTIFIER :: OptType ] Type ${ {
2565                 struct variable *v = var_decl(c, $ID.txt);
2566
2567                 v->type = $<OT;
2568                 v->constant = 1;
2569                 if (!v->type)
2570                         v->type = Tnum;
2571                 $0 = add_anon_type(c, &array_prototype, "array[var]");
2572                 $0->array.member = $<6;
2573                 $0->array.size = 0;
2574                 $0->array.unspec = 1;
2575                 $0->array.vsize = v;
2576         } }$
2577
2578 ###### Binode types
2579         Index, Length,
2580
2581 ###### term grammar
2582
2583         | Term [ Expression ] ${ {
2584                 struct binode *b = new(binode);
2585                 b->op = Index;
2586                 b->left = $<1;
2587                 b->right = $<3;
2588                 $0 = b;
2589         } }$
2590
2591         | Term [ ] ${ {
2592                 struct binode *b = new(binode);
2593                 b->op = Length;
2594                 b->left = $<Term;
2595                 $0 = b;
2596         } }$
2597
2598 ###### print binode cases
2599         case Index:
2600                 print_exec(b->left, -1, bracket);
2601                 printf("[");
2602                 print_exec(b->right, -1, bracket);
2603                 printf("]");
2604                 break;
2605
2606         case Length:
2607                 print_exec(b->left, -1, bracket);
2608                 printf("[]");
2609                 break;
2610
2611 ###### propagate binode cases
2612         case Index:
2613                 /* left must be an array, right must be a number,
2614                  * result is the member type of the array
2615                  */
2616                 propagate_types(b->right, c, perr_local, Tnum, 0);
2617                 t = propagate_types(b->left, c, perr, NULL, 0);
2618                 if (!t || t->compat != array_compat) {
2619                         type_err(c, "error: %1 cannot be indexed", prog, t, 0, NULL);
2620                         return NULL;
2621                 } else {
2622                         if (!type_compat(type, t->array.member, rules)) {
2623                                 type_err(c, "error: have %1 but need %2", prog,
2624                                          t->array.member, rules, type);
2625                         }
2626                         return t->array.member;
2627                 }
2628                 break;
2629
2630         case Length:
2631                 /* left must be an array, result is a number
2632                  */
2633                 t = propagate_types(b->left, c, perr, NULL, 0);
2634                 if (!t || t->compat != array_compat) {
2635                         type_err(c, "error: %1 cannot provide length", prog, t, 0, NULL);
2636                         return NULL;
2637                 }
2638                 if (!type_compat(type, Tnum, rules))
2639                         type_err(c, "error: have %1 but need %2", prog,
2640                                          Tnum, rules, type);
2641                 return Tnum;
2642                 break;
2643
2644 ###### interp binode cases
2645         case Index: {
2646                 mpz_t q;
2647                 long i;
2648                 void *ptr;
2649
2650                 lleft = linterp_exec(c, b->left, &ltype);
2651                 right = interp_exec(c, b->right, &rtype);
2652                 mpz_init(q);
2653                 mpz_tdiv_q(q, mpq_numref(right.num), mpq_denref(right.num));
2654                 i = mpz_get_si(q);
2655                 mpz_clear(q);
2656
2657                 if (ltype->array.static_size)
2658                         ptr = lleft;
2659                 else
2660                         ptr = *(void**)lleft;
2661                 rvtype = ltype->array.member;
2662                 if (i >= 0 && i < ltype->array.size)
2663                         lrv = ptr + i * rvtype->size;
2664                 else
2665                         val_init(ltype->array.member, &rv); // UNSAFE
2666                 ltype = NULL;
2667                 break;
2668         }
2669         case Length: {
2670                 lleft = linterp_exec(c, b->left, &ltype);
2671                 mpq_set_ui(rv.num, ltype->array.size, 1);
2672                 ltype = NULL;
2673                 rvtype = Tnum;
2674                 break;
2675         }
2676
2677 #### Structs
2678
2679 A `struct` is a data-type that contains one or more other data-types.
2680 It differs from an array in that each member can be of a different
2681 type, and they are accessed by name rather than by number.  Thus you
2682 cannot choose an element by calculation, you need to know what you
2683 want up-front.
2684
2685 The language makes no promises about how a given structure will be
2686 stored in memory - it is free to rearrange fields to suit whatever
2687 criteria seems important.
2688
2689 Structs are declared separately from program code - they cannot be
2690 declared in-line in a variable declaration like arrays can.  A struct
2691 is given a name and this name is used to identify the type - the name
2692 is not prefixed by the word `struct` as it would be in C.
2693
2694 Structs are only treated as the same if they have the same name.
2695 Simply having the same fields in the same order is not enough.  This
2696 might change once we can create structure initializers from a list of
2697 values.
2698
2699 Each component datum is identified much like a variable is declared,
2700 with a name, one or two colons, and a type.  The type cannot be omitted
2701 as there is no opportunity to deduce the type from usage.  An initial
2702 value can be given following an equals sign, so
2703
2704 ##### Example: a struct type
2705
2706         struct complex:
2707                 x:number = 0
2708                 y:number = 0
2709
2710 would declare a type called "complex" which has two number fields,
2711 each initialised to zero.
2712
2713 Struct will need to be declared separately from the code that uses
2714 them, so we will need to be able to print out the declaration of a
2715 struct when reprinting the whole program.  So a `print_type_decl` type
2716 function will be needed.
2717
2718 ###### type union fields
2719
2720         struct {
2721                 int nfields;
2722                 struct field {
2723                         struct text name;
2724                         struct type *type;
2725                         struct value *init;
2726                         int offset;
2727                 } *fields; // This is created when field_list is analysed.
2728                 struct fieldlist {
2729                         struct fieldlist *prev;
2730                         struct field f;
2731                         struct exec *init;
2732                 } *field_list; // This is created during parsing
2733         } structure;
2734
2735 ###### type functions
2736         void (*print_type_decl)(struct type *type, FILE *f);
2737         struct type *(*fieldref)(struct type *t, struct parse_context *c,
2738                                  struct fieldref *f, struct value **vp);
2739
2740 ###### value functions
2741
2742         static void structure_init(struct type *type, struct value *val)
2743         {
2744                 int i;
2745
2746                 for (i = 0; i < type->structure.nfields; i++) {
2747                         struct value *v;
2748                         v = (void*) val->ptr + type->structure.fields[i].offset;
2749                         if (type->structure.fields[i].init)
2750                                 dup_value(type->structure.fields[i].type,
2751                                           type->structure.fields[i].init,
2752                                           v);
2753                         else
2754                                 val_init(type->structure.fields[i].type, v);
2755                 }
2756         }
2757
2758         static void structure_free(struct type *type, struct value *val)
2759         {
2760                 int i;
2761
2762                 for (i = 0; i < type->structure.nfields; i++) {
2763                         struct value *v;
2764                         v = (void*)val->ptr + type->structure.fields[i].offset;
2765                         free_value(type->structure.fields[i].type, v);
2766                 }
2767         }
2768
2769         static void free_fieldlist(struct fieldlist *f)
2770         {
2771                 if (!f)
2772                         return;
2773                 free_fieldlist(f->prev);
2774                 free_exec(f->init);
2775                 free(f);
2776         }
2777
2778         static void structure_free_type(struct type *t)
2779         {
2780                 int i;
2781                 for (i = 0; i < t->structure.nfields; i++)
2782                         if (t->structure.fields[i].init) {
2783                                 free_value(t->structure.fields[i].type,
2784                                            t->structure.fields[i].init);
2785                         }
2786                 free(t->structure.fields);
2787                 free_fieldlist(t->structure.field_list);
2788         }
2789
2790         static int structure_prepare_type(struct parse_context *c,
2791                                           struct type *t, int parse_time)
2792         {
2793                 int cnt = 0;
2794                 struct fieldlist *f;
2795
2796                 if (!parse_time || t->structure.fields)
2797                         return 1;
2798
2799                 for (f = t->structure.field_list; f; f=f->prev) {
2800                         enum prop_err perr;
2801                         cnt += 1;
2802
2803                         if (f->f.type->size <= 0)
2804                                 return 0;
2805                         if (f->f.type->prepare_type)
2806                                 f->f.type->prepare_type(c, f->f.type, parse_time);
2807
2808                         if (f->init == NULL)
2809                                 continue;
2810                         do {
2811                                 perr = 0;
2812                                 propagate_types(f->init, c, &perr, f->f.type, 0);
2813                         } while (perr & Eretry);
2814                         if (perr & Efail)
2815                                 c->parse_error += 1;    // NOTEST
2816                 }
2817
2818                 t->structure.nfields = cnt;
2819                 t->structure.fields = calloc(cnt, sizeof(struct field));
2820                 f = t->structure.field_list;
2821                 while (cnt > 0) {
2822                         int a = f->f.type->align;
2823                         cnt -= 1;
2824                         t->structure.fields[cnt] = f->f;
2825                         if (t->size & (a-1))
2826                                 t->size = (t->size | (a-1)) + 1;
2827                         t->structure.fields[cnt].offset = t->size;
2828                         t->size += ((f->f.type->size - 1) | (a-1)) + 1;
2829                         if (a > t->align)
2830                                 t->align = a;
2831
2832                         if (f->init && !c->parse_error) {
2833                                 struct value vl = interp_exec(c, f->init, NULL);
2834                                 t->structure.fields[cnt].init =
2835                                         global_alloc(c, f->f.type, NULL, &vl);
2836                         }
2837
2838                         f = f->prev;
2839                 }
2840                 return 1;
2841         }
2842
2843         static int find_struct_index(struct type *type, struct text field)
2844         {
2845                 int i;
2846                 for (i = 0; i < type->structure.nfields; i++)
2847                         if (text_cmp(type->structure.fields[i].name, field) == 0)
2848                                 return i;
2849                 return IndexInvalid;
2850         }
2851
2852         static struct type *structure_fieldref(struct type *t, struct parse_context *c,
2853                                                struct fieldref *f, struct value **vp)
2854         {
2855                 if (f->index == IndexUnknown) {
2856                         f->index = find_struct_index(t, f->name);
2857                         if (f->index < 0)
2858                                 type_err(c, "error: cannot find requested field in %1",
2859                                          f->left, t, 0, NULL);
2860                 }
2861                 if (f->index < 0)
2862                         return NULL;
2863                 if (vp) {
2864                         struct value *v = *vp;
2865                         v = (void*)v->ptr + t->structure.fields[f->index].offset;
2866                         *vp = v;
2867                 }
2868                 return t->structure.fields[f->index].type;
2869         }
2870
2871         static struct type structure_prototype = {
2872                 .init = structure_init,
2873                 .free = structure_free,
2874                 .free_type = structure_free_type,
2875                 .print_type_decl = structure_print_type,
2876                 .prepare_type = structure_prepare_type,
2877                 .fieldref = structure_fieldref,
2878         };
2879
2880 ###### exec type
2881         Xfieldref,
2882
2883 ###### ast
2884         struct fieldref {
2885                 struct exec;
2886                 struct exec *left;
2887                 int index;
2888                 struct text name;
2889         };
2890         enum { IndexUnknown = -1, IndexInvalid = -2 };
2891
2892 ###### free exec cases
2893         case Xfieldref:
2894                 free_exec(cast(fieldref, e)->left);
2895                 free(e);
2896                 break;
2897
2898 ###### declare terminals
2899         $TERM struct
2900
2901 ###### term grammar
2902
2903         | Term . IDENTIFIER ${ {
2904                 struct fieldref *fr = new_pos(fieldref, $2);
2905                 fr->left = $<1;
2906                 fr->name = $3.txt;
2907                 fr->index = IndexUnknown;
2908                 $0 = fr;
2909         } }$
2910
2911 ###### print exec cases
2912
2913         case Xfieldref:
2914         {
2915                 struct fieldref *f = cast(fieldref, e);
2916                 print_exec(f->left, -1, bracket);
2917                 printf(".%.*s", f->name.len, f->name.txt);
2918                 break;
2919         }
2920
2921 ###### propagate exec cases
2922
2923         case Xfieldref:
2924         {
2925                 struct fieldref *f = cast(fieldref, prog);
2926                 struct type *st = propagate_types(f->left, c, perr, NULL, 0);
2927
2928                 if (!st || !st->fieldref)
2929                         type_err(c, "error: field reference on %1 is not supported",
2930                                  f->left, st, 0, NULL);
2931                 else {
2932                         t = st->fieldref(st, c, f, NULL);
2933                         if (t && !type_compat(type, t, rules))
2934                                 type_err(c, "error: have %1 but need %2", prog,
2935                                          t, rules, type);
2936                         return t;
2937                 }
2938                 break;
2939         }
2940
2941 ###### interp exec cases
2942         case Xfieldref:
2943         {
2944                 struct fieldref *f = cast(fieldref, e);
2945                 struct type *ltype;
2946                 struct value *lleft = linterp_exec(c, f->left, &ltype);
2947                 lrv = lleft;
2948                 rvtype = ltype->fieldref(ltype, c, f, &lrv);
2949                 break;
2950         }
2951
2952 ###### top level grammar
2953         $*type
2954         StructName -> IDENTIFIER ${ {
2955                 struct type *t = find_type(c, $ID.txt);
2956
2957                 if (t && t->size >= 0) {
2958                         tok_err(c, "error: type already declared", &$ID);
2959                         tok_err(c, "info: this is location of declartion", &t->first_use);
2960                         t = NULL;
2961                 }
2962                 if (!t)
2963                         t = add_type(c, $ID.txt, NULL);
2964                 t->first_use = $ID;
2965                 $0 = t;
2966         } }$
2967         $void
2968         DeclareStruct -> struct StructName FieldBlock Newlines ${ {
2969                 struct type *t = $<SN;
2970                 struct type tmp = *t;
2971
2972                 *t = structure_prototype;
2973                 t->name = tmp.name;
2974                 t->next = tmp.next;
2975                 t->first_use = tmp.first_use;
2976
2977                 t->structure.field_list = $<FB;
2978         } }$
2979
2980         $*fieldlist
2981         FieldBlock -> { IN OptNL FieldLines OUT OptNL } ${ $0 = $<FL; }$
2982         | { SimpleFieldList } ${ $0 = $<SFL; }$
2983         | IN OptNL FieldLines OUT ${ $0 = $<FL; }$
2984         | SimpleFieldList EOL ${ $0 = $<SFL; }$
2985
2986         FieldLines -> SimpleFieldList Newlines ${ $0 = $<SFL; }$
2987         | FieldLines SimpleFieldList Newlines ${
2988                 $SFL->prev = $<FL;
2989                 $0 = $<SFL;
2990         }$
2991
2992         SimpleFieldList -> Field ${ $0 = $<F; }$
2993         | SimpleFieldList ; Field ${
2994                 $F->prev = $<SFL;
2995                 $0 = $<F;
2996         }$
2997         | SimpleFieldList ; ${
2998                 $0 = $<SFL;
2999         }$
3000         | ERROR ${ tok_err(c, "Syntax error in struct field", &$1); }$
3001
3002         Field -> IDENTIFIER : Type = Expression ${ {
3003                 $0 = calloc(1, sizeof(struct fieldlist));
3004                 $0->f.name = $ID.txt;
3005                 $0->f.type = $<Type;
3006                 $0->f.init = NULL;
3007                 $0->init = $<Expr;
3008         } }$
3009         | IDENTIFIER : Type ${
3010                 $0 = calloc(1, sizeof(struct fieldlist));
3011                 $0->f.name = $ID.txt;
3012                 $0->f.type = $<Type;
3013         }$
3014
3015 ###### forward decls
3016         static void structure_print_type(struct type *t, FILE *f);
3017
3018 ###### value functions
3019         static void structure_print_type(struct type *t, FILE *f)
3020         {
3021                 int i;
3022
3023                 fprintf(f, "struct %.*s\n", t->name.len, t->name.txt);
3024
3025                 for (i = 0; i < t->structure.nfields; i++) {
3026                         struct field *fl = t->structure.fields + i;
3027                         fprintf(f, "    %.*s : ", fl->name.len, fl->name.txt);
3028                         type_print(fl->type, f);
3029                         if (fl->type->print && fl->init) {
3030                                 fprintf(f, " = ");
3031                                 if (fl->type == Tstr)
3032                                         fprintf(f, "\"");       // UNTESTED
3033                                 print_value(fl->type, fl->init, f);
3034                                 if (fl->type == Tstr)
3035                                         fprintf(f, "\"");       // UNTESTED
3036                         }
3037                         fprintf(f, "\n");
3038                 }
3039         }
3040
3041 ###### print type decls
3042         {
3043                 struct type *t;
3044                 int target = -1;
3045
3046                 while (target != 0) {
3047                         int i = 0;
3048                         for (t = context.typelist; t ; t=t->next)
3049                                 if (!t->anon && t->print_type_decl &&
3050                                     !t->check_args) {
3051                                         i += 1;
3052                                         if (i == target)
3053                                                 break;
3054                                 }
3055
3056                         if (target == -1) {
3057                                 target = i;
3058                         } else {
3059                                 t->print_type_decl(t, stdout);
3060                                 target -= 1;
3061                         }
3062                 }
3063         }
3064
3065 #### References
3066
3067 References, or pointers, are values that refer to another value.  They
3068 can only refer to a `struct`, though as a struct can embed anything they
3069 can effectively refer to anything.
3070
3071 References are potentially dangerous as they might refer to some
3072 variable which no longer exists - either because a stack frame
3073 containing it has been discarded or because the value was allocated on
3074 the heap and has now been free.  Ocean does not yet provide any
3075 protection against these problems.  It will in due course.
3076
3077 With references comes the opportunity and the need to explicitly
3078 allocate values on the "heap" and to free them.  We currently provide
3079 fairly basic support for this.
3080
3081 Reference make use of the `@` symbol in various ways.  A type that starts
3082 with `@` is a reference to whatever follows.  A reference value
3083 followed by an `@` acts as the referred value, though the `@` is often
3084 not needed.  Finally, an expression that starts with `@` is a special
3085 reference related expression.  Some examples might help.
3086
3087 ##### Example: Reference examples
3088
3089         struct foo
3090                 a: number
3091                 b: string
3092         ref: @foo
3093         bar: foo
3094         bar.number = 23; bar.string = "hello"
3095         baz: foo
3096         ref = bar
3097         baz = @ref
3098         baz.a = ref.a * 2
3099
3100         ref = @new()
3101         ref@ = baz
3102         @free = ref
3103         ref = @nil
3104
3105 Obviously this is very contrived.  `ref` is a reference to a `foo` which
3106 is initially set to refer to the value stored in `bar` - no extra syntax
3107 is needed to "Take the address of" `bar` - the fact that `ref` is a
3108 reference means that only the address make sense.
3109
3110 When `ref.a` is accessed, that is whatever value is stored in `bar.a`.
3111 The same syntax is used for accessing fields both in structs and in
3112 references to structs.  It would be correct to use `ref@.a`, but not
3113 necessary.
3114
3115 `@new()` creates an object of whatever type is needed for the program
3116 to by type-correct.  In future iterations of Ocean, arguments a
3117 constructor will access arguments, so the the syntax now looks like a
3118 function call.  `@free` can be assigned any reference that was returned
3119 by `@new()`, and it will be freed.  `@nil` is a value of whatever
3120 reference type is appropriate, and is stable and never the address of
3121 anything in the heap or on the stack.  A reference can be assigned
3122 `@nil` or compared against that value.
3123
3124 ###### declare terminals
3125         $TERM @
3126
3127 ###### type union fields
3128
3129         struct {
3130                 struct type *referent;
3131         } reference;
3132
3133 ###### value union fields
3134         struct value *ref;
3135
3136 ###### value functions
3137
3138         static void reference_print_type(struct type *t, FILE *f)
3139         {
3140                 fprintf(f, "@");
3141                 type_print(t->reference.referent, f);
3142         }
3143
3144         static int reference_cmp(struct type *tl, struct type *tr,
3145                                  struct value *left, struct value *right)
3146         {
3147                 return left->ref == right->ref ? 0 : 1;
3148         }
3149
3150         static void reference_dup(struct type *t,
3151                                   struct value *vold, struct value *vnew)
3152         {
3153                 vnew->ref = vold->ref;
3154         }
3155
3156         static void reference_free(struct type *t, struct value *v)
3157         {
3158                 /* Nothing to do here */
3159         }
3160
3161         static int reference_compat(struct type *require, struct type *have,
3162                                     enum val_rules rules)
3163         {
3164                 if (rules & Rrefok)
3165                         if (require->reference.referent == have)
3166                                 return 1;
3167                 if (have->compat != require->compat)
3168                         return 0;
3169                 if (have->reference.referent != require->reference.referent)
3170                         return 0;
3171                 return 1;
3172         }
3173
3174         static int reference_test(struct type *type, struct value *val)
3175         {
3176                 return val->ref != NULL;
3177         }
3178
3179         static struct type *reference_fieldref(struct type *t, struct parse_context *c,
3180                                                struct fieldref *f, struct value **vp)
3181         {
3182                 struct type *rt = t->reference.referent;
3183
3184                 if (rt->fieldref) {
3185                         if (vp)
3186                                 *vp = (*vp)->ref;
3187                         return rt->fieldref(rt, c, f, vp);
3188                 }
3189                 type_err(c, "error: field reference on %1 is not supported",
3190                                  f->left, rt, 0, NULL);
3191                 return Tnone;
3192         }
3193
3194         static struct type reference_prototype = {
3195                 .print_type = reference_print_type,
3196                 .cmp_eq = reference_cmp,
3197                 .dup = reference_dup,
3198                 .test = reference_test,
3199                 .free = reference_free,
3200                 .compat = reference_compat,
3201                 .fieldref = reference_fieldref,
3202                 .size = sizeof(void*),
3203                 .align = sizeof(void*),
3204         };
3205
3206 ###### type grammar
3207
3208         | @ IDENTIFIER ${ {
3209                 struct type *t = find_type(c, $ID.txt);
3210                 if (!t) {
3211                         t = add_type(c, $ID.txt, NULL);
3212                         t->first_use = $ID;
3213                 }
3214                 $0 = find_anon_type(c, &reference_prototype, "@%.*s",
3215                                     $ID.txt.len, $ID.txt.txt);
3216                 $0->reference.referent = t;
3217         } }$
3218
3219 ###### core functions
3220         static int text_is(struct text t, char *s)
3221         {
3222                 return (strlen(s) == t.len &&
3223                         strncmp(s, t.txt, t.len) == 0);
3224         }
3225
3226 ###### exec type
3227         Xref,
3228
3229 ###### ast
3230         struct ref {
3231                 struct exec;
3232                 enum ref_func { RefNew, RefFree, RefNil } action;
3233                 struct type *reftype;
3234                 struct exec *right;
3235         };
3236
3237 ###### SimpleStatement Grammar
3238
3239         | @ IDENTIFIER = Expression ${ {
3240                 struct ref *r = new_pos(ref, $ID);
3241                 // Must be "free"
3242                 if (!text_is($ID.txt, "free"))
3243                         tok_err(c, "error: only \"@free\" makes sense here",
3244                                 &$ID);
3245
3246                 $0 = r;
3247                 r->action = RefFree;
3248                 r->right = $<Exp;
3249         } }$
3250
3251 ###### expression grammar
3252         | @ IDENTIFIER ( ) ${
3253                 // Only 'new' valid here
3254                 if (!text_is($ID.txt, "new")) {
3255                         tok_err(c, "error: Only reference function is \"@new()\"",
3256                                 &$ID);
3257                 } else {
3258                         struct ref *r = new_pos(ref,$ID);
3259                         $0 = r;
3260                         r->action = RefNew;
3261                 }
3262         }$
3263         | @ IDENTIFIER ${
3264                 // Only 'nil' valid here
3265                 if (!text_is($ID.txt, "nil")) {
3266                         tok_err(c, "error: Only reference value is \"@nil\"",
3267                                 &$ID);
3268                 } else {
3269                         struct ref *r = new_pos(ref,$ID);
3270                         $0 = r;
3271                         r->action = RefNil;
3272                 }
3273         }$
3274
3275 ###### print exec cases
3276         case Xref: {
3277                 struct ref *r = cast(ref, e);
3278                 switch (r->action) {
3279                 case RefNew:
3280                         printf("@new()"); break;
3281                 case RefNil:
3282                         printf("@nil"); break;
3283                 case RefFree:
3284                         do_indent(indent, "@free = ");
3285                         print_exec(r->right, indent, bracket);
3286                         break;
3287                 }
3288                 break;
3289         }
3290
3291 ###### propagate exec cases
3292         case Xref: {
3293                 struct ref *r = cast(ref, prog);
3294                 switch (r->action) {
3295                 case RefNew:
3296                         if (type && type->free != reference_free) {
3297                                 type_err(c, "error: @new() can only be used with references, not %1",
3298                                          prog, type, 0, NULL);
3299                                 return NULL;
3300                         }
3301                         if (type && !r->reftype) {
3302                                 r->reftype = type;
3303                                 *perr |= Eretry;
3304                         }
3305                         *perr |= Erval;
3306                         return type;
3307                 case RefNil:
3308                         if (type && type->free != reference_free)
3309                                 type_err(c, "error: @nil can only be used with reference, not %1",
3310                                          prog, type, 0, NULL);
3311                         if (type && !r->reftype) {
3312                                 r->reftype = type;
3313                                 *perr |= Eretry;
3314                         }
3315                         *perr |= Erval;
3316                         return type;
3317                 case RefFree:
3318                         t = propagate_types(r->right, c, perr_local, NULL, 0);
3319                         if (t && t->free != reference_free)
3320                                 type_err(c, "error: @free can only be assigned a reference, not %1",
3321                                          prog, t, 0, NULL);
3322                         r->reftype = Tnone;
3323                         return Tnone;
3324                 }
3325                 break;  // NOTEST
3326         }
3327
3328
3329 ###### interp exec cases
3330         case Xref: {
3331                 struct ref *r = cast(ref, e);
3332                 switch (r->action) {
3333                 case RefNew:
3334                         if (r->reftype)
3335                                 rv.ref = calloc(1, r->reftype->reference.referent->size);
3336                         rvtype = r->reftype;
3337                         break;
3338                 case RefNil:
3339                         rv.ref = NULL;
3340                         rvtype = r->reftype;
3341                         break;
3342                 case RefFree:
3343                         rv = interp_exec(c, r->right, &rvtype);
3344                         free_value(rvtype->reference.referent, rv.ref);
3345                         free(rv.ref);
3346                         rvtype = Tnone;
3347                         break;
3348                 }
3349                 break;
3350         }
3351
3352 ###### free exec cases
3353         case Xref: {
3354                 struct ref *r = cast(ref, e);
3355                 free_exec(r->right);
3356                 free(r);
3357                 break;
3358         }
3359
3360 ###### Expressions: dereference
3361
3362 ###### Binode types
3363         Deref, AddressOf,
3364
3365 ###### term grammar
3366
3367         | Term @ ${ {
3368                 struct binode *b = new(binode);
3369                 b->op = Deref;
3370                 b->left = $<Trm;
3371                 $0 = b;
3372         } }$
3373
3374 ###### print binode cases
3375         case Deref:
3376                 print_exec(b->left, -1, bracket);
3377                 printf("@");
3378                 break;
3379         case AddressOf:
3380                 print_exec(b->left, -1, bracket);
3381                 break;
3382
3383 ###### propagate binode cases
3384         case Deref:
3385                 /* left must be a reference, and we return what it refers to */
3386                 /* FIXME how can I pass the expected type down? */
3387                 t = propagate_types(b->left, c, perr, NULL, 0);
3388                 *perr &= ~Erval;
3389                 if (!t || t->free != reference_free)
3390                         type_err(c, "error: Cannot dereference %1", b, t, 0, NULL);
3391                 else
3392                         return t->reference.referent;
3393                 break;
3394
3395         case AddressOf:
3396                 /* left must be lval, we create reference to it */
3397                 if (!type || type->free != reference_free)
3398                         t = propagate_types(b->left, c, perr, type, 0); // UNTESTED
3399                 else
3400                         t = propagate_types(b->left, c, perr,
3401                                             type->reference.referent, 0);
3402                 if (t)
3403                         t = find_anon_type(c, &reference_prototype, "@%.*s",
3404                                         t->name.len, t->name.txt);
3405                 return t;
3406
3407 ###### interp binode cases
3408         case Deref:
3409                 left = interp_exec(c, b->left, &ltype);
3410                 lrv = left.ref;
3411                 rvtype = ltype->reference.referent;
3412                 break;
3413
3414         case AddressOf:
3415                 rv.ref = linterp_exec(c, b->left, &rvtype);
3416                 rvtype = find_anon_type(c, &reference_prototype, "@%.*s",
3417                                         rvtype->name.len, rvtype->name.txt);
3418                 break;
3419
3420
3421 #### Functions
3422
3423 A function is a chunk of code which can be passed parameters and can
3424 return results.  Each function has a type which includes the set of
3425 parameters and the return value.  As yet these types cannot be declared
3426 separately from the function itself.
3427
3428 The parameters can be specified either in parentheses as a ';' separated
3429 list, such as
3430
3431 ##### Example: function 1
3432
3433         func main(av:[ac::number]string; env:[envc::number]string)
3434                 code block
3435
3436 or as an indented list of one parameter per line (though each line can
3437 be a ';' separated list)
3438
3439 ##### Example: function 2
3440
3441         func main
3442                 argv:[argc::number]string
3443                 env:[envc::number]string
3444         do
3445                 code block
3446
3447 In the first case a return type can follow the parentheses after a colon,
3448 in the second it is given on a line starting with the word `return`.
3449
3450 ##### Example: functions that return
3451
3452         func add(a:number; b:number): number
3453                 code block
3454
3455         func catenate
3456                 a: string
3457                 b: string
3458         return string
3459         do
3460                 code block
3461
3462 Rather than returning a type, the function can specify a set of local
3463 variables to return as a struct.  The values of these variables when the
3464 function exits will be provided to the caller.  For this the return type
3465 is replaced with a block of result declarations, either in parentheses
3466 or bracketed by `return` and `do`.
3467
3468 ##### Example: functions returning multiple variables
3469
3470         func to_cartesian(rho:number; theta:number):(x:number; y:number)
3471                 x = .....
3472                 y = .....
3473
3474         func to_polar
3475                 x:number; y:number
3476         return
3477                 rho:number
3478                 theta:number
3479         do
3480                 rho = ....
3481                 theta = ....
3482
3483 For constructing the lists we use a `List` binode, which will be
3484 further detailed when Expression Lists are introduced.
3485
3486 ###### type union fields
3487
3488         struct {
3489                 struct binode *params;
3490                 struct type *return_type;
3491                 struct variable *scope;
3492                 int inline_result;      // return value is at start of 'local'
3493                 int local_size;
3494         } function;
3495
3496 ###### value union fields
3497         struct exec *function;
3498
3499 ###### type functions
3500         void (*check_args)(struct parse_context *c, enum prop_err *perr,
3501                            struct type *require, struct exec *args);
3502
3503 ###### value functions
3504
3505         static void function_free(struct type *type, struct value *val)
3506         {
3507                 free_exec(val->function);
3508                 val->function = NULL;
3509         }
3510
3511         static int function_compat(struct type *require, struct type *have,
3512                                    enum val_rules rules)
3513         {
3514                 // FIXME can I do anything here yet?
3515                 return 0;
3516         }
3517
3518         static struct exec *take_addr(struct exec *e)
3519         {
3520                 struct binode *rv = new(binode);
3521                 rv->op = AddressOf;
3522                 rv->left = e;
3523                 return rv;
3524         }
3525
3526         static void function_check_args(struct parse_context *c, enum prop_err *perr,
3527                                         struct type *require, struct exec *args)
3528         {
3529                 /* This should be 'compat', but we don't have a 'tuple' type to
3530                  * hold the type of 'args'
3531                  */
3532                 struct binode *arg = cast(binode, args);
3533                 struct binode *param = require->function.params;
3534
3535                 while (param) {
3536                         struct var *pv = cast(var, param->left);
3537                         struct type *t = pv->var->type, *t2;
3538                         if (!arg) {
3539                                 type_err(c, "error: insufficient arguments to function.",
3540                                          args, NULL, 0, NULL);
3541                                 break;
3542                         }
3543                         *perr = 0;
3544                         t2 = propagate_types(arg->left, c, perr, t, Rrefok);
3545                         if (t->free == reference_free &&
3546                             t->reference.referent == t2 &&
3547                             !(*perr & Erval)) {
3548                                 arg->left = take_addr(arg->left);
3549                         } else if (!(*perr & Efail) && !type_compat(t2, t, 0)) {
3550                                 type_err(c, "error: cannot pass rval when reference expected",
3551                                          arg->left, NULL, 0, NULL);
3552                         }
3553                         param = cast(binode, param->right);
3554                         arg = cast(binode, arg->right);
3555                 }
3556                 if (arg)
3557                         type_err(c, "error: too many arguments to function.",
3558                                  args, NULL, 0, NULL);
3559         }
3560
3561         static void function_print(struct type *type, struct value *val, FILE *f)
3562         {
3563                 print_exec(val->function, 1, 0);
3564         }
3565
3566         static void function_print_type_decl(struct type *type, FILE *f)
3567         {
3568                 struct binode *b;
3569                 fprintf(f, "(");
3570                 for (b = type->function.params; b; b = cast(binode, b->right)) {
3571                         struct variable *v = cast(var, b->left)->var;
3572                         fprintf(f, "%.*s%s", v->name->name.len, v->name->name.txt,
3573                                 v->constant ? "::" : ":");
3574                         type_print(v->type, f);
3575                         if (b->right)
3576                                 fprintf(f, "; ");
3577                 }
3578                 fprintf(f, ")");
3579                 if (type->function.return_type != Tnone) {
3580                         fprintf(f, ":");
3581                         if (type->function.inline_result) {
3582                                 int i;
3583                                 struct type *t = type->function.return_type;
3584                                 fprintf(f, " (");
3585                                 for (i = 0; i < t->structure.nfields; i++) {
3586                                         struct field *fl = t->structure.fields + i;
3587                                         if (i)
3588                                                 fprintf(f, "; ");
3589                                         fprintf(f, "%.*s:", fl->name.len, fl->name.txt);
3590                                         type_print(fl->type, f);
3591                                 }
3592                                 fprintf(f, ")");
3593                         } else
3594                                 type_print(type->function.return_type, f);
3595                 }
3596                 fprintf(f, "\n");
3597         }
3598
3599         static void function_free_type(struct type *t)
3600         {
3601                 free_exec(t->function.params);
3602         }
3603
3604         static struct type function_prototype = {
3605                 .size = sizeof(void*),
3606                 .align = sizeof(void*),
3607                 .free = function_free,
3608                 .compat = function_compat,
3609                 .check_args = function_check_args,
3610                 .print = function_print,
3611                 .print_type_decl = function_print_type_decl,
3612                 .free_type = function_free_type,
3613         };
3614
3615 ###### declare terminals
3616
3617         $TERM func
3618
3619 ###### Binode types
3620         List,
3621
3622 ###### Grammar
3623
3624         $*variable
3625         FuncName -> IDENTIFIER ${ {
3626                 struct variable *v = var_decl(c, $1.txt);
3627                 struct var *e = new_pos(var, $1);
3628                 e->var = v;
3629                 if (v) {
3630                         v->where_decl = e;
3631                         v->where_set = e;
3632                         $0 = v;
3633                 } else {
3634                         v = var_ref(c, $1.txt);
3635                         e->var = v;
3636                         type_err(c, "error: function '%v' redeclared",
3637                                 e, NULL, 0, NULL);
3638                         type_err(c, "info: this is where '%v' was first declared",
3639                                 v->where_decl, NULL, 0, NULL);
3640                         free_exec(e);
3641                 }
3642         } }$
3643
3644         $*binode
3645         Args -> ArgsLine NEWLINE ${ $0 = $<AL; }$
3646         | Args ArgsLine NEWLINE ${ {
3647                 struct binode *b = $<AL;
3648                 struct binode **bp = &b;
3649                 while (*bp)
3650                         bp = (struct binode **)&(*bp)->left;
3651                 *bp = $<A;
3652                 $0 = b;
3653         } }$
3654
3655         ArgsLine -> ${ $0 = NULL; }$
3656         | Varlist ${ $0 = $<1; }$
3657         | Varlist ; ${ $0 = $<1; }$
3658
3659         Varlist -> Varlist ; ArgDecl ${
3660                 $0 = new_pos(binode, $2);
3661                 $0->op = List;
3662                 $0->left = $<Vl;
3663                 $0->right = $<AD;
3664         }$
3665         | ArgDecl ${
3666                 $0 = new(binode);
3667                 $0->op = List;
3668                 $0->left = NULL;
3669                 $0->right = $<AD;
3670         }$
3671
3672         $*var
3673         ArgDecl -> IDENTIFIER : FormalType ${ {
3674                 struct variable *v = var_decl(c, $ID.txt);
3675                 $0 = new_pos(var, $ID);
3676                 $0->var = v;
3677                 v->where_decl = $0;
3678                 v->where_set = $0;
3679                 v->type = $<FT;
3680         } }$
3681
3682 ##### Function calls
3683
3684 A function call can appear either as an expression or as a statement.
3685 We use a new 'Funcall' binode type to link the function with a list of
3686 arguments, form with the 'List' nodes.
3687
3688 We have already seen the "Term" which is how a function call can appear
3689 in an expression.  To parse a function call into a statement we include
3690 it in the "SimpleStatement Grammar" which will be described later.
3691
3692 ###### Binode types
3693         Funcall,
3694
3695 ###### term grammar
3696         | Term ( ExpressionList ) ${ {
3697                 struct binode *b = new(binode);
3698                 b->op = Funcall;
3699                 b->left = $<T;
3700                 b->right = reorder_bilist($<EL);
3701                 $0 = b;
3702         } }$
3703         | Term ( ) ${ {
3704                 struct binode *b = new(binode);
3705                 b->op = Funcall;
3706                 b->left = $<T;
3707                 b->right = NULL;
3708                 $0 = b;
3709         } }$
3710
3711 ###### SimpleStatement Grammar
3712
3713         | Term ( ExpressionList ) ${ {
3714                 struct binode *b = new(binode);
3715                 b->op = Funcall;
3716                 b->left = $<T;
3717                 b->right = reorder_bilist($<EL);
3718                 $0 = b;
3719         } }$
3720
3721 ###### print binode cases
3722
3723         case Funcall:
3724                 do_indent(indent, "");
3725                 print_exec(b->left, -1, bracket);
3726                 printf("(");
3727                 for (b = cast(binode, b->right); b; b = cast(binode, b->right)) {
3728                         if (b->left) {
3729                                 printf(" ");
3730                                 print_exec(b->left, -1, bracket);
3731                                 if (b->right)
3732                                         printf(",");
3733                         }
3734                 }
3735                 printf(")");
3736                 if (indent >= 0)
3737                         printf("\n");
3738                 break;
3739
3740 ###### propagate binode cases
3741
3742         case Funcall: {
3743                 /* Every arg must match formal parameter, and result
3744                  * is return type of function
3745                  */
3746                 struct binode *args = cast(binode, b->right);
3747                 struct var *v = cast(var, b->left);
3748
3749                 if (!v->var->type || v->var->type->check_args == NULL) {
3750                         type_err(c, "error: attempt to call a non-function.",
3751                                  prog, NULL, 0, NULL);
3752                         return NULL;
3753                 }
3754                 *perr |= Eruntime;
3755                 v->var->type->check_args(c, perr_local, v->var->type, args);
3756                 if (v->var->type->function.inline_result)
3757                         *perr |= Emaycopy;
3758                 *perr |= Erval;
3759                 return v->var->type->function.return_type;
3760         }
3761
3762 ###### interp binode cases
3763
3764         case Funcall: {
3765                 struct var *v = cast(var, b->left);
3766                 struct type *t = v->var->type;
3767                 void *oldlocal = c->local;
3768                 int old_size = c->local_size;
3769                 void *local = calloc(1, t->function.local_size);
3770                 struct value *fbody = var_value(c, v->var);
3771                 struct binode *arg = cast(binode, b->right);
3772                 struct binode *param = t->function.params;
3773
3774                 while (param) {
3775                         struct var *pv = cast(var, param->left);
3776                         struct type *vtype = NULL;
3777                         struct value val = interp_exec(c, arg->left, &vtype);
3778                         struct value *lval;
3779                         c->local = local; c->local_size = t->function.local_size;
3780                         lval = var_value(c, pv->var);
3781                         c->local = oldlocal; c->local_size = old_size;
3782                         memcpy(lval, &val, vtype->size);
3783                         param = cast(binode, param->right);
3784                         arg = cast(binode, arg->right);
3785                 }
3786                 c->local = local; c->local_size = t->function.local_size;
3787                 if (t->function.inline_result && dtype) {
3788                         _interp_exec(c, fbody->function, NULL, NULL);
3789                         memcpy(dest, local, dtype->size);
3790                         rvtype = ret.type = NULL;
3791                 } else
3792                         rv = interp_exec(c, fbody->function, &rvtype);
3793                 c->local = oldlocal; c->local_size = old_size;
3794                 free(local);
3795                 break;
3796         }
3797
3798 ## Complex executables: statements and expressions
3799
3800 Now that we have types and values and variables and most of the basic
3801 Terms which provide access to these, we can explore the more complex
3802 code that combine all of these to get useful work done.  Specifically
3803 statements and expressions.
3804
3805 Expressions are various combinations of Terms.  We will use operator
3806 precedence to ensure correct parsing.  The simplest Expression is just a
3807 Term - others will follow.
3808
3809 ###### Grammar
3810
3811         $*exec
3812         Expression -> Term ${ $0 = $<Term; }$
3813         ## expression grammar
3814
3815 ### Expressions: Conditional
3816
3817 Our first user of the `binode` will be conditional expressions, which
3818 is a bit odd as they actually have three components.  That will be
3819 handled by having 2 binodes for each expression.  The conditional
3820 expression is the lowest precedence operator which is why we define it
3821 first - to start the precedence list.
3822
3823 Conditional expressions are of the form "value `if` condition `else`
3824 other_value".  They associate to the right, so everything to the right
3825 of `else` is part of an else value, while only a higher-precedence to
3826 the left of `if` is the if values.  Between `if` and `else` there is no
3827 room for ambiguity, so a full conditional expression is allowed in
3828 there.
3829
3830 ###### Binode types
3831         CondExpr,
3832
3833 ###### declare terminals
3834
3835         $LEFT if $$ifelse
3836
3837 ###### expression grammar
3838
3839         | Expression if Expression else Expression $$ifelse ${ {
3840                 struct binode *b1 = new(binode);
3841                 struct binode *b2 = new(binode);
3842                 b1->op = CondExpr;
3843                 b1->left = $<3;
3844                 b1->right = b2;
3845                 b2->op = CondExpr;
3846                 b2->left = $<1;
3847                 b2->right = $<5;
3848                 $0 = b1;
3849         } }$
3850
3851 ###### print binode cases
3852
3853         case CondExpr:
3854                 b2 = cast(binode, b->right);
3855                 if (bracket) printf("(");
3856                 print_exec(b2->left, -1, bracket);
3857                 printf(" if ");
3858                 print_exec(b->left, -1, bracket);
3859                 printf(" else ");
3860                 print_exec(b2->right, -1, bracket);
3861                 if (bracket) printf(")");
3862                 break;
3863
3864 ###### propagate binode cases
3865
3866         case CondExpr: {
3867                 /* cond must be Tbool, others must match */
3868                 struct binode *b2 = cast(binode, b->right);
3869                 struct type *t2;
3870
3871                 propagate_types(b->left, c, perr_local, Tbool, 0);
3872                 t = propagate_types(b2->left, c, perr, type, 0);
3873                 t2 = propagate_types(b2->right, c, perr, type ?: t, 0);
3874                 return t ?: t2;
3875         }
3876
3877 ###### interp binode cases
3878
3879         case CondExpr: {
3880                 struct binode *b2 = cast(binode, b->right);
3881                 left = interp_exec(c, b->left, &ltype);
3882                 if (left.bool)
3883                         rv = interp_exec(c, b2->left, &rvtype); // UNTESTED
3884                 else
3885                         rv = interp_exec(c, b2->right, &rvtype);
3886                 }
3887                 break;
3888
3889 ### Expression list
3890
3891 We take a brief detour, now that we have expressions, to describe lists
3892 of expressions.  These will be needed for function parameters and
3893 possibly other situations.  They seem generic enough to introduce here
3894 to be used elsewhere.
3895
3896 And ExpressionList will use the `List` type of `binode`, building up at
3897 the end.  And place where they are used will probably call
3898 `reorder_bilist()` to get a more normal first/next arrangement.
3899
3900 ###### declare terminals
3901         $TERM ,
3902
3903 `List` execs have no implicit semantics, so they are never propagated or
3904 interpreted.  The can be printed as a comma separate list, which is how
3905 they are parsed.  Note they are also used for function formal parameter
3906 lists.  In that case a separate function is used to print them.
3907
3908 ###### print binode cases
3909         case List:
3910                 while (b) {
3911                         printf(" ");
3912                         print_exec(b->left, -1, bracket);
3913                         if (b->right)
3914                                 printf(",");
3915                         b = cast(binode, b->right);
3916                 }
3917                 break;
3918
3919 ###### propagate binode cases
3920         case List: abort(); // NOTEST
3921 ###### interp binode cases
3922         case List: abort(); // NOTEST
3923
3924 ###### Grammar
3925
3926         $*binode
3927         ExpressionList -> ExpressionList , Expression ${
3928                 $0 = new(binode);
3929                 $0->op = List;
3930                 $0->left = $<1;
3931                 $0->right = $<3;
3932         }$
3933         | Expression ${
3934                 $0 = new(binode);
3935                 $0->op = List;
3936                 $0->left = NULL;
3937                 $0->right = $<1;
3938         }$
3939
3940 ### Expressions: Boolean
3941
3942 The next class of expressions to use the `binode` will be Boolean
3943 expressions.  "`and then`" and "`or else`" are similar to `and` and `or`
3944 have same corresponding precendence.  The difference is that they don't
3945 evaluate the second expression if not necessary.
3946
3947 ###### Binode types
3948         And,
3949         AndThen,
3950         Or,
3951         OrElse,
3952         Not,
3953
3954 ###### declare terminals
3955         $LEFT or
3956         $LEFT and
3957         $LEFT not
3958
3959 ###### expression grammar
3960         | Expression or Expression ${ {
3961                 struct binode *b = new(binode);
3962                 b->op = Or;
3963                 b->left = $<1;
3964                 b->right = $<3;
3965                 $0 = b;
3966         } }$
3967         | Expression or else Expression ${ {
3968                 struct binode *b = new(binode);
3969                 b->op = OrElse;
3970                 b->left = $<1;
3971                 b->right = $<4;
3972                 $0 = b;
3973         } }$
3974
3975         | Expression and Expression ${ {
3976                 struct binode *b = new(binode);
3977                 b->op = And;
3978                 b->left = $<1;
3979                 b->right = $<3;
3980                 $0 = b;
3981         } }$
3982         | Expression and then Expression ${ {
3983                 struct binode *b = new(binode);
3984                 b->op = AndThen;
3985                 b->left = $<1;
3986                 b->right = $<4;
3987                 $0 = b;
3988         } }$
3989
3990         | not Expression ${ {
3991                 struct binode *b = new(binode);
3992                 b->op = Not;
3993                 b->right = $<2;
3994                 $0 = b;
3995         } }$
3996
3997 ###### print binode cases
3998         case And:
3999                 if (bracket) printf("(");
4000                 print_exec(b->left, -1, bracket);
4001                 printf(" and ");
4002                 print_exec(b->right, -1, bracket);
4003                 if (bracket) printf(")");
4004                 break;
4005         case AndThen:
4006                 if (bracket) printf("(");
4007                 print_exec(b->left, -1, bracket);
4008                 printf(" and then ");
4009                 print_exec(b->right, -1, bracket);
4010                 if (bracket) printf(")");
4011                 break;
4012         case Or:
4013                 if (bracket) printf("(");
4014                 print_exec(b->left, -1, bracket);
4015                 printf(" or ");
4016                 print_exec(b->right, -1, bracket);
4017                 if (bracket) printf(")");
4018                 break;
4019         case OrElse:
4020                 if (bracket) printf("(");
4021                 print_exec(b->left, -1, bracket);
4022                 printf(" or else ");
4023                 print_exec(b->right, -1, bracket);
4024                 if (bracket) printf(")");
4025                 break;
4026         case Not:
4027                 if (bracket) printf("(");
4028                 printf("not ");
4029                 print_exec(b->right, -1, bracket);
4030                 if (bracket) printf(")");
4031                 break;
4032
4033 ###### propagate binode cases
4034         case And:
4035         case AndThen:
4036         case Or:
4037         case OrElse:
4038         case Not:
4039                 /* both must be Tbool, result is Tbool */
4040                 propagate_types(b->left, c, perr, Tbool, 0);
4041                 propagate_types(b->right, c, perr, Tbool, 0);
4042                 if (type && type != Tbool)
4043                         type_err(c, "error: %1 operation found where %2 expected", prog,
4044                                    Tbool, 0, type);
4045                 *perr |= Erval;
4046                 return Tbool;
4047
4048 ###### interp binode cases
4049         case And:
4050                 rv = interp_exec(c, b->left, &rvtype);
4051                 right = interp_exec(c, b->right, &rtype);
4052                 rv.bool = rv.bool && right.bool;
4053                 break;
4054         case AndThen:
4055                 rv = interp_exec(c, b->left, &rvtype);
4056                 if (rv.bool)
4057                         rv = interp_exec(c, b->right, NULL);
4058                 break;
4059         case Or:
4060                 rv = interp_exec(c, b->left, &rvtype);
4061                 right = interp_exec(c, b->right, &rtype);
4062                 rv.bool = rv.bool || right.bool;
4063                 break;
4064         case OrElse:
4065                 rv = interp_exec(c, b->left, &rvtype);
4066                 if (!rv.bool)
4067                         rv = interp_exec(c, b->right, NULL);
4068                 break;
4069         case Not:
4070                 rv = interp_exec(c, b->right, &rvtype);
4071                 rv.bool = !rv.bool;
4072                 break;
4073
4074 ### Expressions: Comparison
4075
4076 Of slightly higher precedence that Boolean expressions are Comparisons.
4077 A comparison takes arguments of any comparable type, but the two types
4078 must be the same.
4079
4080 To simplify the parsing we introduce an `eop` which can record an
4081 expression operator, and the `CMPop` non-terminal will match one of them.
4082
4083 ###### ast
4084         struct eop {
4085                 enum Btype op;
4086         };
4087
4088 ###### ast functions
4089         static void free_eop(struct eop *e)
4090         {
4091                 if (e)
4092                         free(e);
4093         }
4094
4095 ###### Binode types
4096         Less,
4097         Gtr,
4098         LessEq,
4099         GtrEq,
4100         Eql,
4101         NEql,
4102
4103 ###### declare terminals
4104         $LEFT < > <= >= == != CMPop
4105
4106 ###### expression grammar
4107         | Expression CMPop Expression ${ {
4108                 struct binode *b = new(binode);
4109                 b->op = $2.op;
4110                 b->left = $<1;
4111                 b->right = $<3;
4112                 $0 = b;
4113         } }$
4114
4115 ###### Grammar
4116
4117         $eop
4118         CMPop ->  < ${ $0.op = Less; }$
4119         |         > ${ $0.op = Gtr; }$
4120         |         <= ${ $0.op = LessEq; }$
4121         |         >= ${ $0.op = GtrEq; }$
4122         |         == ${ $0.op = Eql; }$
4123         |         != ${ $0.op = NEql; }$
4124
4125 ###### print binode cases
4126
4127         case Less:
4128         case LessEq:
4129         case Gtr:
4130         case GtrEq:
4131         case Eql:
4132         case NEql:
4133                 if (bracket) printf("(");
4134                 print_exec(b->left, -1, bracket);
4135                 switch(b->op) {
4136                 case Less:   printf(" < "); break;
4137                 case LessEq: printf(" <= "); break;
4138                 case Gtr:    printf(" > "); break;
4139                 case GtrEq:  printf(" >= "); break;
4140                 case Eql:    printf(" == "); break;
4141                 case NEql:   printf(" != "); break;
4142                 default: abort();               // NOTEST
4143                 }
4144                 print_exec(b->right, -1, bracket);
4145                 if (bracket) printf(")");
4146                 break;
4147
4148 ###### propagate binode cases
4149         case Less:
4150         case LessEq:
4151         case Gtr:
4152         case GtrEq:
4153         case Eql:
4154         case NEql:
4155                 /* Both must match but not be labels, result is Tbool */
4156                 t = propagate_types(b->left, c, perr, NULL, 0);
4157                 if (t)
4158                         propagate_types(b->right, c, perr, t, 0);
4159                 else {
4160                         t = propagate_types(b->right, c, perr, NULL, 0);        // UNTESTED
4161                         if (t)  // UNTESTED
4162                                 t = propagate_types(b->left, c, perr, t, 0);    // UNTESTED
4163                 }
4164                 if (!type_compat(type, Tbool, 0))
4165                         type_err(c, "error: Comparison returns %1 but %2 expected", prog,
4166                                     Tbool, rules, type);
4167                 *perr |= Erval;
4168                 return Tbool;
4169
4170 ###### interp binode cases
4171         case Less:
4172         case LessEq:
4173         case Gtr:
4174         case GtrEq:
4175         case Eql:
4176         case NEql:
4177         {
4178                 int cmp;
4179                 left = interp_exec(c, b->left, &ltype);
4180                 right = interp_exec(c, b->right, &rtype);
4181                 cmp = value_cmp(ltype, rtype, &left, &right);
4182                 rvtype = Tbool;
4183                 switch (b->op) {
4184                 case Less:      rv.bool = cmp <  0; break;
4185                 case LessEq:    rv.bool = cmp <= 0; break;
4186                 case Gtr:       rv.bool = cmp >  0; break;
4187                 case GtrEq:     rv.bool = cmp >= 0; break;
4188                 case Eql:       rv.bool = cmp == 0; break;
4189                 case NEql:      rv.bool = cmp != 0; break;
4190                 default:        rv.bool = 0; break;     // NOTEST
4191                 }
4192                 break;
4193         }
4194
4195 ### Expressions: Arithmetic etc.
4196
4197 The remaining expressions with the highest precedence are arithmetic,
4198 string concatenation, string conversion, and testing.  String concatenation
4199 (`++`) has the same precedence as multiplication and division, but lower
4200 than the uniary.
4201
4202 Testing comes in two forms.  A single question mark (`?`) is a uniary
4203 operator which converts come types into Boolean.  The general meaning is
4204 "is this a value value" and there will be more uses as the language
4205 develops.  A double questionmark (`??`) is a binary operator (Choose),
4206 with same precedence as multiplication, which returns the LHS if it
4207 tests successfully, else returns the RHS.
4208
4209 String conversion is a temporary feature until I get a better type
4210 system.  `$` is a prefix operator which expects a string and returns
4211 a number.
4212
4213 `+` and `-` are both infix and prefix operations (where they are
4214 absolute value and negation).  These have different operator names.
4215
4216 We also have a 'Bracket' operator which records where parentheses were
4217 found.  This makes it easy to reproduce these when printing.  Possibly I
4218 should only insert brackets were needed for precedence.  Putting
4219 parentheses around an expression converts it into a Term,
4220
4221 ###### Binode types
4222         Plus, Minus,
4223         Times, Divide, Rem,
4224         Concat, Choose,
4225         Absolute, Negate, Test,
4226         StringConv,
4227         Bracket,
4228
4229 ###### declare terminals
4230         $LEFT + - Eop
4231         $LEFT * / % ++ ?? Top
4232         $LEFT Uop $ ?
4233         $TERM ( )
4234
4235 ###### expression grammar
4236         | Expression Eop Expression ${ {
4237                 struct binode *b = new(binode);
4238                 b->op = $2.op;
4239                 b->left = $<1;
4240                 b->right = $<3;
4241                 $0 = b;
4242         } }$
4243
4244         | Expression Top Expression ${ {
4245                 struct binode *b = new(binode);
4246                 b->op = $2.op;
4247                 b->left = $<1;
4248                 b->right = $<3;
4249                 $0 = b;
4250         } }$
4251
4252         | Uop Expression ${ {
4253                 struct binode *b = new(binode);
4254                 b->op = $1.op;
4255                 b->right = $<2;
4256                 $0 = b;
4257         } }$
4258
4259 ###### term grammar
4260
4261         | ( Expression ) ${ {
4262                 struct binode *b = new_pos(binode, $1);
4263                 b->op = Bracket;
4264                 b->right = $<2;
4265                 $0 = b;
4266         } }$
4267
4268 ###### Grammar
4269
4270         $eop
4271         Eop ->   + ${ $0.op = Plus; }$
4272         |        - ${ $0.op = Minus; }$
4273
4274         Uop ->   + ${ $0.op = Absolute; }$
4275         |        - ${ $0.op = Negate; }$
4276         |        $ ${ $0.op = StringConv; }$
4277         |        ? ${ $0.op = Test; }$
4278
4279         Top ->   * ${ $0.op = Times; }$
4280         |        / ${ $0.op = Divide; }$
4281         |        % ${ $0.op = Rem; }$
4282         |        ++ ${ $0.op = Concat; }$
4283         |        ?? ${ $0.op = Choose; }$
4284
4285 ###### print binode cases
4286         case Plus:
4287         case Minus:
4288         case Times:
4289         case Divide:
4290         case Concat:
4291         case Rem:
4292         case Choose:
4293                 if (bracket) printf("(");
4294                 print_exec(b->left, indent, bracket);
4295                 switch(b->op) {
4296                 case Plus:   fputs(" + ", stdout); break;
4297                 case Minus:  fputs(" - ", stdout); break;
4298                 case Times:  fputs(" * ", stdout); break;
4299                 case Divide: fputs(" / ", stdout); break;
4300                 case Rem:    fputs(" % ", stdout); break;
4301                 case Concat: fputs(" ++ ", stdout); break;
4302                 case Choose: fputs(" ?? ", stdout); break;
4303                 default: abort();       // NOTEST
4304                 }                       // NOTEST
4305                 print_exec(b->right, indent, bracket);
4306                 if (bracket) printf(")");
4307                 break;
4308         case Absolute:
4309         case Negate:
4310         case StringConv:
4311         case Test:
4312                 if (bracket) printf("(");
4313                 switch (b->op) {
4314                 case Absolute:   fputs("+", stdout); break;
4315                 case Negate:     fputs("-", stdout); break;
4316                 case StringConv: fputs("$", stdout); break;
4317                 case Test:       fputs("?", stdout); break;
4318                 default: abort();       // NOTEST
4319                 }                       // NOTEST
4320                 print_exec(b->right, indent, bracket);
4321                 if (bracket) printf(")");
4322                 break;
4323         case Bracket:
4324                 printf("(");
4325                 print_exec(b->right, indent, bracket);
4326                 printf(")");
4327                 break;
4328
4329 ###### propagate binode cases
4330         case Plus:
4331         case Minus:
4332         case Times:
4333         case Rem:
4334         case Divide:
4335                 /* both must be numbers, result is Tnum */
4336         case Absolute:
4337         case Negate:
4338                 /* as propagate_types ignores a NULL,
4339                  * unary ops fit here too */
4340                 propagate_types(b->left, c, perr, Tnum, 0);
4341                 propagate_types(b->right, c, perr, Tnum, 0);
4342                 if (!type_compat(type, Tnum, 0))
4343                         type_err(c, "error: Arithmetic returns %1 but %2 expected", prog,
4344                                    Tnum, rules, type);
4345                 *perr |= Erval;
4346                 return Tnum;
4347
4348         case Concat:
4349                 /* both must be Tstr, result is Tstr */
4350                 propagate_types(b->left, c, perr, Tstr, 0);
4351                 propagate_types(b->right, c, perr, Tstr, 0);
4352                 if (!type_compat(type, Tstr, 0))
4353                         type_err(c, "error: Concat returns %1 but %2 expected", prog,
4354                                    Tstr, rules, type);
4355                 *perr |= Erval;
4356                 return Tstr;
4357
4358         case StringConv:
4359                 /* op must be string, result is number */
4360                 propagate_types(b->left, c, perr, Tstr, 0);
4361                 if (!type_compat(type, Tnum, 0))
4362                         type_err(c,     // UNTESTED
4363                           "error: Can only convert string to number, not %1",
4364                                 prog, type, 0, NULL);
4365                 *perr |= Erval;
4366                 return Tnum;
4367
4368         case Test:
4369                 /* LHS must support ->test, result is Tbool */
4370                 t = propagate_types(b->right, c, perr, NULL, 0);
4371                 if (!t || !t->test)
4372                         type_err(c, "error: '?' requires a testable value, not %1",
4373                                  prog, t, 0, NULL);
4374                 *perr |= Erval;
4375                 return Tbool;
4376
4377         case Choose:
4378                 /* LHS and RHS must match and are returned. Must support
4379                  * ->test
4380                  */
4381                 t = propagate_types(b->left, c, perr, type, rules);
4382                 t = propagate_types(b->right, c, perr, t, rules);
4383                 if (t && t->test == NULL)
4384                         type_err(c, "error: \"??\" requires a testable value, not %1",
4385                                  prog, t, 0, NULL);
4386                 *perr |= Erval;
4387                 return t;
4388
4389         case Bracket:
4390                 return propagate_types(b->right, c, perr, type, rules);
4391
4392 ###### interp binode cases
4393
4394         case Plus:
4395                 rv = interp_exec(c, b->left, &rvtype);
4396                 right = interp_exec(c, b->right, &rtype);
4397                 mpq_add(rv.num, rv.num, right.num);
4398                 break;
4399         case Minus:
4400                 rv = interp_exec(c, b->left, &rvtype);
4401                 right = interp_exec(c, b->right, &rtype);
4402                 mpq_sub(rv.num, rv.num, right.num);
4403                 break;
4404         case Times:
4405                 rv = interp_exec(c, b->left, &rvtype);
4406                 right = interp_exec(c, b->right, &rtype);
4407                 mpq_mul(rv.num, rv.num, right.num);
4408                 break;
4409         case Divide:
4410                 rv = interp_exec(c, b->left, &rvtype);
4411                 right = interp_exec(c, b->right, &rtype);
4412                 mpq_div(rv.num, rv.num, right.num);
4413                 break;
4414         case Rem: {
4415                 mpz_t l, r, rem;
4416
4417                 left = interp_exec(c, b->left, &ltype);
4418                 right = interp_exec(c, b->right, &rtype);
4419                 mpz_init(l); mpz_init(r); mpz_init(rem);
4420                 mpz_tdiv_q(l, mpq_numref(left.num), mpq_denref(left.num));
4421                 mpz_tdiv_q(r, mpq_numref(right.num), mpq_denref(right.num));
4422                 mpz_tdiv_r(rem, l, r);
4423                 val_init(Tnum, &rv);
4424                 mpq_set_z(rv.num, rem);
4425                 mpz_clear(r); mpz_clear(l); mpz_clear(rem);
4426                 rvtype = ltype;
4427                 break;
4428         }
4429         case Negate:
4430                 rv = interp_exec(c, b->right, &rvtype);
4431                 mpq_neg(rv.num, rv.num);
4432                 break;
4433         case Absolute:
4434                 rv = interp_exec(c, b->right, &rvtype);
4435                 mpq_abs(rv.num, rv.num);
4436                 break;
4437         case Bracket:
4438                 rv = interp_exec(c, b->right, &rvtype);
4439                 break;
4440         case Concat:
4441                 left = interp_exec(c, b->left, &ltype);
4442                 right = interp_exec(c, b->right, &rtype);
4443                 rvtype = Tstr;
4444                 rv.str = text_join(left.str, right.str);
4445                 break;
4446         case StringConv:
4447                 right = interp_exec(c, b->right, &rvtype);
4448                 rtype = Tstr;
4449                 rvtype = Tnum;
4450
4451                 struct text tx = right.str;
4452                 char tail[3];
4453                 int neg = 0;
4454                 if (tx.txt[0] == '-') {
4455                         neg = 1;        // UNTESTED
4456                         tx.txt++;       // UNTESTED
4457                         tx.len--;       // UNTESTED
4458                 }
4459                 if (number_parse(rv.num, tail, tx) == 0)
4460                         mpq_init(rv.num);       // UNTESTED
4461                 else if (neg)
4462                         mpq_neg(rv.num, rv.num);        // UNTESTED
4463                 if (tail[0])
4464                         printf("Unsupported suffix: %.*s\n", tx.len, tx.txt);   // UNTESTED
4465
4466                 break;
4467         case Test:
4468                 right = interp_exec(c, b->right, &rtype);
4469                 rvtype = Tbool;
4470                 rv.bool = !!rtype->test(rtype, &right);
4471                 break;
4472         case Choose:
4473                 left = interp_exec(c, b->left, &ltype);
4474                 if (ltype->test(ltype, &left)) {
4475                         rv = left;
4476                         rvtype = ltype;
4477                         ltype = NULL;
4478                 } else
4479                         rv = interp_exec(c, b->right, &rvtype);
4480                 break;
4481
4482 ###### value functions
4483
4484         static struct text text_join(struct text a, struct text b)
4485         {
4486                 struct text rv;
4487                 rv.len = a.len + b.len;
4488                 rv.txt = malloc(rv.len);
4489                 memcpy(rv.txt, a.txt, a.len);
4490                 memcpy(rv.txt+a.len, b.txt, b.len);
4491                 return rv;
4492         }
4493
4494 ### Blocks, Statements, and Statement lists.
4495
4496 Now that we have expressions out of the way we need to turn to
4497 statements.  There are simple statements and more complex statements.
4498 Simple statements do not contain (syntactic) newlines, complex statements do.
4499
4500 Statements often come in sequences and we have corresponding simple
4501 statement lists and complex statement lists.
4502 The former comprise only simple statements separated by semicolons.
4503 The later comprise complex statements and simple statement lists.  They are
4504 separated by newlines.  Thus the semicolon is only used to separate
4505 simple statements on the one line.  This may be overly restrictive,
4506 but I'm not sure I ever want a complex statement to share a line with
4507 anything else.
4508
4509 Note that a simple statement list can still use multiple lines if
4510 subsequent lines are indented, so
4511
4512 ###### Example: wrapped simple statement list
4513
4514         a = b; c = d;
4515            e = f; print g
4516
4517 is a single simple statement list.  This might allow room for
4518 confusion, so I'm not set on it yet.
4519
4520 A simple statement list needs no extra syntax.  A complex statement
4521 list has two syntactic forms.  It can be enclosed in braces (much like
4522 C blocks), or it can be introduced by an indent and continue until an
4523 unindented newline (much like Python blocks).  With this extra syntax
4524 it is referred to as a block.
4525
4526 Note that a block does not have to include any newlines if it only
4527 contains simple statements.  So both of:
4528
4529         if condition: a=b; d=f
4530
4531         if condition { a=b; print f }
4532
4533 are valid.
4534
4535 In either case the list is constructed from a `binode` list with
4536 `Block` as the operator.  When parsing the list it is most convenient
4537 to append to the end, so a list is a list and a statement.  When using
4538 the list it is more convenient to consider a list to be a statement
4539 and a list.  So we need a function to re-order a list.
4540 `reorder_bilist` serves this purpose.
4541
4542 The only stand-alone statement we introduce at this stage is `pass`
4543 which does nothing and is represented as a `NULL` pointer in a `Block`
4544 list.  Other stand-alone statements will follow once the infrastructure
4545 is in-place.
4546
4547 As many statements will use binodes, we declare a binode pointer 'b' in
4548 the common header for all reductions to use.
4549
4550 ###### Parser: reduce
4551         struct binode *b;
4552
4553 ###### Binode types
4554         Block,
4555
4556 ###### Grammar
4557
4558         $TERM { } ;
4559
4560         $*binode
4561         Block -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
4562         |        { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
4563         |        SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
4564         |        SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
4565         |        IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
4566
4567         OpenBlock -> OpenScope { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
4568         |        OpenScope { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
4569         |        OpenScope SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
4570         |        OpenScope SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
4571         |        IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
4572
4573         UseBlock -> { OpenScope IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
4574         |        { OpenScope SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
4575         |        IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
4576
4577         ColonBlock -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
4578         |        { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
4579         |        : SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
4580         |        : SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
4581         |        : IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
4582
4583         Statementlist -> ComplexStatements ${ $0 = reorder_bilist($<CS); }$
4584
4585         ComplexStatements -> ComplexStatements ComplexStatement ${
4586                 if ($2 == NULL) {
4587                         $0 = $<1;
4588                 } else {
4589                         $0 = new(binode);
4590                         $0->op = Block;
4591                         $0->left = $<1;
4592                         $0->right = $<2;
4593                 }
4594         }$
4595         | ComplexStatement ${
4596                 if ($1 == NULL) {
4597                         $0 = NULL;
4598                 } else {
4599                         $0 = new(binode);
4600                         $0->op = Block;
4601                         $0->left = NULL;
4602                         $0->right = $<1;
4603                 }
4604         }$
4605
4606         $*exec
4607         ComplexStatement -> SimpleStatements Newlines ${
4608                 $0 = reorder_bilist($<SS);
4609         }$
4610         |  SimpleStatements ; Newlines ${
4611                 $0 = reorder_bilist($<SS);
4612         }$
4613         ## ComplexStatement Grammar
4614
4615         $*binode
4616         SimpleStatements -> SimpleStatements ; SimpleStatement ${
4617                 $0 = new(binode);
4618                 $0->op = Block;
4619                 $0->left = $<1;
4620                 $0->right = $<3;
4621         }$
4622         | SimpleStatement ${
4623                 $0 = new(binode);
4624                 $0->op = Block;
4625                 $0->left = NULL;
4626                 $0->right = $<1;
4627         }$
4628
4629         $TERM pass
4630         $*exec
4631         SimpleStatement -> pass ${ $0 = NULL; }$
4632         | ERROR ${ tok_err(c, "Syntax error in statement", &$1); }$
4633         ## SimpleStatement Grammar
4634
4635 ###### print binode cases
4636         case Block:
4637                 if (indent < 0) {
4638                         // simple statement
4639                         if (b->left == NULL)    // UNTESTED
4640                                 printf("pass"); // UNTESTED
4641                         else
4642                                 print_exec(b->left, indent, bracket);   // UNTESTED
4643                         if (b->right) { // UNTESTED
4644                                 printf("; ");   // UNTESTED
4645                                 print_exec(b->right, indent, bracket);  // UNTESTED
4646                         }
4647                 } else {
4648                         // block, one per line
4649                         if (b->left == NULL)
4650                                 do_indent(indent, "pass\n");
4651                         else
4652                                 print_exec(b->left, indent, bracket);
4653                         if (b->right)
4654                                 print_exec(b->right, indent, bracket);
4655                 }
4656                 break;
4657
4658 ###### propagate binode cases
4659         case Block:
4660         {
4661                 /* If any statement returns something other than Tnone
4662                  * or Tbool then all such must return same type.
4663                  * As each statement may be Tnone or something else,
4664                  * we must always pass NULL (unknown) down, otherwise an incorrect
4665                  * error might occur.  We never return Tnone unless it is
4666                  * passed in.
4667                  */
4668                 struct binode *e;
4669
4670                 for (e = b; e; e = cast(binode, e->right)) {
4671                         t = propagate_types(e->left, c, perr, NULL, rules);
4672                         if ((rules & Rboolok) && (t == Tbool || t == Tnone))
4673                                 t = NULL;
4674                         if (t == Tnone && e->right)
4675                                 /* Only the final statement *must* return a value
4676                                  * when not Rboolok
4677                                  */
4678                                 t = NULL;
4679                         if (t) {
4680                                 if (!type)
4681                                         type = t;
4682                                 else if (t != type)
4683                                         type_err(c, "error: expected %1, found %2",
4684                                                  e->left, type, rules, t);
4685                         }
4686                 }
4687                 return type;
4688         }
4689
4690 ###### interp binode cases
4691         case Block:
4692                 while (rvtype == Tnone &&
4693                        b) {
4694                         if (b->left)
4695                                 rv = interp_exec(c, b->left, &rvtype);
4696                         b = cast(binode, b->right);
4697                 }
4698                 break;
4699
4700 ### The Print statement
4701
4702 `print` is a simple statement that takes a comma-separated list of
4703 expressions and prints the values separated by spaces and terminated
4704 by a newline.  No control of formatting is possible.
4705
4706 `print` uses `ExpressionList` to collect the expressions and stores them
4707 on the left side of a `Print` binode unlessthere is a trailing comma
4708 when the list is stored on the `right` side and no trailing newline is
4709 printed.
4710
4711 ###### Binode types
4712         Print,
4713
4714 ##### declare terminals
4715         $TERM print
4716
4717 ###### SimpleStatement Grammar
4718
4719         | print ExpressionList ${
4720                 $0 = b = new_pos(binode, $1);
4721                 b->op = Print;
4722                 b->right = NULL;
4723                 b->left = reorder_bilist($<EL);
4724         }$
4725         | print ExpressionList , ${ {
4726                 $0 = b = new_pos(binode, $1);
4727                 b->op = Print;
4728                 b->right = reorder_bilist($<EL);
4729                 b->left = NULL;
4730         } }$
4731         | print ${
4732                 $0 = b = new_pos(binode, $1);
4733                 b->op = Print;
4734                 b->left = NULL;
4735                 b->right = NULL;
4736         }$
4737
4738 ###### print binode cases
4739
4740         case Print:
4741                 do_indent(indent, "print");
4742                 if (b->right) {
4743                         print_exec(b->right, -1, bracket);
4744                         printf(",");
4745                 } else
4746                         print_exec(b->left, -1, bracket);
4747                 if (indent >= 0)
4748                         printf("\n");
4749                 break;
4750
4751 ###### propagate binode cases
4752
4753         case Print:
4754                 /* don't care but all must be consistent */
4755                 if (b->left)
4756                         b = cast(binode, b->left);
4757                 else
4758                         b = cast(binode, b->right);
4759                 while (b) {
4760                         propagate_types(b->left, c, perr_local, NULL, 0);
4761                         b = cast(binode, b->right);
4762                 }
4763                 break;
4764
4765 ###### interp binode cases
4766
4767         case Print:
4768         {
4769                 struct binode *b2 = cast(binode, b->left);
4770                 if (!b2)
4771                         b2 = cast(binode, b->right);
4772                 for (; b2; b2 = cast(binode, b2->right)) {
4773                         left = interp_exec(c, b2->left, &ltype);
4774                         print_value(ltype, &left, stdout);
4775                         free_value(ltype, &left);
4776                         if (b2->right)
4777                                 putchar(' ');
4778                 }
4779                 if (b->right == NULL)
4780                         printf("\n");
4781                 ltype = Tnone;
4782                 break;
4783         }
4784
4785 ###### Assignment statement
4786
4787 An assignment will assign a value to a variable, providing it hasn't
4788 been declared as a constant.  The analysis phase ensures that the type
4789 will be correct so the interpreter just needs to perform the
4790 calculation.  There is a form of assignment which declares a new
4791 variable as well as assigning a value.  If a name is used before
4792 it is declared, it is assumed to be a global constant which are allowed to
4793 be declared at any time.
4794
4795 ###### Binode types
4796         Assign, AssignRef,
4797         Declare, DeclareRef,
4798
4799 ###### declare terminals
4800         $TERM =
4801
4802 ###### SimpleStatement Grammar
4803         | Term = Expression ${
4804                 $0 = b= new(binode);
4805                 b->op = Assign;
4806                 b->left = $<1;
4807                 b->right = $<3;
4808         }$
4809         | VariableDecl = Expression ${
4810                 $0 = b= new(binode);
4811                 b->op = Declare;
4812                 b->left = $<1;
4813                 b->right =$<3;
4814         }$
4815
4816         | VariableDecl ${
4817                 if ($1->var->where_set == NULL) {
4818                         type_err(c,
4819                                  "Variable declared with no type or value: %v",
4820                                  $1, NULL, 0, NULL);
4821                         free_var($1);
4822                 } else {
4823                         $0 = b = new(binode);
4824                         b->op = Declare;
4825                         b->left = $<1;
4826                         b->right = NULL;
4827                 }
4828         }$
4829
4830 ###### print binode cases
4831
4832         case Assign:
4833         case AssignRef:
4834                 do_indent(indent, "");
4835                 print_exec(b->left, -1, bracket);
4836                 printf(" = ");
4837                 print_exec(b->right, -1, bracket);
4838                 if (indent >= 0)
4839                         printf("\n");
4840                 break;
4841
4842         case Declare:
4843         case DeclareRef:
4844                 {
4845                 struct variable *v = cast(var, b->left)->var;
4846                 do_indent(indent, "");
4847                 print_exec(b->left, -1, bracket);
4848                 if (cast(var, b->left)->var->constant) {
4849                         printf("::");
4850                         if (v->explicit_type) {
4851                                 type_print(v->type, stdout);
4852                                 printf(" ");
4853                         }
4854                 } else {
4855                         printf(":");
4856                         if (v->explicit_type) {
4857                                 type_print(v->type, stdout);
4858                                 printf(" ");
4859                         }
4860                 }
4861                 if (b->right) {
4862                         printf("= ");
4863                         print_exec(b->right, -1, bracket);
4864                 }
4865                 if (indent >= 0)
4866                         printf("\n");
4867                 }
4868                 break;
4869
4870 ###### propagate binode cases
4871
4872         case Assign:
4873         case AssignRef:
4874         case Declare:
4875         case DeclareRef:
4876                 /* Both must match, or left may be ref and right an lval
4877                  * Type must support 'dup',
4878                  * For Assign, left must not be constant.
4879                  * result is Tnone
4880                  */
4881                 *perr &= ~(Erval | Econst);
4882                 t = propagate_types(b->left, c, perr, NULL, 0);
4883                 if (!b->right)
4884                         return Tnone;
4885
4886                 if (t) {
4887                         struct type *t2 = propagate_types(b->right, c, perr_local,
4888                                                           t, Rrefok);
4889                         if (!t2 || t2 == t || (*perr_local & Efail))
4890                                 ; // No more effort needed
4891                         else if (t->free == reference_free &&
4892                                  t->reference.referent == t2 &&
4893                                  !(*perr_local & Erval)) {
4894                                 if (b->op == Assign)
4895                                         b->op = AssignRef;
4896                                 if (b->op == Declare)
4897                                         b->op = DeclareRef;
4898                         }
4899                         else if (t->free == reference_free &&
4900                                  t->reference.referent == t2 &&
4901                                  (*perr_local & Erval))
4902                                 type_err(c, "error: Cannot assign an rval to a reference.",
4903                                          b, NULL, 0, NULL);
4904                 } else {
4905                         t = propagate_types(b->right, c, perr_local, NULL, 0);
4906                         if (t)
4907                                 propagate_types(b->left, c, perr, t, 0);
4908                 }
4909                 if (*perr & Erval)
4910                         type_err(c, "error: cannot assign to an rval", b,
4911                                  NULL, 0, NULL);
4912                 else if ((b->op == Assign || b->op == AssignRef) && (*perr & Econst)) {
4913                         type_err(c, "error: Cannot assign to a constant: %v",
4914                                  b->left, NULL, 0, NULL);
4915                         if (b->left->type == Xvar) {
4916                                 struct var *var = cast(var, b->left);
4917                                 struct variable *v = var->var;
4918                                 type_err(c, "info: name was defined as a constant here",
4919                                          v->where_decl, NULL, 0, NULL);
4920                         }
4921                 }
4922                 if (t && t->dup == NULL && !(*perr_local & Emaycopy))
4923                         type_err(c, "error: cannot assign value of type %1", b, t, 0, NULL);
4924                 if (b->left->type == Xvar && (*perr_local & Efail))
4925                         type_err(c, "info: variable '%v' was set as %1 here.",
4926                                  cast(var, b->left)->var->where_set, t, rules, NULL);
4927                 return Tnone;
4928
4929                 break;
4930
4931 ###### interp binode cases
4932
4933         case Assign:
4934         case AssignRef:
4935                 lleft = linterp_exec(c, b->left, &ltype);
4936                 if (!lleft)
4937                         // FIXME lleft==NULL probably means illegal array ref
4938                         // should that cause a runtime error
4939                         ;
4940                 else if (b->op == AssignRef)
4941                         lleft->ref = linterp_exec(c, b->right, &rtype);
4942                 else
4943                         dinterp_exec(c, b->right, lleft, ltype, 1);
4944                 ltype = Tnone;
4945                 break;
4946
4947         case Declare:
4948         case DeclareRef:
4949         {
4950                 struct variable *v = cast(var, b->left)->var;
4951                 struct value *val;
4952                 v = v->merged;
4953                 val = var_value(c, v);
4954                 if (v->type->prepare_type)
4955                         v->type->prepare_type(c, v->type, 0);
4956                 if (!b->right)
4957                         val_init(v->type, val);
4958                 else if (b->op == DeclareRef)
4959                         val->ref = linterp_exec(c, b->right, &rtype);
4960                 else
4961                         dinterp_exec(c, b->right, val, v->type, 0);
4962                 break;
4963         }
4964
4965 ### The `use` statement
4966
4967 The `use` statement is the last "simple" statement.  It is needed when a
4968 statement block can return a value.  This includes the body of a
4969 function which has a return type, and the "condition" code blocks in
4970 `if`, `while`, and `switch` statements.
4971
4972 ###### Binode types
4973         Use,
4974
4975 ###### declare terminals
4976         $TERM use
4977
4978 ###### SimpleStatement Grammar
4979         | use Expression ${
4980                 $0 = b = new_pos(binode, $1);
4981                 b->op = Use;
4982                 b->right = $<2;
4983         }$
4984
4985 ###### print binode cases
4986
4987         case Use:
4988                 do_indent(indent, "use ");
4989                 print_exec(b->right, -1, bracket);
4990                 if (indent >= 0)
4991                         printf("\n");
4992                 break;
4993
4994 ###### propagate binode cases
4995
4996         case Use:
4997                 /* result matches value */
4998                 return propagate_types(b->right, c, perr, type, 0);
4999
5000 ###### interp binode cases
5001
5002         case Use:
5003                 rv = interp_exec(c, b->right, &rvtype);
5004                 break;
5005
5006 ### The Conditional Statement
5007
5008 This is the biggy and currently the only complex statement.  This
5009 subsumes `if`, `while`, `do/while`, `switch`, and some parts of `for`.
5010 It is comprised of a number of parts, all of which are optional though
5011 set combinations apply.  Each part is (usually) a key word (`then` is
5012 sometimes optional) followed by either an expression or a code block,
5013 except the `casepart` which is a "key word and an expression" followed
5014 by a code block.  The code-block option is valid for all parts and,
5015 where an expression is also allowed, the code block can use the `use`
5016 statement to report a value.  If the code block does not report a value
5017 the effect is similar to reporting `True`.
5018
5019 The `else` and `case` parts, as well as `then` when combined with
5020 `if`, can contain a `use` statement which will apply to some
5021 containing conditional statement. `for` parts, `do` parts and `then`
5022 parts used with `for` can never contain a `use`, except in some
5023 subordinate conditional statement.
5024
5025 If there is a `forpart`, it is executed first, only once.
5026 If there is a `dopart`, then it is executed repeatedly providing
5027 always that the `condpart` or `cond`, if present, does not return a non-True
5028 value.  `condpart` can fail to return any value if it simply executes
5029 to completion.  This is treated the same as returning `True`.
5030
5031 If there is a `thenpart` it will be executed whenever the `condpart`
5032 or `cond` returns True (or does not return any value), but this will happen
5033 *after* `dopart` (when present).
5034
5035 If `elsepart` is present it will be executed at most once when the
5036 condition returns `False` or some value that isn't `True` and isn't
5037 matched by any `casepart`.  If there are any `casepart`s, they will be
5038 executed when the condition returns a matching value.
5039
5040 The particular sorts of values allowed in case parts has not yet been
5041 determined in the language design, so nothing is prohibited.
5042
5043 The various blocks in this complex statement potentially provide scope
5044 for variables as described earlier.  Each such block must include the
5045 "OpenScope" nonterminal before parsing the block, and must call
5046 `var_block_close()` when closing the block.
5047
5048 The code following "`if`", "`switch`" and "`for`" does not get its own
5049 scope, but is in a scope covering the whole statement, so names
5050 declared there cannot be redeclared elsewhere.  Similarly the
5051 condition following "`while`" is in a scope the covers the body
5052 ("`do`" part) of the loop, and which does not allow conditional scope
5053 extension.  Code following "`then`" (both looping and non-looping),
5054 "`else`" and "`case`" each get their own local scope.
5055
5056 The type requirements on the code block in a `whilepart` are quite
5057 unusal.  It is allowed to return a value of some identifiable type, in
5058 which case the loop aborts and an appropriate `casepart` is run, or it
5059 can return a Boolean, in which case the loop either continues to the
5060 `dopart` (on `True`) or aborts and runs the `elsepart` (on `False`).
5061 This is different both from the `ifpart` code block which is expected to
5062 return a Boolean, or the `switchpart` code block which is expected to
5063 return the same type as the casepart values.  The correct analysis of
5064 the type of the `whilepart` code block is the reason for the
5065 `Rboolok` flag which is passed to `propagate_types()`.
5066
5067 The `cond_statement` cannot fit into a `binode` so a new `exec` is
5068 defined.  As there are two scopes which cover multiple parts - one for
5069 the whole statement and one for "while" and "do" - and as we will use
5070 the 'struct exec' to track scopes, we actually need two new types of
5071 exec.  One is a `binode` for the looping part, the rest is the
5072 `cond_statement`.  The `cond_statement` will use an auxilliary `struct
5073 casepart` to track a list of case parts.
5074
5075 ###### Binode types
5076         Loop
5077
5078 ###### exec type
5079         Xcond_statement,
5080
5081 ###### ast
5082         struct casepart {
5083                 struct exec *value;
5084                 struct exec *action;
5085                 struct casepart *next;
5086         };
5087         struct cond_statement {
5088                 struct exec;
5089                 struct exec *forpart, *condpart, *thenpart, *elsepart;
5090                 struct binode *looppart;
5091                 struct casepart *casepart;
5092         };
5093
5094 ###### ast functions
5095
5096         static void free_casepart(struct casepart *cp)
5097         {
5098                 while (cp) {
5099                         struct casepart *t;
5100                         free_exec(cp->value);
5101                         free_exec(cp->action);
5102                         t = cp->next;
5103                         free(cp);
5104                         cp = t;
5105                 }
5106         }
5107
5108         static void free_cond_statement(struct cond_statement *s)
5109         {
5110                 if (!s)
5111                         return;
5112                 free_exec(s->forpart);
5113                 free_exec(s->condpart);
5114                 free_exec(s->looppart);
5115                 free_exec(s->thenpart);
5116                 free_exec(s->elsepart);
5117                 free_casepart(s->casepart);
5118                 free(s);
5119         }
5120
5121 ###### free exec cases
5122         case Xcond_statement: free_cond_statement(cast(cond_statement, e)); break;
5123
5124 ###### ComplexStatement Grammar
5125         | CondStatement ${ $0 = $<1; }$
5126
5127 ###### declare terminals
5128         $TERM for then while do
5129         $TERM else
5130         $TERM switch case
5131
5132 ###### Grammar
5133
5134         $*cond_statement
5135         // A CondStatement must end with EOL, as does CondSuffix and
5136         // IfSuffix.
5137         // ForPart, ThenPart, SwitchPart, CasePart are non-empty and
5138         // may or may not end with EOL
5139         // WhilePart and IfPart include an appropriate Suffix
5140
5141         // ForPart, SwitchPart, and IfPart open scopes, o we have to close
5142         // them.  WhilePart opens and closes its own scope.
5143         CondStatement -> ForPart OptNL ThenPart OptNL WhilePart CondSuffix ${
5144                 $0 = $<CS;
5145                 $0->forpart = $<FP;
5146                 $0->thenpart = $<TP;
5147                 $0->looppart = $<WP;
5148                 var_block_close(c, CloseSequential, $0);
5149         }$
5150         | ForPart OptNL WhilePart CondSuffix ${
5151                 $0 = $<CS;
5152                 $0->forpart = $<FP;
5153                 $0->looppart = $<WP;
5154                 var_block_close(c, CloseSequential, $0);
5155         }$
5156         | WhilePart CondSuffix ${
5157                 $0 = $<CS;
5158                 $0->looppart = $<WP;
5159         }$
5160         | SwitchPart OptNL CasePart CondSuffix ${
5161                 $0 = $<CS;
5162                 $0->condpart = $<SP;
5163                 $CP->next = $0->casepart;
5164                 $0->casepart = $<CP;
5165                 var_block_close(c, CloseSequential, $0);
5166         }$
5167         | SwitchPart : IN OptNL CasePart CondSuffix OUT Newlines ${
5168                 $0 = $<CS;
5169                 $0->condpart = $<SP;
5170                 $CP->next = $0->casepart;
5171                 $0->casepart = $<CP;
5172                 var_block_close(c, CloseSequential, $0);
5173         }$
5174         | IfPart IfSuffix ${
5175                 $0 = $<IS;
5176                 $0->condpart = $IP.condpart; $IP.condpart = NULL;
5177                 $0->thenpart = $IP.thenpart; $IP.thenpart = NULL;
5178                 // This is where we close an "if" statement
5179                 var_block_close(c, CloseSequential, $0);
5180         }$
5181
5182         CondSuffix -> IfSuffix ${
5183                 $0 = $<1;
5184         }$
5185         | Newlines CasePart CondSuffix ${
5186                 $0 = $<CS;
5187                 $CP->next = $0->casepart;
5188                 $0->casepart = $<CP;
5189         }$
5190         | CasePart CondSuffix ${
5191                 $0 = $<CS;
5192                 $CP->next = $0->casepart;
5193                 $0->casepart = $<CP;
5194         }$
5195
5196         IfSuffix -> Newlines ${ $0 = new(cond_statement); }$
5197         | Newlines ElsePart ${ $0 = $<EP; }$
5198         | ElsePart ${$0 = $<EP; }$
5199
5200         ElsePart -> else OpenBlock Newlines ${
5201                 $0 = new(cond_statement);
5202                 $0->elsepart = $<OB;
5203                 var_block_close(c, CloseElse, $0->elsepart);
5204         }$
5205         | else OpenScope CondStatement ${
5206                 $0 = new(cond_statement);
5207                 $0->elsepart = $<CS;
5208                 var_block_close(c, CloseElse, $0->elsepart);
5209         }$
5210
5211         $*casepart
5212         CasePart -> case Expression OpenScope ColonBlock ${
5213                 $0 = calloc(1,sizeof(struct casepart));
5214                 $0->value = $<Ex;
5215                 $0->action = $<Bl;
5216                 var_block_close(c, CloseParallel, $0->action);
5217         }$
5218
5219         $*exec
5220         // These scopes are closed in CondStatement
5221         ForPart -> for OpenBlock ${
5222                 $0 = $<Bl;
5223         }$
5224
5225         ThenPart -> then OpenBlock ${
5226                 $0 = $<OB;
5227                 var_block_close(c, CloseSequential, $0);
5228         }$
5229
5230         $*binode
5231         // This scope is closed in CondStatement
5232         WhilePart -> while UseBlock OptNL do OpenBlock ${
5233                 $0 = new(binode);
5234                 $0->op = Loop;
5235                 $0->left = $<UB;
5236                 $0->right = $<OB;
5237                 var_block_close(c, CloseSequential, $0->right);
5238                 var_block_close(c, CloseSequential, $0);
5239         }$
5240         | while OpenScope Expression OpenScope ColonBlock ${
5241                 $0 = new(binode);
5242                 $0->op = Loop;
5243                 $0->left = $<Exp;
5244                 $0->right = $<CB;
5245                 var_block_close(c, CloseSequential, $0->right);
5246                 var_block_close(c, CloseSequential, $0);
5247         }$
5248
5249         $cond_statement
5250         IfPart -> if UseBlock OptNL then OpenBlock ${
5251                 $0.condpart = $<UB;
5252                 $0.thenpart = $<OB;
5253                 var_block_close(c, CloseParallel, $0.thenpart);
5254         }$
5255         | if OpenScope Expression OpenScope ColonBlock ${
5256                 $0.condpart = $<Ex;
5257                 $0.thenpart = $<CB;
5258                 var_block_close(c, CloseParallel, $0.thenpart);
5259         }$
5260         | if OpenScope Expression OpenScope OptNL then Block ${
5261                 $0.condpart = $<Ex;
5262                 $0.thenpart = $<Bl;
5263                 var_block_close(c, CloseParallel, $0.thenpart);
5264         }$
5265
5266         $*exec
5267         // This scope is closed in CondStatement
5268         SwitchPart -> switch OpenScope Expression ${
5269                 $0 = $<Ex;
5270         }$
5271         | switch UseBlock ${
5272                 $0 = $<Bl;
5273         }$
5274
5275 ###### print binode cases
5276         case Loop:
5277                 if (b->left && b->left->type == Xbinode &&
5278                     cast(binode, b->left)->op == Block) {
5279                         if (bracket)
5280                                 do_indent(indent, "while {\n");
5281                         else
5282                                 do_indent(indent, "while\n");
5283                         print_exec(b->left, indent+1, bracket);
5284                         if (bracket)
5285                                 do_indent(indent, "} do {\n");
5286                         else
5287                                 do_indent(indent, "do\n");
5288                         print_exec(b->right, indent+1, bracket);
5289                         if (bracket)
5290                                 do_indent(indent, "}\n");
5291                 } else {
5292                         do_indent(indent, "while ");
5293                         print_exec(b->left, 0, bracket);
5294                         if (bracket)
5295                                 printf(" {\n");
5296                         else
5297                                 printf(":\n");
5298                         print_exec(b->right, indent+1, bracket);
5299                         if (bracket)
5300                                 do_indent(indent, "}\n");
5301                 }
5302                 break;
5303
5304 ###### print exec cases
5305
5306         case Xcond_statement:
5307         {
5308                 struct cond_statement *cs = cast(cond_statement, e);
5309                 struct casepart *cp;
5310                 if (cs->forpart) {
5311                         do_indent(indent, "for");
5312                         if (bracket) printf(" {\n"); else printf("\n");
5313                         print_exec(cs->forpart, indent+1, bracket);
5314                         if (cs->thenpart) {
5315                                 if (bracket)
5316                                         do_indent(indent, "} then {\n");
5317                                 else
5318                                         do_indent(indent, "then\n");
5319                                 print_exec(cs->thenpart, indent+1, bracket);
5320                         }
5321                         if (bracket) do_indent(indent, "}\n");
5322                 }
5323                 if (cs->looppart) {
5324                         print_exec(cs->looppart, indent, bracket);
5325                 } else {
5326                         // a condition
5327                         if (cs->casepart)
5328                                 do_indent(indent, "switch");
5329                         else
5330                                 do_indent(indent, "if");
5331                         if (cs->condpart && cs->condpart->type == Xbinode &&
5332                             cast(binode, cs->condpart)->op == Block) {
5333                                 if (bracket)
5334                                         printf(" {\n");
5335                                 else
5336                                         printf("\n");
5337                                 print_exec(cs->condpart, indent+1, bracket);
5338                                 if (bracket)
5339                                         do_indent(indent, "}\n");
5340                                 if (cs->thenpart) {
5341                                         do_indent(indent, "then\n");
5342                                         print_exec(cs->thenpart, indent+1, bracket);
5343                                 }
5344                         } else {
5345                                 printf(" ");
5346                                 print_exec(cs->condpart, 0, bracket);
5347                                 if (cs->thenpart) {
5348                                         if (bracket)
5349                                                 printf(" {\n");
5350                                         else
5351                                                 printf(":\n");
5352                                         print_exec(cs->thenpart, indent+1, bracket);
5353                                         if (bracket)
5354                                                 do_indent(indent, "}\n");
5355                                 } else
5356                                         printf("\n");
5357                         }
5358                 }
5359                 for (cp = cs->casepart; cp; cp = cp->next) {
5360                         do_indent(indent, "case ");
5361                         print_exec(cp->value, -1, 0);
5362                         if (bracket)
5363                                 printf(" {\n");
5364                         else
5365                                 printf(":\n");
5366                         print_exec(cp->action, indent+1, bracket);
5367                         if (bracket)
5368                                 do_indent(indent, "}\n");
5369                 }
5370                 if (cs->elsepart) {
5371                         do_indent(indent, "else");
5372                         if (bracket)
5373                                 printf(" {\n");
5374                         else
5375                                 printf("\n");
5376                         print_exec(cs->elsepart, indent+1, bracket);
5377                         if (bracket)
5378                                 do_indent(indent, "}\n");
5379                 }
5380                 break;
5381         }
5382
5383 ###### propagate binode cases
5384         case Loop:
5385                 t = propagate_types(b->right, c, perr_local, Tnone, 0);
5386                 if (!type_compat(Tnone, t, 0))
5387                         *perr |= Efail; // UNTESTED
5388                 return propagate_types(b->left, c, perr, type, rules);
5389
5390 ###### propagate exec cases
5391         case Xcond_statement:
5392         {
5393                 // forpart and looppart->right must return Tnone
5394                 // thenpart must return Tnone if there is a loopart,
5395                 // otherwise it is like elsepart.
5396                 // condpart must:
5397                 //    be bool if there is no casepart
5398                 //    match casepart->values if there is a switchpart
5399                 //    either be bool or match casepart->value if there
5400                 //             is a whilepart
5401                 // elsepart and casepart->action must match the return type
5402                 //   expected of this statement.
5403                 struct cond_statement *cs = cast(cond_statement, prog);
5404                 struct casepart *cp;
5405
5406                 t = propagate_types(cs->forpart, c, perr, Tnone, 0);
5407                 if (!type_compat(Tnone, t, 0))
5408                         *perr |= Efail; // UNTESTED
5409
5410                 if (cs->looppart) {
5411                         t = propagate_types(cs->thenpart, c, perr, Tnone, 0);
5412                         if (!type_compat(Tnone, t, 0))
5413                                 *perr |= Efail; // UNTESTED
5414                 }
5415                 if (cs->casepart == NULL) {
5416                         propagate_types(cs->condpart, c, perr, Tbool, 0);
5417                         propagate_types(cs->looppart, c, perr, Tbool, 0);
5418                 } else {
5419                         /* Condpart must match case values, with bool permitted */
5420                         t = NULL;
5421                         for (cp = cs->casepart;
5422                              cp && !t; cp = cp->next)
5423                                 t = propagate_types(cp->value, c, perr, NULL, 0);
5424                         if (!t && cs->condpart)
5425                                 t = propagate_types(cs->condpart, c, perr, NULL, Rboolok);      // UNTESTED
5426                         if (!t && cs->looppart)
5427                                 t = propagate_types(cs->looppart, c, perr, NULL, Rboolok);      // UNTESTED
5428                         // Now we have a type (I hope) push it down
5429                         if (t) {
5430                                 for (cp = cs->casepart; cp; cp = cp->next)
5431                                         propagate_types(cp->value, c, perr, t, 0);
5432                                 propagate_types(cs->condpart, c, perr, t, Rboolok);
5433                                 propagate_types(cs->looppart, c, perr, t, Rboolok);
5434                         }
5435                 }
5436                 // (if)then, else, and case parts must return expected type.
5437                 if (!cs->looppart && !type)
5438                         type = propagate_types(cs->thenpart, c, perr, NULL, rules);
5439                 if (!type)
5440                         type = propagate_types(cs->elsepart, c, perr, NULL, rules);
5441                 for (cp = cs->casepart;
5442                      cp && !type;
5443                      cp = cp->next)     // UNTESTED
5444                         type = propagate_types(cp->action, c, perr, NULL, rules);       // UNTESTED
5445                 if (type) {
5446                         if (!cs->looppart)
5447                                 propagate_types(cs->thenpart, c, perr, type, rules);
5448                         propagate_types(cs->elsepart, c, perr, type, rules);
5449                         for (cp = cs->casepart; cp ; cp = cp->next)
5450                                 propagate_types(cp->action, c, perr, type, rules);
5451                         return type;
5452                 } else
5453                         return NULL;
5454         }
5455
5456 ###### interp binode cases
5457         case Loop:
5458                 // This just performs one iterration of the loop
5459                 rv = interp_exec(c, b->left, &rvtype);
5460                 if (rvtype == Tnone ||
5461                     (rvtype == Tbool && rv.bool != 0))
5462                         // rvtype is Tnone or Tbool, doesn't need to be freed
5463                         interp_exec(c, b->right, NULL);
5464                 break;
5465
5466 ###### interp exec cases
5467         case Xcond_statement:
5468         {
5469                 struct value v, cnd;
5470                 struct type *vtype, *cndtype;
5471                 struct casepart *cp;
5472                 struct cond_statement *cs = cast(cond_statement, e);
5473
5474                 if (cs->forpart)
5475                         interp_exec(c, cs->forpart, NULL);
5476                 if (cs->looppart) {
5477                         while ((cnd = interp_exec(c, cs->looppart, &cndtype)),
5478                                cndtype == Tnone || (cndtype == Tbool && cnd.bool != 0))
5479                                 interp_exec(c, cs->thenpart, NULL);
5480                 } else {
5481                         cnd = interp_exec(c, cs->condpart, &cndtype);
5482                         if ((cndtype == Tnone ||
5483                             (cndtype == Tbool && cnd.bool != 0))) {
5484                                 // cnd is Tnone or Tbool, doesn't need to be freed
5485                                 rv = interp_exec(c, cs->thenpart, &rvtype);
5486                                 // skip else (and cases)
5487                                 goto Xcond_done;
5488                         }
5489                 }
5490                 for (cp = cs->casepart; cp; cp = cp->next) {
5491                         v = interp_exec(c, cp->value, &vtype);
5492                         if (value_cmp(cndtype, vtype, &v, &cnd) == 0) {
5493                                 free_value(vtype, &v);
5494                                 free_value(cndtype, &cnd);
5495                                 rv = interp_exec(c, cp->action, &rvtype);
5496                                 goto Xcond_done;
5497                         }
5498                         free_value(vtype, &v);
5499                 }
5500                 free_value(cndtype, &cnd);
5501                 if (cs->elsepart)
5502                         rv = interp_exec(c, cs->elsepart, &rvtype);
5503                 else
5504                         rvtype = Tnone;
5505         Xcond_done:
5506                 break;
5507         }
5508
5509 ### Top level structure
5510
5511 All the language elements so far can be used in various places.  Now
5512 it is time to clarify what those places are.
5513
5514 At the top level of a file there will be a number of declarations.
5515 Many of the things that can be declared haven't been described yet,
5516 such as functions, procedures, imports, and probably more.
5517 For now there are two sorts of things that can appear at the top
5518 level.  They are predefined constants, `struct` types, and the `main`
5519 function.  While the syntax will allow the `main` function to appear
5520 multiple times, that will trigger an error if it is actually attempted.
5521
5522 The various declarations do not return anything.  They store the
5523 various declarations in the parse context.
5524
5525 ###### Parser: grammar
5526
5527         $void
5528         Ocean -> OptNL DeclarationList
5529
5530         ## declare terminals
5531
5532         OptNL ->
5533         | OptNL NEWLINE
5534
5535         Newlines -> NEWLINE
5536         | Newlines NEWLINE
5537
5538         DeclarationList -> Declaration
5539         | DeclarationList Declaration
5540
5541         Declaration -> ERROR Newlines ${
5542                 tok_err(c,      // UNTESTED
5543                         "error: unhandled parse error", &$1);
5544         }$
5545         | DeclareConstant
5546         | DeclareFunction
5547         | DeclareStruct
5548
5549         ## top level grammar
5550
5551         ## Grammar
5552
5553 ### The `const` section
5554
5555 As well as being defined in with the code that uses them, constants can
5556 be declared at the top level.  These have full-file scope, so they are
5557 always `InScope`, even before(!) they have been declared.  The value of
5558 a top level constant can be given as an expression, and this is
5559 evaluated after parsing and before execution.
5560
5561 A function call can be used to evaluate a constant, but it will not have
5562 access to any program state, once such statement becomes meaningful.
5563 e.g.  arguments and filesystem will not be visible.
5564
5565 Constants are defined in a section that starts with the reserved word
5566 `const` and then has a block with a list of assignment statements.
5567 For syntactic consistency, these must use the double-colon syntax to
5568 make it clear that they are constants.  Type can also be given: if
5569 not, the type will be determined during analysis, as with other
5570 constants.
5571
5572 ###### parse context
5573         struct binode *constlist;
5574
5575 ###### top level grammar
5576
5577         $TERM const
5578
5579         DeclareConstant -> const { IN OptNL ConstList OUT OptNL } Newlines
5580         | const { SimpleConstList } Newlines
5581         | const IN OptNL ConstList OUT Newlines
5582         | const SimpleConstList Newlines
5583
5584         ConstList -> ConstList SimpleConstLine
5585         | SimpleConstLine
5586
5587         SimpleConstList -> SimpleConstList ; Const
5588         | Const
5589         | SimpleConstList ;
5590
5591         SimpleConstLine -> SimpleConstList Newlines
5592         | ERROR Newlines ${ tok_err(c, "Syntax error in constant", &$1); }$
5593
5594         $*type
5595         CType -> Type   ${ $0 = $<1; }$
5596         |               ${ $0 = NULL; }$
5597
5598         $void
5599         Const -> IDENTIFIER :: CType = Expression ${ {
5600                 struct variable *v;
5601                 struct binode *bl, *bv;
5602                 struct var *var = new_pos(var, $ID);
5603
5604                 v = var_decl(c, $ID.txt);
5605                 if (v) {
5606                         v->where_decl = var;
5607                         v->where_set = var;
5608                         v->type = $<CT;
5609                         v->constant = 1;
5610                         v->global = 1;
5611                 } else {
5612                         v = var_ref(c, $1.txt);
5613                         if (v->type == Tnone) {
5614                                 v->where_decl = var;
5615                                 v->where_set = var;
5616                                 v->type = $<CT;
5617                                 v->constant = 1;
5618                                 v->global = 1;
5619                         } else {
5620                                 tok_err(c, "error: name already declared", &$1);
5621                                 type_err(c, "info: this is where '%v' was first declared",
5622                                          v->where_decl, NULL, 0, NULL);
5623                         }
5624                 }
5625                 var->var = v;
5626
5627                 bv = new(binode);
5628                 bv->op = Declare;
5629                 bv->left = var;
5630                 bv->right= $<Exp;
5631
5632                 bl = new(binode);
5633                 bl->op = List;
5634                 bl->left = c->constlist;
5635                 bl->right = bv;
5636                 c->constlist = bl;
5637         } }$
5638
5639 ###### core functions
5640         static void resolve_consts(struct parse_context *c)
5641         {
5642                 struct binode *b;
5643                 int retry = 1;
5644                 enum { none, some, cannot } progress = none;
5645
5646                 c->constlist = reorder_bilist(c->constlist);
5647                 while (retry) {
5648                         retry = 0;
5649                         for (b = cast(binode, c->constlist); b;
5650                              b = cast(binode, b->right)) {
5651                                 enum prop_err perr;
5652                                 struct binode *vb = cast(binode, b->left);
5653                                 struct var *v = cast(var, vb->left);
5654                                 if (v->var->frame_pos >= 0)
5655                                         continue;
5656                                 do {
5657                                         perr = 0;
5658                                         propagate_types(vb->right, c, &perr,
5659                                                         v->var->type, 0);
5660                                 } while (perr & Eretry);
5661                                 if (perr & Efail)
5662                                         c->parse_error += 1;
5663                                 else if (!(perr & Eruntime)) {
5664                                         progress = some;
5665                                         struct value res = interp_exec(
5666                                                 c, vb->right, &v->var->type);
5667                                         global_alloc(c, v->var->type, v->var, &res);
5668                                 } else {
5669                                         if (progress == cannot)
5670                                                 type_err(c, "error: const %v cannot be resolved.",
5671                                                          v, NULL, 0, NULL);
5672                                         else
5673                                                 retry = 1;
5674                                 }
5675                         }
5676                         switch (progress) {
5677                         case cannot:
5678                                 retry = 0; break;
5679                         case none:
5680                                 progress = cannot; break;
5681                         case some:
5682                                 progress = none; break;
5683                         }
5684                 }
5685         }
5686
5687 ###### print const decls
5688         {
5689                 struct binode *b;
5690                 int first = 1;
5691
5692                 for (b = cast(binode, context.constlist); b;
5693                      b = cast(binode, b->right)) {
5694                         struct binode *vb = cast(binode, b->left);
5695                         struct var *vr = cast(var, vb->left);
5696                         struct variable *v = vr->var;
5697
5698                         if (first)
5699                                 printf("const\n");
5700                         first = 0;
5701
5702                         printf("    %.*s :: ", v->name->name.len, v->name->name.txt);
5703                         type_print(v->type, stdout);
5704                         printf(" = ");
5705                         print_exec(vb->right, -1, 0);
5706                         printf("\n");
5707                 }
5708         }
5709
5710 ###### free const decls
5711         free_binode(context.constlist);
5712
5713 ### Function declarations
5714
5715 The code in an Ocean program is all stored in function declarations.
5716 One of the functions must be named `main` and it must accept an array of
5717 strings as a parameter - the command line arguments.
5718
5719 As this is the top level, several things are handled a bit differently.
5720 The function is not interpreted by `interp_exec` as that isn't passed
5721 the argument list which the program requires.  Similarly type analysis
5722 is a bit more interesting at this level.
5723
5724 ###### ast functions
5725
5726         static struct type *handle_results(struct parse_context *c,
5727                                            struct binode *results)
5728         {
5729                 /* Create a 'struct' type from the results list, which
5730                  * is a list for 'struct var'
5731                  */
5732                 struct type *t = add_anon_type(c, &structure_prototype,
5733                                                "function result");
5734                 int cnt = 0;
5735                 struct binode *b;
5736
5737                 for (b = results; b; b = cast(binode, b->right))
5738                         cnt += 1;
5739                 t->structure.nfields = cnt;
5740                 t->structure.fields = calloc(cnt, sizeof(struct field));
5741                 cnt = 0;
5742                 for (b = results; b; b = cast(binode, b->right)) {
5743                         struct var *v = cast(var, b->left);
5744                         struct field *f = &t->structure.fields[cnt++];
5745                         int a = v->var->type->align;
5746                         f->name = v->var->name->name;
5747                         f->type = v->var->type;
5748                         f->init = NULL;
5749                         f->offset = t->size;
5750                         v->var->frame_pos = f->offset;
5751                         t->size += ((f->type->size - 1) | (a-1)) + 1;
5752                         if (a > t->align)
5753                                 t->align = a;
5754                         variable_unlink_exec(v->var);
5755                 }
5756                 free_binode(results);
5757                 return t;
5758         }
5759
5760         static struct variable *declare_function(struct parse_context *c,
5761                                                 struct variable *name,
5762                                                 struct binode *args,
5763                                                 struct type *ret,
5764                                                 struct binode *results,
5765                                                 struct exec *code)
5766         {
5767                 if (name) {
5768                         struct value fn = {.function = code};
5769                         struct type *t;
5770                         var_block_close(c, CloseFunction, code);
5771                         t = add_anon_type(c, &function_prototype,
5772                                           "func %.*s", name->name->name.len,
5773                                           name->name->name.txt);
5774                         name->type = t;
5775                         t->function.params = reorder_bilist(args);
5776                         if (!ret) {
5777                                 ret = handle_results(c, reorder_bilist(results));
5778                                 t->function.inline_result = 1;
5779                                 t->function.local_size = ret->size;
5780                         }
5781                         t->function.return_type = ret;
5782                         global_alloc(c, t, name, &fn);
5783                         name->type->function.scope = c->out_scope;
5784                 } else {
5785                         free_binode(args);
5786                         free_type(ret);
5787                         free_exec(code);
5788                         var_block_close(c, CloseFunction, NULL);
5789                 }
5790                 c->out_scope = NULL;
5791                 return name;
5792         }
5793
5794 ###### declare terminals
5795         $TERM return
5796
5797 ###### top level grammar
5798
5799         $*variable
5800         DeclareFunction -> func FuncName ( OpenScope ArgsLine ) Block Newlines ${
5801                 $0 = declare_function(c, $<FN, $<Ar, Tnone, NULL, $<Bl);
5802         }$
5803         | func FuncName IN OpenScope Args OUT OptNL do Block Newlines ${
5804                 $0 = declare_function(c, $<FN, $<Ar, Tnone, NULL, $<Bl);
5805         }$
5806         | func FuncName NEWLINE OpenScope OptNL do Block Newlines ${
5807                 $0 = declare_function(c, $<FN, NULL, Tnone, NULL, $<Bl);
5808         }$
5809         | func FuncName ( OpenScope ArgsLine ) : Type Block Newlines ${
5810                 $0 = declare_function(c, $<FN, $<Ar, $<Ty, NULL, $<Bl);
5811         }$
5812         | func FuncName ( OpenScope ArgsLine ) : ( ArgsLine ) Block Newlines ${
5813                 $0 = declare_function(c, $<FN, $<AL, NULL, $<AL2, $<Bl);
5814         }$
5815         | func FuncName IN OpenScope Args OUT OptNL return Type Newlines do Block Newlines ${
5816                 $0 = declare_function(c, $<FN, $<Ar, $<Ty, NULL, $<Bl);
5817         }$
5818         | func FuncName NEWLINE OpenScope return Type Newlines do Block Newlines ${
5819                 $0 = declare_function(c, $<FN, NULL, $<Ty, NULL, $<Bl);
5820         }$
5821         | func FuncName IN OpenScope Args OUT OptNL return IN Args OUT OptNL do Block Newlines ${
5822                 $0 = declare_function(c, $<FN, $<Ar, NULL, $<Ar2, $<Bl);
5823         }$
5824         | func FuncName NEWLINE OpenScope return IN Args OUT OptNL do Block Newlines ${
5825                 $0 = declare_function(c, $<FN, NULL, NULL, $<Ar, $<Bl);
5826         }$
5827
5828 ###### print func decls
5829         {
5830                 struct variable *v;
5831                 int target = -1;
5832
5833                 while (target != 0) {
5834                         int i = 0;
5835                         for (v = context.in_scope; v; v=v->in_scope)
5836                                 if (v->depth == 0 && v->type && v->type->check_args) {
5837                                         i += 1;
5838                                         if (i == target)
5839                                                 break;
5840                                 }
5841
5842                         if (target == -1) {
5843                                 target = i;
5844                         } else {
5845                                 struct value *val = var_value(&context, v);
5846                                 printf("func %.*s", v->name->name.len, v->name->name.txt);
5847                                 v->type->print_type_decl(v->type, stdout);
5848                                 if (brackets)
5849                                         print_exec(val->function, 0, brackets);
5850                                 else
5851                                         print_value(v->type, val, stdout);
5852                                 printf("/* frame size %d */\n", v->type->function.local_size);
5853                                 target -= 1;
5854                         }
5855                 }
5856         }
5857
5858 ###### core functions
5859
5860         static int analyse_funcs(struct parse_context *c)
5861         {
5862                 struct variable *v;
5863                 int all_ok = 1;
5864                 for (v = c->in_scope; v; v = v->in_scope) {
5865                         struct value *val;
5866                         struct type *ret;
5867                         enum prop_err perr;
5868                         if (v->depth != 0 || !v->type || !v->type->check_args)
5869                                 continue;
5870                         ret = v->type->function.inline_result ?
5871                                 Tnone : v->type->function.return_type;
5872                         val = var_value(c, v);
5873                         do {
5874                                 perr = 0;
5875                                 propagate_types(val->function, c, &perr, ret, 0);
5876                         } while (!(perr & Efail) && (perr & Eretry));
5877                         if (!(perr & Efail))
5878                                 /* Make sure everything is still consistent */
5879                                 propagate_types(val->function, c, &perr, ret, 0);
5880                         if (perr & Efail)
5881                                 all_ok = 0;
5882                         if (!v->type->function.inline_result &&
5883                             !v->type->function.return_type->dup) {
5884                                 type_err(c, "error: function cannot return value of type %1",
5885                                          v->where_decl, v->type->function.return_type, 0, NULL);
5886                         }
5887
5888                         scope_finalize(c, v->type);
5889                 }
5890                 return all_ok;
5891         }
5892
5893         static int analyse_main(struct type *type, struct parse_context *c)
5894         {
5895                 struct binode *bp = type->function.params;
5896                 struct binode *b;
5897                 enum prop_err perr;
5898                 int arg = 0;
5899                 struct type *argv_type;
5900
5901                 argv_type = add_anon_type(c, &array_prototype, "argv");
5902                 argv_type->array.member = Tstr;
5903                 argv_type->array.unspec = 1;
5904
5905                 for (b = bp; b; b = cast(binode, b->right)) {
5906                         perr = 0;
5907                         switch (arg++) {
5908                         case 0: /* argv */
5909                                 propagate_types(b->left, c, &perr, argv_type, 0);
5910                                 break;
5911                         default: /* invalid */  // NOTEST
5912                                 propagate_types(b->left, c, &perr, Tnone, 0);   // NOTEST
5913                         }
5914                         if (perr & Efail)
5915                                 c->parse_error += 1;
5916                 }
5917
5918                 return !c->parse_error;
5919         }
5920
5921         static void interp_main(struct parse_context *c, int argc, char **argv)
5922         {
5923                 struct value *progp = NULL;
5924                 struct text main_name = { "main", 4 };
5925                 struct variable *mainv;
5926                 struct binode *al;
5927                 int anum = 0;
5928                 struct value v;
5929                 struct type *vtype;
5930
5931                 mainv = var_ref(c, main_name);
5932                 if (mainv)
5933                         progp = var_value(c, mainv);
5934                 if (!progp || !progp->function) {
5935                         fprintf(stderr, "oceani: no main function found.\n");
5936                         c->parse_error += 1;
5937                         return;
5938                 }
5939                 if (!analyse_main(mainv->type, c)) {
5940                         fprintf(stderr, "oceani: main has wrong type.\n");
5941                         c->parse_error += 1;
5942                         return;
5943                 }
5944                 al = mainv->type->function.params;
5945
5946                 c->local_size = mainv->type->function.local_size;
5947                 c->local = calloc(1, c->local_size);
5948                 while (al) {
5949                         struct var *v = cast(var, al->left);
5950                         struct value *vl = var_value(c, v->var);
5951                         struct value arg;
5952                         struct type *t;
5953                         mpq_t argcq;
5954                         int i;
5955
5956                         switch (anum++) {
5957                         case 0: /* argv */
5958                                 t = v->var->type;
5959                                 mpq_init(argcq);
5960                                 mpq_set_ui(argcq, argc, 1);
5961                                 memcpy(var_value(c, t->array.vsize), &argcq, sizeof(argcq));
5962                                 t->prepare_type(c, t, 0);
5963                                 array_init(v->var->type, vl);
5964                                 for (i = 0; i < argc; i++) {
5965                                         struct value *vl2 = vl->array + i * v->var->type->array.member->size;
5966
5967                                         arg.str.txt = argv[i];
5968                                         arg.str.len = strlen(argv[i]);
5969                                         free_value(Tstr, vl2);
5970                                         dup_value(Tstr, &arg, vl2);
5971                                 }
5972                                 break;
5973                         }
5974                         al = cast(binode, al->right);
5975                 }
5976                 v = interp_exec(c, progp->function, &vtype);
5977                 free_value(vtype, &v);
5978                 free(c->local);
5979                 c->local = NULL;
5980         }
5981
5982 ###### ast functions
5983         void free_variable(struct variable *v)
5984         {
5985         }
5986
5987 ## And now to test it out.
5988
5989 Having a language requires having a "hello world" program.  I'll
5990 provide a little more than that: a program that prints "Hello world"
5991 finds the GCD of two numbers, prints the first few elements of
5992 Fibonacci, performs a binary search for a number, and a few other
5993 things which will likely grow as the languages grows.
5994
5995 ###### File: oceani.mk
5996         demos :: sayhello
5997         sayhello : oceani
5998                 @echo "===== DEMO ====="
5999                 ./oceani --section "demo: hello" oceani.mdc 55 33
6000
6001 ###### demo: hello
6002
6003         const
6004                 pi ::= 3.141_592_6
6005                 four ::= 2 + 2 ; five ::= 10/2
6006         const pie ::= "I like Pie";
6007                 cake ::= "The cake is"
6008                   ++ " a lie"
6009
6010         struct fred
6011                 size:[four]number
6012                 name:string
6013                 alive:Boolean
6014
6015         func main(argv:[argc::]string)
6016                 print "Hello World, what lovely oceans you have!"
6017                 print "Are there", five, "?"
6018                 print pi, pie, "but", cake
6019
6020                 A := $argv[1]; B := $argv[2]
6021
6022                 /* When a variable is defined in both branches of an 'if',
6023                  * and used afterwards, the variables are merged.
6024                  */
6025                 if A > B:
6026                         bigger := "yes"
6027                 else
6028                         bigger := "no"
6029                 print "Is", A, "bigger than", B,"? ", bigger
6030                 /* If a variable is not used after the 'if', no
6031                  * merge happens, so types can be different
6032                  */
6033                 if A > B * 2:
6034                         double:string = "yes"
6035                         print A, "is more than twice", B, "?", double
6036                 else
6037                         double := B*2
6038                         print "double", B, "is", double
6039
6040                 a : number
6041                 a = A;
6042                 b:number = B
6043                 if a > 0 and then b > 0:
6044                         while a != b:
6045                                 if a < b:
6046                                         b = b - a
6047                                 else
6048                                         a = a - b
6049                         print "GCD of", A, "and", B,"is", a
6050                 else if a <= 0:
6051                         print a, "is not positive, cannot calculate GCD"
6052                 else
6053                         print b, "is not positive, cannot calculate GCD"
6054
6055                 for
6056                         togo := 10
6057                         f1 := 1; f2 := 1
6058                         print "Fibonacci:", f1,f2,
6059                 then togo = togo - 1
6060                 while togo > 0:
6061                         f3 := f1 + f2
6062                         print "", f3,
6063                         f1 = f2
6064                         f2 = f3
6065                 print ""
6066
6067                 /* Binary search... */
6068                 for
6069                         lo:= 0; hi := 100
6070                         target := 77
6071                 while
6072                         mid := (lo + hi) / 2
6073                         if mid == target:
6074                                 use .Found
6075                         if mid < target:
6076                                 lo = mid
6077                         else
6078                                 hi = mid
6079                         if hi - lo < 1:
6080                                 lo = mid
6081                                 use .GiveUp
6082                         use True
6083                 do pass
6084                 case .Found:
6085                         print "Yay, I found", target
6086                 case .GiveUp:
6087                         print "Closest I found was", lo
6088
6089                 size::= 10
6090                 list:[size]number
6091                 list[0] = 1234
6092                 // "middle square" PRNG.  Not particularly good, but one my
6093                 // Dad taught me - the first one I ever heard of.
6094                 for i:=1; then i = i + 1; while i < size:
6095                         n := list[i-1] * list[i-1]
6096                         list[i] = (n / 100) % 10 000
6097
6098                 print "Before sort:",
6099                 for i:=0; then i = i + 1; while i < size:
6100                         print "", list[i],
6101                 print
6102
6103                 for i := 1; then i=i+1; while i < size:
6104                         for j:=i-1; then j=j-1; while j >= 0:
6105                                 if list[j] > list[j+1]:
6106                                         t:= list[j]
6107                                         list[j] = list[j+1]
6108                                         list[j+1] = t
6109                 print " After sort:",
6110                 for i:=0; then i = i + 1; while i < size:
6111                         print "", list[i],
6112                 print
6113
6114                 if 1 == 2 then print "yes"; else print "no"
6115
6116                 bob:fred
6117                 bob.name = "Hello"
6118                 bob.alive = (bob.name == "Hello")
6119                 print "bob", "is" if  bob.alive else "isn't", "alive"