ocean-lang.org Git - ocean/blob - csrc/oceani.mdc

   1 # Ocean Interpreter - Jamison Creek version
   2
   3 Ocean is intended to be a compiled language, so this interpreter is
   4 not targeted at being the final product.  It is, rather, an intermediate
   5 stage and fills that role in two distinct ways.
   6
   7 Firstly, it exists as a platform to experiment with the early language
   8 design.  An interpreter is easy to write and easy to get working, so
   9 the barrier for entry is lower if I aim to start with an interpreter.
  10
  11 Secondly, the plan for the Ocean compiler is to write it in the
  12 [Ocean language](http://ocean-lang.org).  To achieve this we naturally
  13 need some sort of boot-strap process and this interpreter - written in
  14 portable C - will fill that role.  It will be used to bootstrap the
  15 Ocean compiler.
  16
  17 Two features that are not needed to fill either of these roles are
  18 performance and completeness.  The interpreter only needs to be fast
  19 enough to run small test programs and occasionally to run the compiler
  20 on itself.  It only needs to be complete enough to test aspects of the
  21 design which are developed before the compiler is working, and to run
  22 the compiler on itself.  Any features not used by the compiler when
  23 compiling itself are superfluous.  They may be included anyway, but
  24 they may not.
  25
  26 Nonetheless, the interpreter should end up being reasonably complete,
  27 and any performance bottlenecks which appear and are easily fixed, will
  28 be.
  29
  30 ## Current version
  31
  32 This third version of the interpreter exists to test out some initial
  33 ideas relating to types.  Particularly it adds arrays (indexed from
  34 zero) and simple structures.  Basic control flow and variable scoping
  35 are already fairly well established, as are basic numerical and
  36 boolean operators.
  37
  38 Some operators that have only recently been added, and so have not
  39 generated all that much experience yet are "and then" and "or else" as
  40 short-circuit Boolean operators, and the "if ... else" trinary
  41 operator which can select between two expressions based on a third
  42 (which appears syntactically in the middle).
  43
  44 The "func" clause currently only allows a "main" function to be
  45 declared.  That will be extended when proper function support is added.
  46
  47 An element that is present purely to make a usable language, and
  48 without any expectation that they will remain, is the "print" statement
  49 which performs simple output.
  50
  51 The current scalar types are "number", "Boolean", and "string".
  52 Boolean will likely stay in its current form, the other two might, but
  53 could just as easily be changed.
  54
  55 ## Naming
  56
  57 Versions of the interpreter which obviously do not support a complete
  58 language will be named after creeks and streams.  This one is Jamison
  59 Creek.
  60
  61 Once we have something reasonably resembling a complete language, the
  62 names of rivers will be used.
  63 Early versions of the compiler will be named after seas.  Major
  64 releases of the compiler will be named after oceans.  Hopefully I will
  65 be finished once I get to the Pacific Ocean release.
  66
  67 ## Outline
  68
  69 As well as parsing and executing a program, the interpreter can print
  70 out the program from the parsed internal structure.  This is useful
  71 for validating the parsing.
  72 So the main requirements of the interpreter are:
  73
  74 - Parse the program, possibly with tracing,
  75 - Analyse the parsed program to ensure consistency,
  76 - Print the program,
  77 - Execute the "main" function in the program, if no parsing or
  78   consistency errors were found.
  79
  80 This is all performed by a single C program extracted with
  81 `parsergen`.
  82
  83 There will be two formats for printing the program: a default and one
  84 that uses bracketing.  So a `--bracket` command line option is needed
  85 for that.  Normally the first code section found is used, however an
  86 alternate section can be requested so that a file (such as this one)
  87 can contain multiple programs.  This is effected with the `--section`
  88 option.
  89
  90 This code must be compiled with `-fplan9-extensions` so that anonymous
  91 structures can be used.
  92
  93 ###### File: oceani.mk
  94
  95         myCFLAGS := -Wall -g -fplan9-extensions
  96         CFLAGS := $(filter-out $(myCFLAGS),$(CFLAGS)) $(myCFLAGS)
  97         myLDLIBS:= libparser.o libscanner.o libmdcode.o -licuuc
  98         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
  99         ## libs
 100         all :: $(LDLIBS) oceani
 101         oceani.c oceani.h : oceani.mdc parsergen
 102                 ./parsergen -o oceani --LALR --tag Parser oceani.mdc
 103         oceani.mk: oceani.mdc md2c
 104                 ./md2c oceani.mdc
 105
 106         oceani: oceani.o $(LDLIBS)
 107                 $(CC) $(CFLAGS) -o oceani oceani.o $(LDLIBS)
 108
 109 ###### Parser: header
 110         ## macros
 111         struct parse_context;
 112         ## ast
 113         struct parse_context {
 114                 struct token_config config;
 115                 char *file_name;
 116                 int parse_error;
 117                 ## parse context
 118         };
 119
 120 ###### macros
 121
 122         #define container_of(ptr, type, member) ({                      \
 123                 const typeof( ((type *)0)->member ) *__mptr = (ptr);    \
 124                 (type *)( (char *)__mptr - offsetof(type,member) );})
 125
 126         #define config2context(_conf) container_of(_conf, struct parse_context, \
 127                 config)
 128
 129 ###### Parser: reduce
 130         struct parse_context *c = config2context(config);
 131
 132 ###### Parser: code
 133         #define _GNU_SOURCE
 134         #include <unistd.h>
 135         #include <stdlib.h>
 136         #include <fcntl.h>
 137         #include <errno.h>
 138         #include <sys/mman.h>
 139         #include <string.h>
 140         #include <stdio.h>
 141         #include <locale.h>
 142         #include <malloc.h>
 143         #include "mdcode.h"
 144         #include "scanner.h"
 145         #include "parser.h"
 146
 147         ## includes
 148
 149         #include "oceani.h"
 150
 151         ## forward decls
 152         ## value functions
 153         ## ast functions
 154         ## core functions
 155
 156         #include <getopt.h>
 157         static char Usage[] =
 158                 "Usage: oceani --trace --print --noexec --brackets --section=SectionName prog.ocn\n";
 159         static const struct option long_options[] = {
 160                 {"trace",     0, NULL, 't'},
 161                 {"print",     0, NULL, 'p'},
 162                 {"noexec",    0, NULL, 'n'},
 163                 {"brackets",  0, NULL, 'b'},
 164                 {"section",   1, NULL, 's'},
 165                 {NULL,        0, NULL, 0},
 166         };
 167         const char *options = "tpnbs";
 168
 169         static void pr_err(char *msg)                   // NOTEST
 170         {
 171                 fprintf(stderr, "%s\n", msg);           // NOTEST
 172         }                                               // NOTEST
 173
 174         int main(int argc, char *argv[])
 175         {
 176                 int fd;
 177                 int len;
 178                 char *file;
 179                 struct section *s = NULL, *ss;
 180                 char *section = NULL;
 181                 struct parse_context context = {
 182                         .config = {
 183                                 .ignored = (1 << TK_mark),
 184                                 .number_chars = ".,_+- ",
 185                                 .word_start = "_",
 186                                 .word_cont = "_",
 187                         },
 188                 };
 189                 int doprint=0, dotrace=0, doexec=1, brackets=0;
 190                 int opt;
 191                 while ((opt = getopt_long(argc, argv, options, long_options, NULL))
 192                        != -1) {
 193                         switch(opt) {
 194                         case 't': dotrace=1; break;
 195                         case 'p': doprint=1; break;
 196                         case 'n': doexec=0; break;
 197                         case 'b': brackets=1; break;
 198                         case 's': section = optarg; break;
 199                         default: fprintf(stderr, Usage);
 200                                 exit(1);
 201                         }
 202                 }
 203                 if (optind >= argc) {
 204                         fprintf(stderr, "oceani: no input file given\n");
 205                         exit(1);
 206                 }
 207                 fd = open(argv[optind], O_RDONLY);
 208                 if (fd < 0) {
 209                         fprintf(stderr, "oceani: cannot open %s\n", argv[optind]);
 210                         exit(1);
 211                 }
 212                 context.file_name = argv[optind];
 213                 len = lseek(fd, 0, 2);
 214                 file = mmap(NULL, len, PROT_READ, MAP_SHARED, fd, 0);
 215                 s = code_extract(file, file+len, pr_err);
 216                 if (!s) {
 217                         fprintf(stderr, "oceani: could not find any code in %s\n",
 218                                 argv[optind]);
 219                         exit(1);
 220                 }
 221
 222                 ## context initialization
 223
 224                 if (section) {
 225                         for (ss = s; ss; ss = ss->next) {
 226                                 struct text sec = ss->section;
 227                                 if (sec.len == strlen(section) &&
 228                                     strncmp(sec.txt, section, sec.len) == 0)
 229                                         break;
 230                         }
 231                         if (!ss) {
 232                                 fprintf(stderr, "oceani: cannot find section %s\n",
 233                                         section);
 234                                 goto cleanup;
 235                         }
 236                 } else
 237                         ss = s;                         // NOTEST
 238                 if (!ss->code) {
 239                         fprintf(stderr, "oceani: no code found in requested section\n");        // NOTEST
 240                         goto cleanup;                   // NOTEST
 241                 }
 242
 243                 parse_oceani(ss->code, &context.config, dotrace ? stderr : NULL);
 244
 245                 prepare_types(&context);
 246                 if (!context.parse_error && !analyse_funcs(&context)) {
 247                         fprintf(stderr, "oceani: type error in program - not running.\n");
 248                         context.parse_error = 1;
 249                 }
 250
 251                 if (doprint) {
 252                         ## print const decls
 253                         ## print type decls
 254                         ## print func decls
 255                 }
 256                 if (doexec && !context.parse_error)
 257                         interp_main(&context, argc - optind, argv + optind);
 258         cleanup:
 259                 while (s) {
 260                         struct section *t = s->next;
 261                         code_free(s->code);
 262                         free(s);
 263                         s = t;
 264                 }
 265                 // FIXME parser should pop scope even on error
 266                 while (context.scope_depth > 0)
 267                         scope_pop(&context);
 268                 ## free global vars
 269                 ## free context types
 270                 ## free context storage
 271                 exit(context.parse_error ? 1 : 0);
 272         }
 273
 274 ### Analysis
 275
 276 The four requirements of parse, analyse, print, interpret apply to
 277 each language element individually so that is how most of the code
 278 will be structured.
 279
 280 Three of the four are fairly self explanatory.  The one that requires
 281 a little explanation is the analysis step.
 282
 283 The current language design does not require the types of variables to
 284 be declared, but they must still have a single type.  Different
 285 operations impose different requirements on the variables, for example
 286 addition requires both arguments to be numeric, and assignment
 287 requires the variable on the left to have the same type as the
 288 expression on the right.
 289
 290 Analysis involves propagating these type requirements around and
 291 consequently setting the type of each variable.  If any requirements
 292 are violated (e.g. a string is compared with a number) or if a
 293 variable needs to have two different types, then an error is raised
 294 and the program will not run.
 295
 296 If the same variable is declared in both branchs of an 'if/else', or
 297 in all cases of a 'switch' then the multiple instances may be merged
 298 into just one variable if the variable is referenced after the
 299 conditional statement.  When this happens, the types must naturally be
 300 consistent across all the branches.  When the variable is not used
 301 outside the if, the variables in the different branches are distinct
 302 and can be of different types.
 303
 304 Undeclared names may only appear in "use" statements and "case" expressions.
 305 These names are given a type of "label" and a unique value.
 306 This allows them to fill the role of a name in an enumerated type, which
 307 is useful for testing the `switch` statement.
 308
 309 As we will see, the condition part of a `while` statement can return
 310 either a Boolean or some other type.  This requires that the expected
 311 type that gets passed around comprises a type and a flag to indicate
 312 that `Tbool` is also permitted.
 313
 314 As there are, as yet, no distinct types that are compatible, there
 315 isn't much subtlety in the analysis.  When we have distinct number
 316 types, this will become more interesting.
 317
 318 #### Error reporting
 319
 320 When analysis discovers an inconsistency it needs to report an error;
 321 just refusing to run the code ensures that the error doesn't cascade,
 322 but by itself it isn't very useful.  A clear understanding of the sort
 323 of error message that are useful will help guide the process of
 324 analysis.
 325
 326 At a simplistic level, the only sort of error that type analysis can
 327 report is that the type of some construct doesn't match a contextual
 328 requirement.  For example, in `4 + "hello"` the addition provides a
 329 contextual requirement for numbers, but `"hello"` is not a number.  In
 330 this particular example no further information is needed as the types
 331 are obvious from local information.  When a variable is involved that
 332 isn't the case.  It may be helpful to explain why the variable has a
 333 particular type, by indicating the location where the type was set,
 334 whether by declaration or usage.
 335
 336 Using a recursive-descent analysis we can easily detect a problem at
 337 multiple locations. In "`hello:= "there"; 4 + hello`" the addition
 338 will detect that one argument is not a number and the usage of `hello`
 339 will detect that a number was wanted, but not provided.  In this
 340 (early) version of the language, we will generate error reports at
 341 multiple locations, so the use of `hello` will report an error and
 342 explain were the value was set, and the addition will report an error
 343 and say why numbers are needed.  To be able to report locations for
 344 errors, each language element will need to record a file location
 345 (line and column) and each variable will need to record the language
 346 element where its type was set.  For now we will assume that each line
 347 of an error message indicates one location in the file, and up to 2
 348 types.  So we provide a `printf`-like function which takes a format, a
 349 location (a `struct exec` which has not yet been introduced), and 2
 350 types. "`%1`" reports the first type, "`%2`" reports the second.  We
 351 will need a function to print the location, once we know how that is
 352 stored. e As will be explained later, there are sometimes extra rules for
 353 type matching and they might affect error messages, we need to pass those
 354 in too.
 355
 356 As well as type errors, we sometimes need to report problems with
 357 tokens, which might be unexpected or might name a type that has not
 358 been defined.  For these we have `tok_err()` which reports an error
 359 with a given token.  Each of the error functions sets the flag in the
 360 context so indicate that parsing failed.
 361
 362 ###### forward decls
 363
 364         static void fput_loc(struct exec *loc, FILE *f);
 365         static void type_err(struct parse_context *c,
 366                              char *fmt, struct exec *loc,
 367                              struct type *t1, int rules, struct type *t2);
 368
 369 ###### core functions
 370
 371         static void type_err(struct parse_context *c,
 372                              char *fmt, struct exec *loc,
 373                              struct type *t1, int rules, struct type *t2)
 374         {
 375                 fprintf(stderr, "%s:", c->file_name);
 376                 fput_loc(loc, stderr);
 377                 for (; *fmt ; fmt++) {
 378                         if (*fmt != '%') {
 379                                 fputc(*fmt, stderr);
 380                                 continue;
 381                         }
 382                         fmt++;
 383                         switch (*fmt) {
 384                         case '%': fputc(*fmt, stderr); break;   // NOTEST
 385                         default: fputc('?', stderr); break;     // NOTEST
 386                         case '1':
 387                                 type_print(t1, stderr);
 388                                 break;
 389                         case '2':
 390                                 type_print(t2, stderr);
 391                                 break;
 392                         ## format cases
 393                         }
 394                 }
 395                 fputs("\n", stderr);
 396                 c->parse_error = 1;
 397         }
 398
 399         static void tok_err(struct parse_context *c, char *fmt, struct token *t)
 400         {
 401                 fprintf(stderr, "%s:%d:%d: %s: %.*s\n", c->file_name, t->line, t->col, fmt,
 402                         t->txt.len, t->txt.txt);
 403                 c->parse_error = 1;
 404         }
 405
 406 ## Entities: declared and predeclared.
 407
 408 There are various "things" that the language and/or the interpreter
 409 needs to know about to parse and execute a program.  These include
 410 types, variables, values, and executable code.  These are all lumped
 411 together under the term "entities" (calling them "objects" would be
 412 confusing) and introduced here.  The following section will present the
 413 different specific code elements which comprise or manipulate these
 414 various entities.
 415
 416 ### Executables
 417
 418 Executables can be lots of different things.  In many cases an
 419 executable is just an operation combined with one or two other
 420 executables.  This allows for expressions and lists etc.  Other times an
 421 executable is something quite specific like a constant or variable name.
 422 So we define a `struct exec` to be a general executable with a type, and
 423 a `struct binode` which is a subclass of `exec`, forms a node in a
 424 binary tree, and holds an operation.  There will be other subclasses,
 425 and to access these we need to be able to `cast` the `exec` into the
 426 various other types.  The first field in any `struct exec` is the type
 427 from the `exec_types` enum.
 428
 429 ###### macros
 430         #define cast(structname, pointer) ({            \
 431                 const typeof( ((struct structname *)0)->type) *__mptr = &(pointer)->type; \
 432                 if (__mptr && *__mptr != X##structname) abort();                \
 433                 (struct structname *)( (char *)__mptr);})
 434
 435         #define new(structname) ({                                              \
 436                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
 437                 __ptr->type = X##structname;                                            \
 438                 __ptr->line = -1; __ptr->column = -1;                                   \
 439                 __ptr;})
 440
 441         #define new_pos(structname, token) ({                                           \
 442                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
 443                 __ptr->type = X##structname;                                            \
 444                 __ptr->line = token.line; __ptr->column = token.col;                    \
 445                 __ptr;})
 446
 447 ###### ast
 448         enum exec_types {
 449                 Xbinode,
 450                 ## exec type
 451         };
 452         struct exec {
 453                 enum exec_types type;
 454                 int line, column;
 455                 ## exec fields
 456         };
 457         struct binode {
 458                 struct exec;
 459                 enum Btype {
 460                         ## Binode types
 461                 } op;
 462                 struct exec *left, *right;
 463         };
 464
 465 ###### ast functions
 466
 467         static int __fput_loc(struct exec *loc, FILE *f)
 468         {
 469                 if (!loc)
 470                         return 0;
 471                 if (loc->line >= 0) {
 472                         fprintf(f, "%d:%d: ", loc->line, loc->column);
 473                         return 1;
 474                 }
 475                 if (loc->type == Xbinode)
 476                         return __fput_loc(cast(binode,loc)->left, f) ||
 477                                __fput_loc(cast(binode,loc)->right, f);  // NOTEST
 478                 return 0;
 479         }
 480         static void fput_loc(struct exec *loc, FILE *f)
 481         {
 482                 if (!__fput_loc(loc, f))
 483                         fprintf(f, "??:??: ");
 484         }
 485
 486 Each different type of `exec` node needs a number of functions defined,
 487 a bit like methods.  We must be able to free it, print it, analyse it
 488 and execute it.  Once we have specific `exec` types we will need to
 489 parse them too.  Let's take this a bit more slowly.
 490
 491 #### Freeing
 492
 493 The parser generator requires a `free_foo` function for each struct
 494 that stores attributes and they will often be `exec`s and subtypes
 495 there-of.  So we need `free_exec` which can handle all the subtypes,
 496 and we need `free_binode`.
 497
 498 ###### ast functions
 499
 500         static void free_binode(struct binode *b)
 501         {
 502                 if (!b)
 503                         return;
 504                 free_exec(b->left);
 505                 free_exec(b->right);
 506                 free(b);
 507         }
 508
 509 ###### core functions
 510         static void free_exec(struct exec *e)
 511         {
 512                 if (!e)
 513                         return;
 514                 switch(e->type) {
 515                         ## free exec cases
 516                 }
 517         }
 518
 519 ###### forward decls
 520
 521         static void free_exec(struct exec *e);
 522
 523 ###### free exec cases
 524         case Xbinode: free_binode(cast(binode, e)); break;
 525
 526 #### Printing
 527
 528 Printing an `exec` requires that we know the current indent level for
 529 printing line-oriented components.  As will become clear later, we
 530 also want to know what sort of bracketing to use.
 531
 532 ###### ast functions
 533
 534         static void do_indent(int i, char *str)
 535         {
 536                 while (i-- > 0)
 537                         printf("    ");
 538                 printf("%s", str);
 539         }
 540
 541 ###### core functions
 542         static void print_binode(struct binode *b, int indent, int bracket)
 543         {
 544                 struct binode *b2;
 545                 switch(b->op) {
 546                 ## print binode cases
 547                 }
 548         }
 549
 550         static void print_exec(struct exec *e, int indent, int bracket)
 551         {
 552                 if (!e)
 553                         return;
 554                 switch (e->type) {
 555                 case Xbinode:
 556                         print_binode(cast(binode, e), indent, bracket); break;
 557                 ## print exec cases
 558                 }
 559                 if (e->to_free) {
 560                         struct variable *v;
 561                         do_indent(indent, "/* FREE");
 562                         for (v = e->to_free; v; v = v->next_free) {
 563                                 printf(" %.*s", v->name->name.len, v->name->name.txt);
 564                                 printf("[%d,%d]", v->scope_start, v->scope_end);
 565                                 if (v->frame_pos >= 0)
 566                                         printf("(%d+%d)", v->frame_pos,
 567                                                v->type ? v->type->size:0);
 568                         }
 569                         printf(" */\n");
 570                 }
 571         }
 572
 573 ###### forward decls
 574
 575         static void print_exec(struct exec *e, int indent, int bracket);
 576
 577 #### Analysing
 578
 579 As discussed, analysis involves propagating type requirements around the
 580 program and looking for errors.
 581
 582 So `propagate_types` is passed an expected type (being a `struct type`
 583 pointer together with some `val_rules` flags) that the `exec` is
 584 expected to return, and returns the type that it does return, either
 585 of which can be `NULL` signifying "unknown".  An `ok` flag is passed
 586 by reference. It is set to `0` when an error is found, and `2` when
 587 any change is made.  If it remains unchanged at `1`, then no more
 588 propagation is needed.
 589
 590 ###### ast
 591
 592         enum val_rules {Rnolabel = 1<<0, Rboolok = 1<<1, Rnoconstant = 1<<2};
 593
 594 ###### format cases
 595         case 'r':
 596                 if (rules & Rnolabel)
 597                         fputs(" (labels not permitted)", stderr);
 598                 break;
 599
 600 ###### forward decls
 601         static struct type *propagate_types(struct exec *prog, struct parse_context *c, int *ok,
 602                                             struct type *type, int rules);
 603 ###### core functions
 604
 605         static struct type *__propagate_types(struct exec *prog, struct parse_context *c, int *ok,
 606                                               struct type *type, int rules)
 607         {
 608                 struct type *t;
 609
 610                 if (!prog)
 611                         return Tnone;
 612
 613                 switch (prog->type) {
 614                 case Xbinode:
 615                 {
 616                         struct binode *b = cast(binode, prog);
 617                         switch (b->op) {
 618                         ## propagate binode cases
 619                         }
 620                         break;
 621                 }
 622                 ## propagate exec cases
 623                 }
 624                 return Tnone;
 625         }
 626
 627         static struct type *propagate_types(struct exec *prog, struct parse_context *c, int *ok,
 628                                             struct type *type, int rules)
 629         {
 630                 struct type *ret = __propagate_types(prog, c, ok, type, rules);
 631
 632                 if (c->parse_error)
 633                         *ok = 0;
 634                 return ret;
 635         }
 636
 637 #### Interpreting
 638
 639 Interpreting an `exec` doesn't require anything but the `exec`.  State
 640 is stored in variables and each variable will be directly linked from
 641 within the `exec` tree.  The exception to this is the `main` function
 642 which needs to look at command line arguments.  This function will be
 643 interpreted separately.
 644
 645 Each `exec` can return a value combined with a type in `struct lrval`.
 646 The type may be `Tnone` but must be non-NULL.  Some `exec`s will return
 647 the location of a value, which can be updated, in `lval`.  Others will
 648 set `lval` to NULL indicating that there is a value of appropriate type
 649 in `rval`.
 650
 651 ###### forward decls
 652         static struct value interp_exec(struct parse_context *c, struct exec *e,
 653                                         struct type **typeret);
 654 ###### core functions
 655
 656         struct lrval {
 657                 struct type *type;
 658                 struct value rval, *lval;
 659         };
 660
 661         /* If dest is passed, dtype must give the expected type, and
 662          * result can go there, in which case type is returned as NULL.
 663          */
 664         static struct lrval _interp_exec(struct parse_context *c, struct exec *e,
 665                                          struct value *dest, struct type *dtype);
 666
 667         static struct value interp_exec(struct parse_context *c, struct exec *e,
 668                                         struct type **typeret)
 669         {
 670                 struct lrval ret = _interp_exec(c, e, NULL, NULL);
 671
 672                 if (!ret.type) abort();
 673                 if (typeret)
 674                         *typeret = ret.type;
 675                 if (ret.lval)
 676                         dup_value(ret.type, ret.lval, &ret.rval);
 677                 return ret.rval;
 678         }
 679
 680         static struct value *linterp_exec(struct parse_context *c, struct exec *e,
 681                                           struct type **typeret)
 682         {
 683                 struct lrval ret = _interp_exec(c, e, NULL, NULL);
 684
 685                 if (!ret.type) abort();
 686                 if (ret.lval)
 687                         *typeret = ret.type;
 688                 else
 689                         free_value(ret.type, &ret.rval);
 690                 return ret.lval;
 691         }
 692
 693         /* dinterp_exec is used when the destination type is certain and
 694          * the value has a place to go.
 695          */
 696         static void dinterp_exec(struct parse_context *c, struct exec *e,
 697                                  struct value *dest, struct type *dtype,
 698                                  int need_free)
 699         {
 700                 struct lrval ret = _interp_exec(c, e, dest, dtype);
 701                 if (!ret.type)
 702                         return;
 703                 if (need_free)
 704                         free_value(dtype, dest);
 705                 if (ret.lval)
 706                         dup_value(dtype, ret.lval, dest);
 707                 else
 708                         memcpy(dest, &ret.rval, dtype->size);
 709         }
 710
 711         static struct lrval _interp_exec(struct parse_context *c, struct exec *e,
 712                                          struct value *dest, struct type *dtype)
 713         {
 714                 /* If the result is copied to dest, ret.type is set to NULL */
 715                 struct lrval ret;
 716                 struct value rv = {}, *lrv = NULL;
 717                 struct type *rvtype;
 718
 719                 rvtype = ret.type = Tnone;
 720                 if (!e) {
 721                         ret.lval = lrv;
 722                         ret.rval = rv;
 723                         return ret;
 724                 }
 725
 726                 switch(e->type) {
 727                 case Xbinode:
 728                 {
 729                         struct binode *b = cast(binode, e);
 730                         struct value left, right, *lleft;
 731                         struct type *ltype, *rtype;
 732                         ltype = rtype = Tnone;
 733                         switch (b->op) {
 734                         ## interp binode cases
 735                         }
 736                         free_value(ltype, &left);
 737                         free_value(rtype, &right);
 738                         break;
 739                 }
 740                 ## interp exec cases
 741                 }
 742                 if (rvtype) {
 743                         ret.lval = lrv;
 744                         ret.rval = rv;
 745                         ret.type = rvtype;
 746                 }
 747                 ## interp exec cleanup
 748                 return ret;
 749         }
 750
 751 ### Types
 752
 753 Values come in a wide range of types, with more likely to be added.
 754 Each type needs to be able to print its own values (for convenience at
 755 least) as well as to compare two values, at least for equality and
 756 possibly for order.  For now, values might need to be duplicated and
 757 freed, though eventually such manipulations will be better integrated
 758 into the language.
 759
 760 Rather than requiring every numeric type to support all numeric
 761 operations (add, multiply, etc), we allow types to be able to present
 762 as one of a few standard types: integer, float, and fraction.  The
 763 existence of these conversion functions eventually enable types to
 764 determine if they are compatible with other types, though such types
 765 have not yet been implemented.
 766
 767 Named type are stored in a simple linked list.  Objects of each type are
 768 "values" which are often passed around by value.
 769
 770 There are both explicitly named types, and anonymous types.  Anonymous
 771 cannot be accessed by name, but are used internally and have a name
 772 which might be reported in error messages.
 773
 774 ###### ast
 775
 776         struct value {
 777                 union {
 778                         char ptr[1];
 779                         ## value union fields
 780                 };
 781         };
 782
 783         struct type {
 784                 struct text name;
 785                 struct type *next;
 786                 int size, align;
 787                 int anon;
 788                 void (*init)(struct type *type, struct value *val);
 789                 void (*prepare_type)(struct parse_context *c, struct type *type, int parse_time);
 790                 void (*print)(struct type *type, struct value *val, FILE *f);
 791                 void (*print_type)(struct type *type, FILE *f);
 792                 int (*cmp_order)(struct type *t1, struct type *t2,
 793                                  struct value *v1, struct value *v2);
 794                 int (*cmp_eq)(struct type *t1, struct type *t2,
 795                               struct value *v1, struct value *v2);
 796                 void (*dup)(struct type *type, struct value *vold, struct value *vnew);
 797                 void (*free)(struct type *type, struct value *val);
 798                 void (*free_type)(struct type *t);
 799                 long long (*to_int)(struct value *v);
 800                 double (*to_float)(struct value *v);
 801                 int (*to_mpq)(mpq_t *q, struct value *v);
 802                 ## type functions
 803                 union {
 804                         ## type union fields
 805                 };
 806         };
 807
 808 ###### parse context
 809
 810         struct type *typelist;
 811
 812 ###### includes
 813         #include <stdarg.h>
 814
 815 ###### ast functions
 816
 817         static struct type *find_type(struct parse_context *c, struct text s)
 818         {
 819                 struct type *t = c->typelist;
 820
 821                 while (t && (t->anon ||
 822                              text_cmp(t->name, s) != 0))
 823                                 t = t->next;
 824                 return t;
 825         }
 826
 827         static struct type *_add_type(struct parse_context *c, struct text s,
 828                                      struct type *proto, int anon)
 829         {
 830                 struct type *n;
 831
 832                 n = calloc(1, sizeof(*n));
 833                 *n = *proto;
 834                 n->name = s;
 835                 n->anon = anon;
 836                 n->next = c->typelist;
 837                 c->typelist = n;
 838                 return n;
 839         }
 840
 841         static struct type *add_type(struct parse_context *c, struct text s,
 842                                       struct type *proto)
 843         {
 844                 return _add_type(c, s, proto, 0);
 845         }
 846
 847         static struct type *add_anon_type(struct parse_context *c,
 848                                           struct type *proto, char *name, ...)
 849         {
 850                 struct text t;
 851                 va_list ap;
 852
 853                 va_start(ap, name);
 854                 vasprintf(&t.txt, name, ap);
 855                 va_end(ap);
 856                 t.len = strlen(name);
 857                 return _add_type(c, t, proto, 1);
 858         }
 859
 860         static void free_type(struct type *t)
 861         {
 862                 /* The type is always a reference to something in the
 863                  * context, so we don't need to free anything.
 864                  */
 865         }
 866
 867         static void free_value(struct type *type, struct value *v)
 868         {
 869                 if (type && v) {
 870                         type->free(type, v);
 871                         memset(v, 0x5a, type->size);
 872                 }
 873         }
 874
 875         static void type_print(struct type *type, FILE *f)
 876         {
 877                 if (!type)
 878                         fputs("*unknown*type*", f);     // NOTEST
 879                 else if (type->name.len && !type->anon)
 880                         fprintf(f, "%.*s", type->name.len, type->name.txt);
 881                 else if (type->print_type)
 882                         type->print_type(type, f);
 883                 else
 884                         fputs("*invalid*type*", f);
 885         }
 886
 887         static void val_init(struct type *type, struct value *val)
 888         {
 889                 if (type && type->init)
 890                         type->init(type, val);
 891         }
 892
 893         static void dup_value(struct type *type,
 894                               struct value *vold, struct value *vnew)
 895         {
 896                 if (type && type->dup)
 897                         type->dup(type, vold, vnew);
 898         }
 899
 900         static int value_cmp(struct type *tl, struct type *tr,
 901                              struct value *left, struct value *right)
 902         {
 903                 if (tl && tl->cmp_order)
 904                         return tl->cmp_order(tl, tr, left, right);
 905                 if (tl && tl->cmp_eq)                   // NOTEST
 906                         return tl->cmp_eq(tl, tr, left, right); // NOTEST
 907                 return -1;                              // NOTEST
 908         }
 909
 910         static void print_value(struct type *type, struct value *v, FILE *f)
 911         {
 912                 if (type && type->print)
 913                         type->print(type, v, f);
 914                 else
 915                         fprintf(f, "*Unknown*");                // NOTEST
 916         }
 917
 918         static void prepare_types(struct parse_context *c)
 919         {
 920                 struct type *t;
 921
 922                 for (t = c->typelist; t; t = t->next)
 923                         if (t->prepare_type)
 924                                 t->prepare_type(c, t, 1);
 925         }
 926
 927 ###### forward decls
 928
 929         static void free_value(struct type *type, struct value *v);
 930         static int type_compat(struct type *require, struct type *have, int rules);
 931         static void type_print(struct type *type, FILE *f);
 932         static void val_init(struct type *type, struct value *v);
 933         static void dup_value(struct type *type,
 934                               struct value *vold, struct value *vnew);
 935         static int value_cmp(struct type *tl, struct type *tr,
 936                              struct value *left, struct value *right);
 937         static void print_value(struct type *type, struct value *v, FILE *f);
 938
 939 ###### free context types
 940
 941         while (context.typelist) {
 942                 struct type *t = context.typelist;
 943
 944                 context.typelist = t->next;
 945                 if (t->free_type)
 946                         t->free_type(t);
 947                 if (t->anon)
 948                         free(t->name.txt);
 949                 free(t);
 950         }
 951
 952 Type can be specified for local variables, for fields in a structure,
 953 for formal parameters to functions, and possibly elsewhere.  Different
 954 rules may apply in different contexts.  As a minimum, a named type may
 955 always be used.  Currently the type of a formal parameter can be
 956 different from types in other contexts, so we have a separate grammar
 957 symbol for those.
 958
 959 ###### Grammar
 960
 961         $*type
 962         Type -> IDENTIFIER ${
 963                 $0 = find_type(c, $1.txt);
 964                 if (!$0) {
 965                         tok_err(c,
 966                                 "error: undefined type", &$1);
 967
 968                         $0 = Tnone;
 969                 }
 970         }$
 971         ## type grammar
 972
 973         FormalType -> Type ${ $0 = $<1; }$
 974         ## formal type grammar
 975
 976 #### Base Types
 977
 978 Values of the base types can be numbers, which we represent as
 979 multi-precision fractions, strings, Booleans and labels.  When
 980 analysing the program we also need to allow for places where no value
 981 is meaningful (type `Tnone`) and where we don't know what type to
 982 expect yet (type is `NULL`).
 983
 984 Values are never shared, they are always copied when used, and freed
 985 when no longer needed.
 986
 987 When propagating type information around the program, we need to
 988 determine if two types are compatible, where type `NULL` is compatible
 989 with anything.  There are two special cases with type compatibility,
 990 both related to the Conditional Statement which will be described
 991 later.  In some cases a Boolean can be accepted as well as some other
 992 primary type, and in others any type is acceptable except a label (`Vlabel`).
 993 A separate function encoding these cases will simplify some code later.
 994
 995 ###### type functions
 996
 997         int (*compat)(struct type *this, struct type *other);
 998
 999 ###### ast functions
1000
1001         static int type_compat(struct type *require, struct type *have, int rules)
1002         {
1003                 if ((rules & Rboolok) && have == Tbool)
1004                         return 1;       // NOTEST
1005                 if ((rules & Rnolabel) && have == Tlabel)
1006                         return 0;       // NOTEST
1007                 if (!require || !have)
1008                         return 1;
1009
1010                 if (require->compat)
1011                         return require->compat(require, have);
1012
1013                 return require == have;
1014         }
1015
1016 ###### includes
1017         #include <gmp.h>
1018         #include "parse_string.h"
1019         #include "parse_number.h"
1020
1021 ###### libs
1022         myLDLIBS := libnumber.o libstring.o -lgmp
1023         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
1024
1025 ###### type union fields
1026         enum vtype {Vnone, Vstr, Vnum, Vbool, Vlabel} vtype;
1027
1028 ###### value union fields
1029         struct text str;
1030         mpq_t num;
1031         unsigned char bool;
1032         void *label;
1033
1034 ###### ast functions
1035         static void _free_value(struct type *type, struct value *v)
1036         {
1037                 if (!v)
1038                         return;         // NOTEST
1039                 switch (type->vtype) {
1040                 case Vnone: break;
1041                 case Vstr: free(v->str.txt); break;
1042                 case Vnum: mpq_clear(v->num); break;
1043                 case Vlabel:
1044                 case Vbool: break;
1045                 }
1046         }
1047
1048 ###### value functions
1049
1050         static void _val_init(struct type *type, struct value *val)
1051         {
1052                 switch(type->vtype) {
1053                 case Vnone:             // NOTEST
1054                         break;          // NOTEST
1055                 case Vnum:
1056                         mpq_init(val->num); break;
1057                 case Vstr:
1058                         val->str.txt = malloc(1);
1059                         val->str.len = 0;
1060                         break;
1061                 case Vbool:
1062                         val->bool = 0;
1063                         break;
1064                 case Vlabel:
1065                         val->label = NULL;
1066                         break;
1067                 }
1068         }
1069
1070         static void _dup_value(struct type *type,
1071                                struct value *vold, struct value *vnew)
1072         {
1073                 switch (type->vtype) {
1074                 case Vnone:             // NOTEST
1075                         break;          // NOTEST
1076                 case Vlabel:
1077                         vnew->label = vold->label;
1078                         break;
1079                 case Vbool:
1080                         vnew->bool = vold->bool;
1081                         break;
1082                 case Vnum:
1083                         mpq_init(vnew->num);
1084                         mpq_set(vnew->num, vold->num);
1085                         break;
1086                 case Vstr:
1087                         vnew->str.len = vold->str.len;
1088                         vnew->str.txt = malloc(vnew->str.len);
1089                         memcpy(vnew->str.txt, vold->str.txt, vnew->str.len);
1090                         break;
1091                 }
1092         }
1093
1094         static int _value_cmp(struct type *tl, struct type *tr,
1095                               struct value *left, struct value *right)
1096         {
1097                 int cmp;
1098                 if (tl != tr)
1099                         return tl - tr; // NOTEST
1100                 switch (tl->vtype) {
1101                 case Vlabel: cmp = left->label == right->label ? 0 : 1; break;
1102                 case Vnum: cmp = mpq_cmp(left->num, right->num); break;
1103                 case Vstr: cmp = text_cmp(left->str, right->str); break;
1104                 case Vbool: cmp = left->bool - right->bool; break;
1105                 case Vnone: cmp = 0;                    // NOTEST
1106                 }
1107                 return cmp;
1108         }
1109
1110         static void _print_value(struct type *type, struct value *v, FILE *f)
1111         {
1112                 switch (type->vtype) {
1113                 case Vnone:                             // NOTEST
1114                         fprintf(f, "*no-value*"); break;        // NOTEST
1115                 case Vlabel:                            // NOTEST
1116                         fprintf(f, "*label-%p*", v->label); break; // NOTEST
1117                 case Vstr:
1118                         fprintf(f, "%.*s", v->str.len, v->str.txt); break;
1119                 case Vbool:
1120                         fprintf(f, "%s", v->bool ? "True":"False"); break;
1121                 case Vnum:
1122                         {
1123                         mpf_t fl;
1124                         mpf_init2(fl, 20);
1125                         mpf_set_q(fl, v->num);
1126                         gmp_fprintf(f, "%Fg", fl);
1127                         mpf_clear(fl);
1128                         break;
1129                         }
1130                 }
1131         }
1132
1133         static void _free_value(struct type *type, struct value *v);
1134
1135         static struct type base_prototype = {
1136                 .init = _val_init,
1137                 .print = _print_value,
1138                 .cmp_order = _value_cmp,
1139                 .cmp_eq = _value_cmp,
1140                 .dup = _dup_value,
1141                 .free = _free_value,
1142         };
1143
1144         static struct type *Tbool, *Tstr, *Tnum, *Tnone, *Tlabel;
1145
1146 ###### ast functions
1147         static struct type *add_base_type(struct parse_context *c, char *n,
1148                                           enum vtype vt, int size)
1149         {
1150                 struct text txt = { n, strlen(n) };
1151                 struct type *t;
1152
1153                 t = add_type(c, txt, &base_prototype);
1154                 t->vtype = vt;
1155                 t->size = size;
1156                 t->align = size > sizeof(void*) ? sizeof(void*) : size;
1157                 if (t->size & (t->align - 1))
1158                         t->size = (t->size | (t->align - 1)) + 1;       // NOTEST
1159                 return t;
1160         }
1161
1162 ###### context initialization
1163
1164         Tbool  = add_base_type(&context, "Boolean", Vbool, sizeof(char));
1165         Tstr   = add_base_type(&context, "string", Vstr, sizeof(struct text));
1166         Tnum   = add_base_type(&context, "number", Vnum, sizeof(mpq_t));
1167         Tnone  = add_base_type(&context, "none", Vnone, 0);
1168         Tlabel = add_base_type(&context, "label", Vlabel, sizeof(void*));
1169
1170 ##### Base Values
1171
1172 We have already met values as separate objects.  When manifest constants
1173 appear in the program text, that must result in an executable which has
1174 a constant value.  So the `val` structure embeds a value in an
1175 executable.
1176
1177 ###### exec type
1178         Xval,
1179
1180 ###### ast
1181         struct val {
1182                 struct exec;
1183                 struct type *vtype;
1184                 struct value val;
1185         };
1186
1187 ###### ast functions
1188         struct val *new_val(struct type *T, struct token tk)
1189         {
1190                 struct val *v = new_pos(val, tk);
1191                 v->vtype = T;
1192                 return v;
1193         }
1194
1195 ###### Grammar
1196
1197         $TERM True False
1198
1199         $*val
1200         Value ->  True ${
1201                 $0 = new_val(Tbool, $1);
1202                 $0->val.bool = 1;
1203         }$
1204         | False ${
1205                 $0 = new_val(Tbool, $1);
1206                 $0->val.bool = 0;
1207         }$
1208         | NUMBER ${ {
1209                 char tail[3];
1210                 $0 = new_val(Tnum, $1);
1211                 if (number_parse($0->val.num, tail, $1.txt) == 0)
1212                         mpq_init($0->val.num);  // UNTESTED
1213                         if (tail[0])
1214                                 tok_err(c, "error: unsupported number suffix",
1215                                         &$1);
1216         } }$
1217         | STRING ${ {
1218                 char tail[3];
1219                 $0 = new_val(Tstr, $1);
1220                 string_parse(&$1, '\\', &$0->val.str, tail);
1221                 if (tail[0])
1222                         tok_err(c, "error: unsupported string suffix",
1223                                 &$1);
1224         } }$
1225         | MULTI_STRING ${ {
1226                 char tail[3];
1227                 $0 = new_val(Tstr, $1);
1228                 string_parse(&$1, '\\', &$0->val.str, tail);
1229                 if (tail[0])
1230                         tok_err(c, "error: unsupported string suffix",
1231                                 &$1);
1232         } }$
1233
1234 ###### print exec cases
1235         case Xval:
1236         {
1237                 struct val *v = cast(val, e);
1238                 if (v->vtype == Tstr)
1239                         printf("\"");
1240                 print_value(v->vtype, &v->val, stdout);
1241                 if (v->vtype == Tstr)
1242                         printf("\"");
1243                 break;
1244         }
1245
1246 ###### propagate exec cases
1247         case Xval:
1248         {
1249                 struct val *val = cast(val, prog);
1250                 if (!type_compat(type, val->vtype, rules))
1251                         type_err(c, "error: expected %1%r found %2",
1252                                    prog, type, rules, val->vtype);
1253                 return val->vtype;
1254         }
1255
1256 ###### interp exec cases
1257         case Xval:
1258                 rvtype = cast(val, e)->vtype;
1259                 dup_value(rvtype, &cast(val, e)->val, &rv);
1260                 break;
1261
1262 ###### ast functions
1263         static void free_val(struct val *v)
1264         {
1265                 if (v)
1266                         free_value(v->vtype, &v->val);
1267                 free(v);
1268         }
1269
1270 ###### free exec cases
1271         case Xval: free_val(cast(val, e)); break;
1272
1273 ###### ast functions
1274         // Move all nodes from 'b' to 'rv', reversing their order.
1275         // In 'b' 'left' is a list, and 'right' is the last node.
1276         // In 'rv', left' is the first node and 'right' is a list.
1277         static struct binode *reorder_bilist(struct binode *b)
1278         {
1279                 struct binode *rv = NULL;
1280
1281                 while (b) {
1282                         struct exec *t = b->right;
1283                         b->right = rv;
1284                         rv = b;
1285                         if (b->left)
1286                                 b = cast(binode, b->left);
1287                         else
1288                                 b = NULL;
1289                         rv->left = t;
1290                 }
1291                 return rv;
1292         }
1293
1294 ### Variables
1295
1296 Variables are scoped named values.  We store the names in a linked list
1297 of "bindings" sorted in lexical order, and use sequential search and
1298 insertion sort.
1299
1300 ###### ast
1301
1302         struct binding {
1303                 struct text name;
1304                 struct binding *next;   // in lexical order
1305                 ## binding fields
1306         };
1307
1308 This linked list is stored in the parse context so that "reduce"
1309 functions can find or add variables, and so the analysis phase can
1310 ensure that every variable gets a type.
1311
1312 ###### parse context
1313
1314         struct binding *varlist;  // In lexical order
1315
1316 ###### ast functions
1317
1318         static struct binding *find_binding(struct parse_context *c, struct text s)
1319         {
1320                 struct binding **l = &c->varlist;
1321                 struct binding *n;
1322                 int cmp = 1;
1323
1324                 while (*l &&
1325                         (cmp = text_cmp((*l)->name, s)) < 0)
1326                                 l = & (*l)->next;
1327                 if (cmp == 0)
1328                         return *l;
1329                 n = calloc(1, sizeof(*n));
1330                 n->name = s;
1331                 n->next = *l;
1332                 *l = n;
1333                 return n;
1334         }
1335
1336 Each name can be linked to multiple variables defined in different
1337 scopes.  Each scope starts where the name is declared and continues
1338 until the end of the containing code block.  Scopes of a given name
1339 cannot nest, so a declaration while a name is in-scope is an error.
1340
1341 ###### binding fields
1342         struct variable *var;
1343
1344 ###### ast
1345         struct variable {
1346                 struct variable *previous;
1347                 struct type *type;
1348                 struct binding *name;
1349                 struct exec *where_decl;// where name was declared
1350                 struct exec *where_set; // where type was set
1351                 ## variable fields
1352         };
1353
1354 When a scope closes, the values of the variables might need to be freed.
1355 This happens in the context of some `struct exec` and each `exec` will
1356 need to know which variables need to be freed when it completes.
1357
1358 ####### exec fields
1359         struct variable *to_free;
1360
1361 ####### variable fields
1362         struct exec *cleanup_exec;
1363         struct variable *next_free;
1364
1365 ####### interp exec cleanup
1366         {
1367                 struct variable *v;
1368                 for (v = e->to_free; v; v = v->next_free) {
1369                         struct value *val = var_value(c, v);
1370                         free_value(v->type, val);
1371                 }
1372         }
1373
1374 ###### ast functions
1375         static void variable_unlink_exec(struct variable *v)
1376         {
1377                 struct variable **vp;
1378                 if (!v->cleanup_exec)
1379                         return;
1380                 for (vp = &v->cleanup_exec->to_free;
1381                     *vp; vp = &(*vp)->next_free) {
1382                         if (*vp != v)
1383                                 continue;
1384                         *vp = v->next_free;
1385                         v->cleanup_exec = NULL;
1386                         break;
1387                 }
1388         }
1389
1390 While the naming seems strange, we include local constants in the
1391 definition of variables.  A name declared `var := value` can
1392 subsequently be changed, but a name declared `var ::= value` cannot -
1393 it is constant
1394
1395 ###### variable fields
1396         int constant;
1397
1398 Scopes in parallel branches can be partially merged.  More
1399 specifically, if a given name is declared in both branches of an
1400 if/else then its scope is a candidate for merging.  Similarly if
1401 every branch of an exhaustive switch (e.g. has an "else" clause)
1402 declares a given name, then the scopes from the branches are
1403 candidates for merging.
1404
1405 Note that names declared inside a loop (which is only parallel to
1406 itself) are never visible after the loop.  Similarly names defined in
1407 scopes which are not parallel, such as those started by `for` and
1408 `switch`, are never visible after the scope.  Only variables defined in
1409 both `then` and `else` (including the implicit then after an `if`, and
1410 excluding `then` used with `for`) and in all `case`s and `else` of a
1411 `switch` or `while` can be visible beyond the `if`/`switch`/`while`.
1412
1413 Labels, which are a bit like variables, follow different rules.
1414 Labels are not explicitly declared, but if an undeclared name appears
1415 in a context where a label is legal, that effectively declares the
1416 name as a label.  The declaration remains in force (or in scope) at
1417 least to the end of the immediately containing block and conditionally
1418 in any larger containing block which does not declare the name in some
1419 other way.  Importantly, the conditional scope extension happens even
1420 if the label is only used in one parallel branch of a conditional --
1421 when used in one branch it is treated as having been declared in all
1422 branches.
1423
1424 Merge candidates are tentatively visible beyond the end of the
1425 branching statement which creates them.  If the name is used, the
1426 merge is affirmed and they become a single variable visible at the
1427 outer layer.  If not - if it is redeclared first - the merge lapses.
1428
1429 To track scopes we have an extra stack, implemented as a linked list,
1430 which roughly parallels the parse stack and which is used exclusively
1431 for scoping.  When a new scope is opened, a new frame is pushed and
1432 the child-count of the parent frame is incremented.  This child-count
1433 is used to distinguish between the first of a set of parallel scopes,
1434 in which declared variables must not be in scope, and subsequent
1435 branches, whether they may already be conditionally scoped.
1436
1437 We need a total ordering of scopes so we can easily compare to variables
1438 to see if they are concurrently in scope.  To achieve this we record a
1439 `scope_count` which is actually a count of both beginnings and endings
1440 of scopes.  Then each variable has a record of the scope count where it
1441 enters scope, and where it leaves.
1442
1443 To push a new frame *before* any code in the frame is parsed, we need a
1444 grammar reduction.  This is most easily achieved with a grammar
1445 element which derives the empty string, and creates the new scope when
1446 it is recognised.  This can be placed, for example, between a keyword
1447 like "if" and the code following it.
1448
1449 ###### ast
1450         struct scope {
1451                 struct scope *parent;
1452                 int child_count;
1453         };
1454
1455 ###### parse context
1456         int scope_depth;
1457         int scope_count;
1458         struct scope *scope_stack;
1459
1460 ###### variable fields
1461         int scope_start, scope_end;
1462
1463 ###### ast functions
1464         static void scope_pop(struct parse_context *c)
1465         {
1466                 struct scope *s = c->scope_stack;
1467
1468                 c->scope_stack = s->parent;
1469                 free(s);
1470                 c->scope_depth -= 1;
1471                 c->scope_count += 1;
1472         }
1473
1474         static void scope_push(struct parse_context *c)
1475         {
1476                 struct scope *s = calloc(1, sizeof(*s));
1477                 if (c->scope_stack)
1478                         c->scope_stack->child_count += 1;
1479                 s->parent = c->scope_stack;
1480                 c->scope_stack = s;
1481                 c->scope_depth += 1;
1482                 c->scope_count += 1;
1483         }
1484
1485 ###### Grammar
1486
1487         $void
1488         OpenScope -> ${ scope_push(c); }$
1489
1490 Each variable records a scope depth and is in one of four states:
1491
1492 - "in scope".  This is the case between the declaration of the
1493   variable and the end of the containing block, and also between
1494   the usage with affirms a merge and the end of that block.
1495
1496   The scope depth is not greater than the current parse context scope
1497   nest depth.  When the block of that depth closes, the state will
1498   change.  To achieve this, all "in scope" variables are linked
1499   together as a stack in nesting order.
1500
1501 - "pending".  The "in scope" block has closed, but other parallel
1502   scopes are still being processed.  So far, every parallel block at
1503   the same level that has closed has declared the name.
1504
1505   The scope depth is the depth of the last parallel block that
1506   enclosed the declaration, and that has closed.
1507
1508 - "conditionally in scope".  The "in scope" block and all parallel
1509   scopes have closed, and no further mention of the name has been seen.
1510   This state includes a secondary nest depth (`min_depth`) which records
1511   the outermost scope seen since the variable became conditionally in
1512   scope.  If a use of the name is found, the variable becomes "in scope"
1513   and that secondary depth becomes the recorded scope depth.  If the
1514   name is declared as a new variable, the old variable becomes "out of
1515   scope" and the recorded scope depth stays unchanged.
1516
1517 - "out of scope".  The variable is neither in scope nor conditionally
1518   in scope.  It is permanently out of scope now and can be removed from
1519   the "in scope" stack.  When a variable becomes out-of-scope it is
1520   moved to a separate list (`out_scope`) of variables which have fully
1521   known scope.  This will be used at the end of each function to assign
1522   each variable a place in the stack frame.
1523
1524 ###### variable fields
1525         int depth, min_depth;
1526         enum { OutScope, PendingScope, CondScope, InScope } scope;
1527         struct variable *in_scope;
1528
1529 ###### parse context
1530
1531         struct variable *in_scope;
1532         struct variable *out_scope;
1533
1534 All variables with the same name are linked together using the
1535 'previous' link.  Those variable that have been affirmatively merged all
1536 have a 'merged' pointer that points to one primary variable - the most
1537 recently declared instance.  When merging variables, we need to also
1538 adjust the 'merged' pointer on any other variables that had previously
1539 been merged with the one that will no longer be primary.
1540
1541 A variable that is no longer the most recent instance of a name may
1542 still have "pending" scope, if it might still be merged with most
1543 recent instance.  These variables don't really belong in the
1544 "in_scope" list, but are not immediately removed when a new instance
1545 is found.  Instead, they are detected and ignored when considering the
1546 list of in_scope names.
1547
1548 The storage of the value of a variable will be described later.  For now
1549 we just need to know that when a variable goes out of scope, it might
1550 need to be freed.  For this we need to be able to find it, so assume that
1551 `var_value()` will provide that.
1552
1553 ###### variable fields
1554         struct variable *merged;
1555
1556 ###### ast functions
1557
1558         static void variable_merge(struct variable *primary, struct variable *secondary)
1559         {
1560                 struct variable *v;
1561
1562                 primary = primary->merged;
1563
1564                 for (v = primary->previous; v; v=v->previous)
1565                         if (v == secondary || v == secondary->merged ||
1566                             v->merged == secondary ||
1567                             v->merged == secondary->merged) {
1568                                 v->scope = OutScope;
1569                                 v->merged = primary;
1570                                 if (v->scope_start < primary->scope_start)
1571                                         primary->scope_start = v->scope_start;
1572                                 if (v->scope_end > primary->scope_end)
1573                                         primary->scope_end = v->scope_end;      // NOTEST
1574                                 variable_unlink_exec(v);
1575                         }
1576         }
1577
1578 ###### forward decls
1579         static struct value *var_value(struct parse_context *c, struct variable *v);
1580
1581 ###### free global vars
1582
1583         while (context.varlist) {
1584                 struct binding *b = context.varlist;
1585                 struct variable *v = b->var;
1586                 context.varlist = b->next;
1587                 free(b);
1588                 while (v) {
1589                         struct variable *next = v->previous;
1590
1591                         if (v->global) {
1592                                 free_value(v->type, var_value(&context, v));
1593                                 if (v->depth == 0)
1594                                         // This is a global constant
1595                                         free_exec(v->where_decl);
1596                         }
1597                         free(v);
1598                         v = next;
1599                 }
1600         }
1601
1602 #### Manipulating Bindings
1603
1604 When a name is conditionally visible, a new declaration discards the old
1605 binding - the condition lapses.  Similarly when we reach the end of a
1606 function (outermost non-global scope) any conditional scope must lapse.
1607 Conversely a usage of the name affirms the visibility and extends it to
1608 the end of the containing block - i.e.  the block that contains both the
1609 original declaration and the latest usage.  This is determined from
1610 `min_depth`.  When a conditionally visible variable gets affirmed like
1611 this, it is also merged with other conditionally visible variables with
1612 the same name.
1613
1614 When we parse a variable declaration we either report an error if the
1615 name is currently bound, or create a new variable at the current nest
1616 depth if the name is unbound or bound to a conditionally scoped or
1617 pending-scope variable.  If the previous variable was conditionally
1618 scoped, it and its homonyms becomes out-of-scope.
1619
1620 When we parse a variable reference (including non-declarative assignment
1621 "foo = bar") we report an error if the name is not bound or is bound to
1622 a pending-scope variable; update the scope if the name is bound to a
1623 conditionally scoped variable; or just proceed normally if the named
1624 variable is in scope.
1625
1626 When we exit a scope, any variables bound at this level are either
1627 marked out of scope or pending-scoped, depending on whether the scope
1628 was sequential or parallel.  Here a "parallel" scope means the "then"
1629 or "else" part of a conditional, or any "case" or "else" branch of a
1630 switch.  Other scopes are "sequential".
1631
1632 When exiting a parallel scope we check if there are any variables that
1633 were previously pending and are still visible. If there are, then
1634 they weren't redeclared in the most recent scope, so they cannot be
1635 merged and must become out-of-scope.  If it is not the first of
1636 parallel scopes (based on `child_count`), we check that there was a
1637 previous binding that is still pending-scope.  If there isn't, the new
1638 variable must now be out-of-scope.
1639
1640 When exiting a sequential scope that immediately enclosed parallel
1641 scopes, we need to resolve any pending-scope variables.  If there was
1642 no `else` clause, and we cannot determine that the `switch` was exhaustive,
1643 we need to mark all pending-scope variable as out-of-scope.  Otherwise
1644 all pending-scope variables become conditionally scoped.
1645
1646 ###### ast
1647         enum closetype { CloseSequential, CloseFunction, CloseParallel, CloseElse };
1648
1649 ###### ast functions
1650
1651         static struct variable *var_decl(struct parse_context *c, struct text s)
1652         {
1653                 struct binding *b = find_binding(c, s);
1654                 struct variable *v = b->var;
1655
1656                 switch (v ? v->scope : OutScope) {
1657                 case InScope:
1658                         /* Caller will report the error */
1659                         return NULL;
1660                 case CondScope:
1661                         for (;
1662                              v && v->scope == CondScope;
1663                              v = v->previous)
1664                                 v->scope = OutScope;
1665                         break;
1666                 default: break;
1667                 }
1668                 v = calloc(1, sizeof(*v));
1669                 v->previous = b->var;
1670                 b->var = v;
1671                 v->name = b;
1672                 v->merged = v;
1673                 v->min_depth = v->depth = c->scope_depth;
1674                 v->scope = InScope;
1675                 v->in_scope = c->in_scope;
1676                 v->scope_start = c->scope_count;
1677                 c->in_scope = v;
1678                 ## variable init
1679                 return v;
1680         }
1681
1682         static struct variable *var_ref(struct parse_context *c, struct text s)
1683         {
1684                 struct binding *b = find_binding(c, s);
1685                 struct variable *v = b->var;
1686                 struct variable *v2;
1687
1688                 switch (v ? v->scope : OutScope) {
1689                 case OutScope:
1690                 case PendingScope:
1691                         /* Caller will report the error */
1692                         return NULL;
1693                 case CondScope:
1694                         /* All CondScope variables of this name need to be merged
1695                          * and become InScope
1696                          */
1697                         v->depth = v->min_depth;
1698                         v->scope = InScope;
1699                         for (v2 = v->previous;
1700                              v2 && v2->scope == CondScope;
1701                              v2 = v2->previous)
1702                                 variable_merge(v, v2);
1703                         break;
1704                 case InScope:
1705                         break;
1706                 }
1707                 return v;
1708         }
1709
1710         static int var_refile(struct parse_context *c, struct variable *v)
1711         {
1712                 /* Variable just went out of scope.  Add it to the out_scope
1713                  * list, sorted by ->scope_start
1714                  */
1715                 struct variable **vp = &c->out_scope;
1716                 while ((*vp) && (*vp)->scope_start < v->scope_start)
1717                         vp = &(*vp)->in_scope;
1718                 v->in_scope = *vp;
1719                 *vp = v;
1720                 return 0;
1721         }
1722
1723         static void var_block_close(struct parse_context *c, enum closetype ct,
1724                                     struct exec *e)
1725         {
1726                 /* Close off all variables that are in_scope.
1727                  * Some variables in c->scope may already be not-in-scope,
1728                  * such as when a PendingScope variable is hidden by a new
1729                  * variable with the same name.
1730                  * So we check for v->name->var != v and drop them.
1731                  * If we choose to make a variable OutScope, we drop it
1732                  * immediately too.
1733                  */
1734                 struct variable *v, **vp, *v2;
1735
1736                 scope_pop(c);
1737                 for (vp = &c->in_scope;
1738                      (v = *vp) && v->min_depth > c->scope_depth;
1739                      (v->scope == OutScope || v->name->var != v)
1740                      ? (*vp =  v->in_scope, var_refile(c, v))
1741                      : ( vp = &v->in_scope, 0)) {
1742                         v->min_depth = c->scope_depth;
1743                         if (v->name->var != v)
1744                                 /* This is still in scope, but we haven't just
1745                                  * closed the scope.
1746                                  */
1747                                 continue;
1748                         v->min_depth = c->scope_depth;
1749                         if (v->scope == InScope)
1750                                 v->scope_end = c->scope_count;
1751                         if (v->scope == InScope && e && !v->global) {
1752                                 /* This variable gets cleaned up when 'e' finishes */
1753                                 variable_unlink_exec(v);
1754                                 v->cleanup_exec = e;
1755                                 v->next_free = e->to_free;
1756                                 e->to_free = v;
1757                         }
1758                         switch (ct) {
1759                         case CloseElse:
1760                         case CloseParallel: /* handle PendingScope */
1761                                 switch(v->scope) {
1762                                 case InScope:
1763                                 case CondScope:
1764                                         if (c->scope_stack->child_count == 1)
1765                                                 /* first among parallel branches */
1766                                                 v->scope = PendingScope;
1767                                         else if (v->previous &&
1768                                                  v->previous->scope == PendingScope)
1769                                                 /* all previous branches used name */
1770                                                 v->scope = PendingScope;
1771                                         else if (v->type == Tlabel)
1772                                                 /* Labels remain pending even when not used */
1773                                                 v->scope = PendingScope;        // UNTESTED
1774                                         else
1775                                                 v->scope = OutScope;
1776                                         if (ct == CloseElse) {
1777                                                 /* All Pending variables with this name
1778                                                  * are now Conditional */
1779                                                 for (v2 = v;
1780                                                      v2 && v2->scope == PendingScope;
1781                                                      v2 = v2->previous)
1782                                                         v2->scope = CondScope;
1783                                         }
1784                                         break;
1785                                 case PendingScope:
1786                                         /* Not possible as it would require
1787                                          * parallel scope to be nested immediately
1788                                          * in a parallel scope, and that never
1789                                          * happens.
1790                                          */                     // NOTEST
1791                                 case OutScope:
1792                                         /* Not possible as we already tested for
1793                                          * OutScope
1794                                          */
1795                                         abort();                // NOTEST
1796                                 }
1797                                 break;
1798                         case CloseFunction:
1799                                 if (v->scope == CondScope)
1800                                         /* Condition cannot continue past end of function */
1801                                         v->scope = InScope;
1802                                 /* fallthrough */
1803                         case CloseSequential:
1804                                 if (v->type == Tlabel)
1805                                         v->scope = PendingScope;
1806                                 switch (v->scope) {
1807                                 case InScope:
1808                                         v->scope = OutScope;
1809                                         break;
1810                                 case PendingScope:
1811                                         /* There was no 'else', so we can only become
1812                                          * conditional if we know the cases were exhaustive,
1813                                          * and that doesn't mean anything yet.
1814                                          * So only labels become conditional..
1815                                          */
1816                                         for (v2 = v;
1817                                              v2 && v2->scope == PendingScope;
1818                                              v2 = v2->previous)
1819                                                 if (v2->type == Tlabel)
1820                                                         v2->scope = CondScope;
1821                                                 else
1822                                                         v2->scope = OutScope;
1823                                         break;
1824                                 case CondScope:
1825                                 case OutScope: break;
1826                                 }
1827                                 break;
1828                         }
1829                 }
1830         }
1831
1832 #### Storing Values
1833
1834 The value of a variable is store separately from the variable, on an
1835 analogue of a stack frame.  There are (currently) two frames that can be
1836 active.  A global frame which currently only stores constants, and a
1837 stacked frame which stores local variables.  Each variable knows if it
1838 is global or not, and what its index into the frame is.
1839
1840 Values in the global frame are known immediately they are relevant, so
1841 the frame needs to be reallocated as it grows so it can store those
1842 values.  The local frame doesn't get values until the interpreted phase
1843 is started, so there is no need to allocate until the size is known.
1844
1845 We initialize the `frame_pos` to an impossible value, so that we can
1846 tell if it was set or not later.
1847
1848 ###### variable fields
1849         short frame_pos;
1850         short global;
1851
1852 ###### variable init
1853         v->frame_pos = -1;
1854
1855 ###### parse context
1856
1857         short global_size, global_alloc;
1858         short local_size;
1859         void *global, *local;
1860
1861 ###### forward decls
1862         static struct value *global_alloc(struct parse_context *c, struct type *t,
1863                                           struct variable *v, struct value *init);
1864
1865 ###### ast functions
1866
1867         static struct value *var_value(struct parse_context *c, struct variable *v)
1868         {
1869                 if (!v->global) {
1870                         if (!c->local || !v->type)
1871                                 return NULL;
1872                         if (v->frame_pos + v->type->size > c->local_size) {
1873                                 printf("INVALID frame_pos\n");  // NOTEST
1874                                 exit(2);                        // NOTEST
1875                         }
1876                         return c->local + v->frame_pos;
1877                 }
1878                 if (c->global_size > c->global_alloc) {
1879                         int old = c->global_alloc;
1880                         c->global_alloc = (c->global_size | 1023) + 1024;
1881                         c->global = realloc(c->global, c->global_alloc);
1882                         memset(c->global + old, 0, c->global_alloc - old);
1883                 }
1884                 return c->global + v->frame_pos;
1885         }
1886
1887         static struct value *global_alloc(struct parse_context *c, struct type *t,
1888                                           struct variable *v, struct value *init)
1889         {
1890                 struct value *ret;
1891                 struct variable scratch;
1892
1893                 if (t->prepare_type)
1894                         t->prepare_type(c, t, 1);       // NOTEST
1895
1896                 if (c->global_size & (t->align - 1))
1897                         c->global_size = (c->global_size + t->align) & ~(t->align-1);   // NOTEST
1898                 if (!v) {
1899                         v = &scratch;
1900                         v->type = t;
1901                 }
1902                 v->frame_pos = c->global_size;
1903                 v->global = 1;
1904                 c->global_size += v->type->size;
1905                 ret = var_value(c, v);
1906                 if (init)
1907                         memcpy(ret, init, t->size);
1908                 else
1909                         val_init(t, ret);
1910                 return ret;
1911         }
1912
1913 As global values are found -- struct field initializers, labels etc --
1914 `global_alloc()` is called to record the value in the global frame.
1915
1916 When the program is fully parsed, each function is analysed, we need to
1917 walk the list of variables local to that function and assign them an
1918 offset in the stack frame.  For this we have `scope_finalize()`.
1919
1920 We keep the stack from dense by re-using space for between variables
1921 that are not in scope at the same time.  The `out_scope` list is sorted
1922 by `scope_start` and as we process a varible, we move it to an FIFO
1923 stack.  For each variable we consider, we first discard any from the
1924 stack anything that went out of scope before the new variable came in.
1925 Then we place the new variable just after the one at the top of the
1926 stack.
1927
1928 ###### ast functions
1929
1930         static void scope_finalize(struct parse_context *c, struct type *ft)
1931         {
1932                 int size = ft->function.local_size;
1933                 struct variable *next = ft->function.scope;
1934                 struct variable *done = NULL;
1935
1936                 while (next) {
1937                         struct variable *v = next;
1938                         struct type *t = v->type;
1939                         int pos;
1940                         next = v->in_scope;
1941                         if (v->merged != v)
1942                                 continue;
1943                         if (!t)
1944                                 continue;
1945                         if (v->frame_pos >= 0)
1946                                 continue;
1947                         while (done && done->scope_end < v->scope_start)
1948                                 done = done->in_scope;
1949                         if (done)
1950                                 pos = done->frame_pos + done->type->size;
1951                         else
1952                                 pos = ft->function.local_size;
1953                         if (pos & (t->align - 1))
1954                                 pos = (pos + t->align) & ~(t->align-1);
1955                         v->frame_pos = pos;
1956                         if (size < pos + v->type->size)
1957                                 size = pos + v->type->size;
1958                         v->in_scope = done;
1959                         done = v;
1960                 }
1961                 c->out_scope = NULL;
1962                 ft->function.local_size = size;
1963         }
1964
1965 ###### free context storage
1966         free(context.global);
1967
1968 #### Variables as executables
1969
1970 Just as we used a `val` to wrap a value into an `exec`, we similarly
1971 need a `var` to wrap a `variable` into an exec.  While each `val`
1972 contained a copy of the value, each `var` holds a link to the variable
1973 because it really is the same variable no matter where it appears.
1974 When a variable is used, we need to remember to follow the `->merged`
1975 link to find the primary instance.
1976
1977 When a variable is declared, it may or may not be given an explicit
1978 type.  We need to record which so that we can report the parsed code
1979 correctly.
1980
1981 ###### exec type
1982         Xvar,
1983
1984 ###### ast
1985         struct var {
1986                 struct exec;
1987                 struct variable *var;
1988         };
1989
1990 ###### variable fields
1991         int explicit_type;
1992
1993 ###### Grammar
1994
1995         $TERM : ::
1996
1997         $*var
1998         VariableDecl -> IDENTIFIER : ${ {
1999                 struct variable *v = var_decl(c, $1.txt);
2000                 $0 = new_pos(var, $1);
2001                 $0->var = v;
2002                 if (v)
2003                         v->where_decl = $0;
2004                 else {
2005                         v = var_ref(c, $1.txt);
2006                         $0->var = v;
2007                         type_err(c, "error: variable '%v' redeclared",
2008                                  $0, NULL, 0, NULL);
2009                         type_err(c, "info: this is where '%v' was first declared",
2010                                  v->where_decl, NULL, 0, NULL);
2011                 }
2012         } }$
2013         | IDENTIFIER :: ${ {
2014                 struct variable *v = var_decl(c, $1.txt);
2015                 $0 = new_pos(var, $1);
2016                 $0->var = v;
2017                 if (v) {
2018                         v->where_decl = $0;
2019                         v->constant = 1;
2020                 } else {
2021                         v = var_ref(c, $1.txt);
2022                         $0->var = v;
2023                         type_err(c, "error: variable '%v' redeclared",
2024                                  $0, NULL, 0, NULL);
2025                         type_err(c, "info: this is where '%v' was first declared",
2026                                  v->where_decl, NULL, 0, NULL);
2027                 }
2028         } }$
2029         | IDENTIFIER : Type ${ {
2030                 struct variable *v = var_decl(c, $1.txt);
2031                 $0 = new_pos(var, $1);
2032                 $0->var = v;
2033                 if (v) {
2034                         v->where_decl = $0;
2035                         v->where_set = $0;
2036                         v->type = $<Type;
2037                         v->explicit_type = 1;
2038                 } else {
2039                         v = var_ref(c, $1.txt);
2040                         $0->var = v;
2041                         type_err(c, "error: variable '%v' redeclared",
2042                                  $0, NULL, 0, NULL);
2043                         type_err(c, "info: this is where '%v' was first declared",
2044                                  v->where_decl, NULL, 0, NULL);
2045                 }
2046         } }$
2047         | IDENTIFIER :: Type ${ {
2048                 struct variable *v = var_decl(c, $1.txt);
2049                 $0 = new_pos(var, $1);
2050                 $0->var = v;
2051                 if (v) {
2052                         v->where_decl = $0;
2053                         v->where_set = $0;
2054                         v->type = $<Type;
2055                         v->constant = 1;
2056                         v->explicit_type = 1;
2057                 } else {
2058                         v = var_ref(c, $1.txt);
2059                         $0->var = v;
2060                         type_err(c, "error: variable '%v' redeclared",
2061                                  $0, NULL, 0, NULL);
2062                         type_err(c, "info: this is where '%v' was first declared",
2063                                  v->where_decl, NULL, 0, NULL);
2064                 }
2065         } }$
2066
2067         $*exec
2068         Variable -> IDENTIFIER ${ {
2069                 struct variable *v = var_ref(c, $1.txt);
2070                 $0 = new_pos(var, $1);
2071                 if (v == NULL) {
2072                         /* This might be a label - allocate a var just in case */
2073                         v = var_decl(c, $1.txt);
2074                         if (v) {
2075                                 v->type = Tnone;
2076                                 v->where_decl = $0;
2077                                 v->where_set = $0;
2078                         }
2079                 }
2080                 cast(var, $0)->var = v;
2081         } }$
2082
2083 ###### print exec cases
2084         case Xvar:
2085         {
2086                 struct var *v = cast(var, e);
2087                 if (v->var) {
2088                         struct binding *b = v->var->name;
2089                         printf("%.*s", b->name.len, b->name.txt);
2090                 }
2091                 break;
2092         }
2093
2094 ###### format cases
2095         case 'v':
2096                 if (loc && loc->type == Xvar) {
2097                         struct var *v = cast(var, loc);
2098                         if (v->var) {
2099                                 struct binding *b = v->var->name;
2100                                 fprintf(stderr, "%.*s", b->name.len, b->name.txt);
2101                         } else
2102                                 fputs("???", stderr);   // NOTEST
2103                 } else
2104                         fputs("NOTVAR", stderr);
2105                 break;
2106
2107 ###### propagate exec cases
2108
2109         case Xvar:
2110         {
2111                 struct var *var = cast(var, prog);
2112                 struct variable *v = var->var;
2113                 if (!v) {
2114                         type_err(c, "%d:BUG: no variable!!", prog, NULL, 0, NULL); // NOTEST
2115                         return Tnone;                                   // NOTEST
2116                 }
2117                 v = v->merged;
2118                 if (v->constant && (rules & Rnoconstant)) {
2119                         type_err(c, "error: Cannot assign to a constant: %v",
2120                                  prog, NULL, 0, NULL);
2121                         type_err(c, "info: name was defined as a constant here",
2122                                  v->where_decl, NULL, 0, NULL);
2123                         return v->type;
2124                 }
2125                 if (v->type == Tnone && v->where_decl == prog)
2126                         type_err(c, "error: variable used but not declared: %v",
2127                                  prog, NULL, 0, NULL);
2128                 if (v->type == NULL) {
2129                         if (type && *ok != 0) {
2130                                 v->type = type;
2131                                 v->where_set = prog;
2132                                 *ok = 2;
2133                         }
2134                         return type;
2135                 }
2136                 if (!type_compat(type, v->type, rules)) {
2137                         type_err(c, "error: expected %1%r but variable '%v' is %2", prog,
2138                                  type, rules, v->type);
2139                         type_err(c, "info: this is where '%v' was set to %1", v->where_set,
2140                                  v->type, rules, NULL);
2141                 }
2142                 if (!type)
2143                         return v->type;
2144                 return type;
2145         }
2146
2147 ###### interp exec cases
2148         case Xvar:
2149         {
2150                 struct var *var = cast(var, e);
2151                 struct variable *v = var->var;
2152
2153                 v = v->merged;
2154                 lrv = var_value(c, v);
2155                 rvtype = v->type;
2156                 break;
2157         }
2158
2159 ###### ast functions
2160
2161         static void free_var(struct var *v)
2162         {
2163                 free(v);
2164         }
2165
2166 ###### free exec cases
2167         case Xvar: free_var(cast(var, e)); break;
2168
2169
2170 ### Complex types
2171
2172 Now that we have the shape of the interpreter in place we can add some
2173 complex types and connected them in to the data structures and the
2174 different phases of parse, analyse, print, interpret.
2175
2176 Being "complex" the language will naturally have syntax to access
2177 specifics of objects of these types.  These will fit into the grammar as
2178 "Terms" which are the things that are combined with various operators to
2179 form "Expression".  Where a Term is formed by some operation on another
2180 Term, the subordinate Term will always come first, so for example a
2181 member of an array will be expressed as the Term for the array followed
2182 by an index in square brackets.  The strict rule of using postfix
2183 operations makes precedence irrelevant within terms.  To provide a place
2184 to put the grammar for each terms of each type, we will start out by
2185 introducing the "Term" grammar production, with contains at least a
2186 simple "Value" (to be explained later).
2187
2188 ###### Grammar
2189         $*exec
2190         Term ->  Value ${ $0 = $<1; }$
2191         | Variable ${ $0 = $<1; }$
2192         ## term grammar
2193
2194 Thus far the complex types we have are arrays and structs.
2195
2196 #### Arrays
2197
2198 Arrays can be declared by giving a size and a type, as `[size]type' so
2199 `freq:[26]number` declares `freq` to be an array of 26 numbers.  The
2200 size can be either a literal number, or a named constant.  Some day an
2201 arbitrary expression will be supported.
2202
2203 As a formal parameter to a function, the array can be declared with a
2204 new variable as the size: `name:[size::number]string`.  The `size`
2205 variable is set to the size of the array and must be a constant.  As
2206 `number` is the only supported type, it can be left out:
2207 `name:[size::]string`.
2208
2209 Arrays cannot be assigned.  When pointers are introduced we will also
2210 introduce array slices which can refer to part or all of an array -
2211 the assignment syntax will create a slice.  For now, an array can only
2212 ever be referenced by the name it is declared with.  It is likely that
2213 a "`copy`" primitive will eventually be define which can be used to
2214 make a copy of an array with controllable recursive depth.
2215
2216 For now we have two sorts of array, those with fixed size either because
2217 it is given as a literal number or because it is a struct member (which
2218 cannot have a runtime-changing size), and those with a size that is
2219 determined at runtime - local variables with a const size.  The former
2220 have their size calculated at parse time, the latter at run time.
2221
2222 For the latter type, the `size` field of the type is the size of a
2223 pointer, and the array is reallocated every time it comes into scope.
2224
2225 We differentiate struct fields with a const size from local variables
2226 with a const size by whether they are prepared at parse time or not.
2227
2228 ###### type union fields
2229
2230         struct {
2231                 int unspec;     // size is unspecified - vsize must be set.
2232                 short size;
2233                 short static_size;
2234                 struct variable *vsize;
2235                 struct type *member;
2236         } array;
2237
2238 ###### value union fields
2239         void *array;  // used if not static_size
2240
2241 ###### value functions
2242
2243         static void array_prepare_type(struct parse_context *c, struct type *type,
2244                                        int parse_time)
2245         {
2246                 struct value *vsize;
2247                 mpz_t q;
2248                 if (type->array.static_size)
2249                         return;
2250                 if (type->array.unspec && parse_time)
2251                         return;
2252
2253                 if (type->array.vsize) {
2254                         vsize = var_value(c, type->array.vsize);
2255                         if (!vsize)
2256                                 return;
2257                         mpz_init(q);
2258                         mpz_tdiv_q(q, mpq_numref(vsize->num), mpq_denref(vsize->num));
2259                         type->array.size = mpz_get_si(q);
2260                         mpz_clear(q);
2261                 }
2262
2263                 if (parse_time && type->array.member->size) {
2264                         type->array.static_size = 1;
2265                         type->size = type->array.size * type->array.member->size;
2266                         type->align = type->array.member->align;
2267                 }
2268         }
2269
2270         static void array_init(struct type *type, struct value *val)
2271         {
2272                 int i;
2273                 void *ptr = val->ptr;
2274
2275                 if (!val)
2276                         return;                         // NOTEST
2277                 if (!type->array.static_size) {
2278                         val->array = calloc(type->array.size,
2279                                             type->array.member->size);
2280                         ptr = val->array;
2281                 }
2282                 for (i = 0; i < type->array.size; i++) {
2283                         struct value *v;
2284                         v = (void*)ptr + i * type->array.member->size;
2285                         val_init(type->array.member, v);
2286                 }
2287         }
2288
2289         static void array_free(struct type *type, struct value *val)
2290         {
2291                 int i;
2292                 void *ptr = val->ptr;
2293
2294                 if (!type->array.static_size)
2295                         ptr = val->array;
2296                 for (i = 0; i < type->array.size; i++) {
2297                         struct value *v;
2298                         v = (void*)ptr + i * type->array.member->size;
2299                         free_value(type->array.member, v);
2300                 }
2301                 if (!type->array.static_size)
2302                         free(ptr);
2303         }
2304
2305         static int array_compat(struct type *require, struct type *have)
2306         {
2307                 if (have->compat != require->compat)
2308                         return 0;
2309                 /* Both are arrays, so we can look at details */
2310                 if (!type_compat(require->array.member, have->array.member, 0))
2311                         return 0;
2312                 if (have->array.unspec && require->array.unspec) {
2313                         if (have->array.vsize && require->array.vsize &&
2314                             have->array.vsize != require->array.vsize)  // UNTESTED
2315                                 /* sizes might not be the same */
2316                                 return 0;       // UNTESTED
2317                         return 1;
2318                 }
2319                 if (have->array.unspec || require->array.unspec)
2320                         return 1;       // UNTESTED
2321                 if (require->array.vsize == NULL && have->array.vsize == NULL)
2322                         return require->array.size == have->array.size;
2323
2324                 return require->array.vsize == have->array.vsize;       // UNTESTED
2325         }
2326
2327         static void array_print_type(struct type *type, FILE *f)
2328         {
2329                 fputs("[", f);
2330                 if (type->array.vsize) {
2331                         struct binding *b = type->array.vsize->name;
2332                         fprintf(f, "%.*s%s]", b->name.len, b->name.txt,
2333                                 type->array.unspec ? "::" : "");
2334                 } else if (type->array.size)
2335                         fprintf(f, "%d]", type->array.size);
2336                 else
2337                         fprintf(f, "]");
2338                 type_print(type->array.member, f);
2339         }
2340
2341         static struct type array_prototype = {
2342                 .init = array_init,
2343                 .prepare_type = array_prepare_type,
2344                 .print_type = array_print_type,
2345                 .compat = array_compat,
2346                 .free = array_free,
2347                 .size = sizeof(void*),
2348                 .align = sizeof(void*),
2349         };
2350
2351 ###### declare terminals
2352         $TERM [ ]
2353
2354 ###### type grammar
2355
2356         | [ NUMBER ] Type ${ {
2357                 char tail[3];
2358                 mpq_t num;
2359                 struct type *t;
2360                 int elements = 0;
2361
2362                 if (number_parse(num, tail, $2.txt) == 0)
2363                         tok_err(c, "error: unrecognised number", &$2);
2364                 else if (tail[0]) {
2365                         tok_err(c, "error: unsupported number suffix", &$2);
2366                         mpq_clear(num);
2367                 } else {
2368                         elements = mpz_get_ui(mpq_numref(num));
2369                         if (mpz_cmp_ui(mpq_denref(num), 1) != 0) {
2370                                 tok_err(c, "error: array size must be an integer",
2371                                         &$2);
2372                         } else if (mpz_cmp_ui(mpq_numref(num), 1UL << 30) >= 0)
2373                                 tok_err(c, "error: array size is too large",
2374                                         &$2);
2375                         mpq_clear(num);
2376                 }
2377
2378                 $0 = t = add_anon_type(c, &array_prototype, "array[%d]", elements );
2379                 t->array.size = elements;
2380                 t->array.member = $<4;
2381                 t->array.vsize = NULL;
2382         } }$
2383
2384         | [ IDENTIFIER ] Type ${ {
2385                 struct variable *v = var_ref(c, $2.txt);
2386
2387                 if (!v)
2388                         tok_err(c, "error: name undeclared", &$2);
2389                 else if (!v->constant)
2390                         tok_err(c, "error: array size must be a constant", &$2);
2391
2392                 $0 = add_anon_type(c, &array_prototype, "array[%.*s]", $2.txt.len, $2.txt.txt);
2393                 $0->array.member = $<4;
2394                 $0->array.size = 0;
2395                 $0->array.vsize = v;
2396         } }$
2397
2398 ###### Grammar
2399         $*type
2400         OptType -> Type ${ $0 = $<1; }$
2401                 | ${ $0 = NULL; }$
2402
2403 ###### formal type grammar
2404
2405         | [ IDENTIFIER :: OptType ] Type ${ {
2406                 struct variable *v = var_decl(c, $ID.txt);
2407
2408                 v->type = $<OT;
2409                 v->constant = 1;
2410                 if (!v->type)
2411                         v->type = Tnum;
2412                 $0 = add_anon_type(c, &array_prototype, "array[var]");
2413                 $0->array.member = $<6;
2414                 $0->array.size = 0;
2415                 $0->array.unspec = 1;
2416                 $0->array.vsize = v;
2417         } }$
2418
2419 ###### Binode types
2420         Index,
2421
2422 ###### term grammar
2423
2424         | Term [ Expression ] ${ {
2425                 struct binode *b = new(binode);
2426                 b->op = Index;
2427                 b->left = $<1;
2428                 b->right = $<3;
2429                 $0 = b;
2430         } }$
2431
2432 ###### print binode cases
2433         case Index:
2434                 print_exec(b->left, -1, bracket);
2435                 printf("[");
2436                 print_exec(b->right, -1, bracket);
2437                 printf("]");
2438                 break;
2439
2440 ###### propagate binode cases
2441         case Index:
2442                 /* left must be an array, right must be a number,
2443                  * result is the member type of the array
2444                  */
2445                 propagate_types(b->right, c, ok, Tnum, 0);
2446                 t = propagate_types(b->left, c, ok, NULL, rules & Rnoconstant);
2447                 if (!t || t->compat != array_compat) {
2448                         type_err(c, "error: %1 cannot be indexed", prog, t, 0, NULL);
2449                         return NULL;
2450                 } else {
2451                         if (!type_compat(type, t->array.member, rules)) {
2452                                 type_err(c, "error: have %1 but need %2", prog,
2453                                          t->array.member, rules, type);
2454                         }
2455                         return t->array.member;
2456                 }
2457                 break;
2458
2459 ###### interp binode cases
2460         case Index: {
2461                 mpz_t q;
2462                 long i;
2463                 void *ptr;
2464
2465                 lleft = linterp_exec(c, b->left, &ltype);
2466                 right = interp_exec(c, b->right, &rtype);
2467                 mpz_init(q);
2468                 mpz_tdiv_q(q, mpq_numref(right.num), mpq_denref(right.num));
2469                 i = mpz_get_si(q);
2470                 mpz_clear(q);
2471
2472                 if (ltype->array.static_size)
2473                         ptr = lleft;
2474                 else
2475                         ptr = *(void**)lleft;
2476                 rvtype = ltype->array.member;
2477                 if (i >= 0 && i < ltype->array.size)
2478                         lrv = ptr + i * rvtype->size;
2479                 else
2480                         val_init(ltype->array.member, &rv); // UNSAFE
2481                 ltype = NULL;
2482                 break;
2483         }
2484
2485 #### Structs
2486
2487 A `struct` is a data-type that contains one or more other data-types.
2488 It differs from an array in that each member can be of a different
2489 type, and they are accessed by name rather than by number.  Thus you
2490 cannot choose an element by calculation, you need to know what you
2491 want up-front.
2492
2493 The language makes no promises about how a given structure will be
2494 stored in memory - it is free to rearrange fields to suit whatever
2495 criteria seems important.
2496
2497 Structs are declared separately from program code - they cannot be
2498 declared in-line in a variable declaration like arrays can.  A struct
2499 is given a name and this name is used to identify the type - the name
2500 is not prefixed by the word `struct` as it would be in C.
2501
2502 Structs are only treated as the same if they have the same name.
2503 Simply having the same fields in the same order is not enough.  This
2504 might change once we can create structure initializers from a list of
2505 values.
2506
2507 Each component datum is identified much like a variable is declared,
2508 with a name, one or two colons, and a type.  The type cannot be omitted
2509 as there is no opportunity to deduce the type from usage.  An initial
2510 value can be given following an equals sign, so
2511
2512 ##### Example: a struct type
2513
2514         struct complex:
2515                 x:number = 0
2516                 y:number = 0
2517
2518 would declare a type called "complex" which has two number fields,
2519 each initialised to zero.
2520
2521 Struct will need to be declared separately from the code that uses
2522 them, so we will need to be able to print out the declaration of a
2523 struct when reprinting the whole program.  So a `print_type_decl` type
2524 function will be needed.
2525
2526 ###### type union fields
2527
2528         struct {
2529                 int nfields;
2530                 struct field {
2531                         struct text name;
2532                         struct type *type;
2533                         struct value *init;
2534                         int offset;
2535                 } *fields; // This is created when field_list is analysed.
2536                 struct fieldlist {
2537                         struct fieldlist *prev;
2538                         struct field f;
2539                         struct exec *init;
2540                 } *field_list; // This is created during parsing
2541         } structure;
2542
2543 ###### type functions
2544         void (*print_type_decl)(struct type *type, FILE *f);
2545
2546 ###### value functions
2547
2548         static void structure_init(struct type *type, struct value *val)
2549         {
2550                 int i;
2551
2552                 for (i = 0; i < type->structure.nfields; i++) {
2553                         struct value *v;
2554                         v = (void*) val->ptr + type->structure.fields[i].offset;
2555                         if (type->structure.fields[i].init)
2556                                 dup_value(type->structure.fields[i].type,
2557                                           type->structure.fields[i].init,
2558                                           v);
2559                         else
2560                                 val_init(type->structure.fields[i].type, v);
2561                 }
2562         }
2563
2564         static void structure_free(struct type *type, struct value *val)
2565         {
2566                 int i;
2567
2568                 for (i = 0; i < type->structure.nfields; i++) {
2569                         struct value *v;
2570                         v = (void*)val->ptr + type->structure.fields[i].offset;
2571                         free_value(type->structure.fields[i].type, v);
2572                 }
2573         }
2574
2575         static void free_fieldlist(struct fieldlist *f)
2576         {
2577                 if (!f)
2578                         return;
2579                 free_fieldlist(f->prev);
2580                 free_exec(f->init);
2581                 free(f);
2582         }
2583
2584         static void structure_free_type(struct type *t)
2585         {
2586                 int i;
2587                 for (i = 0; i < t->structure.nfields; i++)
2588                         if (t->structure.fields[i].init) {
2589                                 free_value(t->structure.fields[i].type,
2590                                            t->structure.fields[i].init);
2591                         }
2592                 free(t->structure.fields);
2593                 free_fieldlist(t->structure.field_list);
2594         }
2595
2596         static void structure_prepare_type(struct parse_context *c,
2597                                            struct type *t, int parse_time)
2598         {
2599                 int cnt = 0;
2600                 struct fieldlist *f;
2601
2602                 if (!parse_time || t->structure.fields)
2603                         return;
2604
2605                 for (f = t->structure.field_list; f; f=f->prev) {
2606                         int ok;
2607                         cnt += 1;
2608
2609                         if (f->f.type->prepare_type)
2610                                 f->f.type->prepare_type(c, f->f.type, 1);
2611                         if (f->init == NULL)
2612                                 continue;
2613                         do {
2614                                 ok = 1;
2615                                 propagate_types(f->init, c, &ok, f->f.type, 0);
2616                         } while (ok == 2);
2617                         if (!ok)
2618                                 c->parse_error = 1;     // NOTEST
2619                 }
2620
2621                 t->structure.nfields = cnt;
2622                 t->structure.fields = calloc(cnt, sizeof(struct field));
2623                 f = t->structure.field_list;
2624                 while (cnt > 0) {
2625                         int a = f->f.type->align;
2626                         cnt -= 1;
2627                         t->structure.fields[cnt] = f->f;
2628                         if (t->size & (a-1))
2629                                 t->size = (t->size | (a-1)) + 1;
2630                         t->structure.fields[cnt].offset = t->size;
2631                         t->size += ((f->f.type->size - 1) | (a-1)) + 1;
2632                         if (a > t->align)
2633                                 t->align = a;
2634
2635                         if (f->init && !c->parse_error) {
2636                                 struct value vl = interp_exec(c, f->init, NULL);
2637                                 t->structure.fields[cnt].init =
2638                                         global_alloc(c, f->f.type, NULL, &vl);
2639                         }
2640
2641                         f = f->prev;
2642                 }
2643         }
2644
2645         static struct type structure_prototype = {
2646                 .init = structure_init,
2647                 .free = structure_free,
2648                 .free_type = structure_free_type,
2649                 .print_type_decl = structure_print_type,
2650                 .prepare_type = structure_prepare_type,
2651         };
2652
2653 ###### exec type
2654         Xfieldref,
2655
2656 ###### ast
2657         struct fieldref {
2658                 struct exec;
2659                 struct exec *left;
2660                 int index;
2661                 struct text name;
2662         };
2663
2664 ###### free exec cases
2665         case Xfieldref:
2666                 free_exec(cast(fieldref, e)->left);
2667                 free(e);
2668                 break;
2669
2670 ###### declare terminals
2671         $TERM struct .
2672
2673 ###### term grammar
2674
2675         | Term . IDENTIFIER ${ {
2676                 struct fieldref *fr = new_pos(fieldref, $2);
2677                 fr->left = $<1;
2678                 fr->name = $3.txt;
2679                 fr->index = -2;
2680                 $0 = fr;
2681         } }$
2682
2683 ###### print exec cases
2684
2685         case Xfieldref:
2686         {
2687                 struct fieldref *f = cast(fieldref, e);
2688                 print_exec(f->left, -1, bracket);
2689                 printf(".%.*s", f->name.len, f->name.txt);
2690                 break;
2691         }
2692
2693 ###### ast functions
2694         static int find_struct_index(struct type *type, struct text field)
2695         {
2696                 int i;
2697                 for (i = 0; i < type->structure.nfields; i++)
2698                         if (text_cmp(type->structure.fields[i].name, field) == 0)
2699                                 return i;
2700                 return -1;
2701         }
2702
2703 ###### propagate exec cases
2704
2705         case Xfieldref:
2706         {
2707                 struct fieldref *f = cast(fieldref, prog);
2708                 struct type *st = propagate_types(f->left, c, ok, NULL, 0);
2709
2710                 if (!st)
2711                         type_err(c, "error: unknown type for field access", f->left,    // UNTESTED
2712                                  NULL, 0, NULL);
2713                 else if (st->init != structure_init)
2714                         type_err(c, "error: field reference attempted on %1, not a struct",
2715                                  f->left, st, 0, NULL);
2716                 else if (f->index == -2) {
2717                         f->index = find_struct_index(st, f->name);
2718                         if (f->index < 0)
2719                                 type_err(c, "error: cannot find requested field in %1",
2720                                          f->left, st, 0, NULL);
2721                 }
2722                 if (f->index >= 0) {
2723                         struct type *ft = st->structure.fields[f->index].type;
2724                         if (!type_compat(type, ft, rules))
2725                                 type_err(c, "error: have %1 but need %2", prog,
2726                                          ft, rules, type);
2727                         return ft;
2728                 }
2729                 break;
2730         }
2731
2732 ###### interp exec cases
2733         case Xfieldref:
2734         {
2735                 struct fieldref *f = cast(fieldref, e);
2736                 struct type *ltype;
2737                 struct value *lleft = linterp_exec(c, f->left, &ltype);
2738                 lrv = (void*)lleft->ptr + ltype->structure.fields[f->index].offset;
2739                 rvtype = ltype->structure.fields[f->index].type;
2740                 break;
2741         }
2742
2743 ###### top level grammar
2744         DeclareStruct -> struct IDENTIFIER FieldBlock Newlines ${ {
2745                 struct type *t =
2746                         add_type(c, $2.txt, &structure_prototype);
2747                 t->structure.field_list = $<FB;
2748         } }$
2749
2750         $*fieldlist
2751         FieldBlock -> { IN OptNL FieldLines OUT OptNL } ${ $0 = $<FL; }$
2752         | { SimpleFieldList } ${ $0 = $<SFL; }$
2753         | IN OptNL FieldLines OUT ${ $0 = $<FL; }$
2754         | SimpleFieldList EOL ${ $0 = $<SFL; }$
2755
2756         FieldLines -> SimpleFieldList Newlines ${ $0 = $<SFL; }$
2757         | FieldLines SimpleFieldList Newlines ${
2758                 $SFL->prev = $<FL;
2759                 $0 = $<SFL;
2760         }$
2761
2762         SimpleFieldList -> Field ${ $0 = $<F; }$
2763         | SimpleFieldList ; Field ${
2764                 $F->prev = $<SFL;
2765                 $0 = $<F;
2766         }$
2767         | SimpleFieldList ; ${
2768                 $0 = $<SFL;
2769         }$
2770         | ERROR ${ tok_err(c, "Syntax error in struct field", &$1); }$
2771
2772         Field -> IDENTIFIER : Type = Expression ${ {
2773                 $0 = calloc(1, sizeof(struct fieldlist));
2774                 $0->f.name = $ID.txt;
2775                 $0->f.type = $<Type;
2776                 $0->f.init = NULL;
2777                 $0->init = $<Expr;
2778         } }$
2779         | IDENTIFIER : Type ${
2780                 $0 = calloc(1, sizeof(struct fieldlist));
2781                 $0->f.name = $ID.txt;
2782                 $0->f.type = $<Type;
2783         }$
2784
2785 ###### forward decls
2786         static void structure_print_type(struct type *t, FILE *f);
2787
2788 ###### value functions
2789         static void structure_print_type(struct type *t, FILE *f)
2790         {
2791                 int i;
2792
2793                 fprintf(f, "struct %.*s\n", t->name.len, t->name.txt);
2794
2795                 for (i = 0; i < t->structure.nfields; i++) {
2796                         struct field *fl = t->structure.fields + i;
2797                         fprintf(f, "    %.*s : ", fl->name.len, fl->name.txt);
2798                         type_print(fl->type, f);
2799                         if (fl->type->print && fl->init) {
2800                                 fprintf(f, " = ");
2801                                 if (fl->type == Tstr)
2802                                         fprintf(f, "\"");       // UNTESTED
2803                                 print_value(fl->type, fl->init, f);
2804                                 if (fl->type == Tstr)
2805                                         fprintf(f, "\"");       // UNTESTED
2806                         }
2807                         fprintf(f, "\n");
2808                 }
2809         }
2810
2811 ###### print type decls
2812         {
2813                 struct type *t;
2814                 int target = -1;
2815
2816                 while (target != 0) {
2817                         int i = 0;
2818                         for (t = context.typelist; t ; t=t->next)
2819                                 if (!t->anon && t->print_type_decl &&
2820                                     !t->check_args) {
2821                                         i += 1;
2822                                         if (i == target)
2823                                                 break;
2824                                 }
2825
2826                         if (target == -1) {
2827                                 target = i;
2828                         } else {
2829                                 t->print_type_decl(t, stdout);
2830                                 target -= 1;
2831                         }
2832                 }
2833         }
2834
2835 #### Functions
2836
2837 A function is a chunk of code which can be passed parameters and can
2838 return results.  Each function has a type which includes the set of
2839 parameters and the return value.  As yet these types cannot be declared
2840 separately from the function itself.
2841
2842 The parameters can be specified either in parentheses as a ';' separated
2843 list, such as
2844
2845 ##### Example: function 1
2846
2847         func main(av:[ac::number]string; env:[envc::number]string)
2848                 code block
2849
2850 or as an indented list of one parameter per line (though each line can
2851 be a ';' separated list)
2852
2853 ##### Example: function 2
2854
2855         func main
2856                 argv:[argc::number]string
2857                 env:[envc::number]string
2858         do
2859                 code block
2860
2861 In the first case a return type can follow the parentheses after a colon,
2862 in the second it is given on a line starting with the word `return`.
2863
2864 ##### Example: functions that return
2865
2866         func add(a:number; b:number): number
2867                 code block
2868
2869         func catenate
2870                 a: string
2871                 b: string
2872         return string
2873         do
2874                 code block
2875
2876 Rather than returning a type, the function can specify a set of local
2877 variables to return as a struct.  The values of these variables when the
2878 function exits will be provided to the caller.  For this the return type
2879 is replaced with a block of result declarations, either in parentheses
2880 or bracketed by `return` and `do`.
2881
2882 ##### Example: functions returning multiple variables
2883
2884         func to_cartesian(rho:number; theta:number):(x:number; y:number)
2885                 x = .....
2886                 y = .....
2887
2888         func to_polar
2889                 x:number; y:number
2890         return
2891                 rho:number
2892                 theta:number
2893         do
2894                 rho = ....
2895                 theta = ....
2896
2897 For constructing the lists we use a `List` binode, which will be
2898 further detailed when Expression Lists are introduced.
2899
2900 ###### type union fields
2901
2902         struct {
2903                 struct binode *params;
2904                 struct type *return_type;
2905                 struct variable *scope;
2906                 int inline_result;      // return value is at start of 'local'
2907                 int local_size;
2908         } function;
2909
2910 ###### value union fields
2911         struct exec *function;
2912
2913 ###### type functions
2914         void (*check_args)(struct parse_context *c, int *ok,
2915                            struct type *require, struct exec *args);
2916
2917 ###### value functions
2918
2919         static void function_free(struct type *type, struct value *val)
2920         {
2921                 free_exec(val->function);
2922                 val->function = NULL;
2923         }
2924
2925         static int function_compat(struct type *require, struct type *have)
2926         {
2927                 // FIXME can I do anything here yet?
2928                 return 0;
2929         }
2930
2931         static void function_check_args(struct parse_context *c, int *ok,
2932                                         struct type *require, struct exec *args)
2933         {
2934                 /* This should be 'compat', but we don't have a 'tuple' type to
2935                  * hold the type of 'args'
2936                  */
2937                 struct binode *arg = cast(binode, args);
2938                 struct binode *param = require->function.params;
2939
2940                 while (param) {
2941                         struct var *pv = cast(var, param->left);
2942                         if (!arg) {
2943                                 type_err(c, "error: insufficient arguments to function.",
2944                                          args, NULL, 0, NULL);
2945                                 break;
2946                         }
2947                         *ok = 1;
2948                         propagate_types(arg->left, c, ok, pv->var->type, 0);
2949                         param = cast(binode, param->right);
2950                         arg = cast(binode, arg->right);
2951                 }
2952                 if (arg)
2953                         type_err(c, "error: too many arguments to function.",
2954                                  args, NULL, 0, NULL);
2955         }
2956
2957         static void function_print(struct type *type, struct value *val, FILE *f)
2958         {
2959                 print_exec(val->function, 1, 0);
2960         }
2961
2962         static void function_print_type_decl(struct type *type, FILE *f)
2963         {
2964                 struct binode *b;
2965                 fprintf(f, "(");
2966                 for (b = type->function.params; b; b = cast(binode, b->right)) {
2967                         struct variable *v = cast(var, b->left)->var;
2968                         fprintf(f, "%.*s%s", v->name->name.len, v->name->name.txt,
2969                                 v->constant ? "::" : ":");
2970                         type_print(v->type, f);
2971                         if (b->right)
2972                                 fprintf(f, "; ");
2973                 }
2974                 fprintf(f, ")");
2975                 if (type->function.return_type != Tnone) {
2976                         fprintf(f, ":");
2977                         if (type->function.inline_result) {
2978                                 int i;
2979                                 struct type *t = type->function.return_type;
2980                                 fprintf(f, " (");
2981                                 for (i = 0; i < t->structure.nfields; i++) {
2982                                         struct field *fl = t->structure.fields + i;
2983                                         if (i)
2984                                                 fprintf(f, "; ");
2985                                         fprintf(f, "%.*s:", fl->name.len, fl->name.txt);
2986                                         type_print(fl->type, f);
2987                                 }
2988                                 fprintf(f, ")");
2989                         } else
2990                                 type_print(type->function.return_type, f);
2991                 }
2992                 fprintf(f, "\n");
2993         }
2994
2995         static void function_free_type(struct type *t)
2996         {
2997                 free_exec(t->function.params);
2998         }
2999
3000         static struct type function_prototype = {
3001                 .size = sizeof(void*),
3002                 .align = sizeof(void*),
3003                 .free = function_free,
3004                 .compat = function_compat,
3005                 .check_args = function_check_args,
3006                 .print = function_print,
3007                 .print_type_decl = function_print_type_decl,
3008                 .free_type = function_free_type,
3009         };
3010
3011 ###### declare terminals
3012
3013         $TERM func
3014
3015 ###### Binode types
3016         List,
3017
3018 ###### Grammar
3019
3020         $*variable
3021         FuncName -> IDENTIFIER ${ {
3022                 struct variable *v = var_decl(c, $1.txt);
3023                 struct var *e = new_pos(var, $1);
3024                 e->var = v;
3025                 if (v) {
3026                         v->where_decl = e;
3027                         $0 = v;
3028                 } else {
3029                         v = var_ref(c, $1.txt);
3030                         e->var = v;
3031                         type_err(c, "error: function '%v' redeclared",
3032                                 e, NULL, 0, NULL);
3033                         type_err(c, "info: this is where '%v' was first declared",
3034                                 v->where_decl, NULL, 0, NULL);
3035                         free_exec(e);
3036                 }
3037         } }$
3038
3039         $*binode
3040         Args -> ArgsLine NEWLINE ${ $0 = $<AL; }$
3041         | Args ArgsLine NEWLINE ${ {
3042                 struct binode *b = $<AL;
3043                 struct binode **bp = &b;
3044                 while (*bp)
3045                         bp = (struct binode **)&(*bp)->left;
3046                 *bp = $<A;
3047                 $0 = b;
3048         } }$
3049
3050         ArgsLine -> ${ $0 = NULL; }$
3051         | Varlist ${ $0 = $<1; }$
3052         | Varlist ; ${ $0 = $<1; }$
3053
3054         Varlist -> Varlist ; ArgDecl ${
3055                 $0 = new(binode);
3056                 $0->op = List;
3057                 $0->left = $<Vl;
3058                 $0->right = $<AD;
3059         }$
3060         | ArgDecl ${
3061                 $0 = new(binode);
3062                 $0->op = List;
3063                 $0->left = NULL;
3064                 $0->right = $<AD;
3065         }$
3066
3067         $*var
3068         ArgDecl -> IDENTIFIER : FormalType ${ {
3069                 struct variable *v = var_decl(c, $1.txt);
3070                 $0 = new(var);
3071                 $0->var = v;
3072                 v->type = $<FT;
3073         } }$
3074
3075 ##### Function calls
3076
3077 A function call can appear either as an expression or as a statement.
3078 We use a new 'Funcall' binode type to link the function with a list of
3079 arguments, form with the 'List' nodes.
3080
3081 We have already seen the "Term" which is how a function call can appear
3082 in an expression.  To parse a function call into a statement we include
3083 it in the "SimpleStatement Grammar" which will be described later.
3084
3085 ###### Binode types
3086         Funcall,
3087
3088 ###### term grammar
3089         | Term ( ExpressionList ) ${ {
3090                 struct binode *b = new(binode);
3091                 b->op = Funcall;
3092                 b->left = $<T;
3093                 b->right = reorder_bilist($<EL);
3094                 $0 = b;
3095         } }$
3096         | Term ( ) ${ {
3097                 struct binode *b = new(binode);
3098                 b->op = Funcall;
3099                 b->left = $<T;
3100                 b->right = NULL;
3101                 $0 = b;
3102         } }$
3103
3104 ###### SimpleStatement Grammar
3105
3106         | Term ( ExpressionList ) ${ {
3107                 struct binode *b = new(binode);
3108                 b->op = Funcall;
3109                 b->left = $<T;
3110                 b->right = reorder_bilist($<EL);
3111                 $0 = b;
3112         } }$
3113
3114 ###### print binode cases
3115
3116         case Funcall:
3117                 do_indent(indent, "");
3118                 print_exec(b->left, -1, bracket);
3119                 printf("(");
3120                 for (b = cast(binode, b->right); b; b = cast(binode, b->right)) {
3121                         if (b->left) {
3122                                 printf(" ");
3123                                 print_exec(b->left, -1, bracket);
3124                                 if (b->right)
3125                                         printf(",");
3126                         }
3127                 }
3128                 printf(")");
3129                 if (indent >= 0)
3130                         printf("\n");
3131                 break;
3132
3133 ###### propagate binode cases
3134
3135         case Funcall: {
3136                 /* Every arg must match formal parameter, and result
3137                  * is return type of function
3138                  */
3139                 struct binode *args = cast(binode, b->right);
3140                 struct var *v = cast(var, b->left);
3141
3142                 if (!v->var->type || v->var->type->check_args == NULL) {
3143                         type_err(c, "error: attempt to call a non-function.",
3144                                  prog, NULL, 0, NULL);
3145                         return NULL;
3146                 }
3147                 v->var->type->check_args(c, ok, v->var->type, args);
3148                 return v->var->type->function.return_type;
3149         }
3150
3151 ###### interp binode cases
3152
3153         case Funcall: {
3154                 struct var *v = cast(var, b->left);
3155                 struct type *t = v->var->type;
3156                 void *oldlocal = c->local;
3157                 int old_size = c->local_size;
3158                 void *local = calloc(1, t->function.local_size);
3159                 struct value *fbody = var_value(c, v->var);
3160                 struct binode *arg = cast(binode, b->right);
3161                 struct binode *param = t->function.params;
3162
3163                 while (param) {
3164                         struct var *pv = cast(var, param->left);
3165                         struct type *vtype = NULL;
3166                         struct value val = interp_exec(c, arg->left, &vtype);
3167                         struct value *lval;
3168                         c->local = local; c->local_size = t->function.local_size;
3169                         lval = var_value(c, pv->var);
3170                         c->local = oldlocal; c->local_size = old_size;
3171                         memcpy(lval, &val, vtype->size);
3172                         param = cast(binode, param->right);
3173                         arg = cast(binode, arg->right);
3174                 }
3175                 c->local = local; c->local_size = t->function.local_size;
3176                 if (t->function.inline_result && dtype) {
3177                         _interp_exec(c, fbody->function, NULL, NULL);
3178                         memcpy(dest, local, dtype->size);
3179                         rvtype = ret.type = NULL;
3180                 } else
3181                         rv = interp_exec(c, fbody->function, &rvtype);
3182                 c->local = oldlocal; c->local_size = old_size;
3183                 free(local);
3184                 break;
3185         }
3186
3187 ## Complex executables: statements and expressions
3188
3189 Now that we have types and values and variables and most of the basic
3190 Terms which provide access to these, we can explore the more complex
3191 code that combine all of these to get useful work done.  Specifically
3192 statements and expressions.
3193
3194 Expressions are various combinations of Terms.  We will use operator
3195 precedence to ensure correct parsing.  The simplest Expression is just a
3196 Term - others will follow.
3197
3198 ###### Grammar
3199
3200         $*exec
3201         Expression -> Term ${ $0 = $<Term; }$
3202         ## expression grammar
3203
3204 ### Expressions: Conditional
3205
3206 Our first user of the `binode` will be conditional expressions, which
3207 is a bit odd as they actually have three components.  That will be
3208 handled by having 2 binodes for each expression.  The conditional
3209 expression is the lowest precedence operator which is why we define it
3210 first - to start the precedence list.
3211
3212 Conditional expressions are of the form "value `if` condition `else`
3213 other_value".  They associate to the right, so everything to the right
3214 of `else` is part of an else value, while only a higher-precedence to
3215 the left of `if` is the if values.  Between `if` and `else` there is no
3216 room for ambiguity, so a full conditional expression is allowed in
3217 there.
3218
3219 ###### Binode types
3220         CondExpr,
3221
3222 ###### declare terminals
3223
3224         $LEFT if $$ifelse
3225
3226 ###### expression grammar
3227
3228         | Expression if Expression else Expression $$ifelse ${ {
3229                 struct binode *b1 = new(binode);
3230                 struct binode *b2 = new(binode);
3231                 b1->op = CondExpr;
3232                 b1->left = $<3;
3233                 b1->right = b2;
3234                 b2->op = CondExpr;
3235                 b2->left = $<1;
3236                 b2->right = $<5;
3237                 $0 = b1;
3238         } }$
3239
3240 ###### print binode cases
3241
3242         case CondExpr:
3243                 b2 = cast(binode, b->right);
3244                 if (bracket) printf("(");
3245                 print_exec(b2->left, -1, bracket);
3246                 printf(" if ");
3247                 print_exec(b->left, -1, bracket);
3248                 printf(" else ");
3249                 print_exec(b2->right, -1, bracket);
3250                 if (bracket) printf(")");
3251                 break;
3252
3253 ###### propagate binode cases
3254
3255         case CondExpr: {
3256                 /* cond must be Tbool, others must match */
3257                 struct binode *b2 = cast(binode, b->right);
3258                 struct type *t2;
3259
3260                 propagate_types(b->left, c, ok, Tbool, 0);
3261                 t = propagate_types(b2->left, c, ok, type, Rnolabel);
3262                 t2 = propagate_types(b2->right, c, ok, type ?: t, Rnolabel);
3263                 return t ?: t2;
3264         }
3265
3266 ###### interp binode cases
3267
3268         case CondExpr: {
3269                 struct binode *b2 = cast(binode, b->right);
3270                 left = interp_exec(c, b->left, &ltype);
3271                 if (left.bool)
3272                         rv = interp_exec(c, b2->left, &rvtype); // UNTESTED
3273                 else
3274                         rv = interp_exec(c, b2->right, &rvtype);
3275                 }
3276                 break;
3277
3278 ### Expression list
3279
3280 We take a brief detour, now that we have expressions, to describe lists
3281 of expressions.  These will be needed for function parameters and
3282 possibly other situations.  They seem generic enough to introduce here
3283 to be used elsewhere.
3284
3285 And ExpressionList will use the `List` type of `binode`, building up at
3286 the end.  And place where they are used will probably call
3287 `reorder_bilist()` to get a more normal first/next arrangement.
3288
3289 ###### declare terminals
3290         $TERM ,
3291
3292 `List` execs have no implicit semantics, so they are never propagated or
3293 interpreted.  The can be printed as a comma separate list, which is how
3294 they are parsed.  Note they are also used for function formal parameter
3295 lists.  In that case a separate function is used to print them.
3296
3297 ###### print binode cases
3298         case List:
3299                 while (b) {
3300                         printf(" ");
3301                         print_exec(b->left, -1, bracket);
3302                         if (b->right)
3303                                 printf(",");
3304                         b = cast(binode, b->right);
3305                 }
3306                 break;
3307
3308 ###### propagate binode cases
3309         case List: abort(); // NOTEST
3310 ###### interp binode cases
3311         case List: abort(); // NOTEST
3312
3313 ###### Grammar
3314
3315         $*binode
3316         ExpressionList -> ExpressionList , Expression ${
3317                 $0 = new(binode);
3318                 $0->op = List;
3319                 $0->left = $<1;
3320                 $0->right = $<3;
3321         }$
3322         | Expression ${
3323                 $0 = new(binode);
3324                 $0->op = List;
3325                 $0->left = NULL;
3326                 $0->right = $<1;
3327         }$
3328
3329 ### Expressions: Boolean
3330
3331 The next class of expressions to use the `binode` will be Boolean
3332 expressions.  "`and then`" and "`or else`" are similar to `and` and `or`
3333 have same corresponding precendence.  The difference is that they don't
3334 evaluate the second expression if not necessary.
3335
3336 ###### Binode types
3337         And,
3338         AndThen,
3339         Or,
3340         OrElse,
3341         Not,
3342
3343 ###### declare terminals
3344         $LEFT or
3345         $LEFT and
3346         $LEFT not
3347
3348 ###### expression grammar
3349         | Expression or Expression ${ {
3350                 struct binode *b = new(binode);
3351                 b->op = Or;
3352                 b->left = $<1;
3353                 b->right = $<3;
3354                 $0 = b;
3355         } }$
3356         | Expression or else Expression ${ {
3357                 struct binode *b = new(binode);
3358                 b->op = OrElse;
3359                 b->left = $<1;
3360                 b->right = $<4;
3361                 $0 = b;
3362         } }$
3363
3364         | Expression and Expression ${ {
3365                 struct binode *b = new(binode);
3366                 b->op = And;
3367                 b->left = $<1;
3368                 b->right = $<3;
3369                 $0 = b;
3370         } }$
3371         | Expression and then Expression ${ {
3372                 struct binode *b = new(binode);
3373                 b->op = AndThen;
3374                 b->left = $<1;
3375                 b->right = $<4;
3376                 $0 = b;
3377         } }$
3378
3379         | not Expression ${ {
3380                 struct binode *b = new(binode);
3381                 b->op = Not;
3382                 b->right = $<2;
3383                 $0 = b;
3384         } }$
3385
3386 ###### print binode cases
3387         case And:
3388                 if (bracket) printf("(");
3389                 print_exec(b->left, -1, bracket);
3390                 printf(" and ");
3391                 print_exec(b->right, -1, bracket);
3392                 if (bracket) printf(")");
3393                 break;
3394         case AndThen:
3395                 if (bracket) printf("(");
3396                 print_exec(b->left, -1, bracket);
3397                 printf(" and then ");
3398                 print_exec(b->right, -1, bracket);
3399                 if (bracket) printf(")");
3400                 break;
3401         case Or:
3402                 if (bracket) printf("(");
3403                 print_exec(b->left, -1, bracket);
3404                 printf(" or ");
3405                 print_exec(b->right, -1, bracket);
3406                 if (bracket) printf(")");
3407                 break;
3408         case OrElse:
3409                 if (bracket) printf("(");
3410                 print_exec(b->left, -1, bracket);
3411                 printf(" or else ");
3412                 print_exec(b->right, -1, bracket);
3413                 if (bracket) printf(")");
3414                 break;
3415         case Not:
3416                 if (bracket) printf("(");
3417                 printf("not ");
3418                 print_exec(b->right, -1, bracket);
3419                 if (bracket) printf(")");
3420                 break;
3421
3422 ###### propagate binode cases
3423         case And:
3424         case AndThen:
3425         case Or:
3426         case OrElse:
3427         case Not:
3428                 /* both must be Tbool, result is Tbool */
3429                 propagate_types(b->left, c, ok, Tbool, 0);
3430                 propagate_types(b->right, c, ok, Tbool, 0);
3431                 if (type && type != Tbool)
3432                         type_err(c, "error: %1 operation found where %2 expected", prog,
3433                                    Tbool, 0, type);
3434                 return Tbool;
3435
3436 ###### interp binode cases
3437         case And:
3438                 rv = interp_exec(c, b->left, &rvtype);
3439                 right = interp_exec(c, b->right, &rtype);
3440                 rv.bool = rv.bool && right.bool;
3441                 break;
3442         case AndThen:
3443                 rv = interp_exec(c, b->left, &rvtype);
3444                 if (rv.bool)
3445                         rv = interp_exec(c, b->right, NULL);
3446                 break;
3447         case Or:
3448                 rv = interp_exec(c, b->left, &rvtype);
3449                 right = interp_exec(c, b->right, &rtype);
3450                 rv.bool = rv.bool || right.bool;
3451                 break;
3452         case OrElse:
3453                 rv = interp_exec(c, b->left, &rvtype);
3454                 if (!rv.bool)
3455                         rv = interp_exec(c, b->right, NULL);
3456                 break;
3457         case Not:
3458                 rv = interp_exec(c, b->right, &rvtype);
3459                 rv.bool = !rv.bool;
3460                 break;
3461
3462 ### Expressions: Comparison
3463
3464 Of slightly higher precedence that Boolean expressions are Comparisons.
3465 A comparison takes arguments of any comparable type, but the two types
3466 must be the same.
3467
3468 To simplify the parsing we introduce an `eop` which can record an
3469 expression operator, and the `CMPop` non-terminal will match one of them.
3470
3471 ###### ast
3472         struct eop {
3473                 enum Btype op;
3474         };
3475
3476 ###### ast functions
3477         static void free_eop(struct eop *e)
3478         {
3479                 if (e)
3480                         free(e);
3481         }
3482
3483 ###### Binode types
3484         Less,
3485         Gtr,
3486         LessEq,
3487         GtrEq,
3488         Eql,
3489         NEql,
3490
3491 ###### declare terminals
3492         $LEFT < > <= >= == != CMPop
3493
3494 ###### expression grammar
3495         | Expression CMPop Expression ${ {
3496                 struct binode *b = new(binode);
3497                 b->op = $2.op;
3498                 b->left = $<1;
3499                 b->right = $<3;
3500                 $0 = b;
3501         } }$
3502
3503 ###### Grammar
3504
3505         $eop
3506         CMPop ->  < ${ $0.op = Less; }$
3507         |         > ${ $0.op = Gtr; }$
3508         |         <= ${ $0.op = LessEq; }$
3509         |         >= ${ $0.op = GtrEq; }$
3510         |         == ${ $0.op = Eql; }$
3511         |         != ${ $0.op = NEql; }$
3512
3513 ###### print binode cases
3514
3515         case Less:
3516         case LessEq:
3517         case Gtr:
3518         case GtrEq:
3519         case Eql:
3520         case NEql:
3521                 if (bracket) printf("(");
3522                 print_exec(b->left, -1, bracket);
3523                 switch(b->op) {
3524                 case Less:   printf(" < "); break;
3525                 case LessEq: printf(" <= "); break;
3526                 case Gtr:    printf(" > "); break;
3527                 case GtrEq:  printf(" >= "); break;
3528                 case Eql:    printf(" == "); break;
3529                 case NEql:   printf(" != "); break;
3530                 default: abort();               // NOTEST
3531                 }
3532                 print_exec(b->right, -1, bracket);
3533                 if (bracket) printf(")");
3534                 break;
3535
3536 ###### propagate binode cases
3537         case Less:
3538         case LessEq:
3539         case Gtr:
3540         case GtrEq:
3541         case Eql:
3542         case NEql:
3543                 /* Both must match but not be labels, result is Tbool */
3544                 t = propagate_types(b->left, c, ok, NULL, Rnolabel);
3545                 if (t)
3546                         propagate_types(b->right, c, ok, t, 0);
3547                 else {
3548                         t = propagate_types(b->right, c, ok, NULL, Rnolabel);   // UNTESTED
3549                         if (t)  // UNTESTED
3550                                 t = propagate_types(b->left, c, ok, t, 0);      // UNTESTED
3551                 }
3552                 if (!type_compat(type, Tbool, 0))
3553                         type_err(c, "error: Comparison returns %1 but %2 expected", prog,
3554                                     Tbool, rules, type);
3555                 return Tbool;
3556
3557 ###### interp binode cases
3558         case Less:
3559         case LessEq:
3560         case Gtr:
3561         case GtrEq:
3562         case Eql:
3563         case NEql:
3564         {
3565                 int cmp;
3566                 left = interp_exec(c, b->left, &ltype);
3567                 right = interp_exec(c, b->right, &rtype);
3568                 cmp = value_cmp(ltype, rtype, &left, &right);
3569                 rvtype = Tbool;
3570                 switch (b->op) {
3571                 case Less:      rv.bool = cmp <  0; break;
3572                 case LessEq:    rv.bool = cmp <= 0; break;
3573                 case Gtr:       rv.bool = cmp >  0; break;
3574                 case GtrEq:     rv.bool = cmp >= 0; break;
3575                 case Eql:       rv.bool = cmp == 0; break;
3576                 case NEql:      rv.bool = cmp != 0; break;
3577                 default:        rv.bool = 0; break;     // NOTEST
3578                 }
3579                 break;
3580         }
3581
3582 ### Expressions: Arithmetic etc.
3583
3584 The remaining expressions with the highest precedence are arithmetic,
3585 string concatenation, and string conversion.  String concatenation
3586 (`++`) has the same precedence as multiplication and division, but lower
3587 than the uniary.
3588
3589 String conversion is a temporary feature until I get a better type
3590 system.  `$` is a prefix operator which expects a string and returns
3591 a number.
3592
3593 `+` and `-` are both infix and prefix operations (where they are
3594 absolute value and negation).  These have different operator names.
3595
3596 We also have a 'Bracket' operator which records where parentheses were
3597 found.  This makes it easy to reproduce these when printing.  Possibly I
3598 should only insert brackets were needed for precedence.  Putting
3599 parentheses around an expression converts it into a Term,
3600
3601 ###### Binode types
3602         Plus, Minus,
3603         Times, Divide, Rem,
3604         Concat,
3605         Absolute, Negate,
3606         StringConv,
3607         Bracket,
3608
3609 ###### declare terminals
3610         $LEFT + - Eop
3611         $LEFT * / % ++ Top
3612         $LEFT Uop $
3613         $TERM ( )
3614
3615 ###### expression grammar
3616         | Expression Eop Expression ${ {
3617                 struct binode *b = new(binode);
3618                 b->op = $2.op;
3619                 b->left = $<1;
3620                 b->right = $<3;
3621                 $0 = b;
3622         } }$
3623
3624         | Expression Top Expression ${ {
3625                 struct binode *b = new(binode);
3626                 b->op = $2.op;
3627                 b->left = $<1;
3628                 b->right = $<3;
3629                 $0 = b;
3630         } }$
3631
3632         | Uop Expression ${ {
3633                 struct binode *b = new(binode);
3634                 b->op = $1.op;
3635                 b->right = $<2;
3636                 $0 = b;
3637         } }$
3638
3639 ###### term grammar
3640
3641         | ( Expression ) ${ {
3642                 struct binode *b = new_pos(binode, $1);
3643                 b->op = Bracket;
3644                 b->right = $<2;
3645                 $0 = b;
3646         } }$
3647
3648 ###### Grammar
3649
3650         $eop
3651         Eop ->   + ${ $0.op = Plus; }$
3652         |        - ${ $0.op = Minus; }$
3653
3654         Uop ->   + ${ $0.op = Absolute; }$
3655         |        - ${ $0.op = Negate; }$
3656         |        $ ${ $0.op = StringConv; }$
3657
3658         Top ->   * ${ $0.op = Times; }$
3659         |        / ${ $0.op = Divide; }$
3660         |        % ${ $0.op = Rem; }$
3661         |        ++ ${ $0.op = Concat; }$
3662
3663 ###### print binode cases
3664         case Plus:
3665         case Minus:
3666         case Times:
3667         case Divide:
3668         case Concat:
3669         case Rem:
3670                 if (bracket) printf("(");
3671                 print_exec(b->left, indent, bracket);
3672                 switch(b->op) {
3673                 case Plus:   fputs(" + ", stdout); break;
3674                 case Minus:  fputs(" - ", stdout); break;
3675                 case Times:  fputs(" * ", stdout); break;
3676                 case Divide: fputs(" / ", stdout); break;
3677                 case Rem:    fputs(" % ", stdout); break;
3678                 case Concat: fputs(" ++ ", stdout); break;
3679                 default: abort();       // NOTEST
3680                 }                       // NOTEST
3681                 print_exec(b->right, indent, bracket);
3682                 if (bracket) printf(")");
3683                 break;
3684         case Absolute:
3685         case Negate:
3686         case StringConv:
3687                 if (bracket) printf("(");
3688                 switch (b->op) {
3689                 case Absolute:   fputs("+", stdout); break;
3690                 case Negate:     fputs("-", stdout); break;
3691                 case StringConv: fputs("$", stdout); break;
3692                 default: abort();       // NOTEST
3693                 }                       // NOTEST
3694                 print_exec(b->right, indent, bracket);
3695                 if (bracket) printf(")");
3696                 break;
3697         case Bracket:
3698                 printf("(");
3699                 print_exec(b->right, indent, bracket);
3700                 printf(")");
3701                 break;
3702
3703 ###### propagate binode cases
3704         case Plus:
3705         case Minus:
3706         case Times:
3707         case Rem:
3708         case Divide:
3709                 /* both must be numbers, result is Tnum */
3710         case Absolute:
3711         case Negate:
3712                 /* as propagate_types ignores a NULL,
3713                  * unary ops fit here too */
3714                 propagate_types(b->left, c, ok, Tnum, 0);
3715                 propagate_types(b->right, c, ok, Tnum, 0);
3716                 if (!type_compat(type, Tnum, 0))
3717                         type_err(c, "error: Arithmetic returns %1 but %2 expected", prog,
3718                                    Tnum, rules, type);
3719                 return Tnum;
3720
3721         case Concat:
3722                 /* both must be Tstr, result is Tstr */
3723                 propagate_types(b->left, c, ok, Tstr, 0);
3724                 propagate_types(b->right, c, ok, Tstr, 0);
3725                 if (!type_compat(type, Tstr, 0))
3726                         type_err(c, "error: Concat returns %1 but %2 expected", prog,
3727                                    Tstr, rules, type);
3728                 return Tstr;
3729
3730         case StringConv:
3731                 /* op must be string, result is number */
3732                 propagate_types(b->left, c, ok, Tstr, 0);
3733                 if (!type_compat(type, Tnum, 0))
3734                         type_err(c,     // UNTESTED
3735                           "error: Can only convert string to number, not %1",
3736                                 prog, type, 0, NULL);
3737                 return Tnum;
3738
3739         case Bracket:
3740                 return propagate_types(b->right, c, ok, type, 0);
3741
3742 ###### interp binode cases
3743
3744         case Plus:
3745                 rv = interp_exec(c, b->left, &rvtype);
3746                 right = interp_exec(c, b->right, &rtype);
3747                 mpq_add(rv.num, rv.num, right.num);
3748                 break;
3749         case Minus:
3750                 rv = interp_exec(c, b->left, &rvtype);
3751                 right = interp_exec(c, b->right, &rtype);
3752                 mpq_sub(rv.num, rv.num, right.num);
3753                 break;
3754         case Times:
3755                 rv = interp_exec(c, b->left, &rvtype);
3756                 right = interp_exec(c, b->right, &rtype);
3757                 mpq_mul(rv.num, rv.num, right.num);
3758                 break;
3759         case Divide:
3760                 rv = interp_exec(c, b->left, &rvtype);
3761                 right = interp_exec(c, b->right, &rtype);
3762                 mpq_div(rv.num, rv.num, right.num);
3763                 break;
3764         case Rem: {
3765                 mpz_t l, r, rem;
3766
3767                 left = interp_exec(c, b->left, &ltype);
3768                 right = interp_exec(c, b->right, &rtype);
3769                 mpz_init(l); mpz_init(r); mpz_init(rem);
3770                 mpz_tdiv_q(l, mpq_numref(left.num), mpq_denref(left.num));
3771                 mpz_tdiv_q(r, mpq_numref(right.num), mpq_denref(right.num));
3772                 mpz_tdiv_r(rem, l, r);
3773                 val_init(Tnum, &rv);
3774                 mpq_set_z(rv.num, rem);
3775                 mpz_clear(r); mpz_clear(l); mpz_clear(rem);
3776                 rvtype = ltype;
3777                 break;
3778         }
3779         case Negate:
3780                 rv = interp_exec(c, b->right, &rvtype);
3781                 mpq_neg(rv.num, rv.num);
3782                 break;
3783         case Absolute:
3784                 rv = interp_exec(c, b->right, &rvtype);
3785                 mpq_abs(rv.num, rv.num);
3786                 break;
3787         case Bracket:
3788                 rv = interp_exec(c, b->right, &rvtype);
3789                 break;
3790         case Concat:
3791                 left = interp_exec(c, b->left, &ltype);
3792                 right = interp_exec(c, b->right, &rtype);
3793                 rvtype = Tstr;
3794                 rv.str = text_join(left.str, right.str);
3795                 break;
3796         case StringConv:
3797                 right = interp_exec(c, b->right, &rvtype);
3798                 rtype = Tstr;
3799                 rvtype = Tnum;
3800
3801                 struct text tx = right.str;
3802                 char tail[3];
3803                 int neg = 0;
3804                 if (tx.txt[0] == '-') {
3805                         neg = 1;        // UNTESTED
3806                         tx.txt++;       // UNTESTED
3807                         tx.len--;       // UNTESTED
3808                 }
3809                 if (number_parse(rv.num, tail, tx) == 0)
3810                         mpq_init(rv.num);       // UNTESTED
3811                 else if (neg)
3812                         mpq_neg(rv.num, rv.num);        // UNTESTED
3813                 if (tail[0])
3814                         printf("Unsupported suffix: %.*s\n", tx.len, tx.txt);   // UNTESTED
3815
3816                 break;
3817
3818 ###### value functions
3819
3820         static struct text text_join(struct text a, struct text b)
3821         {
3822                 struct text rv;
3823                 rv.len = a.len + b.len;
3824                 rv.txt = malloc(rv.len);
3825                 memcpy(rv.txt, a.txt, a.len);
3826                 memcpy(rv.txt+a.len, b.txt, b.len);
3827                 return rv;
3828         }
3829
3830 ### Blocks, Statements, and Statement lists.
3831
3832 Now that we have expressions out of the way we need to turn to
3833 statements.  There are simple statements and more complex statements.
3834 Simple statements do not contain (syntactic) newlines, complex statements do.
3835
3836 Statements often come in sequences and we have corresponding simple
3837 statement lists and complex statement lists.
3838 The former comprise only simple statements separated by semicolons.
3839 The later comprise complex statements and simple statement lists.  They are
3840 separated by newlines.  Thus the semicolon is only used to separate
3841 simple statements on the one line.  This may be overly restrictive,
3842 but I'm not sure I ever want a complex statement to share a line with
3843 anything else.
3844
3845 Note that a simple statement list can still use multiple lines if
3846 subsequent lines are indented, so
3847
3848 ###### Example: wrapped simple statement list
3849
3850         a = b; c = d;
3851            e = f; print g
3852
3853 is a single simple statement list.  This might allow room for
3854 confusion, so I'm not set on it yet.
3855
3856 A simple statement list needs no extra syntax.  A complex statement
3857 list has two syntactic forms.  It can be enclosed in braces (much like
3858 C blocks), or it can be introduced by an indent and continue until an
3859 unindented newline (much like Python blocks).  With this extra syntax
3860 it is referred to as a block.
3861
3862 Note that a block does not have to include any newlines if it only
3863 contains simple statements.  So both of:
3864
3865         if condition: a=b; d=f
3866
3867         if condition { a=b; print f }
3868
3869 are valid.
3870
3871 In either case the list is constructed from a `binode` list with
3872 `Block` as the operator.  When parsing the list it is most convenient
3873 to append to the end, so a list is a list and a statement.  When using
3874 the list it is more convenient to consider a list to be a statement
3875 and a list.  So we need a function to re-order a list.
3876 `reorder_bilist` serves this purpose.
3877
3878 The only stand-alone statement we introduce at this stage is `pass`
3879 which does nothing and is represented as a `NULL` pointer in a `Block`
3880 list.  Other stand-alone statements will follow once the infrastructure
3881 is in-place.
3882
3883 As many statements will use binodes, we declare a binode pointer 'b' in
3884 the common header for all reductions to use.
3885
3886 ###### Parser: reduce
3887         struct binode *b;
3888
3889 ###### Binode types
3890         Block,
3891
3892 ###### Grammar
3893
3894         $TERM { } ;
3895
3896         $*binode
3897         Block -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3898         |        { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3899         |        SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3900         |        SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3901         |        IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
3902
3903         OpenBlock -> OpenScope { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3904         |        OpenScope { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3905         |        OpenScope SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3906         |        OpenScope SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3907         |        IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
3908
3909         UseBlock -> { OpenScope IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3910         |        { OpenScope SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3911         |        IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
3912
3913         ColonBlock -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3914         |        { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3915         |        : SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3916         |        : SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3917         |        : IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
3918
3919         Statementlist -> ComplexStatements ${ $0 = reorder_bilist($<CS); }$
3920
3921         ComplexStatements -> ComplexStatements ComplexStatement ${
3922                 if ($2 == NULL) {
3923                         $0 = $<1;
3924                 } else {
3925                         $0 = new(binode);
3926                         $0->op = Block;
3927                         $0->left = $<1;
3928                         $0->right = $<2;
3929                 }
3930         }$
3931         | ComplexStatement ${
3932                 if ($1 == NULL) {
3933                         $0 = NULL;
3934                 } else {
3935                         $0 = new(binode);
3936                         $0->op = Block;
3937                         $0->left = NULL;
3938                         $0->right = $<1;
3939                 }
3940         }$
3941
3942         $*exec
3943         ComplexStatement -> SimpleStatements Newlines ${
3944                 $0 = reorder_bilist($<SS);
3945         }$
3946         |  SimpleStatements ; Newlines ${
3947                 $0 = reorder_bilist($<SS);
3948         }$
3949         ## ComplexStatement Grammar
3950
3951         $*binode
3952         SimpleStatements -> SimpleStatements ; SimpleStatement ${
3953                 $0 = new(binode);
3954                 $0->op = Block;
3955                 $0->left = $<1;
3956                 $0->right = $<3;
3957         }$
3958         | SimpleStatement ${
3959                 $0 = new(binode);
3960                 $0->op = Block;
3961                 $0->left = NULL;
3962                 $0->right = $<1;
3963         }$
3964
3965         $TERM pass
3966         $*exec
3967         SimpleStatement -> pass ${ $0 = NULL; }$
3968         | ERROR ${ tok_err(c, "Syntax error in statement", &$1); }$
3969         ## SimpleStatement Grammar
3970
3971 ###### print binode cases
3972         case Block:
3973                 if (indent < 0) {
3974                         // simple statement
3975                         if (b->left == NULL)    // UNTESTED
3976                                 printf("pass"); // UNTESTED
3977                         else
3978                                 print_exec(b->left, indent, bracket);   // UNTESTED
3979                         if (b->right) { // UNTESTED
3980                                 printf("; ");   // UNTESTED
3981                                 print_exec(b->right, indent, bracket);  // UNTESTED
3982                         }
3983                 } else {
3984                         // block, one per line
3985                         if (b->left == NULL)
3986                                 do_indent(indent, "pass\n");
3987                         else
3988                                 print_exec(b->left, indent, bracket);
3989                         if (b->right)
3990                                 print_exec(b->right, indent, bracket);
3991                 }
3992                 break;
3993
3994 ###### propagate binode cases
3995         case Block:
3996         {
3997                 /* If any statement returns something other than Tnone
3998                  * or Tbool then all such must return same type.
3999                  * As each statement may be Tnone or something else,
4000                  * we must always pass NULL (unknown) down, otherwise an incorrect
4001                  * error might occur.  We never return Tnone unless it is
4002                  * passed in.
4003                  */
4004                 struct binode *e;
4005
4006                 for (e = b; e; e = cast(binode, e->right)) {
4007                         t = propagate_types(e->left, c, ok, NULL, rules);
4008                         if ((rules & Rboolok) && (t == Tbool || t == Tnone))
4009                                 t = NULL;
4010                         if (t == Tnone && e->right)
4011                                 /* Only the final statement *must* return a value
4012                                  * when not Rboolok
4013                                  */
4014                                 t = NULL;
4015                         if (t) {
4016                                 if (!type)
4017                                         type = t;
4018                                 else if (t != type)
4019                                         type_err(c, "error: expected %1%r, found %2",
4020                                                  e->left, type, rules, t);
4021                         }
4022                 }
4023                 return type;
4024         }
4025
4026 ###### interp binode cases
4027         case Block:
4028                 while (rvtype == Tnone &&
4029                        b) {
4030                         if (b->left)
4031                                 rv = interp_exec(c, b->left, &rvtype);
4032                         b = cast(binode, b->right);
4033                 }
4034                 break;
4035
4036 ### The Print statement
4037
4038 `print` is a simple statement that takes a comma-separated list of
4039 expressions and prints the values separated by spaces and terminated
4040 by a newline.  No control of formatting is possible.
4041
4042 `print` uses `ExpressionList` to collect the expressions and stores them
4043 on the left side of a `Print` binode unlessthere is a trailing comma
4044 when the list is stored on the `right` side and no trailing newline is
4045 printed.
4046
4047 ###### Binode types
4048         Print,
4049
4050 ##### declare terminals
4051         $TERM print
4052
4053 ###### SimpleStatement Grammar
4054
4055         | print ExpressionList ${
4056                 $0 = b = new(binode);
4057                 b->op = Print;
4058                 b->right = NULL;
4059                 b->left = reorder_bilist($<EL);
4060         }$
4061         | print ExpressionList , ${ {
4062                 $0 = b = new(binode);
4063                 b->op = Print;
4064                 b->right = reorder_bilist($<EL);
4065                 b->left = NULL;
4066         } }$
4067         | print ${
4068                 $0 = b = new(binode);
4069                 b->op = Print;
4070                 b->left = NULL;
4071                 b->right = NULL;
4072         }$
4073
4074 ###### print binode cases
4075
4076         case Print:
4077                 do_indent(indent, "print");
4078                 if (b->right) {
4079                         print_exec(b->right, -1, bracket);
4080                         printf(",");
4081                 } else
4082                         print_exec(b->left, -1, bracket);
4083                 if (indent >= 0)
4084                         printf("\n");
4085                 break;
4086
4087 ###### propagate binode cases
4088
4089         case Print:
4090                 /* don't care but all must be consistent */
4091                 if (b->left)
4092                         b = cast(binode, b->left);
4093                 else
4094                         b = cast(binode, b->right);
4095                 while (b) {
4096                         propagate_types(b->left, c, ok, NULL, Rnolabel);
4097                         b = cast(binode, b->right);
4098                 }
4099                 break;
4100
4101 ###### interp binode cases
4102
4103         case Print:
4104         {
4105                 struct binode *b2 = cast(binode, b->left);
4106                 if (!b2)
4107                         b2 = cast(binode, b->right);
4108                 for (; b2; b2 = cast(binode, b2->right)) {
4109                         left = interp_exec(c, b2->left, &ltype);
4110                         print_value(ltype, &left, stdout);
4111                         free_value(ltype, &left);
4112                         if (b2->right)
4113                                 putchar(' ');
4114                 }
4115                 if (b->right == NULL)
4116                         printf("\n");
4117                 ltype = Tnone;
4118                 break;
4119         }
4120
4121 ###### Assignment statement
4122
4123 An assignment will assign a value to a variable, providing it hasn't
4124 been declared as a constant.  The analysis phase ensures that the type
4125 will be correct so the interpreter just needs to perform the
4126 calculation.  There is a form of assignment which declares a new
4127 variable as well as assigning a value.  If a name is assigned before
4128 it is declared, and error will be raised as the name is created as
4129 `Tlabel` and it is illegal to assign to such names.
4130
4131 ###### Binode types
4132         Assign,
4133         Declare,
4134
4135 ###### declare terminals
4136         $TERM =
4137
4138 ###### SimpleStatement Grammar
4139         | Term = Expression ${
4140                 $0 = b= new(binode);
4141                 b->op = Assign;
4142                 b->left = $<1;
4143                 b->right = $<3;
4144         }$
4145         | VariableDecl = Expression ${
4146                 $0 = b= new(binode);
4147                 b->op = Declare;
4148                 b->left = $<1;
4149                 b->right =$<3;
4150         }$
4151
4152         | VariableDecl ${
4153                 if ($1->var->where_set == NULL) {
4154                         type_err(c,
4155                                  "Variable declared with no type or value: %v",
4156                                  $1, NULL, 0, NULL);
4157                         free_var($1);
4158                 } else {
4159                         $0 = b = new(binode);
4160                         b->op = Declare;
4161                         b->left = $<1;
4162                         b->right = NULL;
4163                 }
4164         }$
4165
4166 ###### print binode cases
4167
4168         case Assign:
4169                 do_indent(indent, "");
4170                 print_exec(b->left, indent, bracket);
4171                 printf(" = ");
4172                 print_exec(b->right, indent, bracket);
4173                 if (indent >= 0)
4174                         printf("\n");
4175                 break;
4176
4177         case Declare:
4178                 {
4179                 struct variable *v = cast(var, b->left)->var;
4180                 do_indent(indent, "");
4181                 print_exec(b->left, indent, bracket);
4182                 if (cast(var, b->left)->var->constant) {
4183                         printf("::");
4184                         if (v->explicit_type) {
4185                                 type_print(v->type, stdout);
4186                                 printf(" ");
4187                         }
4188                 } else {
4189                         printf(":");
4190                         if (v->explicit_type) {
4191                                 type_print(v->type, stdout);
4192                                 printf(" ");
4193                         }
4194                 }
4195                 if (b->right) {
4196                         printf("= ");
4197                         print_exec(b->right, indent, bracket);
4198                 }
4199                 if (indent >= 0)
4200                         printf("\n");
4201                 }
4202                 break;
4203
4204 ###### propagate binode cases
4205
4206         case Assign:
4207         case Declare:
4208                 /* Both must match and not be labels,
4209                  * Type must support 'dup',
4210                  * For Assign, left must not be constant.
4211                  * result is Tnone
4212                  */
4213                 t = propagate_types(b->left, c, ok, NULL,
4214                                     Rnolabel | (b->op == Assign ? Rnoconstant : 0));
4215                 if (!b->right)
4216                         return Tnone;
4217
4218                 if (t) {
4219                         if (propagate_types(b->right, c, ok, t, 0) != t)
4220                                 if (b->left->type == Xvar)
4221                                         type_err(c, "info: variable '%v' was set as %1 here.",
4222                                                  cast(var, b->left)->var->where_set, t, rules, NULL);
4223                 } else {
4224                         t = propagate_types(b->right, c, ok, NULL, Rnolabel);
4225                         if (t)
4226                                 propagate_types(b->left, c, ok, t,
4227                                                 (b->op == Assign ? Rnoconstant : 0));
4228                 }
4229                 if (t && t->dup == NULL && t->name.txt[0] != ' ') // HACK
4230                         type_err(c, "error: cannot assign value of type %1", b, t, 0, NULL);
4231                 return Tnone;
4232
4233                 break;
4234
4235 ###### interp binode cases
4236
4237         case Assign:
4238                 lleft = linterp_exec(c, b->left, &ltype);
4239                 if (lleft)
4240                         dinterp_exec(c, b->right, lleft, ltype, 1);
4241                 ltype = Tnone;
4242                 break;
4243
4244         case Declare:
4245         {
4246                 struct variable *v = cast(var, b->left)->var;
4247                 struct value *val;
4248                 v = v->merged;
4249                 val = var_value(c, v);
4250                 if (v->type->prepare_type)
4251                         v->type->prepare_type(c, v->type, 0);
4252                 if (b->right)
4253                         dinterp_exec(c, b->right, val, v->type, 0);
4254                 else
4255                         val_init(v->type, val);
4256                 break;
4257         }
4258
4259 ### The `use` statement
4260
4261 The `use` statement is the last "simple" statement.  It is needed when a
4262 statement block can return a value.  This includes the body of a
4263 function which has a return type, and the "condition" code blocks in
4264 `if`, `while`, and `switch` statements.
4265
4266 ###### Binode types
4267         Use,
4268
4269 ###### declare terminals
4270         $TERM use
4271
4272 ###### SimpleStatement Grammar
4273         | use Expression ${
4274                 $0 = b = new_pos(binode, $1);
4275                 b->op = Use;
4276                 b->right = $<2;
4277                 if (b->right->type == Xvar) {
4278                         struct var *v = cast(var, b->right);
4279                         if (v->var->type == Tnone) {
4280                                 /* Convert this to a label */
4281                                 struct value *val;
4282
4283                                 v->var->type = Tlabel;
4284                                 val = global_alloc(c, Tlabel, v->var, NULL);
4285                                 val->label = val;
4286                         }
4287                 }
4288         }$
4289
4290 ###### print binode cases
4291
4292         case Use:
4293                 do_indent(indent, "use ");
4294                 print_exec(b->right, -1, bracket);
4295                 if (indent >= 0)
4296                         printf("\n");
4297                 break;
4298
4299 ###### propagate binode cases
4300
4301         case Use:
4302                 /* result matches value */
4303                 return propagate_types(b->right, c, ok, type, 0);
4304
4305 ###### interp binode cases
4306
4307         case Use:
4308                 rv = interp_exec(c, b->right, &rvtype);
4309                 break;
4310
4311 ### The Conditional Statement
4312
4313 This is the biggy and currently the only complex statement.  This
4314 subsumes `if`, `while`, `do/while`, `switch`, and some parts of `for`.
4315 It is comprised of a number of parts, all of which are optional though
4316 set combinations apply.  Each part is (usually) a key word (`then` is
4317 sometimes optional) followed by either an expression or a code block,
4318 except the `casepart` which is a "key word and an expression" followed
4319 by a code block.  The code-block option is valid for all parts and,
4320 where an expression is also allowed, the code block can use the `use`
4321 statement to report a value.  If the code block does not report a value
4322 the effect is similar to reporting `True`.
4323
4324 The `else` and `case` parts, as well as `then` when combined with
4325 `if`, can contain a `use` statement which will apply to some
4326 containing conditional statement. `for` parts, `do` parts and `then`
4327 parts used with `for` can never contain a `use`, except in some
4328 subordinate conditional statement.
4329
4330 If there is a `forpart`, it is executed first, only once.
4331 If there is a `dopart`, then it is executed repeatedly providing
4332 always that the `condpart` or `cond`, if present, does not return a non-True
4333 value.  `condpart` can fail to return any value if it simply executes
4334 to completion.  This is treated the same as returning `True`.
4335
4336 If there is a `thenpart` it will be executed whenever the `condpart`
4337 or `cond` returns True (or does not return any value), but this will happen
4338 *after* `dopart` (when present).
4339
4340 If `elsepart` is present it will be executed at most once when the
4341 condition returns `False` or some value that isn't `True` and isn't
4342 matched by any `casepart`.  If there are any `casepart`s, they will be
4343 executed when the condition returns a matching value.
4344
4345 The particular sorts of values allowed in case parts has not yet been
4346 determined in the language design, so nothing is prohibited.
4347
4348 The various blocks in this complex statement potentially provide scope
4349 for variables as described earlier.  Each such block must include the
4350 "OpenScope" nonterminal before parsing the block, and must call
4351 `var_block_close()` when closing the block.
4352
4353 The code following "`if`", "`switch`" and "`for`" does not get its own
4354 scope, but is in a scope covering the whole statement, so names
4355 declared there cannot be redeclared elsewhere.  Similarly the
4356 condition following "`while`" is in a scope the covers the body
4357 ("`do`" part) of the loop, and which does not allow conditional scope
4358 extension.  Code following "`then`" (both looping and non-looping),
4359 "`else`" and "`case`" each get their own local scope.
4360
4361 The type requirements on the code block in a `whilepart` are quite
4362 unusal.  It is allowed to return a value of some identifiable type, in
4363 which case the loop aborts and an appropriate `casepart` is run, or it
4364 can return a Boolean, in which case the loop either continues to the
4365 `dopart` (on `True`) or aborts and runs the `elsepart` (on `False`).
4366 This is different both from the `ifpart` code block which is expected to
4367 return a Boolean, or the `switchpart` code block which is expected to
4368 return the same type as the casepart values.  The correct analysis of
4369 the type of the `whilepart` code block is the reason for the
4370 `Rboolok` flag which is passed to `propagate_types()`.
4371
4372 The `cond_statement` cannot fit into a `binode` so a new `exec` is
4373 defined.  As there are two scopes which cover multiple parts - one for
4374 the whole statement and one for "while" and "do" - and as we will use
4375 the 'struct exec' to track scopes, we actually need two new types of
4376 exec.  One is a `binode` for the looping part, the rest is the
4377 `cond_statement`.  The `cond_statement` will use an auxilliary `struct
4378 casepart` to track a list of case parts.
4379
4380 ###### Binode types
4381         Loop
4382
4383 ###### exec type
4384         Xcond_statement,
4385
4386 ###### ast
4387         struct casepart {
4388                 struct exec *value;
4389                 struct exec *action;
4390                 struct casepart *next;
4391         };
4392         struct cond_statement {
4393                 struct exec;
4394                 struct exec *forpart, *condpart, *thenpart, *elsepart;
4395                 struct binode *looppart;
4396                 struct casepart *casepart;
4397         };
4398
4399 ###### ast functions
4400
4401         static void free_casepart(struct casepart *cp)
4402         {
4403                 while (cp) {
4404                         struct casepart *t;
4405                         free_exec(cp->value);
4406                         free_exec(cp->action);
4407                         t = cp->next;
4408                         free(cp);
4409                         cp = t;
4410                 }
4411         }
4412
4413         static void free_cond_statement(struct cond_statement *s)
4414         {
4415                 if (!s)
4416                         return;
4417                 free_exec(s->forpart);
4418                 free_exec(s->condpart);
4419                 free_exec(s->looppart);
4420                 free_exec(s->thenpart);
4421                 free_exec(s->elsepart);
4422                 free_casepart(s->casepart);
4423                 free(s);
4424         }
4425
4426 ###### free exec cases
4427         case Xcond_statement: free_cond_statement(cast(cond_statement, e)); break;
4428
4429 ###### ComplexStatement Grammar
4430         | CondStatement ${ $0 = $<1; }$
4431
4432 ###### declare terminals
4433         $TERM for then while do
4434         $TERM else
4435         $TERM switch case
4436
4437 ###### Grammar
4438
4439         $*cond_statement
4440         // A CondStatement must end with EOL, as does CondSuffix and
4441         // IfSuffix.
4442         // ForPart, ThenPart, SwitchPart, CasePart are non-empty and
4443         // may or may not end with EOL
4444         // WhilePart and IfPart include an appropriate Suffix
4445
4446         // ForPart, SwitchPart, and IfPart open scopes, o we have to close
4447         // them.  WhilePart opens and closes its own scope.
4448         CondStatement -> ForPart OptNL ThenPart OptNL WhilePart CondSuffix ${
4449                 $0 = $<CS;
4450                 $0->forpart = $<FP;
4451                 $0->thenpart = $<TP;
4452                 $0->looppart = $<WP;
4453                 var_block_close(c, CloseSequential, $0);
4454         }$
4455         | ForPart OptNL WhilePart CondSuffix ${
4456                 $0 = $<CS;
4457                 $0->forpart = $<FP;
4458                 $0->looppart = $<WP;
4459                 var_block_close(c, CloseSequential, $0);
4460         }$
4461         | WhilePart CondSuffix ${
4462                 $0 = $<CS;
4463                 $0->looppart = $<WP;
4464         }$
4465         | SwitchPart OptNL CasePart CondSuffix ${
4466                 $0 = $<CS;
4467                 $0->condpart = $<SP;
4468                 $CP->next = $0->casepart;
4469                 $0->casepart = $<CP;
4470                 var_block_close(c, CloseSequential, $0);
4471         }$
4472         | SwitchPart : IN OptNL CasePart CondSuffix OUT Newlines ${
4473                 $0 = $<CS;
4474                 $0->condpart = $<SP;
4475                 $CP->next = $0->casepart;
4476                 $0->casepart = $<CP;
4477                 var_block_close(c, CloseSequential, $0);
4478         }$
4479         | IfPart IfSuffix ${
4480                 $0 = $<IS;
4481                 $0->condpart = $IP.condpart; $IP.condpart = NULL;
4482                 $0->thenpart = $IP.thenpart; $IP.thenpart = NULL;
4483                 // This is where we close an "if" statement
4484                 var_block_close(c, CloseSequential, $0);
4485         }$
4486
4487         CondSuffix -> IfSuffix ${
4488                 $0 = $<1;
4489         }$
4490         | Newlines CasePart CondSuffix ${
4491                 $0 = $<CS;
4492                 $CP->next = $0->casepart;
4493                 $0->casepart = $<CP;
4494         }$
4495         | CasePart CondSuffix ${
4496                 $0 = $<CS;
4497                 $CP->next = $0->casepart;
4498                 $0->casepart = $<CP;
4499         }$
4500
4501         IfSuffix -> Newlines ${ $0 = new(cond_statement); }$
4502         | Newlines ElsePart ${ $0 = $<EP; }$
4503         | ElsePart ${$0 = $<EP; }$
4504
4505         ElsePart -> else OpenBlock Newlines ${
4506                 $0 = new(cond_statement);
4507                 $0->elsepart = $<OB;
4508                 var_block_close(c, CloseElse, $0->elsepart);
4509         }$
4510         | else OpenScope CondStatement ${
4511                 $0 = new(cond_statement);
4512                 $0->elsepart = $<CS;
4513                 var_block_close(c, CloseElse, $0->elsepart);
4514         }$
4515
4516         $*casepart
4517         CasePart -> case Expression OpenScope ColonBlock ${
4518                 $0 = calloc(1,sizeof(struct casepart));
4519                 $0->value = $<Ex;
4520                 $0->action = $<Bl;
4521                 var_block_close(c, CloseParallel, $0->action);
4522         }$
4523
4524         $*exec
4525         // These scopes are closed in CondStatement
4526         ForPart -> for OpenBlock ${
4527                 $0 = $<Bl;
4528         }$
4529
4530         ThenPart -> then OpenBlock ${
4531                 $0 = $<OB;
4532                 var_block_close(c, CloseSequential, $0);
4533         }$
4534
4535         $*binode
4536         // This scope is closed in CondStatement
4537         WhilePart -> while UseBlock OptNL do OpenBlock ${
4538                 $0 = new(binode);
4539                 $0->op = Loop;
4540                 $0->left = $<UB;
4541                 $0->right = $<OB;
4542                 var_block_close(c, CloseSequential, $0->right);
4543                 var_block_close(c, CloseSequential, $0);
4544         }$
4545         | while OpenScope Expression OpenScope ColonBlock ${
4546                 $0 = new(binode);
4547                 $0->op = Loop;
4548                 $0->left = $<Exp;
4549                 $0->right = $<CB;
4550                 var_block_close(c, CloseSequential, $0->right);
4551                 var_block_close(c, CloseSequential, $0);
4552         }$
4553
4554         $cond_statement
4555         IfPart -> if UseBlock OptNL then OpenBlock ${
4556                 $0.condpart = $<UB;
4557                 $0.thenpart = $<OB;
4558                 var_block_close(c, CloseParallel, $0.thenpart);
4559         }$
4560         | if OpenScope Expression OpenScope ColonBlock ${
4561                 $0.condpart = $<Ex;
4562                 $0.thenpart = $<CB;
4563                 var_block_close(c, CloseParallel, $0.thenpart);
4564         }$
4565         | if OpenScope Expression OpenScope OptNL then Block ${
4566                 $0.condpart = $<Ex;
4567                 $0.thenpart = $<Bl;
4568                 var_block_close(c, CloseParallel, $0.thenpart);
4569         }$
4570
4571         $*exec
4572         // This scope is closed in CondStatement
4573         SwitchPart -> switch OpenScope Expression ${
4574                 $0 = $<Ex;
4575         }$
4576         | switch UseBlock ${
4577                 $0 = $<Bl;
4578         }$
4579
4580 ###### print binode cases
4581         case Loop:
4582                 if (b->left && b->left->type == Xbinode &&
4583                     cast(binode, b->left)->op == Block) {
4584                         if (bracket)
4585                                 do_indent(indent, "while {\n");
4586                         else
4587                                 do_indent(indent, "while\n");
4588                         print_exec(b->left, indent+1, bracket);
4589                         if (bracket)
4590                                 do_indent(indent, "} do {\n");
4591                         else
4592                                 do_indent(indent, "do\n");
4593                         print_exec(b->right, indent+1, bracket);
4594                         if (bracket)
4595                                 do_indent(indent, "}\n");
4596                 } else {
4597                         do_indent(indent, "while ");
4598                         print_exec(b->left, 0, bracket);
4599                         if (bracket)
4600                                 printf(" {\n");
4601                         else
4602                                 printf(":\n");
4603                         print_exec(b->right, indent+1, bracket);
4604                         if (bracket)
4605                                 do_indent(indent, "}\n");
4606                 }
4607                 break;
4608
4609 ###### print exec cases
4610
4611         case Xcond_statement:
4612         {
4613                 struct cond_statement *cs = cast(cond_statement, e);
4614                 struct casepart *cp;
4615                 if (cs->forpart) {
4616                         do_indent(indent, "for");
4617                         if (bracket) printf(" {\n"); else printf("\n");
4618                         print_exec(cs->forpart, indent+1, bracket);
4619                         if (cs->thenpart) {
4620                                 if (bracket)
4621                                         do_indent(indent, "} then {\n");
4622                                 else
4623                                         do_indent(indent, "then\n");
4624                                 print_exec(cs->thenpart, indent+1, bracket);
4625                         }
4626                         if (bracket) do_indent(indent, "}\n");
4627                 }
4628                 if (cs->looppart) {
4629                         print_exec(cs->looppart, indent, bracket);
4630                 } else {
4631                         // a condition
4632                         if (cs->casepart)
4633                                 do_indent(indent, "switch");
4634                         else
4635                                 do_indent(indent, "if");
4636                         if (cs->condpart && cs->condpart->type == Xbinode &&
4637                             cast(binode, cs->condpart)->op == Block) {
4638                                 if (bracket)
4639                                         printf(" {\n");
4640                                 else
4641                                         printf("\n");
4642                                 print_exec(cs->condpart, indent+1, bracket);
4643                                 if (bracket)
4644                                         do_indent(indent, "}\n");
4645                                 if (cs->thenpart) {
4646                                         do_indent(indent, "then\n");
4647                                         print_exec(cs->thenpart, indent+1, bracket);
4648                                 }
4649                         } else {
4650                                 printf(" ");
4651                                 print_exec(cs->condpart, 0, bracket);
4652                                 if (cs->thenpart) {
4653                                         if (bracket)
4654                                                 printf(" {\n");
4655                                         else
4656                                                 printf(":\n");
4657                                         print_exec(cs->thenpart, indent+1, bracket);
4658                                         if (bracket)
4659                                                 do_indent(indent, "}\n");
4660                                 } else
4661                                         printf("\n");
4662                         }
4663                 }
4664                 for (cp = cs->casepart; cp; cp = cp->next) {
4665                         do_indent(indent, "case ");
4666                         print_exec(cp->value, -1, 0);
4667                         if (bracket)
4668                                 printf(" {\n");
4669                         else
4670                                 printf(":\n");
4671                         print_exec(cp->action, indent+1, bracket);
4672                         if (bracket)
4673                                 do_indent(indent, "}\n");
4674                 }
4675                 if (cs->elsepart) {
4676                         do_indent(indent, "else");
4677                         if (bracket)
4678                                 printf(" {\n");
4679                         else
4680                                 printf("\n");
4681                         print_exec(cs->elsepart, indent+1, bracket);
4682                         if (bracket)
4683                                 do_indent(indent, "}\n");
4684                 }
4685                 break;
4686         }
4687
4688 ###### propagate binode cases
4689         case Loop:
4690                 t = propagate_types(b->right, c, ok, Tnone, 0);
4691                 if (!type_compat(Tnone, t, 0))
4692                         *ok = 0;        // UNTESTED
4693                 return propagate_types(b->left, c, ok, type, rules);
4694
4695 ###### propagate exec cases
4696         case Xcond_statement:
4697         {
4698                 // forpart and looppart->right must return Tnone
4699                 // thenpart must return Tnone if there is a loopart,
4700                 // otherwise it is like elsepart.
4701                 // condpart must:
4702                 //    be bool if there is no casepart
4703                 //    match casepart->values if there is a switchpart
4704                 //    either be bool or match casepart->value if there
4705                 //             is a whilepart
4706                 // elsepart and casepart->action must match the return type
4707                 //   expected of this statement.
4708                 struct cond_statement *cs = cast(cond_statement, prog);
4709                 struct casepart *cp;
4710
4711                 t = propagate_types(cs->forpart, c, ok, Tnone, 0);
4712                 if (!type_compat(Tnone, t, 0))
4713                         *ok = 0;        // UNTESTED
4714
4715                 if (cs->looppart) {
4716                         t = propagate_types(cs->thenpart, c, ok, Tnone, 0);
4717                         if (!type_compat(Tnone, t, 0))
4718                                 *ok = 0;        // UNTESTED
4719                 }
4720                 if (cs->casepart == NULL) {
4721                         propagate_types(cs->condpart, c, ok, Tbool, 0);
4722                         propagate_types(cs->looppart, c, ok, Tbool, 0);
4723                 } else {
4724                         /* Condpart must match case values, with bool permitted */
4725                         t = NULL;
4726                         for (cp = cs->casepart;
4727                              cp && !t; cp = cp->next)
4728                                 t = propagate_types(cp->value, c, ok, NULL, 0);
4729                         if (!t && cs->condpart)
4730                                 t = propagate_types(cs->condpart, c, ok, NULL, Rboolok);        // UNTESTED
4731                         if (!t && cs->looppart)
4732                                 t = propagate_types(cs->looppart, c, ok, NULL, Rboolok);        // UNTESTED
4733                         // Now we have a type (I hope) push it down
4734                         if (t) {
4735                                 for (cp = cs->casepart; cp; cp = cp->next)
4736                                         propagate_types(cp->value, c, ok, t, 0);
4737                                 propagate_types(cs->condpart, c, ok, t, Rboolok);
4738                                 propagate_types(cs->looppart, c, ok, t, Rboolok);
4739                         }
4740                 }
4741                 // (if)then, else, and case parts must return expected type.
4742                 if (!cs->looppart && !type)
4743                         type = propagate_types(cs->thenpart, c, ok, NULL, rules);
4744                 if (!type)
4745                         type = propagate_types(cs->elsepart, c, ok, NULL, rules);
4746                 for (cp = cs->casepart;
4747                      cp && !type;
4748                      cp = cp->next)     // UNTESTED
4749                         type = propagate_types(cp->action, c, ok, NULL, rules); // UNTESTED
4750                 if (type) {
4751                         if (!cs->looppart)
4752                                 propagate_types(cs->thenpart, c, ok, type, rules);
4753                         propagate_types(cs->elsepart, c, ok, type, rules);
4754                         for (cp = cs->casepart; cp ; cp = cp->next)
4755                                 propagate_types(cp->action, c, ok, type, rules);
4756                         return type;
4757                 } else
4758                         return NULL;
4759         }
4760
4761 ###### interp binode cases
4762         case Loop:
4763                 // This just performs one iterration of the loop
4764                 rv = interp_exec(c, b->left, &rvtype);
4765                 if (rvtype == Tnone ||
4766                     (rvtype == Tbool && rv.bool != 0))
4767                         // rvtype is Tnone or Tbool, doesn't need to be freed
4768                         interp_exec(c, b->right, NULL);
4769                 break;
4770
4771 ###### interp exec cases
4772         case Xcond_statement:
4773         {
4774                 struct value v, cnd;
4775                 struct type *vtype, *cndtype;
4776                 struct casepart *cp;
4777                 struct cond_statement *cs = cast(cond_statement, e);
4778
4779                 if (cs->forpart)
4780                         interp_exec(c, cs->forpart, NULL);
4781                 if (cs->looppart) {
4782                         while ((cnd = interp_exec(c, cs->looppart, &cndtype)),
4783                                cndtype == Tnone || (cndtype == Tbool && cnd.bool != 0))
4784                                 interp_exec(c, cs->thenpart, NULL);
4785                 } else {
4786                         cnd = interp_exec(c, cs->condpart, &cndtype);
4787                         if ((cndtype == Tnone ||
4788                             (cndtype == Tbool && cnd.bool != 0))) {
4789                                 // cnd is Tnone or Tbool, doesn't need to be freed
4790                                 rv = interp_exec(c, cs->thenpart, &rvtype);
4791                                 // skip else (and cases)
4792                                 goto Xcond_done;
4793                         }
4794                 }
4795                 for (cp = cs->casepart; cp; cp = cp->next) {
4796                         v = interp_exec(c, cp->value, &vtype);
4797                         if (value_cmp(cndtype, vtype, &v, &cnd) == 0) {
4798                                 free_value(vtype, &v);
4799                                 free_value(cndtype, &cnd);
4800                                 rv = interp_exec(c, cp->action, &rvtype);
4801                                 goto Xcond_done;
4802                         }
4803                         free_value(vtype, &v);
4804                 }
4805                 free_value(cndtype, &cnd);
4806                 if (cs->elsepart)
4807                         rv = interp_exec(c, cs->elsepart, &rvtype);
4808                 else
4809                         rvtype = Tnone;
4810         Xcond_done:
4811                 break;
4812         }
4813
4814 ### Top level structure
4815
4816 All the language elements so far can be used in various places.  Now
4817 it is time to clarify what those places are.
4818
4819 At the top level of a file there will be a number of declarations.
4820 Many of the things that can be declared haven't been described yet,
4821 such as functions, procedures, imports, and probably more.
4822 For now there are two sorts of things that can appear at the top
4823 level.  They are predefined constants, `struct` types, and the `main`
4824 function.  While the syntax will allow the `main` function to appear
4825 multiple times, that will trigger an error if it is actually attempted.
4826
4827 The various declarations do not return anything.  They store the
4828 various declarations in the parse context.
4829
4830 ###### Parser: grammar
4831
4832         $void
4833         Ocean -> OptNL DeclarationList
4834
4835         ## declare terminals
4836
4837         OptNL ->
4838         | OptNL NEWLINE
4839
4840         Newlines -> NEWLINE
4841         | Newlines NEWLINE
4842
4843         DeclarationList -> Declaration
4844         | DeclarationList Declaration
4845
4846         Declaration -> ERROR Newlines ${
4847                 tok_err(c,      // UNTESTED
4848                         "error: unhandled parse error", &$1);
4849         }$
4850         | DeclareConstant
4851         | DeclareFunction
4852         | DeclareStruct
4853
4854         ## top level grammar
4855
4856         ## Grammar
4857
4858 ### The `const` section
4859
4860 As well as being defined in with the code that uses them, constants
4861 can be declared at the top level.  These have full-file scope, so they
4862 are always `InScope`.  The value of a top level constant can be given
4863 as an expression, and this is evaluated immediately rather than in the
4864 later interpretation stage.  Once we add functions to the language, we
4865 will need rules concern which, if any, can be used to define a top
4866 level constant.
4867
4868 Constants are defined in a section that starts with the reserved word
4869 `const` and then has a block with a list of assignment statements.
4870 For syntactic consistency, these must use the double-colon syntax to
4871 make it clear that they are constants.  Type can also be given: if
4872 not, the type will be determined during analysis, as with other
4873 constants.
4874
4875 As the types constants are inserted at the head of a list, printing
4876 them in the same order that they were read is not straight forward.
4877 We take a quadratic approach here and count the number of constants
4878 (variables of depth 0), then count down from there, each time
4879 searching through for the Nth constant for decreasing N.
4880
4881 ###### top level grammar
4882
4883         $TERM const
4884
4885         DeclareConstant -> const { IN OptNL ConstList OUT OptNL } Newlines
4886         | const { SimpleConstList } Newlines
4887         | const IN OptNL ConstList OUT Newlines
4888         | const SimpleConstList Newlines
4889
4890         ConstList -> ConstList SimpleConstLine
4891         | SimpleConstLine
4892
4893         SimpleConstList -> SimpleConstList ; Const
4894         | Const
4895         | SimpleConstList ;
4896
4897         SimpleConstLine -> SimpleConstList Newlines
4898         | ERROR Newlines ${ tok_err(c, "Syntax error in constant", &$1); }$
4899
4900         $*type
4901         CType -> Type   ${ $0 = $<1; }$
4902         |               ${ $0 = NULL; }$
4903
4904         $void
4905         Const -> IDENTIFIER :: CType = Expression ${ {
4906                 int ok;
4907                 struct variable *v;
4908
4909                 v = var_decl(c, $1.txt);
4910                 if (v) {
4911                         struct var *var = new_pos(var, $1);
4912                         v->where_decl = var;
4913                         v->where_set = var;
4914                         var->var = v;
4915                         v->constant = 1;
4916                         v->global = 1;
4917                 } else {
4918                         struct variable *vorig = var_ref(c, $1.txt);
4919                         tok_err(c, "error: name already declared", &$1);
4920                         type_err(c, "info: this is where '%v' was first declared",
4921                                  vorig->where_decl, NULL, 0, NULL);
4922                 }
4923                 do {
4924                         ok = 1;
4925                         propagate_types($5, c, &ok, $3, 0);
4926                 } while (ok == 2);
4927                 if (!ok)
4928                         c->parse_error = 1;
4929                 else if (v) {
4930                         struct value res = interp_exec(c, $5, &v->type);
4931                         global_alloc(c, v->type, v, &res);
4932                 }
4933         } }$
4934
4935 ###### print const decls
4936         {
4937                 struct variable *v;
4938                 int target = -1;
4939
4940                 while (target != 0) {
4941                         int i = 0;
4942                         for (v = context.in_scope; v; v=v->in_scope)
4943                                 if (v->depth == 0 && v->constant) {
4944                                         i += 1;
4945                                         if (i == target)
4946                                                 break;
4947                                 }
4948
4949                         if (target == -1) {
4950                                 if (i)
4951                                         printf("const\n");
4952                                 target = i;
4953                         } else {
4954                                 struct value *val = var_value(&context, v);
4955                                 printf("    %.*s :: ", v->name->name.len, v->name->name.txt);
4956                                 type_print(v->type, stdout);
4957                                 printf(" = ");
4958                                 if (v->type == Tstr)
4959                                         printf("\"");
4960                                 print_value(v->type, val, stdout);
4961                                 if (v->type == Tstr)
4962                                         printf("\"");
4963                                 printf("\n");
4964                                 target -= 1;
4965                         }
4966                 }
4967         }
4968
4969 ### Function declarations
4970
4971 The code in an Ocean program is all stored in function declarations.
4972 One of the functions must be named `main` and it must accept an array of
4973 strings as a parameter - the command line arguments.
4974
4975 As this is the top level, several things are handled a bit differently.
4976 The function is not interpreted by `interp_exec` as that isn't passed
4977 the argument list which the program requires.  Similarly type analysis
4978 is a bit more interesting at this level.
4979
4980 ###### ast functions
4981
4982         static struct type *handle_results(struct parse_context *c,
4983                                            struct binode *results)
4984         {
4985                 /* Create a 'struct' type from the results list, which
4986                  * is a list for 'struct var'
4987                  */
4988                 struct type *t = add_anon_type(c, &structure_prototype,
4989                                                " function result");
4990                 int cnt = 0;
4991                 struct binode *b;
4992
4993                 for (b = results; b; b = cast(binode, b->right))
4994                         cnt += 1;
4995                 t->structure.nfields = cnt;
4996                 t->structure.fields = calloc(cnt, sizeof(struct field));
4997                 cnt = 0;
4998                 for (b = results; b; b = cast(binode, b->right)) {
4999                         struct var *v = cast(var, b->left);
5000                         struct field *f = &t->structure.fields[cnt++];
5001                         int a = v->var->type->align;
5002                         f->name = v->var->name->name;
5003                         f->type = v->var->type;
5004                         f->init = NULL;
5005                         f->offset = t->size;
5006                         v->var->frame_pos = f->offset;
5007                         t->size += ((f->type->size - 1) | (a-1)) + 1;
5008                         if (a > t->align)
5009                                 t->align = a;
5010                         variable_unlink_exec(v->var);
5011                 }
5012                 free_binode(results);
5013                 return t;
5014         }
5015
5016         static struct variable *declare_function(struct parse_context *c,
5017                                                 struct variable *name,
5018                                                 struct binode *args,
5019                                                 struct type *ret,
5020                                                 struct binode *results,
5021                                                 struct exec *code)
5022         {
5023                 if (name) {
5024                         struct value fn = {.function = code};
5025                         struct type *t;
5026                         var_block_close(c, CloseFunction, code);
5027                         t = add_anon_type(c, &function_prototype,
5028                                           "func %.*s", name->name->name.len,
5029                                           name->name->name.txt);
5030                         name->type = t;
5031                         t->function.params = reorder_bilist(args);
5032                         if (!ret) {
5033                                 ret = handle_results(c, reorder_bilist(results));
5034                                 t->function.inline_result = 1;
5035                                 t->function.local_size = ret->size;
5036                         }
5037                         t->function.return_type = ret;
5038                         global_alloc(c, t, name, &fn);
5039                         name->type->function.scope = c->out_scope;
5040                 } else {
5041                         free_binode(args);
5042                         free_type(ret);
5043                         free_exec(code);
5044                         var_block_close(c, CloseFunction, NULL);
5045                 }
5046                 c->out_scope = NULL;
5047                 return name;
5048         }
5049
5050 ###### declare terminals
5051         $TERM return
5052
5053 ###### top level grammar
5054
5055         $*variable
5056         DeclareFunction -> func FuncName ( OpenScope ArgsLine ) Block Newlines ${
5057                 $0 = declare_function(c, $<FN, $<Ar, Tnone, NULL, $<Bl);
5058         }$
5059         | func FuncName IN OpenScope Args OUT OptNL do Block Newlines ${
5060                 $0 = declare_function(c, $<FN, $<Ar, Tnone, NULL, $<Bl);
5061         }$
5062         | func FuncName NEWLINE OpenScope OptNL do Block Newlines ${
5063                 $0 = declare_function(c, $<FN, NULL, Tnone, NULL, $<Bl);
5064         }$
5065         | func FuncName ( OpenScope ArgsLine ) : Type Block Newlines ${
5066                 $0 = declare_function(c, $<FN, $<Ar, $<Ty, NULL, $<Bl);
5067         }$
5068         | func FuncName ( OpenScope ArgsLine ) : ( ArgsLine ) Block Newlines ${
5069                 $0 = declare_function(c, $<FN, $<AL, NULL, $<AL2, $<Bl);
5070         }$
5071         | func FuncName IN OpenScope Args OUT OptNL return Type Newlines do Block Newlines ${
5072                 $0 = declare_function(c, $<FN, $<Ar, $<Ty, NULL, $<Bl);
5073         }$
5074         | func FuncName NEWLINE OpenScope return Type Newlines do Block Newlines ${
5075                 $0 = declare_function(c, $<FN, NULL, $<Ty, NULL, $<Bl);
5076         }$
5077         | func FuncName IN OpenScope Args OUT OptNL return IN Args OUT OptNL do Block Newlines ${
5078                 $0 = declare_function(c, $<FN, $<Ar, NULL, $<Ar2, $<Bl);
5079         }$
5080         | func FuncName NEWLINE OpenScope return IN Args OUT OptNL do Block Newlines ${
5081                 $0 = declare_function(c, $<FN, NULL, NULL, $<Ar, $<Bl);
5082         }$
5083
5084 ###### print func decls
5085         {
5086                 struct variable *v;
5087                 int target = -1;
5088
5089                 while (target != 0) {
5090                         int i = 0;
5091                         for (v = context.in_scope; v; v=v->in_scope)
5092                                 if (v->depth == 0 && v->type && v->type->check_args) {
5093                                         i += 1;
5094                                         if (i == target)
5095                                                 break;
5096                                 }
5097
5098                         if (target == -1) {
5099                                 target = i;
5100                         } else {
5101                                 struct value *val = var_value(&context, v);
5102                                 printf("func %.*s", v->name->name.len, v->name->name.txt);
5103                                 v->type->print_type_decl(v->type, stdout);
5104                                 if (brackets)
5105                                         print_exec(val->function, 0, brackets);
5106                                 else
5107                                         print_value(v->type, val, stdout);
5108                                 printf("/* frame size %d */\n", v->type->function.local_size);
5109                                 target -= 1;
5110                         }
5111                 }
5112         }
5113
5114 ###### core functions
5115
5116         static int analyse_funcs(struct parse_context *c)
5117         {
5118                 struct variable *v;
5119                 int all_ok = 1;
5120                 for (v = c->in_scope; v; v = v->in_scope) {
5121                         struct value *val;
5122                         struct type *ret;
5123                         int ok = 1;
5124                         if (v->depth != 0 || !v->type || !v->type->check_args)
5125                                 continue;
5126                         ret = v->type->function.inline_result ?
5127                                 Tnone : v->type->function.return_type;
5128                         val = var_value(c, v);
5129                         do {
5130                                 ok = 1;
5131                                 propagate_types(val->function, c, &ok, ret, 0);
5132                         } while (ok == 2);
5133                         if (ok)
5134                                 /* Make sure everything is still consistent */
5135                                 propagate_types(val->function, c, &ok, ret, 0);
5136                         if (!ok)
5137                                 all_ok = 0;
5138                         if (!v->type->function.inline_result &&
5139                             !v->type->function.return_type->dup) {
5140                                 type_err(c, "error: function cannot return value of type %1",
5141                                          v->where_decl, v->type->function.return_type, 0, NULL);
5142                         }
5143
5144                         scope_finalize(c, v->type);
5145                 }
5146                 return all_ok;
5147         }
5148
5149         static int analyse_main(struct type *type, struct parse_context *c)
5150         {
5151                 struct binode *bp = type->function.params;
5152                 struct binode *b;
5153                 int ok = 1;
5154                 int arg = 0;
5155                 struct type *argv_type;
5156
5157                 argv_type = add_anon_type(c, &array_prototype, "argv");
5158                 argv_type->array.member = Tstr;
5159                 argv_type->array.unspec = 1;
5160
5161                 for (b = bp; b; b = cast(binode, b->right)) {
5162                         ok = 1;
5163                         switch (arg++) {
5164                         case 0: /* argv */
5165                                 propagate_types(b->left, c, &ok, argv_type, 0);
5166                                 break;
5167                         default: /* invalid */  // NOTEST
5168                                 propagate_types(b->left, c, &ok, Tnone, 0);     // NOTEST
5169                         }
5170                         if (!ok)
5171                                 c->parse_error = 1;
5172                 }
5173
5174                 return !c->parse_error;
5175         }
5176
5177         static void interp_main(struct parse_context *c, int argc, char **argv)
5178         {
5179                 struct value *progp = NULL;
5180                 struct text main_name = { "main", 4 };
5181                 struct variable *mainv;
5182                 struct binode *al;
5183                 int anum = 0;
5184                 struct value v;
5185                 struct type *vtype;
5186
5187                 mainv = var_ref(c, main_name);
5188                 if (mainv)
5189                         progp = var_value(c, mainv);
5190                 if (!progp || !progp->function) {
5191                         fprintf(stderr, "oceani: no main function found.\n");
5192                         c->parse_error = 1;
5193                         return;
5194                 }
5195                 if (!analyse_main(mainv->type, c)) {
5196                         fprintf(stderr, "oceani: main has wrong type.\n");
5197                         c->parse_error = 1;
5198                         return;
5199                 }
5200                 al = mainv->type->function.params;
5201
5202                 c->local_size = mainv->type->function.local_size;
5203                 c->local = calloc(1, c->local_size);
5204                 while (al) {
5205                         struct var *v = cast(var, al->left);
5206                         struct value *vl = var_value(c, v->var);
5207                         struct value arg;
5208                         struct type *t;
5209                         mpq_t argcq;
5210                         int i;
5211
5212                         switch (anum++) {
5213                         case 0: /* argv */
5214                                 t = v->var->type;
5215                                 mpq_init(argcq);
5216                                 mpq_set_ui(argcq, argc, 1);
5217                                 memcpy(var_value(c, t->array.vsize), &argcq, sizeof(argcq));
5218                                 t->prepare_type(c, t, 0);
5219                                 array_init(v->var->type, vl);
5220                                 for (i = 0; i < argc; i++) {
5221                                         struct value *vl2 = vl->array + i * v->var->type->array.member->size;
5222
5223                                         arg.str.txt = argv[i];
5224                                         arg.str.len = strlen(argv[i]);
5225                                         free_value(Tstr, vl2);
5226                                         dup_value(Tstr, &arg, vl2);
5227                                 }
5228                                 break;
5229                         }
5230                         al = cast(binode, al->right);
5231                 }
5232                 v = interp_exec(c, progp->function, &vtype);
5233                 free_value(vtype, &v);
5234                 free(c->local);
5235                 c->local = NULL;
5236         }
5237
5238 ###### ast functions
5239         void free_variable(struct variable *v)
5240         {
5241         }
5242
5243 ## And now to test it out.
5244
5245 Having a language requires having a "hello world" program.  I'll
5246 provide a little more than that: a program that prints "Hello world"
5247 finds the GCD of two numbers, prints the first few elements of
5248 Fibonacci, performs a binary search for a number, and a few other
5249 things which will likely grow as the languages grows.
5250
5251 ###### File: oceani.mk
5252         demos :: sayhello
5253         sayhello : oceani
5254                 @echo "===== DEMO ====="
5255                 ./oceani --section "demo: hello" oceani.mdc 55 33
5256
5257 ###### demo: hello
5258
5259         const
5260                 pi ::= 3.141_592_6
5261                 four ::= 2 + 2 ; five ::= 10/2
5262         const pie ::= "I like Pie";
5263                 cake ::= "The cake is"
5264                   ++ " a lie"
5265
5266         struct fred
5267                 size:[four]number
5268                 name:string
5269                 alive:Boolean
5270
5271         func main(argv:[argc::]string)
5272                 print "Hello World, what lovely oceans you have!"
5273                 print "Are there", five, "?"
5274                 print pi, pie, "but", cake
5275
5276                 A := $argv[1]; B := $argv[2]
5277
5278                 /* When a variable is defined in both branches of an 'if',
5279                  * and used afterwards, the variables are merged.
5280                  */
5281                 if A > B:
5282                         bigger := "yes"
5283                 else
5284                         bigger := "no"
5285                 print "Is", A, "bigger than", B,"? ", bigger
5286                 /* If a variable is not used after the 'if', no
5287                  * merge happens, so types can be different
5288                  */
5289                 if A > B * 2:
5290                         double:string = "yes"
5291                         print A, "is more than twice", B, "?", double
5292                 else
5293                         double := B*2
5294                         print "double", B, "is", double
5295
5296                 a : number
5297                 a = A;
5298                 b:number = B
5299                 if a > 0 and then b > 0:
5300                         while a != b:
5301                                 if a < b:
5302                                         b = b - a
5303                                 else
5304                                         a = a - b
5305                         print "GCD of", A, "and", B,"is", a
5306                 else if a <= 0:
5307                         print a, "is not positive, cannot calculate GCD"
5308                 else
5309                         print b, "is not positive, cannot calculate GCD"
5310
5311                 for
5312                         togo := 10
5313                         f1 := 1; f2 := 1
5314                         print "Fibonacci:", f1,f2,
5315                 then togo = togo - 1
5316                 while togo > 0:
5317                         f3 := f1 + f2
5318                         print "", f3,
5319                         f1 = f2
5320                         f2 = f3
5321                 print ""
5322
5323                 /* Binary search... */
5324                 for
5325                         lo:= 0; hi := 100
5326                         target := 77
5327                 while
5328                         mid := (lo + hi) / 2
5329                         if mid == target:
5330                                 use Found
5331                         if mid < target:
5332                                 lo = mid
5333                         else
5334                                 hi = mid
5335                         if hi - lo < 1:
5336                                 lo = mid
5337                                 use GiveUp
5338                         use True
5339                 do pass
5340                 case Found:
5341                         print "Yay, I found", target
5342                 case GiveUp:
5343                         print "Closest I found was", lo
5344
5345                 size::= 10
5346                 list:[size]number
5347                 list[0] = 1234
5348                 // "middle square" PRNG.  Not particularly good, but one my
5349                 // Dad taught me - the first one I ever heard of.
5350                 for i:=1; then i = i + 1; while i < size:
5351                         n := list[i-1] * list[i-1]
5352                         list[i] = (n / 100) % 10 000
5353
5354                 print "Before sort:",
5355                 for i:=0; then i = i + 1; while i < size:
5356                         print "", list[i],
5357                 print
5358
5359                 for i := 1; then i=i+1; while i < size:
5360                         for j:=i-1; then j=j-1; while j >= 0:
5361                                 if list[j] > list[j+1]:
5362                                         t:= list[j]
5363                                         list[j] = list[j+1]
5364                                         list[j+1] = t
5365                 print " After sort:",
5366                 for i:=0; then i = i + 1; while i < size:
5367                         print "", list[i],
5368                 print
5369
5370                 if 1 == 2 then print "yes"; else print "no"
5371
5372                 bob:fred
5373                 bob.name = "Hello"
5374                 bob.alive = (bob.name == "Hello")
5375                 print "bob", "is" if  bob.alive else "isn't", "alive"