ocean-lang.org Git - ocean/blob - csrc/oceani.mdc

   1 # Ocean Interpreter - Jamison Creek version
   2
   3 Ocean is intended to be a compiled language, so this interpreter is
   4 not targeted at being the final product.  It is, rather, an intermediate
   5 stage and fills that role in two distinct ways.
   6
   7 Firstly, it exists as a platform to experiment with the early language
   8 design.  An interpreter is easy to write and easy to get working, so
   9 the barrier for entry is lower if I aim to start with an interpreter.
  10
  11 Secondly, the plan for the Ocean compiler is to write it in the
  12 [Ocean language](http://ocean-lang.org).  To achieve this we naturally
  13 need some sort of boot-strap process and this interpreter - written in
  14 portable C - will fill that role.  It will be used to bootstrap the
  15 Ocean compiler.
  16
  17 Two features that are not needed to fill either of these roles are
  18 performance and completeness.  The interpreter only needs to be fast
  19 enough to run small test programs and occasionally to run the compiler
  20 on itself.  It only needs to be complete enough to test aspects of the
  21 design which are developed before the compiler is working, and to run
  22 the compiler on itself.  Any features not used by the compiler when
  23 compiling itself are superfluous.  They may be included anyway, but
  24 they may not.
  25
  26 Nonetheless, the interpreter should end up being reasonably complete,
  27 and any performance bottlenecks which appear and are easily fixed, will
  28 be.
  29
  30 ## Current version
  31
  32 This third version of the interpreter exists to test out some initial
  33 ideas relating to types.  Particularly it adds arrays (indexed from
  34 zero) and simple structures.  Basic control flow and variable scoping
  35 are already fairly well established, as are basic numerical and
  36 boolean operators.
  37
  38 Some operators that have only recently been added, and so have not
  39 generated all that much experience yet are "and then" and "or else" as
  40 short-circuit Boolean operators, and the "if ... else" trinary
  41 operator which can select between two expressions based on a third
  42 (which appears syntactically in the middle).
  43
  44 The "func" clause currently only allows a "main" function to be
  45 declared.  That will be extended when proper function support is added.
  46
  47 An element that is present purely to make a usable language, and
  48 without any expectation that they will remain, is the "print" statement
  49 which performs simple output.
  50
  51 The current scalar types are "number", "Boolean", and "string".
  52 Boolean will likely stay in its current form, the other two might, but
  53 could just as easily be changed.
  54
  55 ## Naming
  56
  57 Versions of the interpreter which obviously do not support a complete
  58 language will be named after creeks and streams.  This one is Jamison
  59 Creek.
  60
  61 Once we have something reasonably resembling a complete language, the
  62 names of rivers will be used.
  63 Early versions of the compiler will be named after seas.  Major
  64 releases of the compiler will be named after oceans.  Hopefully I will
  65 be finished once I get to the Pacific Ocean release.
  66
  67 ## Outline
  68
  69 As well as parsing and executing a program, the interpreter can print
  70 out the program from the parsed internal structure.  This is useful
  71 for validating the parsing.
  72 So the main requirements of the interpreter are:
  73
  74 - Parse the program, possibly with tracing,
  75 - Analyse the parsed program to ensure consistency,
  76 - Print the program,
  77 - Execute the "main" function in the program, if no parsing or
  78   consistency errors were found.
  79
  80 This is all performed by a single C program extracted with
  81 `parsergen`.
  82
  83 There will be two formats for printing the program: a default and one
  84 that uses bracketing.  So a `--bracket` command line option is needed
  85 for that.  Normally the first code section found is used, however an
  86 alternate section can be requested so that a file (such as this one)
  87 can contain multiple programs.  This is effected with the `--section`
  88 option.
  89
  90 This code must be compiled with `-fplan9-extensions` so that anonymous
  91 structures can be used.
  92
  93 ###### File: oceani.mk
  94
  95         myCFLAGS := -Wall -g -fplan9-extensions
  96         CFLAGS := $(filter-out $(myCFLAGS),$(CFLAGS)) $(myCFLAGS)
  97         myLDLIBS:= libparser.o libscanner.o libmdcode.o -licuuc
  98         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
  99         ## libs
 100         all :: $(LDLIBS) oceani
 101         oceani.c oceani.h : oceani.mdc parsergen
 102                 ./parsergen -o oceani --LALR --tag Parser oceani.mdc
 103         oceani.mk: oceani.mdc md2c
 104                 ./md2c oceani.mdc
 105
 106         oceani: oceani.o $(LDLIBS)
 107                 $(CC) $(CFLAGS) -o oceani oceani.o $(LDLIBS)
 108
 109 ###### Parser: header
 110         ## macros
 111         struct parse_context;
 112         ## ast
 113         struct parse_context {
 114                 struct token_config config;
 115                 char *file_name;
 116                 int parse_error;
 117                 ## parse context
 118         };
 119
 120 ###### macros
 121
 122         #define container_of(ptr, type, member) ({                      \
 123                 const typeof( ((type *)0)->member ) *__mptr = (ptr);    \
 124                 (type *)( (char *)__mptr - offsetof(type,member) );})
 125
 126         #define config2context(_conf) container_of(_conf, struct parse_context, \
 127                 config)
 128
 129 ###### Parser: reduce
 130         struct parse_context *c = config2context(config);
 131
 132 ###### Parser: code
 133
 134         #include <unistd.h>
 135         #include <stdlib.h>
 136         #include <fcntl.h>
 137         #include <errno.h>
 138         #include <sys/mman.h>
 139         #include <string.h>
 140         #include <stdio.h>
 141         #include <locale.h>
 142         #include <malloc.h>
 143         #include "mdcode.h"
 144         #include "scanner.h"
 145         #include "parser.h"
 146
 147         ## includes
 148
 149         #include "oceani.h"
 150
 151         ## forward decls
 152         ## value functions
 153         ## ast functions
 154         ## core functions
 155
 156         #include <getopt.h>
 157         static char Usage[] =
 158                 "Usage: oceani --trace --print --noexec --brackets --section=SectionName prog.ocn\n";
 159         static const struct option long_options[] = {
 160                 {"trace",     0, NULL, 't'},
 161                 {"print",     0, NULL, 'p'},
 162                 {"noexec",    0, NULL, 'n'},
 163                 {"brackets",  0, NULL, 'b'},
 164                 {"section",   1, NULL, 's'},
 165                 {NULL,        0, NULL, 0},
 166         };
 167         const char *options = "tpnbs";
 168
 169         static void pr_err(char *msg)                   // NOTEST
 170         {
 171                 fprintf(stderr, "%s\n", msg);           // NOTEST
 172         }                                               // NOTEST
 173
 174         int main(int argc, char *argv[])
 175         {
 176                 int fd;
 177                 int len;
 178                 char *file;
 179                 struct section *s = NULL, *ss;
 180                 char *section = NULL;
 181                 struct parse_context context = {
 182                         .config = {
 183                                 .ignored = (1 << TK_mark),
 184                                 .number_chars = ".,_+- ",
 185                                 .word_start = "_",
 186                                 .word_cont = "_",
 187                         },
 188                 };
 189                 int doprint=0, dotrace=0, doexec=1, brackets=0;
 190                 int opt;
 191                 while ((opt = getopt_long(argc, argv, options, long_options, NULL))
 192                        != -1) {
 193                         switch(opt) {
 194                         case 't': dotrace=1; break;
 195                         case 'p': doprint=1; break;
 196                         case 'n': doexec=0; break;
 197                         case 'b': brackets=1; break;
 198                         case 's': section = optarg; break;
 199                         default: fprintf(stderr, Usage);
 200                                 exit(1);
 201                         }
 202                 }
 203                 if (optind >= argc) {
 204                         fprintf(stderr, "oceani: no input file given\n");
 205                         exit(1);
 206                 }
 207                 fd = open(argv[optind], O_RDONLY);
 208                 if (fd < 0) {
 209                         fprintf(stderr, "oceani: cannot open %s\n", argv[optind]);
 210                         exit(1);
 211                 }
 212                 context.file_name = argv[optind];
 213                 len = lseek(fd, 0, 2);
 214                 file = mmap(NULL, len, PROT_READ, MAP_SHARED, fd, 0);
 215                 s = code_extract(file, file+len, pr_err);
 216                 if (!s) {
 217                         fprintf(stderr, "oceani: could not find any code in %s\n",
 218                                 argv[optind]);
 219                         exit(1);
 220                 }
 221
 222                 ## context initialization
 223
 224                 if (section) {
 225                         for (ss = s; ss; ss = ss->next) {
 226                                 struct text sec = ss->section;
 227                                 if (sec.len == strlen(section) &&
 228                                     strncmp(sec.txt, section, sec.len) == 0)
 229                                         break;
 230                         }
 231                         if (!ss) {
 232                                 fprintf(stderr, "oceani: cannot find section %s\n",
 233                                         section);
 234                                 goto cleanup;
 235                         }
 236                 } else
 237                         ss = s;                         // NOTEST
 238                 if (!ss->code) {
 239                         fprintf(stderr, "oceani: no code found in requested section\n");        // NOTEST
 240                         goto cleanup;                   // NOTEST
 241                 }
 242
 243                 parse_oceani(ss->code, &context.config, dotrace ? stderr : NULL);
 244
 245                 if (!context.parse_error && !analyse_funcs(&context)) {
 246                         fprintf(stderr, "oceani: type error in program - not running.\n");
 247                         context.parse_error = 1;
 248                 }
 249
 250                 if (doprint) {
 251                         ## print const decls
 252                         ## print type decls
 253                         ## print func decls
 254                 }
 255                 if (doexec && !context.parse_error)
 256                         interp_main(&context, argc - optind, argv + optind);
 257         cleanup:
 258                 while (s) {
 259                         struct section *t = s->next;
 260                         code_free(s->code);
 261                         free(s);
 262                         s = t;
 263                 }
 264                 // FIXME parser should pop scope even on error
 265                 while (context.scope_depth > 0)
 266                         scope_pop(&context);
 267                 ## free global vars
 268                 ## free context types
 269                 ## free context storage
 270                 exit(context.parse_error ? 1 : 0);
 271         }
 272
 273 ### Analysis
 274
 275 The four requirements of parse, analyse, print, interpret apply to
 276 each language element individually so that is how most of the code
 277 will be structured.
 278
 279 Three of the four are fairly self explanatory.  The one that requires
 280 a little explanation is the analysis step.
 281
 282 The current language design does not require the types of variables to
 283 be declared, but they must still have a single type.  Different
 284 operations impose different requirements on the variables, for example
 285 addition requires both arguments to be numeric, and assignment
 286 requires the variable on the left to have the same type as the
 287 expression on the right.
 288
 289 Analysis involves propagating these type requirements around and
 290 consequently setting the type of each variable.  If any requirements
 291 are violated (e.g. a string is compared with a number) or if a
 292 variable needs to have two different types, then an error is raised
 293 and the program will not run.
 294
 295 If the same variable is declared in both branchs of an 'if/else', or
 296 in all cases of a 'switch' then the multiple instances may be merged
 297 into just one variable if the variable is referenced after the
 298 conditional statement.  When this happens, the types must naturally be
 299 consistent across all the branches.  When the variable is not used
 300 outside the if, the variables in the different branches are distinct
 301 and can be of different types.
 302
 303 Undeclared names may only appear in "use" statements and "case" expressions.
 304 These names are given a type of "label" and a unique value.
 305 This allows them to fill the role of a name in an enumerated type, which
 306 is useful for testing the `switch` statement.
 307
 308 As we will see, the condition part of a `while` statement can return
 309 either a Boolean or some other type.  This requires that the expected
 310 type that gets passed around comprises a type and a flag to indicate
 311 that `Tbool` is also permitted.
 312
 313 As there are, as yet, no distinct types that are compatible, there
 314 isn't much subtlety in the analysis.  When we have distinct number
 315 types, this will become more interesting.
 316
 317 #### Error reporting
 318
 319 When analysis discovers an inconsistency it needs to report an error;
 320 just refusing to run the code ensures that the error doesn't cascade,
 321 but by itself it isn't very useful.  A clear understanding of the sort
 322 of error message that are useful will help guide the process of
 323 analysis.
 324
 325 At a simplistic level, the only sort of error that type analysis can
 326 report is that the type of some construct doesn't match a contextual
 327 requirement.  For example, in `4 + "hello"` the addition provides a
 328 contextual requirement for numbers, but `"hello"` is not a number.  In
 329 this particular example no further information is needed as the types
 330 are obvious from local information.  When a variable is involved that
 331 isn't the case.  It may be helpful to explain why the variable has a
 332 particular type, by indicating the location where the type was set,
 333 whether by declaration or usage.
 334
 335 Using a recursive-descent analysis we can easily detect a problem at
 336 multiple locations. In "`hello:= "there"; 4 + hello`" the addition
 337 will detect that one argument is not a number and the usage of `hello`
 338 will detect that a number was wanted, but not provided.  In this
 339 (early) version of the language, we will generate error reports at
 340 multiple locations, so the use of `hello` will report an error and
 341 explain were the value was set, and the addition will report an error
 342 and say why numbers are needed.  To be able to report locations for
 343 errors, each language element will need to record a file location
 344 (line and column) and each variable will need to record the language
 345 element where its type was set.  For now we will assume that each line
 346 of an error message indicates one location in the file, and up to 2
 347 types.  So we provide a `printf`-like function which takes a format, a
 348 location (a `struct exec` which has not yet been introduced), and 2
 349 types. "`%1`" reports the first type, "`%2`" reports the second.  We
 350 will need a function to print the location, once we know how that is
 351 stored. e As will be explained later, there are sometimes extra rules for
 352 type matching and they might affect error messages, we need to pass those
 353 in too.
 354
 355 As well as type errors, we sometimes need to report problems with
 356 tokens, which might be unexpected or might name a type that has not
 357 been defined.  For these we have `tok_err()` which reports an error
 358 with a given token.  Each of the error functions sets the flag in the
 359 context so indicate that parsing failed.
 360
 361 ###### forward decls
 362
 363         static void fput_loc(struct exec *loc, FILE *f);
 364         static void type_err(struct parse_context *c,
 365                              char *fmt, struct exec *loc,
 366                              struct type *t1, int rules, struct type *t2);
 367
 368 ###### core functions
 369
 370         static void type_err(struct parse_context *c,
 371                              char *fmt, struct exec *loc,
 372                              struct type *t1, int rules, struct type *t2)
 373         {
 374                 fprintf(stderr, "%s:", c->file_name);
 375                 fput_loc(loc, stderr);
 376                 for (; *fmt ; fmt++) {
 377                         if (*fmt != '%') {
 378                                 fputc(*fmt, stderr);
 379                                 continue;
 380                         }
 381                         fmt++;
 382                         switch (*fmt) {
 383                         case '%': fputc(*fmt, stderr); break;   // NOTEST
 384                         default: fputc('?', stderr); break;     // NOTEST
 385                         case '1':
 386                                 type_print(t1, stderr);
 387                                 break;
 388                         case '2':
 389                                 type_print(t2, stderr);
 390                                 break;
 391                         ## format cases
 392                         }
 393                 }
 394                 fputs("\n", stderr);
 395                 c->parse_error = 1;
 396         }
 397
 398         static void tok_err(struct parse_context *c, char *fmt, struct token *t)
 399         {
 400                 fprintf(stderr, "%s:%d:%d: %s: %.*s\n", c->file_name, t->line, t->col, fmt,
 401                         t->txt.len, t->txt.txt);
 402                 c->parse_error = 1;
 403         }
 404
 405 ## Entities: declared and predeclared.
 406
 407 There are various "things" that the language and/or the interpreter
 408 needs to know about to parse and execute a program.  These include
 409 types, variables, values, and executable code.  These are all lumped
 410 together under the term "entities" (calling them "objects" would be
 411 confusing) and introduced here.  The following section will present the
 412 different specific code elements which comprise or manipulate these
 413 various entities.
 414
 415 ### Types
 416
 417 Values come in a wide range of types, with more likely to be added.
 418 Each type needs to be able to print its own values (for convenience at
 419 least) as well as to compare two values, at least for equality and
 420 possibly for order.  For now, values might need to be duplicated and
 421 freed, though eventually such manipulations will be better integrated
 422 into the language.
 423
 424 Rather than requiring every numeric type to support all numeric
 425 operations (add, multiple, etc), we allow types to be able to present
 426 as one of a few standard types: integer, float, and fraction.  The
 427 existence of these conversion functions eventually enable types to
 428 determine if they are compatible with other types, though such types
 429 have not yet been implemented.
 430
 431 Named type are stored in a simple linked list.  Objects of each type are
 432 "values" which are often passed around by value.
 433
 434 ###### ast
 435
 436         struct value {
 437                 union {
 438                         char ptr[1];
 439                         ## value union fields
 440                 };
 441         };
 442
 443         struct type {
 444                 struct text name;
 445                 struct type *next;
 446                 int size, align;
 447                 void (*init)(struct type *type, struct value *val);
 448                 void (*prepare_type)(struct parse_context *c, struct type *type, int parse_time);
 449                 void (*print)(struct type *type, struct value *val, FILE *f);
 450                 void (*print_type)(struct type *type, FILE *f);
 451                 int (*cmp_order)(struct type *t1, struct type *t2,
 452                                  struct value *v1, struct value *v2);
 453                 int (*cmp_eq)(struct type *t1, struct type *t2,
 454                               struct value *v1, struct value *v2);
 455                 void (*dup)(struct type *type, struct value *vold, struct value *vnew);
 456                 void (*free)(struct type *type, struct value *val);
 457                 void (*free_type)(struct type *t);
 458                 long long (*to_int)(struct value *v);
 459                 double (*to_float)(struct value *v);
 460                 int (*to_mpq)(mpq_t *q, struct value *v);
 461                 ## type functions
 462                 union {
 463                         ## type union fields
 464                 };
 465         };
 466
 467 ###### parse context
 468
 469         struct type *typelist;
 470
 471 ###### ast functions
 472
 473         static struct type *find_type(struct parse_context *c, struct text s)
 474         {
 475                 struct type *l = c->typelist;
 476
 477                 while (l &&
 478                        text_cmp(l->name, s) != 0)
 479                                 l = l->next;
 480                 return l;
 481         }
 482
 483         static struct type *add_type(struct parse_context *c, struct text s,
 484                                      struct type *proto)
 485         {
 486                 struct type *n;
 487
 488                 n = calloc(1, sizeof(*n));
 489                 *n = *proto;
 490                 n->name = s;
 491                 n->next = c->typelist;
 492                 c->typelist = n;
 493                 return n;
 494         }
 495
 496         static void free_type(struct type *t)
 497         {
 498                 /* The type is always a reference to something in the
 499                  * context, so we don't need to free anything.
 500                  */
 501         }
 502
 503         static void free_value(struct type *type, struct value *v)
 504         {
 505                 if (type && v) {
 506                         type->free(type, v);
 507                         memset(v, 0x5a, type->size);
 508                 }
 509         }
 510
 511         static void type_print(struct type *type, FILE *f)
 512         {
 513                 if (!type)
 514                         fputs("*unknown*type*", f);     // NOTEST
 515                 else if (type->name.len)
 516                         fprintf(f, "%.*s", type->name.len, type->name.txt);
 517                 else if (type->print_type)
 518                         type->print_type(type, f);
 519                 else
 520                         fputs("*invalid*type*", f);     // NOTEST
 521         }
 522
 523         static void val_init(struct type *type, struct value *val)
 524         {
 525                 if (type && type->init)
 526                         type->init(type, val);
 527         }
 528
 529         static void dup_value(struct type *type,
 530                               struct value *vold, struct value *vnew)
 531         {
 532                 if (type && type->dup)
 533                         type->dup(type, vold, vnew);
 534         }
 535
 536         static int value_cmp(struct type *tl, struct type *tr,
 537                              struct value *left, struct value *right)
 538         {
 539                 if (tl && tl->cmp_order)
 540                         return tl->cmp_order(tl, tr, left, right);
 541                 if (tl && tl->cmp_eq)                   // NOTEST
 542                         return tl->cmp_eq(tl, tr, left, right); // NOTEST
 543                 return -1;                              // NOTEST
 544         }
 545
 546         static void print_value(struct type *type, struct value *v, FILE *f)
 547         {
 548                 if (type && type->print)
 549                         type->print(type, v, f);
 550                 else
 551                         fprintf(f, "*Unknown*");                // NOTEST
 552         }
 553
 554 ###### forward decls
 555
 556         static void free_value(struct type *type, struct value *v);
 557         static int type_compat(struct type *require, struct type *have, int rules);
 558         static void type_print(struct type *type, FILE *f);
 559         static void val_init(struct type *type, struct value *v);
 560         static void dup_value(struct type *type,
 561                               struct value *vold, struct value *vnew);
 562         static int value_cmp(struct type *tl, struct type *tr,
 563                              struct value *left, struct value *right);
 564         static void print_value(struct type *type, struct value *v, FILE *f);
 565
 566 ###### free context types
 567
 568         while (context.typelist) {
 569                 struct type *t = context.typelist;
 570
 571                 context.typelist = t->next;
 572                 if (t->free_type)
 573                         t->free_type(t);
 574                 free(t);
 575         }
 576
 577 Type can be specified for local variables, for fields in a structure,
 578 for formal parameters to functions, and possibly elsewhere.  Different
 579 rules may apply in different contexts.  As a minimum, a named type may
 580 always be used.  Currently the type of a formal parameter can be
 581 different from types in other contexts, so we have a separate grammar
 582 symbol for those.
 583
 584 ###### Grammar
 585
 586         $*type
 587         Type -> IDENTIFIER ${
 588                 $0 = find_type(c, $1.txt);
 589                 if (!$0) {
 590                         tok_err(c,
 591                                 "error: undefined type", &$1);
 592
 593                         $0 = Tnone;
 594                 }
 595         }$
 596         ## type grammar
 597
 598         FormalType -> Type ${ $0 = $<1; }$
 599         ## formal type grammar
 600
 601 #### Base Types
 602
 603 Values of the base types can be numbers, which we represent as
 604 multi-precision fractions, strings, Booleans and labels.  When
 605 analysing the program we also need to allow for places where no value
 606 is meaningful (type `Tnone`) and where we don't know what type to
 607 expect yet (type is `NULL`).
 608
 609 Values are never shared, they are always copied when used, and freed
 610 when no longer needed.
 611
 612 When propagating type information around the program, we need to
 613 determine if two types are compatible, where type `NULL` is compatible
 614 with anything.  There are two special cases with type compatibility,
 615 both related to the Conditional Statement which will be described
 616 later.  In some cases a Boolean can be accepted as well as some other
 617 primary type, and in others any type is acceptable except a label (`Vlabel`).
 618 A separate function encoding these cases will simplify some code later.
 619
 620 ###### type functions
 621
 622         int (*compat)(struct type *this, struct type *other);
 623
 624 ###### ast functions
 625
 626         static int type_compat(struct type *require, struct type *have, int rules)
 627         {
 628                 if ((rules & Rboolok) && have == Tbool)
 629                         return 1;       // NOTEST
 630                 if ((rules & Rnolabel) && have == Tlabel)
 631                         return 0;       // NOTEST
 632                 if (!require || !have)
 633                         return 1;
 634
 635                 if (require->compat)
 636                         return require->compat(require, have);
 637
 638                 return require == have;
 639         }
 640
 641 ###### includes
 642         #include <gmp.h>
 643         #include "parse_string.h"
 644         #include "parse_number.h"
 645
 646 ###### libs
 647         myLDLIBS := libnumber.o libstring.o -lgmp
 648         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
 649
 650 ###### type union fields
 651         enum vtype {Vnone, Vstr, Vnum, Vbool, Vlabel} vtype;
 652
 653 ###### value union fields
 654         struct text str;
 655         mpq_t num;
 656         unsigned char bool;
 657         void *label;
 658
 659 ###### ast functions
 660         static void _free_value(struct type *type, struct value *v)
 661         {
 662                 if (!v)
 663                         return;         // NOTEST
 664                 switch (type->vtype) {
 665                 case Vnone: break;
 666                 case Vstr: free(v->str.txt); break;
 667                 case Vnum: mpq_clear(v->num); break;
 668                 case Vlabel:
 669                 case Vbool: break;
 670                 }
 671         }
 672
 673 ###### value functions
 674
 675         static void _val_init(struct type *type, struct value *val)
 676         {
 677                 switch(type->vtype) {
 678                 case Vnone:             // NOTEST
 679                         break;          // NOTEST
 680                 case Vnum:
 681                         mpq_init(val->num); break;
 682                 case Vstr:
 683                         val->str.txt = malloc(1);
 684                         val->str.len = 0;
 685                         break;
 686                 case Vbool:
 687                         val->bool = 0;
 688                         break;
 689                 case Vlabel:
 690                         val->label = NULL;
 691                         break;
 692                 }
 693         }
 694
 695         static void _dup_value(struct type *type,
 696                                struct value *vold, struct value *vnew)
 697         {
 698                 switch (type->vtype) {
 699                 case Vnone:             // NOTEST
 700                         break;          // NOTEST
 701                 case Vlabel:
 702                         vnew->label = vold->label;
 703                         break;
 704                 case Vbool:
 705                         vnew->bool = vold->bool;
 706                         break;
 707                 case Vnum:
 708                         mpq_init(vnew->num);
 709                         mpq_set(vnew->num, vold->num);
 710                         break;
 711                 case Vstr:
 712                         vnew->str.len = vold->str.len;
 713                         vnew->str.txt = malloc(vnew->str.len);
 714                         memcpy(vnew->str.txt, vold->str.txt, vnew->str.len);
 715                         break;
 716                 }
 717         }
 718
 719         static int _value_cmp(struct type *tl, struct type *tr,
 720                               struct value *left, struct value *right)
 721         {
 722                 int cmp;
 723                 if (tl != tr)
 724                         return tl - tr; // NOTEST
 725                 switch (tl->vtype) {
 726                 case Vlabel: cmp = left->label == right->label ? 0 : 1; break;
 727                 case Vnum: cmp = mpq_cmp(left->num, right->num); break;
 728                 case Vstr: cmp = text_cmp(left->str, right->str); break;
 729                 case Vbool: cmp = left->bool - right->bool; break;
 730                 case Vnone: cmp = 0;                    // NOTEST
 731                 }
 732                 return cmp;
 733         }
 734
 735         static void _print_value(struct type *type, struct value *v, FILE *f)
 736         {
 737                 switch (type->vtype) {
 738                 case Vnone:                             // NOTEST
 739                         fprintf(f, "*no-value*"); break;        // NOTEST
 740                 case Vlabel:                            // NOTEST
 741                         fprintf(f, "*label-%p*", v->label); break; // NOTEST
 742                 case Vstr:
 743                         fprintf(f, "%.*s", v->str.len, v->str.txt); break;
 744                 case Vbool:
 745                         fprintf(f, "%s", v->bool ? "True":"False"); break;
 746                 case Vnum:
 747                         {
 748                         mpf_t fl;
 749                         mpf_init2(fl, 20);
 750                         mpf_set_q(fl, v->num);
 751                         gmp_fprintf(f, "%Fg", fl);
 752                         mpf_clear(fl);
 753                         break;
 754                         }
 755                 }
 756         }
 757
 758         static void _free_value(struct type *type, struct value *v);
 759
 760         static struct type base_prototype = {
 761                 .init = _val_init,
 762                 .print = _print_value,
 763                 .cmp_order = _value_cmp,
 764                 .cmp_eq = _value_cmp,
 765                 .dup = _dup_value,
 766                 .free = _free_value,
 767         };
 768
 769         static struct type *Tbool, *Tstr, *Tnum, *Tnone, *Tlabel;
 770
 771 ###### ast functions
 772         static struct type *add_base_type(struct parse_context *c, char *n,
 773                                           enum vtype vt, int size)
 774         {
 775                 struct text txt = { n, strlen(n) };
 776                 struct type *t;
 777
 778                 t = add_type(c, txt, &base_prototype);
 779                 t->vtype = vt;
 780                 t->size = size;
 781                 t->align = size > sizeof(void*) ? sizeof(void*) : size;
 782                 if (t->size & (t->align - 1))
 783                         t->size = (t->size | (t->align - 1)) + 1;       // NOTEST
 784                 return t;
 785         }
 786
 787 ###### context initialization
 788
 789         Tbool  = add_base_type(&context, "Boolean", Vbool, sizeof(char));
 790         Tstr   = add_base_type(&context, "string", Vstr, sizeof(struct text));
 791         Tnum   = add_base_type(&context, "number", Vnum, sizeof(mpq_t));
 792         Tnone  = add_base_type(&context, "none", Vnone, 0);
 793         Tlabel = add_base_type(&context, "label", Vlabel, sizeof(void*));
 794
 795 ### Variables
 796
 797 Variables are scoped named values.  We store the names in a linked list
 798 of "bindings" sorted in lexical order, and use sequential search and
 799 insertion sort.
 800
 801 ###### ast
 802
 803         struct binding {
 804                 struct text name;
 805                 struct binding *next;   // in lexical order
 806                 ## binding fields
 807         };
 808
 809 This linked list is stored in the parse context so that "reduce"
 810 functions can find or add variables, and so the analysis phase can
 811 ensure that every variable gets a type.
 812
 813 ###### parse context
 814
 815         struct binding *varlist;  // In lexical order
 816
 817 ###### ast functions
 818
 819         static struct binding *find_binding(struct parse_context *c, struct text s)
 820         {
 821                 struct binding **l = &c->varlist;
 822                 struct binding *n;
 823                 int cmp = 1;
 824
 825                 while (*l &&
 826                         (cmp = text_cmp((*l)->name, s)) < 0)
 827                                 l = & (*l)->next;
 828                 if (cmp == 0)
 829                         return *l;
 830                 n = calloc(1, sizeof(*n));
 831                 n->name = s;
 832                 n->next = *l;
 833                 *l = n;
 834                 return n;
 835         }
 836
 837 Each name can be linked to multiple variables defined in different
 838 scopes.  Each scope starts where the name is declared and continues
 839 until the end of the containing code block.  Scopes of a given name
 840 cannot nest, so a declaration while a name is in-scope is an error.
 841
 842 ###### binding fields
 843         struct variable *var;
 844
 845 ###### ast
 846         struct variable {
 847                 struct variable *previous;
 848                 struct type *type;
 849                 struct binding *name;
 850                 struct exec *where_decl;// where name was declared
 851                 struct exec *where_set; // where type was set
 852                 ## variable fields
 853         };
 854
 855 When a scope closes, the values of the variables might need to be freed.
 856 This happens in the context of some `struct exec` and each `exec` will
 857 need to know which variables need to be freed when it completes.
 858
 859 ####### exec fields
 860         struct variable *to_free;
 861
 862 ####### variable fields
 863         struct exec *cleanup_exec;
 864         struct variable *next_free;
 865
 866 ####### interp exec cleanup
 867         {
 868                 struct variable *v;
 869                 for (v = e->to_free; v; v = v->next_free) {
 870                         struct value *val = var_value(c, v);
 871                         free_value(v->type, val);
 872                 }
 873         }
 874
 875 ###### ast functions
 876         static void variable_unlink_exec(struct variable *v)
 877         {
 878                 struct variable **vp;
 879                 if (!v->cleanup_exec)
 880                         return;
 881                 for (vp = &v->cleanup_exec->to_free;
 882                     *vp; vp = &(*vp)->next_free) {
 883                         if (*vp != v)
 884                                 continue;
 885                         *vp = v->next_free;
 886                         v->cleanup_exec = NULL;
 887                         break;
 888                 }
 889         }
 890
 891 While the naming seems strange, we include local constants in the
 892 definition of variables.  A name declared `var := value` can
 893 subsequently be changed, but a name declared `var ::= value` cannot -
 894 it is constant
 895
 896 ###### variable fields
 897         int constant;
 898
 899 Scopes in parallel branches can be partially merged.  More
 900 specifically, if a given name is declared in both branches of an
 901 if/else then its scope is a candidate for merging.  Similarly if
 902 every branch of an exhaustive switch (e.g. has an "else" clause)
 903 declares a given name, then the scopes from the branches are
 904 candidates for merging.
 905
 906 Note that names declared inside a loop (which is only parallel to
 907 itself) are never visible after the loop.  Similarly names defined in
 908 scopes which are not parallel, such as those started by `for` and
 909 `switch`, are never visible after the scope.  Only variables defined in
 910 both `then` and `else` (including the implicit then after an `if`, and
 911 excluding `then` used with `for`) and in all `case`s and `else` of a
 912 `switch` or `while` can be visible beyond the `if`/`switch`/`while`.
 913
 914 Labels, which are a bit like variables, follow different rules.
 915 Labels are not explicitly declared, but if an undeclared name appears
 916 in a context where a label is legal, that effectively declares the
 917 name as a label.  The declaration remains in force (or in scope) at
 918 least to the end of the immediately containing block and conditionally
 919 in any larger containing block which does not declare the name in some
 920 other way.  Importantly, the conditional scope extension happens even
 921 if the label is only used in one parallel branch of a conditional --
 922 when used in one branch it is treated as having been declared in all
 923 branches.
 924
 925 Merge candidates are tentatively visible beyond the end of the
 926 branching statement which creates them.  If the name is used, the
 927 merge is affirmed and they become a single variable visible at the
 928 outer layer.  If not - if it is redeclared first - the merge lapses.
 929
 930 To track scopes we have an extra stack, implemented as a linked list,
 931 which roughly parallels the parse stack and which is used exclusively
 932 for scoping.  When a new scope is opened, a new frame is pushed and
 933 the child-count of the parent frame is incremented.  This child-count
 934 is used to distinguish between the first of a set of parallel scopes,
 935 in which declared variables must not be in scope, and subsequent
 936 branches, whether they may already be conditionally scoped.
 937
 938 We need a total ordering of scopes so we can easily compare to variables
 939 to see if they are concurrently in scope.  To achieve this we record a
 940 `scope_count` which is actually a count of both beginnings and endings
 941 of scopes.  Then each variable has a record of the scope count where it
 942 enters scope, and where it leaves.
 943
 944 To push a new frame *before* any code in the frame is parsed, we need a
 945 grammar reduction.  This is most easily achieved with a grammar
 946 element which derives the empty string, and creates the new scope when
 947 it is recognised.  This can be placed, for example, between a keyword
 948 like "if" and the code following it.
 949
 950 ###### ast
 951         struct scope {
 952                 struct scope *parent;
 953                 int child_count;
 954         };
 955
 956 ###### parse context
 957         int scope_depth;
 958         int scope_count;
 959         struct scope *scope_stack;
 960
 961 ###### variable fields
 962         int scope_start, scope_end;
 963
 964 ###### ast functions
 965         static void scope_pop(struct parse_context *c)
 966         {
 967                 struct scope *s = c->scope_stack;
 968
 969                 c->scope_stack = s->parent;
 970                 free(s);
 971                 c->scope_depth -= 1;
 972                 c->scope_count += 1;
 973         }
 974
 975         static void scope_push(struct parse_context *c)
 976         {
 977                 struct scope *s = calloc(1, sizeof(*s));
 978                 if (c->scope_stack)
 979                         c->scope_stack->child_count += 1;
 980                 s->parent = c->scope_stack;
 981                 c->scope_stack = s;
 982                 c->scope_depth += 1;
 983                 c->scope_count += 1;
 984         }
 985
 986 ###### Grammar
 987
 988         $void
 989         OpenScope -> ${ scope_push(c); }$
 990
 991 Each variable records a scope depth and is in one of four states:
 992
 993 - "in scope".  This is the case between the declaration of the
 994   variable and the end of the containing block, and also between
 995   the usage with affirms a merge and the end of that block.
 996
 997   The scope depth is not greater than the current parse context scope
 998   nest depth.  When the block of that depth closes, the state will
 999   change.  To achieve this, all "in scope" variables are linked
1000   together as a stack in nesting order.
1001
1002 - "pending".  The "in scope" block has closed, but other parallel
1003   scopes are still being processed.  So far, every parallel block at
1004   the same level that has closed has declared the name.
1005
1006   The scope depth is the depth of the last parallel block that
1007   enclosed the declaration, and that has closed.
1008
1009 - "conditionally in scope".  The "in scope" block and all parallel
1010   scopes have closed, and no further mention of the name has been seen.
1011   This state includes a secondary nest depth (`min_depth`) which records
1012   the outermost scope seen since the variable became conditionally in
1013   scope.  If a use of the name is found, the variable becomes "in scope"
1014   and that secondary depth becomes the recorded scope depth.  If the
1015   name is declared as a new variable, the old variable becomes "out of
1016   scope" and the recorded scope depth stays unchanged.
1017
1018 - "out of scope".  The variable is neither in scope nor conditionally
1019   in scope.  It is permanently out of scope now and can be removed from
1020   the "in scope" stack.  When a variable becomes out-of-scope it is
1021   moved to a separate list (`out_scope`) of variables which have fully
1022   known scope.  This will be used at the end of each function to assign
1023   each variable a place in the stack frame.
1024
1025 ###### variable fields
1026         int depth, min_depth;
1027         enum { OutScope, PendingScope, CondScope, InScope } scope;
1028         struct variable *in_scope;
1029
1030 ###### parse context
1031
1032         struct variable *in_scope;
1033         struct variable *out_scope;
1034
1035 All variables with the same name are linked together using the
1036 'previous' link.  Those variable that have been affirmatively merged all
1037 have a 'merged' pointer that points to one primary variable - the most
1038 recently declared instance.  When merging variables, we need to also
1039 adjust the 'merged' pointer on any other variables that had previously
1040 been merged with the one that will no longer be primary.
1041
1042 A variable that is no longer the most recent instance of a name may
1043 still have "pending" scope, if it might still be merged with most
1044 recent instance.  These variables don't really belong in the
1045 "in_scope" list, but are not immediately removed when a new instance
1046 is found.  Instead, they are detected and ignored when considering the
1047 list of in_scope names.
1048
1049 The storage of the value of a variable will be described later.  For now
1050 we just need to know that when a variable goes out of scope, it might
1051 need to be freed.  For this we need to be able to find it, so assume that
1052 `var_value()` will provide that.
1053
1054 ###### variable fields
1055         struct variable *merged;
1056
1057 ###### ast functions
1058
1059         static void variable_merge(struct variable *primary, struct variable *secondary)
1060         {
1061                 struct variable *v;
1062
1063                 primary = primary->merged;
1064
1065                 for (v = primary->previous; v; v=v->previous)
1066                         if (v == secondary || v == secondary->merged ||
1067                             v->merged == secondary ||
1068                             v->merged == secondary->merged) {
1069                                 v->scope = OutScope;
1070                                 v->merged = primary;
1071                                 if (v->scope_start < primary->scope_start)
1072                                         primary->scope_start = v->scope_start;
1073                                 if (v->scope_end > primary->scope_end)
1074                                         primary->scope_end = v->scope_end;      // NOTEST
1075                                 variable_unlink_exec(v);
1076                         }
1077         }
1078
1079 ###### forward decls
1080         static struct value *var_value(struct parse_context *c, struct variable *v);
1081
1082 ###### free global vars
1083
1084         while (context.varlist) {
1085                 struct binding *b = context.varlist;
1086                 struct variable *v = b->var;
1087                 context.varlist = b->next;
1088                 free(b);
1089                 while (v) {
1090                         struct variable *next = v->previous;
1091
1092                         if (v->global) {
1093                                 free_value(v->type, var_value(&context, v));
1094                                 if (v->depth == 0)
1095                                         // This is a global constant
1096                                         free_exec(v->where_decl);
1097                         }
1098                         free(v);
1099                         v = next;
1100                 }
1101         }
1102
1103 #### Manipulating Bindings
1104
1105 When a name is conditionally visible, a new declaration discards the old
1106 binding - the condition lapses.  Similarly when we reach the end of a
1107 function (outermost non-global scope) any conditional scope must lapse.
1108 Conversely a usage of the name affirms the visibility and extends it to
1109 the end of the containing block - i.e.  the block that contains both the
1110 original declaration and the latest usage.  This is determined from
1111 `min_depth`.  When a conditionally visible variable gets affirmed like
1112 this, it is also merged with other conditionally visible variables with
1113 the same name.
1114
1115 When we parse a variable declaration we either report an error if the
1116 name is currently bound, or create a new variable at the current nest
1117 depth if the name is unbound or bound to a conditionally scoped or
1118 pending-scope variable.  If the previous variable was conditionally
1119 scoped, it and its homonyms becomes out-of-scope.
1120
1121 When we parse a variable reference (including non-declarative assignment
1122 "foo = bar") we report an error if the name is not bound or is bound to
1123 a pending-scope variable; update the scope if the name is bound to a
1124 conditionally scoped variable; or just proceed normally if the named
1125 variable is in scope.
1126
1127 When we exit a scope, any variables bound at this level are either
1128 marked out of scope or pending-scoped, depending on whether the scope
1129 was sequential or parallel.  Here a "parallel" scope means the "then"
1130 or "else" part of a conditional, or any "case" or "else" branch of a
1131 switch.  Other scopes are "sequential".
1132
1133 When exiting a parallel scope we check if there are any variables that
1134 were previously pending and are still visible. If there are, then
1135 they weren't redeclared in the most recent scope, so they cannot be
1136 merged and must become out-of-scope.  If it is not the first of
1137 parallel scopes (based on `child_count`), we check that there was a
1138 previous binding that is still pending-scope.  If there isn't, the new
1139 variable must now be out-of-scope.
1140
1141 When exiting a sequential scope that immediately enclosed parallel
1142 scopes, we need to resolve any pending-scope variables.  If there was
1143 no `else` clause, and we cannot determine that the `switch` was exhaustive,
1144 we need to mark all pending-scope variable as out-of-scope.  Otherwise
1145 all pending-scope variables become conditionally scoped.
1146
1147 ###### ast
1148         enum closetype { CloseSequential, CloseFunction, CloseParallel, CloseElse };
1149
1150 ###### ast functions
1151
1152         static struct variable *var_decl(struct parse_context *c, struct text s)
1153         {
1154                 struct binding *b = find_binding(c, s);
1155                 struct variable *v = b->var;
1156
1157                 switch (v ? v->scope : OutScope) {
1158                 case InScope:
1159                         /* Caller will report the error */
1160                         return NULL;
1161                 case CondScope:
1162                         for (;
1163                              v && v->scope == CondScope;
1164                              v = v->previous)
1165                                 v->scope = OutScope;
1166                         break;
1167                 default: break;
1168                 }
1169                 v = calloc(1, sizeof(*v));
1170                 v->previous = b->var;
1171                 b->var = v;
1172                 v->name = b;
1173                 v->merged = v;
1174                 v->min_depth = v->depth = c->scope_depth;
1175                 v->scope = InScope;
1176                 v->in_scope = c->in_scope;
1177                 v->scope_start = c->scope_count;
1178                 c->in_scope = v;
1179                 ## variable init
1180                 return v;
1181         }
1182
1183         static struct variable *var_ref(struct parse_context *c, struct text s)
1184         {
1185                 struct binding *b = find_binding(c, s);
1186                 struct variable *v = b->var;
1187                 struct variable *v2;
1188
1189                 switch (v ? v->scope : OutScope) {
1190                 case OutScope:
1191                 case PendingScope:
1192                         /* Caller will report the error */
1193                         return NULL;
1194                 case CondScope:
1195                         /* All CondScope variables of this name need to be merged
1196                          * and become InScope
1197                          */
1198                         v->depth = v->min_depth;
1199                         v->scope = InScope;
1200                         for (v2 = v->previous;
1201                              v2 && v2->scope == CondScope;
1202                              v2 = v2->previous)
1203                                 variable_merge(v, v2);
1204                         break;
1205                 case InScope:
1206                         break;
1207                 }
1208                 return v;
1209         }
1210
1211         static int var_refile(struct parse_context *c, struct variable *v)
1212         {
1213                 /* Variable just went out of scope.  Add it to the out_scope
1214                  * list, sorted by ->scope_start
1215                  */
1216                 struct variable **vp = &c->out_scope;
1217                 while ((*vp) && (*vp)->scope_start < v->scope_start)
1218                         vp = &(*vp)->in_scope;
1219                 v->in_scope = *vp;
1220                 *vp = v;
1221                 return 0;
1222         }
1223
1224         static void var_block_close(struct parse_context *c, enum closetype ct,
1225                                     struct exec *e)
1226         {
1227                 /* Close off all variables that are in_scope.
1228                  * Some variables in c->scope may already be not-in-scope,
1229                  * such as when a PendingScope variable is hidden by a new
1230                  * variable with the same name.
1231                  * So we check for v->name->var != v and drop them.
1232                  * If we choose to make a variable OutScope, we drop it
1233                  * immediately too.
1234                  */
1235                 struct variable *v, **vp, *v2;
1236
1237                 scope_pop(c);
1238                 for (vp = &c->in_scope;
1239                      (v = *vp) && v->min_depth > c->scope_depth;
1240                      (v->scope == OutScope || v->name->var != v)
1241                      ? (*vp =  v->in_scope, var_refile(c, v))
1242                      : ( vp = &v->in_scope, 0)) {
1243                         v->min_depth = c->scope_depth;
1244                         if (v->name->var != v)
1245                                 /* This is still in scope, but we haven't just
1246                                  * closed the scope.
1247                                  */
1248                                 continue;
1249                         v->min_depth = c->scope_depth;
1250                         if (v->scope == InScope)
1251                                 v->scope_end = c->scope_count;
1252                         if (v->scope == InScope && e && !v->global) {
1253                                 /* This variable gets cleaned up when 'e' finishes */
1254                                 variable_unlink_exec(v);
1255                                 v->cleanup_exec = e;
1256                                 v->next_free = e->to_free;
1257                                 e->to_free = v;
1258                         }
1259                         switch (ct) {
1260                         case CloseElse:
1261                         case CloseParallel: /* handle PendingScope */
1262                                 switch(v->scope) {
1263                                 case InScope:
1264                                 case CondScope:
1265                                         if (c->scope_stack->child_count == 1)
1266                                                 /* first among parallel branches */
1267                                                 v->scope = PendingScope;
1268                                         else if (v->previous &&
1269                                                  v->previous->scope == PendingScope)
1270                                                 /* all previous branches used name */
1271                                                 v->scope = PendingScope;
1272                                         else if (v->type == Tlabel)
1273                                                 /* Labels remain pending even when not used */
1274                                                 v->scope = PendingScope;        // UNTESTED
1275                                         else
1276                                                 v->scope = OutScope;
1277                                         if (ct == CloseElse) {
1278                                                 /* All Pending variables with this name
1279                                                  * are now Conditional */
1280                                                 for (v2 = v;
1281                                                      v2 && v2->scope == PendingScope;
1282                                                      v2 = v2->previous)
1283                                                         v2->scope = CondScope;
1284                                         }
1285                                         break;
1286                                 case PendingScope:
1287                                         /* Not possible as it would require
1288                                          * parallel scope to be nested immediately
1289                                          * in a parallel scope, and that never
1290                                          * happens.
1291                                          */                     // NOTEST
1292                                 case OutScope:
1293                                         /* Not possible as we already tested for
1294                                          * OutScope
1295                                          */
1296                                         abort();                // NOTEST
1297                                 }
1298                                 break;
1299                         case CloseFunction:
1300                                 if (v->scope == CondScope)
1301                                         /* Condition cannot continue past end of function */
1302                                         v->scope = InScope;
1303                                 /* fallthrough */
1304                         case CloseSequential:
1305                                 if (v->type == Tlabel)
1306                                         v->scope = PendingScope;
1307                                 switch (v->scope) {
1308                                 case InScope:
1309                                         v->scope = OutScope;
1310                                         break;
1311                                 case PendingScope:
1312                                         /* There was no 'else', so we can only become
1313                                          * conditional if we know the cases were exhaustive,
1314                                          * and that doesn't mean anything yet.
1315                                          * So only labels become conditional..
1316                                          */
1317                                         for (v2 = v;
1318                                              v2 && v2->scope == PendingScope;
1319                                              v2 = v2->previous)
1320                                                 if (v2->type == Tlabel)
1321                                                         v2->scope = CondScope;
1322                                                 else
1323                                                         v2->scope = OutScope;
1324                                         break;
1325                                 case CondScope:
1326                                 case OutScope: break;
1327                                 }
1328                                 break;
1329                         }
1330                 }
1331         }
1332
1333 #### Storing Values
1334
1335 The value of a variable is store separately from the variable, on an
1336 analogue of a stack frame.  There are (currently) two frames that can be
1337 active.  A global frame which currently only stores constants, and a
1338 stacked frame which stores local variables.  Each variable knows if it
1339 is global or not, and what its index into the frame is.
1340
1341 Values in the global frame are known immediately they are relevant, so
1342 the frame needs to be reallocated as it grows so it can store those
1343 values.  The local frame doesn't get values until the interpreted phase
1344 is started, so there is no need to allocate until the size is known.
1345
1346 We initialize the `frame_pos` to an impossible value, so that we can
1347 tell if it was set or not later.
1348
1349 ###### variable fields
1350         short frame_pos;
1351         short global;
1352
1353 ###### variable init
1354         v->frame_pos = -1;
1355
1356 ###### parse context
1357
1358         short global_size, global_alloc;
1359         short local_size;
1360         void *global, *local;
1361
1362 ###### ast functions
1363
1364         static struct value *var_value(struct parse_context *c, struct variable *v)
1365         {
1366                 if (!v->global) {
1367                         if (!c->local || !v->type)
1368                                 return NULL;                    // NOTEST
1369                         if (v->frame_pos + v->type->size > c->local_size) {
1370                                 printf("INVALID frame_pos\n");  // NOTEST
1371                                 exit(2);                        // NOTEST
1372                         }
1373                         return c->local + v->frame_pos;
1374                 }
1375                 if (c->global_size > c->global_alloc) {
1376                         int old = c->global_alloc;
1377                         c->global_alloc = (c->global_size | 1023) + 1024;
1378                         c->global = realloc(c->global, c->global_alloc);
1379                         memset(c->global + old, 0, c->global_alloc - old);
1380                 }
1381                 return c->global + v->frame_pos;
1382         }
1383
1384         static struct value *global_alloc(struct parse_context *c, struct type *t,
1385                                           struct variable *v, struct value *init)
1386         {
1387                 struct value *ret;
1388                 struct variable scratch;
1389
1390                 if (t->prepare_type)
1391                         t->prepare_type(c, t, 1);       // NOTEST
1392
1393                 if (c->global_size & (t->align - 1))
1394                         c->global_size = (c->global_size + t->align) & ~(t->align-1);
1395                 if (!v) {
1396                         v = &scratch;
1397                         v->type = t;
1398                 }
1399                 v->frame_pos = c->global_size;
1400                 v->global = 1;
1401                 c->global_size += v->type->size;
1402                 ret = var_value(c, v);
1403                 if (init)
1404                         memcpy(ret, init, t->size);
1405                 else
1406                         val_init(t, ret);
1407                 return ret;
1408         }
1409
1410 As global values are found -- struct field initializers, labels etc --
1411 `global_alloc()` is called to record the value in the global frame.
1412
1413 When the program is fully parsed, each function is analysed, we need to
1414 walk the list of variables local to that function and assign them an
1415 offset in the stack frame.  For this we have `scope_finalize()`.
1416
1417 We keep the stack from dense by re-using space for between variables
1418 that are not in scope at the same time.  The `out_scope` list is sorted
1419 by `scope_start` and as we process a varible, we move it to an FIFO
1420 stack.  For each variable we consider, we first discard any from the
1421 stack anything that went out of scope before the new variable came in.
1422 Then we place the new variable just after the one at the top of the
1423 stack.
1424
1425 ###### ast functions
1426
1427         static void scope_finalize(struct parse_context *c, struct type *ft)
1428         {
1429                 int size = 0;
1430                 struct variable *next = ft->function.scope;
1431                 struct variable *done = NULL;
1432                 while (next) {
1433                         struct variable *v = next;
1434                         struct type *t = v->type;
1435                         int pos;
1436                         next = v->in_scope;
1437                         if (v->merged != v)
1438                                 continue;
1439                         if (!t)
1440                                 continue;
1441                         while (done && done->scope_end < v->scope_start)
1442                                 done = done->in_scope;
1443                         if (done)
1444                                 pos = done->frame_pos + done->type->size;
1445                         else
1446                                 pos = 0;
1447                         if (pos & (t->align - 1))
1448                                 pos = (pos + t->align) & ~(t->align-1);
1449                         v->frame_pos = pos;
1450                         if (size < pos + v->type->size)
1451                                 size = pos + v->type->size;
1452                         v->in_scope = done;
1453                         done = v;
1454                 }
1455                 c->out_scope = NULL;
1456                 ft->function.local_size = size;
1457         }
1458
1459 ###### free context storage
1460         free(context.global);
1461
1462 ### Executables
1463
1464 Executables can be lots of different things.  In many cases an
1465 executable is just an operation combined with one or two other
1466 executables.  This allows for expressions and lists etc.  Other times an
1467 executable is something quite specific like a constant or variable name.
1468 So we define a `struct exec` to be a general executable with a type, and
1469 a `struct binode` which is a subclass of `exec`, forms a node in a
1470 binary tree, and holds an operation.  There will be other subclasses,
1471 and to access these we need to be able to `cast` the `exec` into the
1472 various other types.  The first field in any `struct exec` is the type
1473 from the `exec_types` enum.
1474
1475 ###### macros
1476         #define cast(structname, pointer) ({            \
1477                 const typeof( ((struct structname *)0)->type) *__mptr = &(pointer)->type; \
1478                 if (__mptr && *__mptr != X##structname) abort();                \
1479                 (struct structname *)( (char *)__mptr);})
1480
1481         #define new(structname) ({                                              \
1482                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
1483                 __ptr->type = X##structname;                                            \
1484                 __ptr->line = -1; __ptr->column = -1;                                   \
1485                 __ptr;})
1486
1487         #define new_pos(structname, token) ({                                           \
1488                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
1489                 __ptr->type = X##structname;                                            \
1490                 __ptr->line = token.line; __ptr->column = token.col;                    \
1491                 __ptr;})
1492
1493 ###### ast
1494         enum exec_types {
1495                 Xbinode,
1496                 ## exec type
1497         };
1498         struct exec {
1499                 enum exec_types type;
1500                 int line, column;
1501                 ## exec fields
1502         };
1503         struct binode {
1504                 struct exec;
1505                 enum Btype {
1506                         ## Binode types
1507                 } op;
1508                 struct exec *left, *right;
1509         };
1510
1511 ###### ast functions
1512
1513         static int __fput_loc(struct exec *loc, FILE *f)
1514         {
1515                 if (!loc)
1516                         return 0;
1517                 if (loc->line >= 0) {
1518                         fprintf(f, "%d:%d: ", loc->line, loc->column);
1519                         return 1;
1520                 }
1521                 if (loc->type == Xbinode)
1522                         return __fput_loc(cast(binode,loc)->left, f) ||
1523                                __fput_loc(cast(binode,loc)->right, f);  // NOTEST
1524                 return 0;
1525         }
1526         static void fput_loc(struct exec *loc, FILE *f)
1527         {
1528                 if (!__fput_loc(loc, f))
1529                         fprintf(f, "??:??: ");
1530         }
1531
1532 Each different type of `exec` node needs a number of functions defined,
1533 a bit like methods.  We must be able to free it, print it, analyse it
1534 and execute it.  Once we have specific `exec` types we will need to
1535 parse them too.  Let's take this a bit more slowly.
1536
1537 #### Freeing
1538
1539 The parser generator requires a `free_foo` function for each struct
1540 that stores attributes and they will often be `exec`s and subtypes
1541 there-of.  So we need `free_exec` which can handle all the subtypes,
1542 and we need `free_binode`.
1543
1544 ###### ast functions
1545
1546         static void free_binode(struct binode *b)
1547         {
1548                 if (!b)
1549                         return;
1550                 free_exec(b->left);
1551                 free_exec(b->right);
1552                 free(b);
1553         }
1554
1555 ###### core functions
1556         static void free_exec(struct exec *e)
1557         {
1558                 if (!e)
1559                         return;
1560                 switch(e->type) {
1561                         ## free exec cases
1562                 }
1563         }
1564
1565 ###### forward decls
1566
1567         static void free_exec(struct exec *e);
1568
1569 ###### free exec cases
1570         case Xbinode: free_binode(cast(binode, e)); break;
1571
1572 #### Printing
1573
1574 Printing an `exec` requires that we know the current indent level for
1575 printing line-oriented components.  As will become clear later, we
1576 also want to know what sort of bracketing to use.
1577
1578 ###### ast functions
1579
1580         static void do_indent(int i, char *str)
1581         {
1582                 while (i-- > 0)
1583                         printf("    ");
1584                 printf("%s", str);
1585         }
1586
1587 ###### core functions
1588         static void print_binode(struct binode *b, int indent, int bracket)
1589         {
1590                 struct binode *b2;
1591                 switch(b->op) {
1592                 ## print binode cases
1593                 }
1594         }
1595
1596         static void print_exec(struct exec *e, int indent, int bracket)
1597         {
1598                 if (!e)
1599                         return;
1600                 switch (e->type) {
1601                 case Xbinode:
1602                         print_binode(cast(binode, e), indent, bracket); break;
1603                 ## print exec cases
1604                 }
1605                 if (e->to_free) {
1606                         struct variable *v;
1607                         do_indent(indent, "/* FREE");
1608                         for (v = e->to_free; v; v = v->next_free) {
1609                                 printf(" %.*s", v->name->name.len, v->name->name.txt);
1610                                 printf("[%d,%d]", v->scope_start, v->scope_end);
1611                                 if (v->frame_pos >= 0)
1612                                         printf("(%d+%d)", v->frame_pos,
1613                                                v->type ? v->type->size:0);
1614                         }
1615                         printf(" */\n");
1616                 }
1617         }
1618
1619 ###### forward decls
1620
1621         static void print_exec(struct exec *e, int indent, int bracket);
1622
1623 #### Analysing
1624
1625 As discussed, analysis involves propagating type requirements around the
1626 program and looking for errors.
1627
1628 So `propagate_types` is passed an expected type (being a `struct type`
1629 pointer together with some `val_rules` flags) that the `exec` is
1630 expected to return, and returns the type that it does return, either
1631 of which can be `NULL` signifying "unknown".  An `ok` flag is passed
1632 by reference. It is set to `0` when an error is found, and `2` when
1633 any change is made.  If it remains unchanged at `1`, then no more
1634 propagation is needed.
1635
1636 ###### ast
1637
1638         enum val_rules {Rnolabel = 1<<0, Rboolok = 1<<1, Rnoconstant = 1<<2};
1639
1640 ###### format cases
1641         case 'r':
1642                 if (rules & Rnolabel)
1643                         fputs(" (labels not permitted)", stderr);
1644                 break;
1645
1646 ###### forward decls
1647         static struct type *propagate_types(struct exec *prog, struct parse_context *c, int *ok,
1648                                             struct type *type, int rules);
1649 ###### core functions
1650
1651         static struct type *__propagate_types(struct exec *prog, struct parse_context *c, int *ok,
1652                                               struct type *type, int rules)
1653         {
1654                 struct type *t;
1655
1656                 if (!prog)
1657                         return Tnone;
1658
1659                 switch (prog->type) {
1660                 case Xbinode:
1661                 {
1662                         struct binode *b = cast(binode, prog);
1663                         switch (b->op) {
1664                         ## propagate binode cases
1665                         }
1666                         break;
1667                 }
1668                 ## propagate exec cases
1669                 }
1670                 return Tnone;
1671         }
1672
1673         static struct type *propagate_types(struct exec *prog, struct parse_context *c, int *ok,
1674                                             struct type *type, int rules)
1675         {
1676                 struct type *ret = __propagate_types(prog, c, ok, type, rules);
1677
1678                 if (c->parse_error)
1679                         *ok = 0;
1680                 return ret;
1681         }
1682
1683 #### Interpreting
1684
1685 Interpreting an `exec` doesn't require anything but the `exec`.  State
1686 is stored in variables and each variable will be directly linked from
1687 within the `exec` tree.  The exception to this is the `main` function
1688 which needs to look at command line arguments.  This function will be
1689 interpreted separately.
1690
1691 Each `exec` can return a value combined with a type in `struct lrval`.
1692 The type may be `Tnone` but must be non-NULL.  Some `exec`s will return
1693 the location of a value, which can be updated, in `lval`.  Others will
1694 set `lval` to NULL indicating that there is a value of appropriate type
1695 in `rval`.
1696
1697 ###### core functions
1698
1699         struct lrval {
1700                 struct type *type;
1701                 struct value rval, *lval;
1702         };
1703
1704         /* If dest is passed, dtype must give the expected type, and
1705          * result can go there, in which case type is returned as NULL.
1706          */
1707         static struct lrval _interp_exec(struct parse_context *c, struct exec *e,
1708                                          struct value *dest, struct type *dtype);
1709
1710         static struct value interp_exec(struct parse_context *c, struct exec *e,
1711                                         struct type **typeret)
1712         {
1713                 struct lrval ret = _interp_exec(c, e, NULL, NULL);
1714
1715                 if (!ret.type) abort();
1716                 if (typeret)
1717                         *typeret = ret.type;
1718                 if (ret.lval)
1719                         dup_value(ret.type, ret.lval, &ret.rval);
1720                 return ret.rval;
1721         }
1722
1723         static struct value *linterp_exec(struct parse_context *c, struct exec *e,
1724                                           struct type **typeret)
1725         {
1726                 struct lrval ret = _interp_exec(c, e, NULL, NULL);
1727
1728                 if (!ret.type) abort();
1729                 if (ret.lval)
1730                         *typeret = ret.type;
1731                 else
1732                         free_value(ret.type, &ret.rval);
1733                 return ret.lval;
1734         }
1735
1736         /* dinterp_exec is used when the destination type is certain and
1737          * the value has a place to go.
1738          */
1739         static void dinterp_exec(struct parse_context *c, struct exec *e,
1740                                  struct value *dest, struct type *dtype,
1741                                  int need_free)
1742         {
1743                 struct lrval ret = _interp_exec(c, e, dest, dtype);
1744                 if (!ret.type)
1745                         return; // NOTEST
1746                 if (need_free)
1747                         free_value(dtype, dest);
1748                 if (ret.lval)
1749                         dup_value(dtype, ret.lval, dest);
1750                 else
1751                         memcpy(dest, &ret.rval, dtype->size);
1752         }
1753
1754         static struct lrval _interp_exec(struct parse_context *c, struct exec *e,
1755                                          struct value *dest, struct type *dtype)
1756         {
1757                 /* If the result is copied to dest, ret.type is set to NULL */
1758                 struct lrval ret;
1759                 struct value rv = {}, *lrv = NULL;
1760                 struct type *rvtype;
1761
1762                 rvtype = ret.type = Tnone;
1763                 if (!e) {
1764                         ret.lval = lrv;
1765                         ret.rval = rv;
1766                         return ret;
1767                 }
1768
1769                 switch(e->type) {
1770                 case Xbinode:
1771                 {
1772                         struct binode *b = cast(binode, e);
1773                         struct value left, right, *lleft;
1774                         struct type *ltype, *rtype;
1775                         ltype = rtype = Tnone;
1776                         switch (b->op) {
1777                         ## interp binode cases
1778                         }
1779                         free_value(ltype, &left);
1780                         free_value(rtype, &right);
1781                         break;
1782                 }
1783                 ## interp exec cases
1784                 }
1785                 if (rvtype) {
1786                         ret.lval = lrv;
1787                         ret.rval = rv;
1788                         ret.type = rvtype;
1789                 }
1790                 ## interp exec cleanup
1791                 return ret;
1792         }
1793
1794 ### Complex types
1795
1796 Now that we have the shape of the interpreter in place we can add some
1797 complex types and connected them in to the data structures and the
1798 different phases of parse, analyse, print, interpret.
1799
1800 Thus far we have arrays and structs.
1801
1802 #### Arrays
1803
1804 Arrays can be declared by giving a size and a type, as `[size]type' so
1805 `freq:[26]number` declares `freq` to be an array of 26 numbers.  The
1806 size can be either a literal number, or a named constant.  Some day an
1807 arbitrary expression will be supported.
1808
1809 As a formal parameter to a function, the array can be declared with a
1810 new variable as the size: `name:[size::number]string`.  The `size`
1811 variable is set to the size of the array and must be a constant.  As
1812 `number` is the only supported type, it can be left out:
1813 `name:[size::]string`.
1814
1815 Arrays cannot be assigned.  When pointers are introduced we will also
1816 introduce array slices which can refer to part or all of an array -
1817 the assignment syntax will create a slice.  For now, an array can only
1818 ever be referenced by the name it is declared with.  It is likely that
1819 a "`copy`" primitive will eventually be define which can be used to
1820 make a copy of an array with controllable recursive depth.
1821
1822 For now we have two sorts of array, those with fixed size either because
1823 it is given as a literal number or because it is a struct member (which
1824 cannot have a runtime-changing size), and those with a size that is
1825 determined at runtime - local variables with a const size.  The former
1826 have their size calculated at parse time, the latter at run time.
1827
1828 For the latter type, the `size` field of the type is the size of a
1829 pointer, and the array is reallocated every time it comes into scope.
1830
1831 We differentiate struct fields with a const size from local variables
1832 with a const size by whether they are prepared at parse time or not.
1833
1834 ###### type union fields
1835
1836         struct {
1837                 int unspec;     // size is unspecified - vsize must be set.
1838                 short size;
1839                 short static_size;
1840                 struct variable *vsize;
1841                 struct type *member;
1842         } array;
1843
1844 ###### value union fields
1845         void *array;  // used if not static_size
1846
1847 ###### value functions
1848
1849         static void array_prepare_type(struct parse_context *c, struct type *type,
1850                                        int parse_time)
1851         {
1852                 struct value *vsize;
1853                 mpz_t q;
1854                 if (!type->array.vsize || type->array.static_size)
1855                         return;
1856
1857                 vsize = var_value(c, type->array.vsize);
1858                 mpz_init(q);
1859                 mpz_tdiv_q(q, mpq_numref(vsize->num), mpq_denref(vsize->num));
1860                 type->array.size = mpz_get_si(q);
1861                 mpz_clear(q);
1862
1863                 if (parse_time) {
1864                         type->array.static_size = 1;
1865                         type->size = type->array.size * type->array.member->size;
1866                         type->align = type->array.member->align;
1867                 }
1868         }
1869
1870         static void array_init(struct type *type, struct value *val)
1871         {
1872                 int i;
1873                 void *ptr = val->ptr;
1874
1875                 if (!val)
1876                         return;                         // NOTEST
1877                 if (!type->array.static_size) {
1878                         val->array = calloc(type->array.size,
1879                                             type->array.member->size);
1880                         ptr = val->array;
1881                 }
1882                 for (i = 0; i < type->array.size; i++) {
1883                         struct value *v;
1884                         v = (void*)ptr + i * type->array.member->size;
1885                         val_init(type->array.member, v);
1886                 }
1887         }
1888
1889         static void array_free(struct type *type, struct value *val)
1890         {
1891                 int i;
1892                 void *ptr = val->ptr;
1893
1894                 if (!type->array.static_size)
1895                         ptr = val->array;
1896                 for (i = 0; i < type->array.size; i++) {
1897                         struct value *v;
1898                         v = (void*)ptr + i * type->array.member->size;
1899                         free_value(type->array.member, v);
1900                 }
1901                 if (!type->array.static_size)
1902                         free(ptr);
1903         }
1904
1905         static int array_compat(struct type *require, struct type *have)
1906         {
1907                 if (have->compat != require->compat)
1908                         return 0;
1909                 /* Both are arrays, so we can look at details */
1910                 if (!type_compat(require->array.member, have->array.member, 0))
1911                         return 0;
1912                 if (have->array.unspec && require->array.unspec) {
1913                         if (have->array.vsize && require->array.vsize &&
1914                             have->array.vsize != require->array.vsize)  // UNTESTED
1915                                 /* sizes might not be the same */
1916                                 return 0;       // UNTESTED
1917                         return 1;
1918                 }
1919                 if (have->array.unspec || require->array.unspec)
1920                         return 1;       // UNTESTED
1921                 if (require->array.vsize == NULL && have->array.vsize == NULL)
1922                         return require->array.size == have->array.size;
1923
1924                 return require->array.vsize == have->array.vsize;       // UNTESTED
1925         }
1926
1927         static void array_print_type(struct type *type, FILE *f)
1928         {
1929                 fputs("[", f);
1930                 if (type->array.vsize) {
1931                         struct binding *b = type->array.vsize->name;
1932                         fprintf(f, "%.*s%s]", b->name.len, b->name.txt,
1933                                 type->array.unspec ? "::" : "");
1934                 } else
1935                         fprintf(f, "%d]", type->array.size);
1936                 type_print(type->array.member, f);
1937         }
1938
1939         static struct type array_prototype = {
1940                 .init = array_init,
1941                 .prepare_type = array_prepare_type,
1942                 .print_type = array_print_type,
1943                 .compat = array_compat,
1944                 .free = array_free,
1945                 .size = sizeof(void*),
1946                 .align = sizeof(void*),
1947         };
1948
1949 ###### declare terminals
1950         $TERM [ ]
1951
1952 ###### type grammar
1953
1954         | [ NUMBER ] Type ${ {
1955                 char tail[3];
1956                 mpq_t num;
1957                 struct text noname = { "", 0 };
1958                 struct type *t;
1959
1960                 $0 = t = add_type(c, noname, &array_prototype);
1961                 t->array.member = $<4;
1962                 t->array.vsize = NULL;
1963                 if (number_parse(num, tail, $2.txt) == 0)
1964                         tok_err(c, "error: unrecognised number", &$2);
1965                 else if (tail[0]) {
1966                         tok_err(c, "error: unsupported number suffix", &$2);
1967                         mpq_clear(num);
1968                 } else {
1969                         t->array.size = mpz_get_ui(mpq_numref(num));
1970                         if (mpz_cmp_ui(mpq_denref(num), 1) != 0) {
1971                                 tok_err(c, "error: array size must be an integer",
1972                                         &$2);
1973                         } else if (mpz_cmp_ui(mpq_numref(num), 1UL << 30) >= 0)
1974                                 tok_err(c, "error: array size is too large",
1975                                         &$2);
1976                         mpq_clear(num);
1977                 }
1978                 t->array.static_size = 1;
1979                 t->size = t->array.size * t->array.member->size;
1980                 t->align = t->array.member->align;
1981         } }$
1982
1983         | [ IDENTIFIER ] Type ${ {
1984                 struct variable *v = var_ref(c, $2.txt);
1985                 struct text noname = { "", 0 };
1986
1987                 if (!v)
1988                         tok_err(c, "error: name undeclared", &$2);
1989                 else if (!v->constant)
1990                         tok_err(c, "error: array size must be a constant", &$2);
1991
1992                 $0 = add_type(c, noname, &array_prototype);
1993                 $0->array.member = $<4;
1994                 $0->array.size = 0;
1995                 $0->array.vsize = v;
1996         } }$
1997
1998 ###### Grammar
1999         $*type
2000         OptType -> Type ${ $0 = $<1; }$
2001                 | ${ $0 = NULL; }$
2002
2003 ###### formal type grammar
2004
2005         | [ IDENTIFIER :: OptType ] Type ${ {
2006                 struct variable *v = var_decl(c, $ID.txt);
2007                 struct text noname = { "", 0 };
2008
2009                 v->type = $<OT;
2010                 v->constant = 1;
2011                 if (!v->type)
2012                         v->type = Tnum;
2013                 $0 = add_type(c, noname, &array_prototype);
2014                 $0->array.member = $<6;
2015                 $0->array.size = 0;
2016                 $0->array.unspec = 1;
2017                 $0->array.vsize = v;
2018         } }$
2019
2020 ###### Binode types
2021         Index,
2022
2023 ###### variable grammar
2024
2025         | Variable [ Expression ] ${ {
2026                 struct binode *b = new(binode);
2027                 b->op = Index;
2028                 b->left = $<1;
2029                 b->right = $<3;
2030                 $0 = b;
2031         } }$
2032
2033 ###### print binode cases
2034         case Index:
2035                 print_exec(b->left, -1, bracket);
2036                 printf("[");
2037                 print_exec(b->right, -1, bracket);
2038                 printf("]");
2039                 break;
2040
2041 ###### propagate binode cases
2042         case Index:
2043                 /* left must be an array, right must be a number,
2044                  * result is the member type of the array
2045                  */
2046                 propagate_types(b->right, c, ok, Tnum, 0);
2047                 t = propagate_types(b->left, c, ok, NULL, rules & Rnoconstant);
2048                 if (!t || t->compat != array_compat) {
2049                         type_err(c, "error: %1 cannot be indexed", prog, t, 0, NULL);
2050                         return NULL;
2051                 } else {
2052                         if (!type_compat(type, t->array.member, rules)) {
2053                                 type_err(c, "error: have %1 but need %2", prog,
2054                                          t->array.member, rules, type);
2055                         }
2056                         return t->array.member;
2057                 }
2058                 break;
2059
2060 ###### interp binode cases
2061         case Index: {
2062                 mpz_t q;
2063                 long i;
2064                 void *ptr;
2065
2066                 lleft = linterp_exec(c, b->left, &ltype);
2067                 right = interp_exec(c, b->right, &rtype);
2068                 mpz_init(q);
2069                 mpz_tdiv_q(q, mpq_numref(right.num), mpq_denref(right.num));
2070                 i = mpz_get_si(q);
2071                 mpz_clear(q);
2072
2073                 if (ltype->array.static_size)
2074                         ptr = lleft;
2075                 else
2076                         ptr = *(void**)lleft;
2077                 rvtype = ltype->array.member;
2078                 if (i >= 0 && i < ltype->array.size)
2079                         lrv = ptr + i * rvtype->size;
2080                 else
2081                         val_init(ltype->array.member, &rv); // UNSAFE
2082                 ltype = NULL;
2083                 break;
2084         }
2085
2086 #### Structs
2087
2088 A `struct` is a data-type that contains one or more other data-types.
2089 It differs from an array in that each member can be of a different
2090 type, and they are accessed by name rather than by number.  Thus you
2091 cannot choose an element by calculation, you need to know what you
2092 want up-front.
2093
2094 The language makes no promises about how a given structure will be
2095 stored in memory - it is free to rearrange fields to suit whatever
2096 criteria seems important.
2097
2098 Structs are declared separately from program code - they cannot be
2099 declared in-line in a variable declaration like arrays can.  A struct
2100 is given a name and this name is used to identify the type - the name
2101 is not prefixed by the word `struct` as it would be in C.
2102
2103 Structs are only treated as the same if they have the same name.
2104 Simply having the same fields in the same order is not enough.  This
2105 might change once we can create structure initializers from a list of
2106 values.
2107
2108 Each component datum is identified much like a variable is declared,
2109 with a name, one or two colons, and a type.  The type cannot be omitted
2110 as there is no opportunity to deduce the type from usage.  An initial
2111 value can be given following an equals sign, so
2112
2113 ##### Example: a struct type
2114
2115         struct complex:
2116                 x:number = 0
2117                 y:number = 0
2118
2119 would declare a type called "complex" which has two number fields,
2120 each initialised to zero.
2121
2122 Struct will need to be declared separately from the code that uses
2123 them, so we will need to be able to print out the declaration of a
2124 struct when reprinting the whole program.  So a `print_type_decl` type
2125 function will be needed.
2126
2127 ###### type union fields
2128
2129         struct {
2130                 int nfields;
2131                 struct field {
2132                         struct text name;
2133                         struct type *type;
2134                         struct value *init;
2135                         int offset;
2136                 } *fields;
2137         } structure;
2138
2139 ###### type functions
2140         void (*print_type_decl)(struct type *type, FILE *f);
2141
2142 ###### value functions
2143
2144         static void structure_init(struct type *type, struct value *val)
2145         {
2146                 int i;
2147
2148                 for (i = 0; i < type->structure.nfields; i++) {
2149                         struct value *v;
2150                         v = (void*) val->ptr + type->structure.fields[i].offset;
2151                         if (type->structure.fields[i].init)
2152                                 dup_value(type->structure.fields[i].type,
2153                                           type->structure.fields[i].init,
2154                                           v);
2155                         else
2156                                 val_init(type->structure.fields[i].type, v);
2157                 }
2158         }
2159
2160         static void structure_free(struct type *type, struct value *val)
2161         {
2162                 int i;
2163
2164                 for (i = 0; i < type->structure.nfields; i++) {
2165                         struct value *v;
2166                         v = (void*)val->ptr + type->structure.fields[i].offset;
2167                         free_value(type->structure.fields[i].type, v);
2168                 }
2169         }
2170
2171         static void structure_free_type(struct type *t)
2172         {
2173                 int i;
2174                 for (i = 0; i < t->structure.nfields; i++)
2175                         if (t->structure.fields[i].init) {
2176                                 free_value(t->structure.fields[i].type,
2177                                            t->structure.fields[i].init);
2178                         }
2179                 free(t->structure.fields);
2180         }
2181
2182         static struct type structure_prototype = {
2183                 .init = structure_init,
2184                 .free = structure_free,
2185                 .free_type = structure_free_type,
2186                 .print_type_decl = structure_print_type,
2187         };
2188
2189 ###### exec type
2190         Xfieldref,
2191
2192 ###### ast
2193         struct fieldref {
2194                 struct exec;
2195                 struct exec *left;
2196                 int index;
2197                 struct text name;
2198         };
2199
2200 ###### free exec cases
2201         case Xfieldref:
2202                 free_exec(cast(fieldref, e)->left);
2203                 free(e);
2204                 break;
2205
2206 ###### declare terminals
2207         $TERM struct .
2208
2209 ###### variable grammar
2210
2211         | Variable . IDENTIFIER ${ {
2212                 struct fieldref *fr = new_pos(fieldref, $2);
2213                 fr->left = $<1;
2214                 fr->name = $3.txt;
2215                 fr->index = -2;
2216                 $0 = fr;
2217         } }$
2218
2219 ###### print exec cases
2220
2221         case Xfieldref:
2222         {
2223                 struct fieldref *f = cast(fieldref, e);
2224                 print_exec(f->left, -1, bracket);
2225                 printf(".%.*s", f->name.len, f->name.txt);
2226                 break;
2227         }
2228
2229 ###### ast functions
2230         static int find_struct_index(struct type *type, struct text field)
2231         {
2232                 int i;
2233                 for (i = 0; i < type->structure.nfields; i++)
2234                         if (text_cmp(type->structure.fields[i].name, field) == 0)
2235                                 return i;
2236                 return -1;
2237         }
2238
2239 ###### propagate exec cases
2240
2241         case Xfieldref:
2242         {
2243                 struct fieldref *f = cast(fieldref, prog);
2244                 struct type *st = propagate_types(f->left, c, ok, NULL, 0);
2245
2246                 if (!st)
2247                         type_err(c, "error: unknown type for field access", f->left,    // UNTESTED
2248                                  NULL, 0, NULL);
2249                 else if (st->init != structure_init)
2250                         type_err(c, "error: field reference attempted on %1, not a struct",
2251                                  f->left, st, 0, NULL);
2252                 else if (f->index == -2) {
2253                         f->index = find_struct_index(st, f->name);
2254                         if (f->index < 0)
2255                                 type_err(c, "error: cannot find requested field in %1",
2256                                          f->left, st, 0, NULL);
2257                 }
2258                 if (f->index >= 0) {
2259                         struct type *ft = st->structure.fields[f->index].type;
2260                         if (!type_compat(type, ft, rules))
2261                                 type_err(c, "error: have %1 but need %2", prog,
2262                                          ft, rules, type);
2263                         return ft;
2264                 }
2265                 break;
2266         }
2267
2268 ###### interp exec cases
2269         case Xfieldref:
2270         {
2271                 struct fieldref *f = cast(fieldref, e);
2272                 struct type *ltype;
2273                 struct value *lleft = linterp_exec(c, f->left, &ltype);
2274                 lrv = (void*)lleft->ptr + ltype->structure.fields[f->index].offset;
2275                 rvtype = ltype->structure.fields[f->index].type;
2276                 break;
2277         }
2278
2279 ###### ast
2280         struct fieldlist {
2281                 struct fieldlist *prev;
2282                 struct field f;
2283         };
2284
2285 ###### ast functions
2286         static void free_fieldlist(struct fieldlist *f)
2287         {
2288                 if (!f)
2289                         return;
2290                 free_fieldlist(f->prev);
2291                 if (f->f.init) {
2292                         free_value(f->f.type, f->f.init);       // UNTESTED
2293                         free(f->f.init);        // UNTESTED
2294                 }
2295                 free(f);
2296         }
2297
2298 ###### top level grammar
2299         DeclareStruct -> struct IDENTIFIER FieldBlock Newlines ${ {
2300                         struct type *t =
2301                                 add_type(c, $2.txt, &structure_prototype);
2302                         int cnt = 0;
2303                         struct fieldlist *f;
2304
2305                         for (f = $3; f; f=f->prev)
2306                                 cnt += 1;
2307
2308                         t->structure.nfields = cnt;
2309                         t->structure.fields = calloc(cnt, sizeof(struct field));
2310                         f = $3;
2311                         while (cnt > 0) {
2312                                 int a = f->f.type->align;
2313                                 cnt -= 1;
2314                                 t->structure.fields[cnt] = f->f;
2315                                 if (t->size & (a-1))
2316                                         t->size = (t->size | (a-1)) + 1;
2317                                 t->structure.fields[cnt].offset = t->size;
2318                                 t->size += ((f->f.type->size - 1) | (a-1)) + 1;
2319                                 if (a > t->align)
2320                                         t->align = a;
2321                                 f->f.init = NULL;
2322                                 f = f->prev;
2323                         }
2324                 } }$
2325
2326         $*fieldlist
2327         FieldBlock -> { IN OptNL FieldLines OUT OptNL } ${ $0 = $<FL; }$
2328                 | { SimpleFieldList } ${ $0 = $<SFL; }$
2329                 | IN OptNL FieldLines OUT ${ $0 = $<FL; }$
2330                 | SimpleFieldList EOL ${ $0 = $<SFL; }$
2331
2332         FieldLines -> SimpleFieldList Newlines ${ $0 = $<SFL; }$
2333                 | FieldLines SimpleFieldList Newlines ${
2334                         $SFL->prev = $<FL;
2335                         $0 = $<SFL;
2336                 }$
2337
2338         SimpleFieldList -> Field ${ $0 = $<F; }$
2339                 | SimpleFieldList ; Field ${
2340                         $F->prev = $<SFL;
2341                         $0 = $<F;
2342                 }$
2343                 | SimpleFieldList ; ${
2344                         $0 = $<SFL;
2345                 }$
2346                 | ERROR ${ tok_err(c, "Syntax error in struct field", &$1); }$
2347
2348         Field -> IDENTIFIER : Type = Expression ${ {
2349                         int ok;
2350
2351                         $0 = calloc(1, sizeof(struct fieldlist));
2352                         $0->f.name = $1.txt;
2353                         $0->f.type = $<3;
2354                         $0->f.init = NULL;
2355                         do {
2356                                 ok = 1;
2357                                 propagate_types($<5, c, &ok, $3, 0);
2358                         } while (ok == 2);
2359                         if (!ok)
2360                                 c->parse_error = 1;     // UNTESTED
2361                         else {
2362                                 struct value vl = interp_exec(c, $5, NULL);
2363                                 $0->f.init = global_alloc(c, $0->f.type, NULL, &vl);
2364                         }
2365                 } }$
2366                 | IDENTIFIER : Type ${
2367                         $0 = calloc(1, sizeof(struct fieldlist));
2368                         $0->f.name = $1.txt;
2369                         $0->f.type = $<3;
2370                         if ($0->f.type->prepare_type)
2371                                 $0->f.type->prepare_type(c, $0->f.type, 1);
2372                 }$
2373
2374 ###### forward decls
2375         static void structure_print_type(struct type *t, FILE *f);
2376
2377 ###### value functions
2378         static void structure_print_type(struct type *t, FILE *f)
2379         {
2380                 int i;
2381
2382                 fprintf(f, "struct %.*s\n", t->name.len, t->name.txt);
2383
2384                 for (i = 0; i < t->structure.nfields; i++) {
2385                         struct field *fl = t->structure.fields + i;
2386                         fprintf(f, "    %.*s : ", fl->name.len, fl->name.txt);
2387                         type_print(fl->type, f);
2388                         if (fl->type->print && fl->init) {
2389                                 fprintf(f, " = ");
2390                                 if (fl->type == Tstr)
2391                                         fprintf(f, "\"");       // UNTESTED
2392                                 print_value(fl->type, fl->init, f);
2393                                 if (fl->type == Tstr)
2394                                         fprintf(f, "\"");       // UNTESTED
2395                         }
2396                         fprintf(f, "\n");
2397                 }
2398         }
2399
2400 ###### print type decls
2401         {
2402                 struct type *t;
2403                 int target = -1;
2404
2405                 while (target != 0) {
2406                         int i = 0;
2407                         for (t = context.typelist; t ; t=t->next)
2408                                 if (t->print_type_decl && !t->check_args) {
2409                                         i += 1;
2410                                         if (i == target)
2411                                                 break;
2412                                 }
2413
2414                         if (target == -1) {
2415                                 target = i;
2416                         } else {
2417                                 t->print_type_decl(t, stdout);
2418                                 target -= 1;
2419                         }
2420                 }
2421         }
2422
2423 #### Functions
2424
2425 A function is a chunk of code which can be passed parameters and can
2426 return results.  Each function has a type which includes the set of
2427 parameters and the return value.  As yet these types cannot be declared
2428 separately from the function itself.
2429
2430 The parameters can be specified either in parentheses as a ';' separated
2431 list, such as
2432
2433 ##### Example: function 1
2434
2435         func main(av:[ac::number]string; env:[envc::number]string)
2436                 code block
2437
2438 or as an indented list of one parameter per line (though each line can
2439 be a ';' separated list)
2440
2441 ##### Example: function 2
2442
2443         func main
2444                 argv:[argc::number]string
2445                 env:[envc::number]string
2446         do
2447                 code block
2448
2449 In the first case a return type can follow the paentheses after a colon,
2450 in the second it is given on a line starting with the word `return`.
2451
2452 ##### Example: functions that return
2453
2454         func add(a:number; b:number): number
2455                 code block
2456
2457         func catenate
2458                 a: string
2459                 b: string
2460         return string
2461         do
2462                 code block
2463
2464
2465 For constructing these lists we use a `List` binode, which will be
2466 further detailed when Expression Lists are introduced.
2467
2468 ###### type union fields
2469
2470         struct {
2471                 struct binode *params;
2472                 struct type *return_type;
2473                 struct variable *scope;
2474                 int local_size;
2475         } function;
2476
2477 ###### value union fields
2478         struct exec *function;
2479
2480 ###### type functions
2481         void (*check_args)(struct parse_context *c, int *ok,
2482                            struct type *require, struct exec *args);
2483
2484 ###### value functions
2485
2486         static void function_free(struct type *type, struct value *val)
2487         {
2488                 free_exec(val->function);
2489                 val->function = NULL;
2490         }
2491
2492         static int function_compat(struct type *require, struct type *have)
2493         {
2494                 // FIXME can I do anything here yet?
2495                 return 0;
2496         }
2497
2498         static void function_check_args(struct parse_context *c, int *ok,
2499                                         struct type *require, struct exec *args)
2500         {
2501                 /* This should be 'compat', but we don't have a 'tuple' type to
2502                  * hold the type of 'args'
2503                  */
2504                 struct binode *arg = cast(binode, args);
2505                 struct binode *param = require->function.params;
2506
2507                 while (param) {
2508                         struct var *pv = cast(var, param->left);
2509                         if (!arg) {
2510                                 type_err(c, "error: insufficient arguments to function.",
2511                                          args, NULL, 0, NULL);
2512                                 break;
2513                         }
2514                         *ok = 1;
2515                         propagate_types(arg->left, c, ok, pv->var->type, 0);
2516                         param = cast(binode, param->right);
2517                         arg = cast(binode, arg->right);
2518                 }
2519                 if (arg)
2520                         type_err(c, "error: too many arguments to function.",
2521                                  args, NULL, 0, NULL);
2522         }
2523
2524         static void function_print(struct type *type, struct value *val, FILE *f)
2525         {
2526                 print_exec(val->function, 1, 0);
2527         }
2528
2529         static void function_print_type_decl(struct type *type, FILE *f)
2530         {
2531                 struct binode *b;
2532                 fprintf(f, "(");
2533                 for (b = type->function.params; b; b = cast(binode, b->right)) {
2534                         struct variable *v = cast(var, b->left)->var;
2535                         fprintf(f, "%.*s%s", v->name->name.len, v->name->name.txt,
2536                                 v->constant ? "::" : ":");
2537                         type_print(v->type, f);
2538                         if (b->right)
2539                                 fprintf(f, "; ");
2540                 }
2541                 fprintf(f, ")");
2542                 if (type->function.return_type != Tnone) {
2543                         fprintf(f, ":");
2544                         type_print(type->function.return_type, f);
2545                 }
2546                 fprintf(f, "\n");
2547         }
2548
2549         static void function_free_type(struct type *t)
2550         {
2551                 free_exec(t->function.params);
2552         }
2553
2554         static struct type function_prototype = {
2555                 .size = sizeof(void*),
2556                 .align = sizeof(void*),
2557                 .free = function_free,
2558                 .compat = function_compat,
2559                 .check_args = function_check_args,
2560                 .print = function_print,
2561                 .print_type_decl = function_print_type_decl,
2562                 .free_type = function_free_type,
2563         };
2564
2565 ###### declare terminals
2566
2567         $TERM func
2568
2569 ###### Binode types
2570         List,
2571
2572 ###### Grammar
2573
2574         $*variable
2575         FuncName -> IDENTIFIER ${ {
2576                         struct variable *v = var_decl(c, $1.txt);
2577                         struct var *e = new_pos(var, $1);
2578                         e->var = v;
2579                         if (v) {
2580                                 v->where_decl = e;
2581                                 $0 = v;
2582                         } else {
2583                                 v = var_ref(c, $1.txt);
2584                                 e->var = v;
2585                                 type_err(c, "error: function '%v' redeclared",
2586                                         e, NULL, 0, NULL);
2587                                 type_err(c, "info: this is where '%v' was first declared",
2588                                         v->where_decl, NULL, 0, NULL);
2589                                 free_exec(e);
2590                         }
2591                 } }$
2592
2593         $*binode
2594         Args -> ArgsLine NEWLINE ${ $0 = $<AL; }$
2595                 | Args ArgsLine NEWLINE ${ {
2596                         struct binode *b = $<AL;
2597                         struct binode **bp = &b;
2598                         while (*bp)
2599                                 bp = (struct binode **)&(*bp)->left;
2600                         *bp = $<A;
2601                         $0 = b;
2602                 } }$
2603
2604         ArgsLine -> ${ $0 = NULL; }$
2605                 | Varlist ${ $0 = $<1; }$
2606                 | Varlist ; ${ $0 = $<1; }$
2607
2608         Varlist -> Varlist ; ArgDecl ${
2609                         $0 = new(binode);
2610                         $0->op = List;
2611                         $0->left = $<Vl;
2612                         $0->right = $<AD;
2613                 }$
2614                 | ArgDecl ${
2615                         $0 = new(binode);
2616                         $0->op = List;
2617                         $0->left = NULL;
2618                         $0->right = $<AD;
2619                 }$
2620
2621         $*var
2622         ArgDecl -> IDENTIFIER : FormalType ${ {
2623                 struct variable *v = var_decl(c, $1.txt);
2624                 $0 = new(var);
2625                 $0->var = v;
2626                 v->type = $<FT;
2627         } }$
2628
2629 ## Executables: the elements of code
2630
2631 Each code element needs to be parsed, printed, analysed,
2632 interpreted, and freed.  There are several, so let's just start with
2633 the easy ones and work our way up.
2634
2635 ### Values
2636
2637 We have already met values as separate objects.  When manifest
2638 constants appear in the program text, that must result in an executable
2639 which has a constant value.  So the `val` structure embeds a value in
2640 an executable.
2641
2642 ###### exec type
2643         Xval,
2644
2645 ###### ast
2646         struct val {
2647                 struct exec;
2648                 struct type *vtype;
2649                 struct value val;
2650         };
2651
2652 ###### ast functions
2653         struct val *new_val(struct type *T, struct token tk)
2654         {
2655                 struct val *v = new_pos(val, tk);
2656                 v->vtype = T;
2657                 return v;
2658         }
2659
2660 ###### Grammar
2661
2662         $TERM True False
2663
2664         $*val
2665         Value ->  True ${
2666                         $0 = new_val(Tbool, $1);
2667                         $0->val.bool = 1;
2668                         }$
2669                 | False ${
2670                         $0 = new_val(Tbool, $1);
2671                         $0->val.bool = 0;
2672                         }$
2673                 | NUMBER ${
2674                         $0 = new_val(Tnum, $1);
2675                         {
2676                         char tail[3];
2677                         if (number_parse($0->val.num, tail, $1.txt) == 0)
2678                                 mpq_init($0->val.num);  // UNTESTED
2679                                 if (tail[0])
2680                                         tok_err(c, "error: unsupported number suffix",
2681                                                 &$1);
2682                         }
2683                         }$
2684                 | STRING ${
2685                         $0 = new_val(Tstr, $1);
2686                         {
2687                         char tail[3];
2688                         string_parse(&$1, '\\', &$0->val.str, tail);
2689                         if (tail[0])
2690                                 tok_err(c, "error: unsupported string suffix",
2691                                         &$1);
2692                         }
2693                         }$
2694                 | MULTI_STRING ${
2695                         $0 = new_val(Tstr, $1);
2696                         {
2697                         char tail[3];
2698                         string_parse(&$1, '\\', &$0->val.str, tail);
2699                         if (tail[0])
2700                                 tok_err(c, "error: unsupported string suffix",
2701                                         &$1);
2702                         }
2703                         }$
2704
2705 ###### print exec cases
2706         case Xval:
2707         {
2708                 struct val *v = cast(val, e);
2709                 if (v->vtype == Tstr)
2710                         printf("\"");
2711                 print_value(v->vtype, &v->val, stdout);
2712                 if (v->vtype == Tstr)
2713                         printf("\"");
2714                 break;
2715         }
2716
2717 ###### propagate exec cases
2718         case Xval:
2719         {
2720                 struct val *val = cast(val, prog);
2721                 if (!type_compat(type, val->vtype, rules))
2722                         type_err(c, "error: expected %1%r found %2",
2723                                    prog, type, rules, val->vtype);
2724                 return val->vtype;
2725         }
2726
2727 ###### interp exec cases
2728         case Xval:
2729                 rvtype = cast(val, e)->vtype;
2730                 dup_value(rvtype, &cast(val, e)->val, &rv);
2731                 break;
2732
2733 ###### ast functions
2734         static void free_val(struct val *v)
2735         {
2736                 if (v)
2737                         free_value(v->vtype, &v->val);
2738                 free(v);
2739         }
2740
2741 ###### free exec cases
2742         case Xval: free_val(cast(val, e)); break;
2743
2744 ###### ast functions
2745         // Move all nodes from 'b' to 'rv', reversing their order.
2746         // In 'b' 'left' is a list, and 'right' is the last node.
2747         // In 'rv', left' is the first node and 'right' is a list.
2748         static struct binode *reorder_bilist(struct binode *b)
2749         {
2750                 struct binode *rv = NULL;
2751
2752                 while (b) {
2753                         struct exec *t = b->right;
2754                         b->right = rv;
2755                         rv = b;
2756                         if (b->left)
2757                                 b = cast(binode, b->left);
2758                         else
2759                                 b = NULL;
2760                         rv->left = t;
2761                 }
2762                 return rv;
2763         }
2764
2765 ### Variables
2766
2767 Just as we used a `val` to wrap a value into an `exec`, we similarly
2768 need a `var` to wrap a `variable` into an exec.  While each `val`
2769 contained a copy of the value, each `var` holds a link to the variable
2770 because it really is the same variable no matter where it appears.
2771 When a variable is used, we need to remember to follow the `->merged`
2772 link to find the primary instance.
2773
2774 When a variable is declared, it may or may not be given an explicit
2775 type.  We need to record which so that we can report the parsed code
2776 correctly.
2777
2778 ###### exec type
2779         Xvar,
2780
2781 ###### ast
2782         struct var {
2783                 struct exec;
2784                 struct variable *var;
2785         };
2786
2787 ###### variable fields
2788         int explicit_type;
2789
2790 ###### Grammar
2791
2792         $TERM : ::
2793
2794         $*var
2795         VariableDecl -> IDENTIFIER : ${ {
2796                 struct variable *v = var_decl(c, $1.txt);
2797                 $0 = new_pos(var, $1);
2798                 $0->var = v;
2799                 if (v)
2800                         v->where_decl = $0;
2801                 else {
2802                         v = var_ref(c, $1.txt);
2803                         $0->var = v;
2804                         type_err(c, "error: variable '%v' redeclared",
2805                                  $0, NULL, 0, NULL);
2806                         type_err(c, "info: this is where '%v' was first declared",
2807                                  v->where_decl, NULL, 0, NULL);
2808                 }
2809         } }$
2810             | IDENTIFIER :: ${ {
2811                 struct variable *v = var_decl(c, $1.txt);
2812                 $0 = new_pos(var, $1);
2813                 $0->var = v;
2814                 if (v) {
2815                         v->where_decl = $0;
2816                         v->constant = 1;
2817                 } else {
2818                         v = var_ref(c, $1.txt);
2819                         $0->var = v;
2820                         type_err(c, "error: variable '%v' redeclared",
2821                                  $0, NULL, 0, NULL);
2822                         type_err(c, "info: this is where '%v' was first declared",
2823                                  v->where_decl, NULL, 0, NULL);
2824                 }
2825         } }$
2826             | IDENTIFIER : Type ${ {
2827                 struct variable *v = var_decl(c, $1.txt);
2828                 $0 = new_pos(var, $1);
2829                 $0->var = v;
2830                 if (v) {
2831                         v->where_decl = $0;
2832                         v->where_set = $0;
2833                         v->type = $<Type;
2834                         v->explicit_type = 1;
2835                 } else {
2836                         v = var_ref(c, $1.txt);
2837                         $0->var = v;
2838                         type_err(c, "error: variable '%v' redeclared",
2839                                  $0, NULL, 0, NULL);
2840                         type_err(c, "info: this is where '%v' was first declared",
2841                                  v->where_decl, NULL, 0, NULL);
2842                 }
2843         } }$
2844             | IDENTIFIER :: Type ${ {
2845                 struct variable *v = var_decl(c, $1.txt);
2846                 $0 = new_pos(var, $1);
2847                 $0->var = v;
2848                 if (v) {
2849                         v->where_decl = $0;
2850                         v->where_set = $0;
2851                         v->type = $<Type;
2852                         v->constant = 1;
2853                         v->explicit_type = 1;
2854                 } else {
2855                         v = var_ref(c, $1.txt);
2856                         $0->var = v;
2857                         type_err(c, "error: variable '%v' redeclared",
2858                                  $0, NULL, 0, NULL);
2859                         type_err(c, "info: this is where '%v' was first declared",
2860                                  v->where_decl, NULL, 0, NULL);
2861                 }
2862         } }$
2863
2864         $*exec
2865         Variable -> IDENTIFIER ${ {
2866                 struct variable *v = var_ref(c, $1.txt);
2867                 $0 = new_pos(var, $1);
2868                 if (v == NULL) {
2869                         /* This might be a label - allocate a var just in case */
2870                         v = var_decl(c, $1.txt);
2871                         if (v) {
2872                                 v->type = Tnone;
2873                                 v->where_decl = $0;
2874                                 v->where_set = $0;
2875                         }
2876                 }
2877                 cast(var, $0)->var = v;
2878         } }$
2879         ## variable grammar
2880
2881 ###### print exec cases
2882         case Xvar:
2883         {
2884                 struct var *v = cast(var, e);
2885                 if (v->var) {
2886                         struct binding *b = v->var->name;
2887                         printf("%.*s", b->name.len, b->name.txt);
2888                 }
2889                 break;
2890         }
2891
2892 ###### format cases
2893         case 'v':
2894                 if (loc && loc->type == Xvar) {
2895                         struct var *v = cast(var, loc);
2896                         if (v->var) {
2897                                 struct binding *b = v->var->name;
2898                                 fprintf(stderr, "%.*s", b->name.len, b->name.txt);
2899                         } else
2900                                 fputs("???", stderr);   // NOTEST
2901                 } else
2902                         fputs("NOTVAR", stderr);
2903                 break;
2904
2905 ###### propagate exec cases
2906
2907         case Xvar:
2908         {
2909                 struct var *var = cast(var, prog);
2910                 struct variable *v = var->var;
2911                 if (!v) {
2912                         type_err(c, "%d:BUG: no variable!!", prog, NULL, 0, NULL); // NOTEST
2913                         return Tnone;                                   // NOTEST
2914                 }
2915                 v = v->merged;
2916                 if (v->constant && (rules & Rnoconstant)) {
2917                         type_err(c, "error: Cannot assign to a constant: %v",
2918                                  prog, NULL, 0, NULL);
2919                         type_err(c, "info: name was defined as a constant here",
2920                                  v->where_decl, NULL, 0, NULL);
2921                         return v->type;
2922                 }
2923                 if (v->type == Tnone && v->where_decl == prog)
2924                         type_err(c, "error: variable used but not declared: %v",
2925                                  prog, NULL, 0, NULL);
2926                 if (v->type == NULL) {
2927                         if (type && *ok != 0) {
2928                                 v->type = type;
2929                                 v->where_set = prog;
2930                                 *ok = 2;
2931                         }
2932                         return type;
2933                 }
2934                 if (!type_compat(type, v->type, rules)) {
2935                         type_err(c, "error: expected %1%r but variable '%v' is %2", prog,
2936                                  type, rules, v->type);
2937                         type_err(c, "info: this is where '%v' was set to %1", v->where_set,
2938                                  v->type, rules, NULL);
2939                 }
2940                 if (!type)
2941                         return v->type;
2942                 return type;
2943         }
2944
2945 ###### interp exec cases
2946         case Xvar:
2947         {
2948                 struct var *var = cast(var, e);
2949                 struct variable *v = var->var;
2950
2951                 v = v->merged;
2952                 lrv = var_value(c, v);
2953                 rvtype = v->type;
2954                 break;
2955         }
2956
2957 ###### ast functions
2958
2959         static void free_var(struct var *v)
2960         {
2961                 free(v);
2962         }
2963
2964 ###### free exec cases
2965         case Xvar: free_var(cast(var, e)); break;
2966
2967 ### Expressions: Conditional
2968
2969 Our first user of the `binode` will be conditional expressions, which
2970 is a bit odd as they actually have three components.  That will be
2971 handled by having 2 binodes for each expression.  The conditional
2972 expression is the lowest precedence operator which is why we define it
2973 first - to start the precedence list.
2974
2975 Conditional expressions are of the form "value `if` condition `else`
2976 other_value".  They associate to the right, so everything to the right
2977 of `else` is part of an else value, while only a higher-precedence to
2978 the left of `if` is the if values.  Between `if` and `else` there is no
2979 room for ambiguity, so a full conditional expression is allowed in
2980 there.
2981
2982 ###### Binode types
2983         CondExpr,
2984
2985 ###### Grammar
2986
2987         $LEFT if $$ifelse
2988         ## expr precedence
2989
2990         $*exec
2991         Expression -> Expression if Expression else Expression $$ifelse ${ {
2992                         struct binode *b1 = new(binode);
2993                         struct binode *b2 = new(binode);
2994                         b1->op = CondExpr;
2995                         b1->left = $<3;
2996                         b1->right = b2;
2997                         b2->op = CondExpr;
2998                         b2->left = $<1;
2999                         b2->right = $<5;
3000                         $0 = b1;
3001                 } }$
3002                 ## expression grammar
3003
3004 ###### print binode cases
3005
3006         case CondExpr:
3007                 b2 = cast(binode, b->right);
3008                 if (bracket) printf("(");
3009                 print_exec(b2->left, -1, bracket);
3010                 printf(" if ");
3011                 print_exec(b->left, -1, bracket);
3012                 printf(" else ");
3013                 print_exec(b2->right, -1, bracket);
3014                 if (bracket) printf(")");
3015                 break;
3016
3017 ###### propagate binode cases
3018
3019         case CondExpr: {
3020                 /* cond must be Tbool, others must match */
3021                 struct binode *b2 = cast(binode, b->right);
3022                 struct type *t2;
3023
3024                 propagate_types(b->left, c, ok, Tbool, 0);
3025                 t = propagate_types(b2->left, c, ok, type, Rnolabel);
3026                 t2 = propagate_types(b2->right, c, ok, type ?: t, Rnolabel);
3027                 return t ?: t2;
3028         }
3029
3030 ###### interp binode cases
3031
3032         case CondExpr: {
3033                 struct binode *b2 = cast(binode, b->right);
3034                 left = interp_exec(c, b->left, &ltype);
3035                 if (left.bool)
3036                         rv = interp_exec(c, b2->left, &rvtype); // UNTESTED
3037                 else
3038                         rv = interp_exec(c, b2->right, &rvtype);
3039                 }
3040                 break;
3041
3042 ### Expression list
3043
3044 We take a brief detour, now that we have expressions, to describe lists
3045 of expressions.  These will be needed for function parameters and
3046 possibly other situations.  They seem generic enough to introduce here
3047 to be used elsewhere.
3048
3049 And ExpressionList will use the `List` type of `binode`, building up at
3050 the end.  And place where they are used will probably call
3051 `reorder_bilist()` to get a more normal first/next arrangement.
3052
3053 ###### declare terminals
3054         $TERM ,
3055
3056 `List` execs have no implicit semantics, so they are never propagated or
3057 interpreted.  The can be printed as a comma separate list, which is how
3058 they are parsed.  Note they are also used for function formal parameter
3059 lists.  In that case a separate function is used to print them.
3060
3061 ###### print binode cases
3062         case List:
3063                 while (b) {
3064                         printf(" ");
3065                         print_exec(b->left, -1, bracket);
3066                         if (b->right)
3067                                 printf(",");
3068                         b = cast(binode, b->right);
3069                 }
3070                 break;
3071
3072 ###### propagate binode cases
3073         case List: abort(); // NOTEST
3074 ###### interp binode cases
3075         case List: abort(); // NOTEST
3076
3077 ###### Grammar
3078
3079         $*binode
3080         ExpressionList -> ExpressionList , Expression ${
3081                         $0 = new(binode);
3082                         $0->op = List;
3083                         $0->left = $<1;
3084                         $0->right = $<3;
3085                 }$
3086                 | Expression ${
3087                         $0 = new(binode);
3088                         $0->op = List;
3089                         $0->left = NULL;
3090                         $0->right = $<1;
3091                 }$
3092
3093 ### Expressions: Boolean
3094
3095 The next class of expressions to use the `binode` will be Boolean
3096 expressions.  "`and then`" and "`or else`" are similar to `and` and `or`
3097 have same corresponding precendence.  The difference is that they don't
3098 evaluate the second expression if not necessary.
3099
3100 ###### Binode types
3101         And,
3102         AndThen,
3103         Or,
3104         OrElse,
3105         Not,
3106
3107 ###### expr precedence
3108         $LEFT or
3109         $LEFT and
3110         $LEFT not
3111
3112 ###### expression grammar
3113                 | Expression or Expression ${ {
3114                         struct binode *b = new(binode);
3115                         b->op = Or;
3116                         b->left = $<1;
3117                         b->right = $<3;
3118                         $0 = b;
3119                 } }$
3120                 | Expression or else Expression ${ {
3121                         struct binode *b = new(binode);
3122                         b->op = OrElse;
3123                         b->left = $<1;
3124                         b->right = $<4;
3125                         $0 = b;
3126                 } }$
3127
3128                 | Expression and Expression ${ {
3129                         struct binode *b = new(binode);
3130                         b->op = And;
3131                         b->left = $<1;
3132                         b->right = $<3;
3133                         $0 = b;
3134                 } }$
3135                 | Expression and then Expression ${ {
3136                         struct binode *b = new(binode);
3137                         b->op = AndThen;
3138                         b->left = $<1;
3139                         b->right = $<4;
3140                         $0 = b;
3141                 } }$
3142
3143                 | not Expression ${ {
3144                         struct binode *b = new(binode);
3145                         b->op = Not;
3146                         b->right = $<2;
3147                         $0 = b;
3148                 } }$
3149
3150 ###### print binode cases
3151         case And:
3152                 if (bracket) printf("(");
3153                 print_exec(b->left, -1, bracket);
3154                 printf(" and ");
3155                 print_exec(b->right, -1, bracket);
3156                 if (bracket) printf(")");
3157                 break;
3158         case AndThen:
3159                 if (bracket) printf("(");
3160                 print_exec(b->left, -1, bracket);
3161                 printf(" and then ");
3162                 print_exec(b->right, -1, bracket);
3163                 if (bracket) printf(")");
3164                 break;
3165         case Or:
3166                 if (bracket) printf("(");
3167                 print_exec(b->left, -1, bracket);
3168                 printf(" or ");
3169                 print_exec(b->right, -1, bracket);
3170                 if (bracket) printf(")");
3171                 break;
3172         case OrElse:
3173                 if (bracket) printf("(");
3174                 print_exec(b->left, -1, bracket);
3175                 printf(" or else ");
3176                 print_exec(b->right, -1, bracket);
3177                 if (bracket) printf(")");
3178                 break;
3179         case Not:
3180                 if (bracket) printf("(");
3181                 printf("not ");
3182                 print_exec(b->right, -1, bracket);
3183                 if (bracket) printf(")");
3184                 break;
3185
3186 ###### propagate binode cases
3187         case And:
3188         case AndThen:
3189         case Or:
3190         case OrElse:
3191         case Not:
3192                 /* both must be Tbool, result is Tbool */
3193                 propagate_types(b->left, c, ok, Tbool, 0);
3194                 propagate_types(b->right, c, ok, Tbool, 0);
3195                 if (type && type != Tbool)
3196                         type_err(c, "error: %1 operation found where %2 expected", prog,
3197                                    Tbool, 0, type);
3198                 return Tbool;
3199
3200 ###### interp binode cases
3201         case And:
3202                 rv = interp_exec(c, b->left, &rvtype);
3203                 right = interp_exec(c, b->right, &rtype);
3204                 rv.bool = rv.bool && right.bool;
3205                 break;
3206         case AndThen:
3207                 rv = interp_exec(c, b->left, &rvtype);
3208                 if (rv.bool)
3209                         rv = interp_exec(c, b->right, NULL);
3210                 break;
3211         case Or:
3212                 rv = interp_exec(c, b->left, &rvtype);
3213                 right = interp_exec(c, b->right, &rtype);
3214                 rv.bool = rv.bool || right.bool;
3215                 break;
3216         case OrElse:
3217                 rv = interp_exec(c, b->left, &rvtype);
3218                 if (!rv.bool)
3219                         rv = interp_exec(c, b->right, NULL);
3220                 break;
3221         case Not:
3222                 rv = interp_exec(c, b->right, &rvtype);
3223                 rv.bool = !rv.bool;
3224                 break;
3225
3226 ### Expressions: Comparison
3227
3228 Of slightly higher precedence that Boolean expressions are Comparisons.
3229 A comparison takes arguments of any comparable type, but the two types
3230 must be the same.
3231
3232 To simplify the parsing we introduce an `eop` which can record an
3233 expression operator, and the `CMPop` non-terminal will match one of them.
3234
3235 ###### ast
3236         struct eop {
3237                 enum Btype op;
3238         };
3239
3240 ###### ast functions
3241         static void free_eop(struct eop *e)
3242         {
3243                 if (e)
3244                         free(e);
3245         }
3246
3247 ###### Binode types
3248         Less,
3249         Gtr,
3250         LessEq,
3251         GtrEq,
3252         Eql,
3253         NEql,
3254
3255 ###### expr precedence
3256         $LEFT < > <= >= == != CMPop
3257
3258 ###### expression grammar
3259         | Expression CMPop Expression ${ {
3260                 struct binode *b = new(binode);
3261                 b->op = $2.op;
3262                 b->left = $<1;
3263                 b->right = $<3;
3264                 $0 = b;
3265         } }$
3266
3267 ###### Grammar
3268
3269         $eop
3270         CMPop ->   < ${ $0.op = Less; }$
3271                 |  > ${ $0.op = Gtr; }$
3272                 |  <= ${ $0.op = LessEq; }$
3273                 |  >= ${ $0.op = GtrEq; }$
3274                 |  == ${ $0.op = Eql; }$
3275                 |  != ${ $0.op = NEql; }$
3276
3277 ###### print binode cases
3278
3279         case Less:
3280         case LessEq:
3281         case Gtr:
3282         case GtrEq:
3283         case Eql:
3284         case NEql:
3285                 if (bracket) printf("(");
3286                 print_exec(b->left, -1, bracket);
3287                 switch(b->op) {
3288                 case Less:   printf(" < "); break;
3289                 case LessEq: printf(" <= "); break;
3290                 case Gtr:    printf(" > "); break;
3291                 case GtrEq:  printf(" >= "); break;
3292                 case Eql:    printf(" == "); break;
3293                 case NEql:   printf(" != "); break;
3294                 default: abort();               // NOTEST
3295                 }
3296                 print_exec(b->right, -1, bracket);
3297                 if (bracket) printf(")");
3298                 break;
3299
3300 ###### propagate binode cases
3301         case Less:
3302         case LessEq:
3303         case Gtr:
3304         case GtrEq:
3305         case Eql:
3306         case NEql:
3307                 /* Both must match but not be labels, result is Tbool */
3308                 t = propagate_types(b->left, c, ok, NULL, Rnolabel);
3309                 if (t)
3310                         propagate_types(b->right, c, ok, t, 0);
3311                 else {
3312                         t = propagate_types(b->right, c, ok, NULL, Rnolabel);   // UNTESTED
3313                         if (t)  // UNTESTED
3314                                 t = propagate_types(b->left, c, ok, t, 0);      // UNTESTED
3315                 }
3316                 if (!type_compat(type, Tbool, 0))
3317                         type_err(c, "error: Comparison returns %1 but %2 expected", prog,
3318                                     Tbool, rules, type);
3319                 return Tbool;
3320
3321 ###### interp binode cases
3322         case Less:
3323         case LessEq:
3324         case Gtr:
3325         case GtrEq:
3326         case Eql:
3327         case NEql:
3328         {
3329                 int cmp;
3330                 left = interp_exec(c, b->left, &ltype);
3331                 right = interp_exec(c, b->right, &rtype);
3332                 cmp = value_cmp(ltype, rtype, &left, &right);
3333                 rvtype = Tbool;
3334                 switch (b->op) {
3335                 case Less:      rv.bool = cmp <  0; break;
3336                 case LessEq:    rv.bool = cmp <= 0; break;
3337                 case Gtr:       rv.bool = cmp >  0; break;
3338                 case GtrEq:     rv.bool = cmp >= 0; break;
3339                 case Eql:       rv.bool = cmp == 0; break;
3340                 case NEql:      rv.bool = cmp != 0; break;
3341                 default:        rv.bool = 0; break;     // NOTEST
3342                 }
3343                 break;
3344         }
3345
3346 ### Expressions: Arithmetic etc.
3347
3348 The remaining expressions with the highest precedence are arithmetic,
3349 string concatenation, and string conversion.  String concatenation
3350 (`++`) has the same precedence as multiplication and division, but lower
3351 than the uniary.
3352
3353 String conversion is a temporary feature until I get a better type
3354 system.  `$` is a prefix operator which expects a string and returns
3355 a number.
3356
3357 `+` and `-` are both infix and prefix operations (where they are
3358 absolute value and negation).  These have different operator names.
3359
3360 We also have a 'Bracket' operator which records where parentheses were
3361 found.  This makes it easy to reproduce these when printing.  Possibly I
3362 should only insert brackets were needed for precedence.
3363
3364 ###### Binode types
3365         Plus, Minus,
3366         Times, Divide, Rem,
3367         Concat,
3368         Absolute, Negate,
3369         StringConv,
3370         Bracket,
3371
3372 ###### expr precedence
3373         $LEFT + - Eop
3374         $LEFT * / % ++ Top
3375         $LEFT Uop $
3376         $TERM ( )
3377
3378 ###### expression grammar
3379                 | Expression Eop Expression ${ {
3380                         struct binode *b = new(binode);
3381                         b->op = $2.op;
3382                         b->left = $<1;
3383                         b->right = $<3;
3384                         $0 = b;
3385                 } }$
3386
3387                 | Expression Top Expression ${ {
3388                         struct binode *b = new(binode);
3389                         b->op = $2.op;
3390                         b->left = $<1;
3391                         b->right = $<3;
3392                         $0 = b;
3393                 } }$
3394
3395                 | ( Expression ) ${ {
3396                         struct binode *b = new_pos(binode, $1);
3397                         b->op = Bracket;
3398                         b->right = $<2;
3399                         $0 = b;
3400                 } }$
3401                 | Uop Expression ${ {
3402                         struct binode *b = new(binode);
3403                         b->op = $1.op;
3404                         b->right = $<2;
3405                         $0 = b;
3406                 } }$
3407                 | Value ${ $0 = $<1; }$
3408                 | Variable ${ $0 = $<1; }$
3409
3410 ###### Grammar
3411
3412         $eop
3413         Eop ->    + ${ $0.op = Plus; }$
3414                 | - ${ $0.op = Minus; }$
3415
3416         Uop ->    + ${ $0.op = Absolute; }$
3417                 | - ${ $0.op = Negate; }$
3418                 | $ ${ $0.op = StringConv; }$
3419
3420         Top ->    * ${ $0.op = Times; }$
3421                 | / ${ $0.op = Divide; }$
3422                 | % ${ $0.op = Rem; }$
3423                 | ++ ${ $0.op = Concat; }$
3424
3425 ###### print binode cases
3426         case Plus:
3427         case Minus:
3428         case Times:
3429         case Divide:
3430         case Concat:
3431         case Rem:
3432                 if (bracket) printf("(");
3433                 print_exec(b->left, indent, bracket);
3434                 switch(b->op) {
3435                 case Plus:   fputs(" + ", stdout); break;
3436                 case Minus:  fputs(" - ", stdout); break;
3437                 case Times:  fputs(" * ", stdout); break;
3438                 case Divide: fputs(" / ", stdout); break;
3439                 case Rem:    fputs(" % ", stdout); break;
3440                 case Concat: fputs(" ++ ", stdout); break;
3441                 default: abort();       // NOTEST
3442                 }                       // NOTEST
3443                 print_exec(b->right, indent, bracket);
3444                 if (bracket) printf(")");
3445                 break;
3446         case Absolute:
3447         case Negate:
3448         case StringConv:
3449                 if (bracket) printf("(");
3450                 switch (b->op) {
3451                 case Absolute:   fputs("+", stdout); break;
3452                 case Negate:     fputs("-", stdout); break;
3453                 case StringConv: fputs("$", stdout); break;
3454                 default: abort();       // NOTEST
3455                 }                       // NOTEST
3456                 print_exec(b->right, indent, bracket);
3457                 if (bracket) printf(")");
3458                 break;
3459         case Bracket:
3460                 printf("(");
3461                 print_exec(b->right, indent, bracket);
3462                 printf(")");
3463                 break;
3464
3465 ###### propagate binode cases
3466         case Plus:
3467         case Minus:
3468         case Times:
3469         case Rem:
3470         case Divide:
3471                 /* both must be numbers, result is Tnum */
3472         case Absolute:
3473         case Negate:
3474                 /* as propagate_types ignores a NULL,
3475                  * unary ops fit here too */
3476                 propagate_types(b->left, c, ok, Tnum, 0);
3477                 propagate_types(b->right, c, ok, Tnum, 0);
3478                 if (!type_compat(type, Tnum, 0))
3479                         type_err(c, "error: Arithmetic returns %1 but %2 expected", prog,
3480                                    Tnum, rules, type);
3481                 return Tnum;
3482
3483         case Concat:
3484                 /* both must be Tstr, result is Tstr */
3485                 propagate_types(b->left, c, ok, Tstr, 0);
3486                 propagate_types(b->right, c, ok, Tstr, 0);
3487                 if (!type_compat(type, Tstr, 0))
3488                         type_err(c, "error: Concat returns %1 but %2 expected", prog,
3489                                    Tstr, rules, type);
3490                 return Tstr;
3491
3492         case StringConv:
3493                 /* op must be string, result is number */
3494                 propagate_types(b->left, c, ok, Tstr, 0);
3495                 if (!type_compat(type, Tnum, 0))
3496                         type_err(c,     // UNTESTED
3497                           "error: Can only convert string to number, not %1",
3498                                 prog, type, 0, NULL);
3499                 return Tnum;
3500
3501         case Bracket:
3502                 return propagate_types(b->right, c, ok, type, 0);
3503
3504 ###### interp binode cases
3505
3506         case Plus:
3507                 rv = interp_exec(c, b->left, &rvtype);
3508                 right = interp_exec(c, b->right, &rtype);
3509                 mpq_add(rv.num, rv.num, right.num);
3510                 break;
3511         case Minus:
3512                 rv = interp_exec(c, b->left, &rvtype);
3513                 right = interp_exec(c, b->right, &rtype);
3514                 mpq_sub(rv.num, rv.num, right.num);
3515                 break;
3516         case Times:
3517                 rv = interp_exec(c, b->left, &rvtype);
3518                 right = interp_exec(c, b->right, &rtype);
3519                 mpq_mul(rv.num, rv.num, right.num);
3520                 break;
3521         case Divide:
3522                 rv = interp_exec(c, b->left, &rvtype);
3523                 right = interp_exec(c, b->right, &rtype);
3524                 mpq_div(rv.num, rv.num, right.num);
3525                 break;
3526         case Rem: {
3527                 mpz_t l, r, rem;
3528
3529                 left = interp_exec(c, b->left, &ltype);
3530                 right = interp_exec(c, b->right, &rtype);
3531                 mpz_init(l); mpz_init(r); mpz_init(rem);
3532                 mpz_tdiv_q(l, mpq_numref(left.num), mpq_denref(left.num));
3533                 mpz_tdiv_q(r, mpq_numref(right.num), mpq_denref(right.num));
3534                 mpz_tdiv_r(rem, l, r);
3535                 val_init(Tnum, &rv);
3536                 mpq_set_z(rv.num, rem);
3537                 mpz_clear(r); mpz_clear(l); mpz_clear(rem);
3538                 rvtype = ltype;
3539                 break;
3540         }
3541         case Negate:
3542                 rv = interp_exec(c, b->right, &rvtype);
3543                 mpq_neg(rv.num, rv.num);
3544                 break;
3545         case Absolute:
3546                 rv = interp_exec(c, b->right, &rvtype);
3547                 mpq_abs(rv.num, rv.num);
3548                 break;
3549         case Bracket:
3550                 rv = interp_exec(c, b->right, &rvtype);
3551                 break;
3552         case Concat:
3553                 left = interp_exec(c, b->left, &ltype);
3554                 right = interp_exec(c, b->right, &rtype);
3555                 rvtype = Tstr;
3556                 rv.str = text_join(left.str, right.str);
3557                 break;
3558         case StringConv:
3559                 right = interp_exec(c, b->right, &rvtype);
3560                 rtype = Tstr;
3561                 rvtype = Tnum;
3562
3563                 struct text tx = right.str;
3564                 char tail[3];
3565                 int neg = 0;
3566                 if (tx.txt[0] == '-') {
3567                         neg = 1;        // UNTESTED
3568                         tx.txt++;       // UNTESTED
3569                         tx.len--;       // UNTESTED
3570                 }
3571                 if (number_parse(rv.num, tail, tx) == 0)
3572                         mpq_init(rv.num);       // UNTESTED
3573                 else if (neg)
3574                         mpq_neg(rv.num, rv.num);        // UNTESTED
3575                 if (tail[0])
3576                         printf("Unsupported suffix: %.*s\n", tx.len, tx.txt);   // UNTESTED
3577
3578                 break;
3579
3580 ###### value functions
3581
3582         static struct text text_join(struct text a, struct text b)
3583         {
3584                 struct text rv;
3585                 rv.len = a.len + b.len;
3586                 rv.txt = malloc(rv.len);
3587                 memcpy(rv.txt, a.txt, a.len);
3588                 memcpy(rv.txt+a.len, b.txt, b.len);
3589                 return rv;
3590         }
3591
3592 ### Function calls
3593
3594 A function call can appear either as an expression or as a statement.
3595 As functions cannot yet return values, only the statement version will work.
3596 We use a new 'Funcall' binode type to link the function with a list of
3597 arguments, form with the 'List' nodes.
3598
3599 ###### Binode types
3600         Funcall,
3601
3602 ###### expression grammar
3603         | Variable ( ExpressionList ) ${ {
3604                 struct binode *b = new(binode);
3605                 b->op = Funcall;
3606                 b->left = $<V;
3607                 b->right = reorder_bilist($<EL);
3608                 $0 = b;
3609         } }$
3610         | Variable ( ) ${ {
3611                 struct binode *b = new(binode);
3612                 b->op = Funcall;
3613                 b->left = $<V;
3614                 b->right = NULL;
3615                 $0 = b;
3616         } }$
3617
3618 ###### SimpleStatement Grammar
3619
3620         | Variable ( ExpressionList ) ${ {
3621                 struct binode *b = new(binode);
3622                 b->op = Funcall;
3623                 b->left = $<V;
3624                 b->right = reorder_bilist($<EL);
3625                 $0 = b;
3626         } }$
3627
3628 ###### print binode cases
3629
3630         case Funcall:
3631                 do_indent(indent, "");
3632                 print_exec(b->left, -1, bracket);
3633                 printf("(");
3634                 for (b = cast(binode, b->right); b; b = cast(binode, b->right)) {
3635                         if (b->left) {
3636                                 printf(" ");
3637                                 print_exec(b->left, -1, bracket);
3638                                 if (b->right)
3639                                         printf(",");
3640                         }
3641                 }
3642                 printf(")");
3643                 if (indent >= 0)
3644                         printf("\n");
3645                 break;
3646
3647 ###### propagate binode cases
3648
3649         case Funcall: {
3650                 /* Every arg must match formal parameter, and result
3651                  * is return type of function
3652                  */
3653                 struct binode *args = cast(binode, b->right);
3654                 struct var *v = cast(var, b->left);
3655
3656                 if (!v->var->type || v->var->type->check_args == NULL) {
3657                         type_err(c, "error: attempt to call a non-function.",
3658                                  prog, NULL, 0, NULL);
3659                         return NULL;
3660                 }
3661                 v->var->type->check_args(c, ok, v->var->type, args);
3662                 return v->var->type->function.return_type;
3663         }
3664
3665 ###### interp binode cases
3666
3667         case Funcall: {
3668                 struct var *v = cast(var, b->left);
3669                 struct type *t = v->var->type;
3670                 void *oldlocal = c->local;
3671                 int old_size = c->local_size;
3672                 void *local = calloc(1, t->function.local_size);
3673                 struct value *fbody = var_value(c, v->var);
3674                 struct binode *arg = cast(binode, b->right);
3675                 struct binode *param = t->function.params;
3676
3677                 while (param) {
3678                         struct var *pv = cast(var, param->left);
3679                         struct type *vtype = NULL;
3680                         struct value val = interp_exec(c, arg->left, &vtype);
3681                         struct value *lval;
3682                         c->local = local; c->local_size = t->function.local_size;
3683                         lval = var_value(c, pv->var);
3684                         c->local = oldlocal; c->local_size = old_size;
3685                         memcpy(lval, &val, vtype->size);
3686                         param = cast(binode, param->right);
3687                         arg = cast(binode, arg->right);
3688                 }
3689                 c->local = local; c->local_size = t->function.local_size;
3690                 rv = interp_exec(c, fbody->function, &rvtype);
3691                 c->local = oldlocal; c->local_size = old_size;
3692                 free(local);
3693                 break;
3694         }
3695
3696 ### Blocks, Statements, and Statement lists.
3697
3698 Now that we have expressions out of the way we need to turn to
3699 statements.  There are simple statements and more complex statements.
3700 Simple statements do not contain (syntactic) newlines, complex statements do.
3701
3702 Statements often come in sequences and we have corresponding simple
3703 statement lists and complex statement lists.
3704 The former comprise only simple statements separated by semicolons.
3705 The later comprise complex statements and simple statement lists.  They are
3706 separated by newlines.  Thus the semicolon is only used to separate
3707 simple statements on the one line.  This may be overly restrictive,
3708 but I'm not sure I ever want a complex statement to share a line with
3709 anything else.
3710
3711 Note that a simple statement list can still use multiple lines if
3712 subsequent lines are indented, so
3713
3714 ###### Example: wrapped simple statement list
3715
3716         a = b; c = d;
3717            e = f; print g
3718
3719 is a single simple statement list.  This might allow room for
3720 confusion, so I'm not set on it yet.
3721
3722 A simple statement list needs no extra syntax.  A complex statement
3723 list has two syntactic forms.  It can be enclosed in braces (much like
3724 C blocks), or it can be introduced by an indent and continue until an
3725 unindented newline (much like Python blocks).  With this extra syntax
3726 it is referred to as a block.
3727
3728 Note that a block does not have to include any newlines if it only
3729 contains simple statements.  So both of:
3730
3731         if condition: a=b; d=f
3732
3733         if condition { a=b; print f }
3734
3735 are valid.
3736
3737 In either case the list is constructed from a `binode` list with
3738 `Block` as the operator.  When parsing the list it is most convenient
3739 to append to the end, so a list is a list and a statement.  When using
3740 the list it is more convenient to consider a list to be a statement
3741 and a list.  So we need a function to re-order a list.
3742 `reorder_bilist` serves this purpose.
3743
3744 The only stand-alone statement we introduce at this stage is `pass`
3745 which does nothing and is represented as a `NULL` pointer in a `Block`
3746 list.  Other stand-alone statements will follow once the infrastructure
3747 is in-place.
3748
3749 ###### Binode types
3750         Block,
3751
3752 ###### Grammar
3753
3754         $TERM { } ;
3755
3756         $*binode
3757         Block -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3758                 | { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3759                 | SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3760                 | SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3761                 | IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
3762
3763         OpenBlock -> OpenScope { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3764                 | OpenScope { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3765                 | OpenScope SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3766                 | OpenScope SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3767                 | IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
3768
3769         UseBlock -> { OpenScope IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3770                 | { OpenScope SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3771                 | IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
3772
3773         ColonBlock -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3774                 | { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3775                 | : SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3776                 | : SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3777                 | : IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
3778
3779         Statementlist -> ComplexStatements ${ $0 = reorder_bilist($<CS); }$
3780
3781         ComplexStatements -> ComplexStatements ComplexStatement ${
3782                         if ($2 == NULL) {
3783                                 $0 = $<1;
3784                         } else {
3785                                 $0 = new(binode);
3786                                 $0->op = Block;
3787                                 $0->left = $<1;
3788                                 $0->right = $<2;
3789                         }
3790                 }$
3791                 | ComplexStatement ${
3792                         if ($1 == NULL) {
3793                                 $0 = NULL;
3794                         } else {
3795                                 $0 = new(binode);
3796                                 $0->op = Block;
3797                                 $0->left = NULL;
3798                                 $0->right = $<1;
3799                         }
3800                 }$
3801
3802         $*exec
3803         ComplexStatement -> SimpleStatements Newlines ${
3804                         $0 = reorder_bilist($<SS);
3805                         }$
3806                 |  SimpleStatements ; Newlines ${
3807                         $0 = reorder_bilist($<SS);
3808                         }$
3809                 ## ComplexStatement Grammar
3810
3811         $*binode
3812         SimpleStatements -> SimpleStatements ; SimpleStatement ${
3813                         $0 = new(binode);
3814                         $0->op = Block;
3815                         $0->left = $<1;
3816                         $0->right = $<3;
3817                         }$
3818                 | SimpleStatement ${
3819                         $0 = new(binode);
3820                         $0->op = Block;
3821                         $0->left = NULL;
3822                         $0->right = $<1;
3823                         }$
3824
3825         $TERM pass
3826         SimpleStatement -> pass ${ $0 = NULL; }$
3827                 | ERROR ${ tok_err(c, "Syntax error in statement", &$1); }$
3828                 ## SimpleStatement Grammar
3829
3830 ###### print binode cases
3831         case Block:
3832                 if (indent < 0) {
3833                         // simple statement
3834                         if (b->left == NULL)    // UNTESTED
3835                                 printf("pass"); // UNTESTED
3836                         else
3837                                 print_exec(b->left, indent, bracket);   // UNTESTED
3838                         if (b->right) { // UNTESTED
3839                                 printf("; ");   // UNTESTED
3840                                 print_exec(b->right, indent, bracket);  // UNTESTED
3841                         }
3842                 } else {
3843                         // block, one per line
3844                         if (b->left == NULL)
3845                                 do_indent(indent, "pass\n");
3846                         else
3847                                 print_exec(b->left, indent, bracket);
3848                         if (b->right)
3849                                 print_exec(b->right, indent, bracket);
3850                 }
3851                 break;
3852
3853 ###### propagate binode cases
3854         case Block:
3855         {
3856                 /* If any statement returns something other than Tnone
3857                  * or Tbool then all such must return same type.
3858                  * As each statement may be Tnone or something else,
3859                  * we must always pass NULL (unknown) down, otherwise an incorrect
3860                  * error might occur.  We never return Tnone unless it is
3861                  * passed in.
3862                  */
3863                 struct binode *e;
3864
3865                 for (e = b; e; e = cast(binode, e->right)) {
3866                         t = propagate_types(e->left, c, ok, NULL, rules);
3867                         if ((rules & Rboolok) && (t == Tbool || t == Tnone))
3868                                 t = NULL;
3869                         if (t == Tnone && e->right)
3870                                 /* Only the final statement *must* return a value
3871                                  * when not Rboolok
3872                                  */
3873                                 t = NULL;
3874                         if (t) {
3875                                 if (!type)
3876                                         type = t;
3877                                 else if (t != type)
3878                                         type_err(c, "error: expected %1%r, found %2",
3879                                                  e->left, type, rules, t);
3880                         }
3881                 }
3882                 return type;
3883         }
3884
3885 ###### interp binode cases
3886         case Block:
3887                 while (rvtype == Tnone &&
3888                        b) {
3889                         if (b->left)
3890                                 rv = interp_exec(c, b->left, &rvtype);
3891                         b = cast(binode, b->right);
3892                 }
3893                 break;
3894
3895 ### The Print statement
3896
3897 `print` is a simple statement that takes a comma-separated list of
3898 expressions and prints the values separated by spaces and terminated
3899 by a newline.  No control of formatting is possible.
3900
3901 `print` uses `ExpressionList` to collect the expressions and stores them
3902 on the left side of a `Print` binode unlessthere is a trailing comma
3903 when the list is stored on the `right` side and no trailing newline is
3904 printed.
3905
3906 ###### Binode types
3907         Print,
3908
3909 ##### expr precedence
3910         $TERM print
3911
3912 ###### SimpleStatement Grammar
3913
3914         | print ExpressionList ${
3915                 $0 = new(binode);
3916                 $0->op = Print;
3917                 $0->right = NULL;
3918                 $0->left = reorder_bilist($<EL);
3919         }$
3920         | print ExpressionList , ${ {
3921                 $0 = new(binode);
3922                 $0->op = Print;
3923                 $0->right = reorder_bilist($<EL);
3924                 $0->left = NULL;
3925         } }$
3926         | print ${
3927                 $0 = new(binode);
3928                 $0->op = Print;
3929                 $0->left = NULL;
3930                 $0->right = NULL;
3931         }$
3932
3933 ###### print binode cases
3934
3935         case Print:
3936                 do_indent(indent, "print");
3937                 if (b->right) {
3938                         print_exec(b->right, -1, bracket);
3939                         printf(",");
3940                 } else
3941                         print_exec(b->left, -1, bracket);
3942                 if (indent >= 0)
3943                         printf("\n");
3944                 break;
3945
3946 ###### propagate binode cases
3947
3948         case Print:
3949                 /* don't care but all must be consistent */
3950                 if (b->left)
3951                         b = cast(binode, b->left);
3952                 else
3953                         b = cast(binode, b->right);
3954                 while (b) {
3955                         propagate_types(b->left, c, ok, NULL, Rnolabel);
3956                         b = cast(binode, b->right);
3957                 }
3958                 break;
3959
3960 ###### interp binode cases
3961
3962         case Print:
3963         {
3964                 struct binode *b2 = cast(binode, b->left);
3965                 if (!b2)
3966                         b2 = cast(binode, b->right);
3967                 for (; b2; b2 = cast(binode, b2->right)) {
3968                         left = interp_exec(c, b2->left, &ltype);
3969                         print_value(ltype, &left, stdout);
3970                         free_value(ltype, &left);
3971                         if (b2->right)
3972                                 putchar(' ');
3973                 }
3974                 if (b->right == NULL)
3975                         printf("\n");
3976                 ltype = Tnone;
3977                 break;
3978         }
3979
3980 ###### Assignment statement
3981
3982 An assignment will assign a value to a variable, providing it hasn't
3983 been declared as a constant.  The analysis phase ensures that the type
3984 will be correct so the interpreter just needs to perform the
3985 calculation.  There is a form of assignment which declares a new
3986 variable as well as assigning a value.  If a name is assigned before
3987 it is declared, and error will be raised as the name is created as
3988 `Tlabel` and it is illegal to assign to such names.
3989
3990 ###### Binode types
3991         Assign,
3992         Declare,
3993
3994 ###### declare terminals
3995         $TERM =
3996
3997 ###### SimpleStatement Grammar
3998         | Variable = Expression ${
3999                         $0 = new(binode);
4000                         $0->op = Assign;
4001                         $0->left = $<1;
4002                         $0->right = $<3;
4003                 }$
4004         | VariableDecl = Expression ${
4005                         $0 = new(binode);
4006                         $0->op = Declare;
4007                         $0->left = $<1;
4008                         $0->right =$<3;
4009                 }$
4010
4011         | VariableDecl ${
4012                         if ($1->var->where_set == NULL) {
4013                                 type_err(c,
4014                                          "Variable declared with no type or value: %v",
4015                                          $1, NULL, 0, NULL);
4016                                 free_var($1);
4017                         } else {
4018                                 $0 = new(binode);
4019                                 $0->op = Declare;
4020                                 $0->left = $<1;
4021                                 $0->right = NULL;
4022                         }
4023                 }$
4024
4025 ###### print binode cases
4026
4027         case Assign:
4028                 do_indent(indent, "");
4029                 print_exec(b->left, indent, bracket);
4030                 printf(" = ");
4031                 print_exec(b->right, indent, bracket);
4032                 if (indent >= 0)
4033                         printf("\n");
4034                 break;
4035
4036         case Declare:
4037                 {
4038                 struct variable *v = cast(var, b->left)->var;
4039                 do_indent(indent, "");
4040                 print_exec(b->left, indent, bracket);
4041                 if (cast(var, b->left)->var->constant) {
4042                         printf("::");
4043                         if (v->explicit_type) {
4044                                 type_print(v->type, stdout);
4045                                 printf(" ");
4046                         }
4047                 } else {
4048                         printf(":");
4049                         if (v->explicit_type) {
4050                                 type_print(v->type, stdout);
4051                                 printf(" ");
4052                         }
4053                 }
4054                 if (b->right) {
4055                         printf("= ");
4056                         print_exec(b->right, indent, bracket);
4057                 }
4058                 if (indent >= 0)
4059                         printf("\n");
4060                 }
4061                 break;
4062
4063 ###### propagate binode cases
4064
4065         case Assign:
4066         case Declare:
4067                 /* Both must match and not be labels,
4068                  * Type must support 'dup',
4069                  * For Assign, left must not be constant.
4070                  * result is Tnone
4071                  */
4072                 t = propagate_types(b->left, c, ok, NULL,
4073                                     Rnolabel | (b->op == Assign ? Rnoconstant : 0));
4074                 if (!b->right)
4075                         return Tnone;
4076
4077                 if (t) {
4078                         if (propagate_types(b->right, c, ok, t, 0) != t)
4079                                 if (b->left->type == Xvar)
4080                                         type_err(c, "info: variable '%v' was set as %1 here.",
4081                                                  cast(var, b->left)->var->where_set, t, rules, NULL);
4082                 } else {
4083                         t = propagate_types(b->right, c, ok, NULL, Rnolabel);
4084                         if (t)
4085                                 propagate_types(b->left, c, ok, t,
4086                                                 (b->op == Assign ? Rnoconstant : 0));
4087                 }
4088                 if (t && t->dup == NULL)
4089                         type_err(c, "error: cannot assign value of type %1", b, t, 0, NULL);
4090                 return Tnone;
4091
4092                 break;
4093
4094 ###### interp binode cases
4095
4096         case Assign:
4097                 lleft = linterp_exec(c, b->left, &ltype);
4098                 if (lleft)
4099                         dinterp_exec(c, b->right, lleft, ltype, 1);
4100                 ltype = Tnone;
4101                 break;
4102
4103         case Declare:
4104         {
4105                 struct variable *v = cast(var, b->left)->var;
4106                 struct value *val;
4107                 v = v->merged;
4108                 val = var_value(c, v);
4109                 if (v->type->prepare_type)
4110                         v->type->prepare_type(c, v->type, 0);
4111                 if (b->right)
4112                         dinterp_exec(c, b->right, val, v->type, 0);
4113                 else
4114                         val_init(v->type, val);
4115                 break;
4116         }
4117
4118 ### The `use` statement
4119
4120 The `use` statement is the last "simple" statement.  It is needed when a
4121 statement block can return a value.  This includes the body of a
4122 function which has a return type, and the "condition" code blocks in
4123 `if`, `while`, and `switch` statements.
4124
4125 ###### Binode types
4126         Use,
4127
4128 ###### expr precedence
4129         $TERM use
4130
4131 ###### SimpleStatement Grammar
4132         | use Expression ${
4133                 $0 = new_pos(binode, $1);
4134                 $0->op = Use;
4135                 $0->right = $<2;
4136                 if ($0->right->type == Xvar) {
4137                         struct var *v = cast(var, $0->right);
4138                         if (v->var->type == Tnone) {
4139                                 /* Convert this to a label */
4140                                 struct value *val;
4141
4142                                 v->var->type = Tlabel;
4143                                 val = global_alloc(c, Tlabel, v->var, NULL);
4144                                 val->label = val;
4145                         }
4146                 }
4147         }$
4148
4149 ###### print binode cases
4150
4151         case Use:
4152                 do_indent(indent, "use ");
4153                 print_exec(b->right, -1, bracket);
4154                 if (indent >= 0)
4155                         printf("\n");
4156                 break;
4157
4158 ###### propagate binode cases
4159
4160         case Use:
4161                 /* result matches value */
4162                 return propagate_types(b->right, c, ok, type, 0);
4163
4164 ###### interp binode cases
4165
4166         case Use:
4167                 rv = interp_exec(c, b->right, &rvtype);
4168                 break;
4169
4170 ### The Conditional Statement
4171
4172 This is the biggy and currently the only complex statement.  This
4173 subsumes `if`, `while`, `do/while`, `switch`, and some parts of `for`.
4174 It is comprised of a number of parts, all of which are optional though
4175 set combinations apply.  Each part is (usually) a key word (`then` is
4176 sometimes optional) followed by either an expression or a code block,
4177 except the `casepart` which is a "key word and an expression" followed
4178 by a code block.  The code-block option is valid for all parts and,
4179 where an expression is also allowed, the code block can use the `use`
4180 statement to report a value.  If the code block does not report a value
4181 the effect is similar to reporting `True`.
4182
4183 The `else` and `case` parts, as well as `then` when combined with
4184 `if`, can contain a `use` statement which will apply to some
4185 containing conditional statement. `for` parts, `do` parts and `then`
4186 parts used with `for` can never contain a `use`, except in some
4187 subordinate conditional statement.
4188
4189 If there is a `forpart`, it is executed first, only once.
4190 If there is a `dopart`, then it is executed repeatedly providing
4191 always that the `condpart` or `cond`, if present, does not return a non-True
4192 value.  `condpart` can fail to return any value if it simply executes
4193 to completion.  This is treated the same as returning `True`.
4194
4195 If there is a `thenpart` it will be executed whenever the `condpart`
4196 or `cond` returns True (or does not return any value), but this will happen
4197 *after* `dopart` (when present).
4198
4199 If `elsepart` is present it will be executed at most once when the
4200 condition returns `False` or some value that isn't `True` and isn't
4201 matched by any `casepart`.  If there are any `casepart`s, they will be
4202 executed when the condition returns a matching value.
4203
4204 The particular sorts of values allowed in case parts has not yet been
4205 determined in the language design, so nothing is prohibited.
4206
4207 The various blocks in this complex statement potentially provide scope
4208 for variables as described earlier.  Each such block must include the
4209 "OpenScope" nonterminal before parsing the block, and must call
4210 `var_block_close()` when closing the block.
4211
4212 The code following "`if`", "`switch`" and "`for`" does not get its own
4213 scope, but is in a scope covering the whole statement, so names
4214 declared there cannot be redeclared elsewhere.  Similarly the
4215 condition following "`while`" is in a scope the covers the body
4216 ("`do`" part) of the loop, and which does not allow conditional scope
4217 extension.  Code following "`then`" (both looping and non-looping),
4218 "`else`" and "`case`" each get their own local scope.
4219
4220 The type requirements on the code block in a `whilepart` are quite
4221 unusal.  It is allowed to return a value of some identifiable type, in
4222 which case the loop aborts and an appropriate `casepart` is run, or it
4223 can return a Boolean, in which case the loop either continues to the
4224 `dopart` (on `True`) or aborts and runs the `elsepart` (on `False`).
4225 This is different both from the `ifpart` code block which is expected to
4226 return a Boolean, or the `switchpart` code block which is expected to
4227 return the same type as the casepart values.  The correct analysis of
4228 the type of the `whilepart` code block is the reason for the
4229 `Rboolok` flag which is passed to `propagate_types()`.
4230
4231 The `cond_statement` cannot fit into a `binode` so a new `exec` is
4232 defined.  As there are two scopes which cover multiple parts - one for
4233 the whole statement and one for "while" and "do" - and as we will use
4234 the 'struct exec' to track scopes, we actually need two new types of
4235 exec.  One is a `binode` for the looping part, the rest is the
4236 `cond_statement`.  The `cond_statement` will use an auxilliary `struct
4237 casepart` to track a list of case parts.
4238
4239 ###### Binode types
4240         Loop
4241
4242 ###### exec type
4243         Xcond_statement,
4244
4245 ###### ast
4246         struct casepart {
4247                 struct exec *value;
4248                 struct exec *action;
4249                 struct casepart *next;
4250         };
4251         struct cond_statement {
4252                 struct exec;
4253                 struct exec *forpart, *condpart, *thenpart, *elsepart;
4254                 struct binode *looppart;
4255                 struct casepart *casepart;
4256         };
4257
4258 ###### ast functions
4259
4260         static void free_casepart(struct casepart *cp)
4261         {
4262                 while (cp) {
4263                         struct casepart *t;
4264                         free_exec(cp->value);
4265                         free_exec(cp->action);
4266                         t = cp->next;
4267                         free(cp);
4268                         cp = t;
4269                 }
4270         }
4271
4272         static void free_cond_statement(struct cond_statement *s)
4273         {
4274                 if (!s)
4275                         return;
4276                 free_exec(s->forpart);
4277                 free_exec(s->condpart);
4278                 free_exec(s->looppart);
4279                 free_exec(s->thenpart);
4280                 free_exec(s->elsepart);
4281                 free_casepart(s->casepart);
4282                 free(s);
4283         }
4284
4285 ###### free exec cases
4286         case Xcond_statement: free_cond_statement(cast(cond_statement, e)); break;
4287
4288 ###### ComplexStatement Grammar
4289         | CondStatement ${ $0 = $<1; }$
4290
4291 ###### expr precedence
4292         $TERM for then while do
4293         $TERM else
4294         $TERM switch case
4295
4296 ###### Grammar
4297
4298         $*cond_statement
4299         // A CondStatement must end with EOL, as does CondSuffix and
4300         // IfSuffix.
4301         // ForPart, ThenPart, SwitchPart, CasePart are non-empty and
4302         // may or may not end with EOL
4303         // WhilePart and IfPart include an appropriate Suffix
4304
4305         // ForPart, SwitchPart, and IfPart open scopes, o we have to close
4306         // them.  WhilePart opens and closes its own scope.
4307         CondStatement -> ForPart OptNL ThenPart OptNL WhilePart CondSuffix ${
4308                         $0 = $<CS;
4309                         $0->forpart = $<FP;
4310                         $0->thenpart = $<TP;
4311                         $0->looppart = $<WP;
4312                         var_block_close(c, CloseSequential, $0);
4313                         }$
4314                 | ForPart OptNL WhilePart CondSuffix ${
4315                         $0 = $<CS;
4316                         $0->forpart = $<FP;
4317                         $0->looppart = $<WP;
4318                         var_block_close(c, CloseSequential, $0);
4319                         }$
4320                 | WhilePart CondSuffix ${
4321                         $0 = $<CS;
4322                         $0->looppart = $<WP;
4323                         }$
4324                 | SwitchPart OptNL CasePart CondSuffix ${
4325                         $0 = $<CS;
4326                         $0->condpart = $<SP;
4327                         $CP->next = $0->casepart;
4328                         $0->casepart = $<CP;
4329                         var_block_close(c, CloseSequential, $0);
4330                         }$
4331                 | SwitchPart : IN OptNL CasePart CondSuffix OUT Newlines ${
4332                         $0 = $<CS;
4333                         $0->condpart = $<SP;
4334                         $CP->next = $0->casepart;
4335                         $0->casepart = $<CP;
4336                         var_block_close(c, CloseSequential, $0);
4337                         }$
4338                 | IfPart IfSuffix ${
4339                         $0 = $<IS;
4340                         $0->condpart = $IP.condpart; $IP.condpart = NULL;
4341                         $0->thenpart = $IP.thenpart; $IP.thenpart = NULL;
4342                         // This is where we close an "if" statement
4343                         var_block_close(c, CloseSequential, $0);
4344                         }$
4345
4346         CondSuffix -> IfSuffix ${
4347                         $0 = $<1;
4348                 }$
4349                 | Newlines CasePart CondSuffix ${
4350                         $0 = $<CS;
4351                         $CP->next = $0->casepart;
4352                         $0->casepart = $<CP;
4353                 }$
4354                 | CasePart CondSuffix ${
4355                         $0 = $<CS;
4356                         $CP->next = $0->casepart;
4357                         $0->casepart = $<CP;
4358                 }$
4359
4360         IfSuffix -> Newlines ${ $0 = new(cond_statement); }$
4361                 | Newlines ElsePart ${ $0 = $<EP; }$
4362                 | ElsePart ${$0 = $<EP; }$
4363
4364         ElsePart -> else OpenBlock Newlines ${
4365                         $0 = new(cond_statement);
4366                         $0->elsepart = $<OB;
4367                         var_block_close(c, CloseElse, $0->elsepart);
4368                 }$
4369                 | else OpenScope CondStatement ${
4370                         $0 = new(cond_statement);
4371                         $0->elsepart = $<CS;
4372                         var_block_close(c, CloseElse, $0->elsepart);
4373                 }$
4374
4375         $*casepart
4376         CasePart -> case Expression OpenScope ColonBlock ${
4377                         $0 = calloc(1,sizeof(struct casepart));
4378                         $0->value = $<Ex;
4379                         $0->action = $<Bl;
4380                         var_block_close(c, CloseParallel, $0->action);
4381                 }$
4382
4383         $*exec
4384         // These scopes are closed in CondStatement
4385         ForPart -> for OpenBlock ${
4386                         $0 = $<Bl;
4387                 }$
4388
4389         ThenPart -> then OpenBlock ${
4390                         $0 = $<OB;
4391                         var_block_close(c, CloseSequential, $0);
4392                 }$
4393
4394         $*binode
4395         // This scope is closed in CondStatement
4396         WhilePart -> while UseBlock OptNL do OpenBlock ${
4397                         $0 = new(binode);
4398                         $0->op = Loop;
4399                         $0->left = $<UB;
4400                         $0->right = $<OB;
4401                         var_block_close(c, CloseSequential, $0->right);
4402                         var_block_close(c, CloseSequential, $0);
4403                 }$
4404                 | while OpenScope Expression OpenScope ColonBlock ${
4405                         $0 = new(binode);
4406                         $0->op = Loop;
4407                         $0->left = $<Exp;
4408                         $0->right = $<CB;
4409                         var_block_close(c, CloseSequential, $0->right);
4410                         var_block_close(c, CloseSequential, $0);
4411                 }$
4412
4413         $cond_statement
4414         IfPart -> if UseBlock OptNL then OpenBlock ${
4415                         $0.condpart = $<UB;
4416                         $0.thenpart = $<OB;
4417                         var_block_close(c, CloseParallel, $0.thenpart);
4418                 }$
4419                 | if OpenScope Expression OpenScope ColonBlock ${
4420                         $0.condpart = $<Ex;
4421                         $0.thenpart = $<CB;
4422                         var_block_close(c, CloseParallel, $0.thenpart);
4423                 }$
4424                 | if OpenScope Expression OpenScope OptNL then Block ${
4425                         $0.condpart = $<Ex;
4426                         $0.thenpart = $<Bl;
4427                         var_block_close(c, CloseParallel, $0.thenpart);
4428                 }$
4429
4430         $*exec
4431         // This scope is closed in CondStatement
4432         SwitchPart -> switch OpenScope Expression ${
4433                         $0 = $<Ex;
4434                 }$
4435                 | switch UseBlock ${
4436                         $0 = $<Bl;
4437                 }$
4438
4439 ###### print binode cases
4440         case Loop:
4441                 if (b->left && b->left->type == Xbinode &&
4442                     cast(binode, b->left)->op == Block) {
4443                         if (bracket)
4444                                 do_indent(indent, "while {\n");
4445                         else
4446                                 do_indent(indent, "while\n");
4447                         print_exec(b->left, indent+1, bracket);
4448                         if (bracket)
4449                                 do_indent(indent, "} do {\n");
4450                         else
4451                                 do_indent(indent, "do\n");
4452                         print_exec(b->right, indent+1, bracket);
4453                         if (bracket)
4454                                 do_indent(indent, "}\n");
4455                 } else {
4456                         do_indent(indent, "while ");
4457                         print_exec(b->left, 0, bracket);
4458                         if (bracket)
4459                                 printf(" {\n");
4460                         else
4461                                 printf(":\n");
4462                         print_exec(b->right, indent+1, bracket);
4463                         if (bracket)
4464                                 do_indent(indent, "}\n");
4465                 }
4466                 break;
4467
4468 ###### print exec cases
4469
4470         case Xcond_statement:
4471         {
4472                 struct cond_statement *cs = cast(cond_statement, e);
4473                 struct casepart *cp;
4474                 if (cs->forpart) {
4475                         do_indent(indent, "for");
4476                         if (bracket) printf(" {\n"); else printf("\n");
4477                         print_exec(cs->forpart, indent+1, bracket);
4478                         if (cs->thenpart) {
4479                                 if (bracket)
4480                                         do_indent(indent, "} then {\n");
4481                                 else
4482                                         do_indent(indent, "then\n");
4483                                 print_exec(cs->thenpart, indent+1, bracket);
4484                         }
4485                         if (bracket) do_indent(indent, "}\n");
4486                 }
4487                 if (cs->looppart) {
4488                         print_exec(cs->looppart, indent, bracket);
4489                 } else {
4490                         // a condition
4491                         if (cs->casepart)
4492                                 do_indent(indent, "switch");
4493                         else
4494                                 do_indent(indent, "if");
4495                         if (cs->condpart && cs->condpart->type == Xbinode &&
4496                             cast(binode, cs->condpart)->op == Block) {
4497                                 if (bracket)
4498                                         printf(" {\n");
4499                                 else
4500                                         printf("\n");
4501                                 print_exec(cs->condpart, indent+1, bracket);
4502                                 if (bracket)
4503                                         do_indent(indent, "}\n");
4504                                 if (cs->thenpart) {
4505                                         do_indent(indent, "then\n");
4506                                         print_exec(cs->thenpart, indent+1, bracket);
4507                                 }
4508                         } else {
4509                                 printf(" ");
4510                                 print_exec(cs->condpart, 0, bracket);
4511                                 if (cs->thenpart) {
4512                                         if (bracket)
4513                                                 printf(" {\n");
4514                                         else
4515                                                 printf(":\n");
4516                                         print_exec(cs->thenpart, indent+1, bracket);
4517                                         if (bracket)
4518                                                 do_indent(indent, "}\n");
4519                                 } else
4520                                         printf("\n");
4521                         }
4522                 }
4523                 for (cp = cs->casepart; cp; cp = cp->next) {
4524                         do_indent(indent, "case ");
4525                         print_exec(cp->value, -1, 0);
4526                         if (bracket)
4527                                 printf(" {\n");
4528                         else
4529                                 printf(":\n");
4530                         print_exec(cp->action, indent+1, bracket);
4531                         if (bracket)
4532                                 do_indent(indent, "}\n");
4533                 }
4534                 if (cs->elsepart) {
4535                         do_indent(indent, "else");
4536                         if (bracket)
4537                                 printf(" {\n");
4538                         else
4539                                 printf("\n");
4540                         print_exec(cs->elsepart, indent+1, bracket);
4541                         if (bracket)
4542                                 do_indent(indent, "}\n");
4543                 }
4544                 break;
4545         }
4546
4547 ###### propagate binode cases
4548         case Loop:
4549                 t = propagate_types(b->right, c, ok, Tnone, 0);
4550                 if (!type_compat(Tnone, t, 0))
4551                         *ok = 0;        // UNTESTED
4552                 return propagate_types(b->left, c, ok, type, rules);
4553
4554 ###### propagate exec cases
4555         case Xcond_statement:
4556         {
4557                 // forpart and looppart->right must return Tnone
4558                 // thenpart must return Tnone if there is a loopart,
4559                 // otherwise it is like elsepart.
4560                 // condpart must:
4561                 //    be bool if there is no casepart
4562                 //    match casepart->values if there is a switchpart
4563                 //    either be bool or match casepart->value if there
4564                 //             is a whilepart
4565                 // elsepart and casepart->action must match the return type
4566                 //   expected of this statement.
4567                 struct cond_statement *cs = cast(cond_statement, prog);
4568                 struct casepart *cp;
4569
4570                 t = propagate_types(cs->forpart, c, ok, Tnone, 0);
4571                 if (!type_compat(Tnone, t, 0))
4572                         *ok = 0;        // UNTESTED
4573
4574                 if (cs->looppart) {
4575                         t = propagate_types(cs->thenpart, c, ok, Tnone, 0);
4576                         if (!type_compat(Tnone, t, 0))
4577                                 *ok = 0;        // UNTESTED
4578                 }
4579                 if (cs->casepart == NULL) {
4580                         propagate_types(cs->condpart, c, ok, Tbool, 0);
4581                         propagate_types(cs->looppart, c, ok, Tbool, 0);
4582                 } else {
4583                         /* Condpart must match case values, with bool permitted */
4584                         t = NULL;
4585                         for (cp = cs->casepart;
4586                              cp && !t; cp = cp->next)
4587                                 t = propagate_types(cp->value, c, ok, NULL, 0);
4588                         if (!t && cs->condpart)
4589                                 t = propagate_types(cs->condpart, c, ok, NULL, Rboolok);        // UNTESTED
4590                         if (!t && cs->looppart)
4591                                 t = propagate_types(cs->looppart, c, ok, NULL, Rboolok);        // UNTESTED
4592                         // Now we have a type (I hope) push it down
4593                         if (t) {
4594                                 for (cp = cs->casepart; cp; cp = cp->next)
4595                                         propagate_types(cp->value, c, ok, t, 0);
4596                                 propagate_types(cs->condpart, c, ok, t, Rboolok);
4597                                 propagate_types(cs->looppart, c, ok, t, Rboolok);
4598                         }
4599                 }
4600                 // (if)then, else, and case parts must return expected type.
4601                 if (!cs->looppart && !type)
4602                         type = propagate_types(cs->thenpart, c, ok, NULL, rules);
4603                 if (!type)
4604                         type = propagate_types(cs->elsepart, c, ok, NULL, rules);
4605                 for (cp = cs->casepart;
4606                      cp && !type;
4607                      cp = cp->next)     // UNTESTED
4608                         type = propagate_types(cp->action, c, ok, NULL, rules); // UNTESTED
4609                 if (type) {
4610                         if (!cs->looppart)
4611                                 propagate_types(cs->thenpart, c, ok, type, rules);
4612                         propagate_types(cs->elsepart, c, ok, type, rules);
4613                         for (cp = cs->casepart; cp ; cp = cp->next)
4614                                 propagate_types(cp->action, c, ok, type, rules);
4615                         return type;
4616                 } else
4617                         return NULL;
4618         }
4619
4620 ###### interp binode cases
4621         case Loop:
4622                 // This just performs one iterration of the loop
4623                 rv = interp_exec(c, b->left, &rvtype);
4624                 if (rvtype == Tnone ||
4625                     (rvtype == Tbool && rv.bool != 0))
4626                         // rvtype is Tnone or Tbool, doesn't need to be freed
4627                         interp_exec(c, b->right, NULL);
4628                 break;
4629
4630 ###### interp exec cases
4631         case Xcond_statement:
4632         {
4633                 struct value v, cnd;
4634                 struct type *vtype, *cndtype;
4635                 struct casepart *cp;
4636                 struct cond_statement *cs = cast(cond_statement, e);
4637
4638                 if (cs->forpart)
4639                         interp_exec(c, cs->forpart, NULL);
4640                 if (cs->looppart) {
4641                         while ((cnd = interp_exec(c, cs->looppart, &cndtype)),
4642                                cndtype == Tnone || (cndtype == Tbool && cnd.bool != 0))
4643                                 interp_exec(c, cs->thenpart, NULL);
4644                 } else {
4645                         cnd = interp_exec(c, cs->condpart, &cndtype);
4646                         if ((cndtype == Tnone ||
4647                             (cndtype == Tbool && cnd.bool != 0))) {
4648                                 // cnd is Tnone or Tbool, doesn't need to be freed
4649                                 rv = interp_exec(c, cs->thenpart, &rvtype);
4650                                 // skip else (and cases)
4651                                 goto Xcond_done;
4652                         }
4653                 }
4654                 for (cp = cs->casepart; cp; cp = cp->next) {
4655                         v = interp_exec(c, cp->value, &vtype);
4656                         if (value_cmp(cndtype, vtype, &v, &cnd) == 0) {
4657                                 free_value(vtype, &v);
4658                                 free_value(cndtype, &cnd);
4659                                 rv = interp_exec(c, cp->action, &rvtype);
4660                                 goto Xcond_done;
4661                         }
4662                         free_value(vtype, &v);
4663                 }
4664                 free_value(cndtype, &cnd);
4665                 if (cs->elsepart)
4666                         rv = interp_exec(c, cs->elsepart, &rvtype);
4667                 else
4668                         rvtype = Tnone;
4669         Xcond_done:
4670                 break;
4671         }
4672
4673 ### Top level structure
4674
4675 All the language elements so far can be used in various places.  Now
4676 it is time to clarify what those places are.
4677
4678 At the top level of a file there will be a number of declarations.
4679 Many of the things that can be declared haven't been described yet,
4680 such as functions, procedures, imports, and probably more.
4681 For now there are two sorts of things that can appear at the top
4682 level.  They are predefined constants, `struct` types, and the `main`
4683 function.  While the syntax will allow the `main` function to appear
4684 multiple times, that will trigger an error if it is actually attempted.
4685
4686 The various declarations do not return anything.  They store the
4687 various declarations in the parse context.
4688
4689 ###### Parser: grammar
4690
4691         $void
4692         Ocean -> OptNL DeclarationList
4693
4694         ## declare terminals
4695
4696         OptNL ->
4697                 | OptNL NEWLINE
4698         Newlines -> NEWLINE
4699                 | Newlines NEWLINE
4700
4701         DeclarationList -> Declaration
4702                 | DeclarationList Declaration
4703
4704         Declaration -> ERROR Newlines ${
4705                         tok_err(c,      // UNTESTED
4706                                 "error: unhandled parse error", &$1);
4707                 }$
4708                 | DeclareConstant
4709                 | DeclareFunction
4710                 | DeclareStruct
4711
4712         ## top level grammar
4713
4714         ## Grammar
4715
4716 ### The `const` section
4717
4718 As well as being defined in with the code that uses them, constants
4719 can be declared at the top level.  These have full-file scope, so they
4720 are always `InScope`.  The value of a top level constant can be given
4721 as an expression, and this is evaluated immediately rather than in the
4722 later interpretation stage.  Once we add functions to the language, we
4723 will need rules concern which, if any, can be used to define a top
4724 level constant.
4725
4726 Constants are defined in a section that starts with the reserved word
4727 `const` and then has a block with a list of assignment statements.
4728 For syntactic consistency, these must use the double-colon syntax to
4729 make it clear that they are constants.  Type can also be given: if
4730 not, the type will be determined during analysis, as with other
4731 constants.
4732
4733 As the types constants are inserted at the head of a list, printing
4734 them in the same order that they were read is not straight forward.
4735 We take a quadratic approach here and count the number of constants
4736 (variables of depth 0), then count down from there, each time
4737 searching through for the Nth constant for decreasing N.
4738
4739 ###### top level grammar
4740
4741         $TERM const
4742
4743         DeclareConstant -> const { IN OptNL ConstList OUT OptNL } Newlines
4744                 | const { SimpleConstList } Newlines
4745                 | const IN OptNL ConstList OUT Newlines
4746                 | const SimpleConstList Newlines
4747
4748         ConstList -> ConstList SimpleConstLine
4749                 | SimpleConstLine
4750         SimpleConstList -> SimpleConstList ; Const
4751                 | Const
4752                 | SimpleConstList ;
4753         SimpleConstLine -> SimpleConstList Newlines
4754                 | ERROR Newlines ${ tok_err(c, "Syntax error in constant", &$1); }$
4755
4756         $*type
4757         CType -> Type   ${ $0 = $<1; }$
4758                 |       ${ $0 = NULL; }$
4759         $void
4760         Const -> IDENTIFIER :: CType = Expression ${ {
4761                 int ok;
4762                 struct variable *v;
4763
4764                 v = var_decl(c, $1.txt);
4765                 if (v) {
4766                         struct var *var = new_pos(var, $1);
4767                         v->where_decl = var;
4768                         v->where_set = var;
4769                         var->var = v;
4770                         v->constant = 1;
4771                         v->global = 1;
4772                 } else {
4773                         struct variable *vorig = var_ref(c, $1.txt);
4774                         tok_err(c, "error: name already declared", &$1);
4775                         type_err(c, "info: this is where '%v' was first declared",
4776                                  vorig->where_decl, NULL, 0, NULL);
4777                 }
4778                 do {
4779                         ok = 1;
4780                         propagate_types($5, c, &ok, $3, 0);
4781                 } while (ok == 2);
4782                 if (!ok)
4783                         c->parse_error = 1;
4784                 else if (v) {
4785                         struct value res = interp_exec(c, $5, &v->type);
4786                         global_alloc(c, v->type, v, &res);
4787                 }
4788         } }$
4789
4790 ###### print const decls
4791         {
4792                 struct variable *v;
4793                 int target = -1;
4794
4795                 while (target != 0) {
4796                         int i = 0;
4797                         for (v = context.in_scope; v; v=v->in_scope)
4798                                 if (v->depth == 0 && v->constant) {
4799                                         i += 1;
4800                                         if (i == target)
4801                                                 break;
4802                                 }
4803
4804                         if (target == -1) {
4805                                 if (i)
4806                                         printf("const\n");
4807                                 target = i;
4808                         } else {
4809                                 struct value *val = var_value(&context, v);
4810                                 printf("    %.*s :: ", v->name->name.len, v->name->name.txt);
4811                                 type_print(v->type, stdout);
4812                                 printf(" = ");
4813                                 if (v->type == Tstr)
4814                                         printf("\"");
4815                                 print_value(v->type, val, stdout);
4816                                 if (v->type == Tstr)
4817                                         printf("\"");
4818                                 printf("\n");
4819                                 target -= 1;
4820                         }
4821                 }
4822         }
4823
4824 ### Function declarations
4825
4826 The code in an Ocean program is all stored in function declarations.
4827 One of the functions must be named `main` and it must accept an array of
4828 strings as a parameter - the command line arguments.
4829
4830 As this is the top level, several things are handled a bit differently.
4831 The function is not interpreted by `interp_exec` as that isn't passed
4832 the argument list which the program requires.  Similarly type analysis
4833 is a bit more interesting at this level.
4834
4835 ###### ast functions
4836
4837         static struct variable *declare_function(struct parse_context *c,
4838                                                 struct variable *name,
4839                                                 struct binode *args,
4840                                                 struct type *ret,
4841                                                 struct exec *code)
4842         {
4843                 struct text funcname = {" func", 5};
4844                 if (name) {
4845                         struct value fn = {.function = code};
4846                         name->type = add_type(c, funcname, &function_prototype);
4847                         name->type->function.params = reorder_bilist(args);
4848                         name->type->function.return_type = ret;
4849                         global_alloc(c, name->type, name, &fn);
4850                         var_block_close(c, CloseFunction, code);
4851                         name->type->function.scope = c->out_scope;
4852                 } else {
4853                         free_binode(args);
4854                         free_type(ret);
4855                         free_exec(code);
4856                         var_block_close(c, CloseFunction, NULL);
4857                 }
4858                 c->out_scope = NULL;
4859                 return name;
4860         }
4861
4862 ###### declare terminals
4863         $TERM return
4864
4865 ###### top level grammar
4866
4867         $*variable
4868         DeclareFunction -> func FuncName ( OpenScope ArgsLine ) Block Newlines ${
4869                         $0 = declare_function(c, $<FN, $<Ar, Tnone, $<Bl);
4870                 }$
4871                 | func FuncName IN OpenScope Args OUT OptNL do Block Newlines ${
4872                         $0 = declare_function(c, $<FN, $<Ar, Tnone, $<Bl);
4873                 }$
4874                 | func FuncName NEWLINE OpenScope OptNL do Block Newlines ${
4875                         $0 = declare_function(c, $<FN, NULL, Tnone, $<Bl);
4876                 }$
4877                 | func FuncName ( OpenScope ArgsLine ) : Type Block Newlines ${
4878                         $0 = declare_function(c, $<FN, $<Ar, $<Ty, $<Bl);
4879                 }$
4880                 | func FuncName IN OpenScope Args OUT OptNL return Type Newlines do Block Newlines ${
4881                         $0 = declare_function(c, $<FN, $<Ar, $<Ty, $<Bl);
4882                 }$
4883                 | func FuncName NEWLINE OpenScope return Type Newlines do Block Newlines ${
4884                         $0 = declare_function(c, $<FN, NULL, $<Ty, $<Bl);
4885                 }$
4886
4887 ###### print func decls
4888         {
4889                 struct variable *v;
4890                 int target = -1;
4891
4892                 while (target != 0) {
4893                         int i = 0;
4894                         for (v = context.in_scope; v; v=v->in_scope)
4895                                 if (v->depth == 0 && v->type && v->type->check_args) {
4896                                         i += 1;
4897                                         if (i == target)
4898                                                 break;
4899                                 }
4900
4901                         if (target == -1) {
4902                                 target = i;
4903                         } else {
4904                                 struct value *val = var_value(&context, v);
4905                                 printf("func %.*s", v->name->name.len, v->name->name.txt);
4906                                 v->type->print_type_decl(v->type, stdout);
4907                                 if (brackets)
4908                                         print_exec(val->function, 0, brackets);
4909                                 else
4910                                         print_value(v->type, val, stdout);
4911                                 printf("/* frame size %d */\n", v->type->function.local_size);
4912                                 target -= 1;
4913                         }
4914                 }
4915         }
4916
4917 ###### core functions
4918
4919         static int analyse_funcs(struct parse_context *c)
4920         {
4921                 struct variable *v;
4922                 int all_ok = 1;
4923                 for (v = c->in_scope; v; v = v->in_scope) {
4924                         struct value *val;
4925                         int ok = 1;
4926                         if (v->depth != 0 || !v->type || !v->type->check_args)
4927                                 continue;
4928                         val = var_value(c, v);
4929                         do {
4930                                 ok = 1;
4931                                 propagate_types(val->function, c, &ok,
4932                                                 v->type->function.return_type, 0);
4933                         } while (ok == 2);
4934                         if (ok)
4935                                 /* Make sure everything is still consistent */
4936                                 propagate_types(val->function, c, &ok,
4937                                                 v->type->function.return_type, 0);
4938                         if (!ok)
4939                                 all_ok = 0;
4940                         if (!v->type->function.return_type->dup) {
4941                                 type_err(c, "error: function cannot return value of type %1",
4942                                          v->where_decl, v->type->function.return_type, 0, NULL);
4943                         }
4944
4945                         scope_finalize(c, v->type);
4946                 }
4947                 return all_ok;
4948         }
4949
4950         static int analyse_main(struct type *type, struct parse_context *c)
4951         {
4952                 struct binode *bp = type->function.params;
4953                 struct binode *b;
4954                 int ok = 1;
4955                 int arg = 0;
4956                 struct type *argv_type;
4957                 struct text argv_type_name = { " argv", 5 };
4958
4959                 argv_type = add_type(c, argv_type_name, &array_prototype);
4960                 argv_type->array.member = Tstr;
4961                 argv_type->array.unspec = 1;
4962
4963                 for (b = bp; b; b = cast(binode, b->right)) {
4964                         ok = 1;
4965                         switch (arg++) {
4966                         case 0: /* argv */
4967                                 propagate_types(b->left, c, &ok, argv_type, 0);
4968                                 break;
4969                         default: /* invalid */  // NOTEST
4970                                 propagate_types(b->left, c, &ok, Tnone, 0);     // NOTEST
4971                         }
4972                         if (!ok)
4973                                 c->parse_error = 1;
4974                 }
4975
4976                 return !c->parse_error;
4977         }
4978
4979         static void interp_main(struct parse_context *c, int argc, char **argv)
4980         {
4981                 struct value *progp = NULL;
4982                 struct text main_name = { "main", 4 };
4983                 struct variable *mainv;
4984                 struct binode *al;
4985                 int anum = 0;
4986                 struct value v;
4987                 struct type *vtype;
4988
4989                 mainv = var_ref(c, main_name);
4990                 if (mainv)
4991                         progp = var_value(c, mainv);
4992                 if (!progp || !progp->function) {
4993                         fprintf(stderr, "oceani: no main function found.\n");
4994                         c->parse_error = 1;
4995                         return;
4996                 }
4997                 if (!analyse_main(mainv->type, c)) {
4998                         fprintf(stderr, "oceani: main has wrong type.\n");
4999                         c->parse_error = 1;
5000                         return;
5001                 }
5002                 al = mainv->type->function.params;
5003
5004                 c->local_size = mainv->type->function.local_size;
5005                 c->local = calloc(1, c->local_size);
5006                 while (al) {
5007                         struct var *v = cast(var, al->left);
5008                         struct value *vl = var_value(c, v->var);
5009                         struct value arg;
5010                         struct type *t;
5011                         mpq_t argcq;
5012                         int i;
5013
5014                         switch (anum++) {
5015                         case 0: /* argv */
5016                                 t = v->var->type;
5017                                 mpq_init(argcq);
5018                                 mpq_set_ui(argcq, argc, 1);
5019                                 memcpy(var_value(c, t->array.vsize), &argcq, sizeof(argcq));
5020                                 t->prepare_type(c, t, 0);
5021                                 array_init(v->var->type, vl);
5022                                 for (i = 0; i < argc; i++) {
5023                                         struct value *vl2 = vl->array + i * v->var->type->array.member->size;
5024
5025                                         arg.str.txt = argv[i];
5026                                         arg.str.len = strlen(argv[i]);
5027                                         free_value(Tstr, vl2);
5028                                         dup_value(Tstr, &arg, vl2);
5029                                 }
5030                                 break;
5031                         }
5032                         al = cast(binode, al->right);
5033                 }
5034                 v = interp_exec(c, progp->function, &vtype);
5035                 free_value(vtype, &v);
5036                 free(c->local);
5037                 c->local = NULL;
5038         }
5039
5040 ###### ast functions
5041         void free_variable(struct variable *v)
5042         {
5043         }
5044
5045 ## And now to test it out.
5046
5047 Having a language requires having a "hello world" program.  I'll
5048 provide a little more than that: a program that prints "Hello world"
5049 finds the GCD of two numbers, prints the first few elements of
5050 Fibonacci, performs a binary search for a number, and a few other
5051 things which will likely grow as the languages grows.
5052
5053 ###### File: oceani.mk
5054         demos :: sayhello
5055         sayhello : oceani
5056                 @echo "===== DEMO ====="
5057                 ./oceani --section "demo: hello" oceani.mdc 55 33
5058
5059 ###### demo: hello
5060
5061         const
5062                 pi ::= 3.141_592_6
5063                 four ::= 2 + 2 ; five ::= 10/2
5064         const pie ::= "I like Pie";
5065                 cake ::= "The cake is"
5066                   ++ " a lie"
5067
5068         struct fred
5069                 size:[four]number
5070                 name:string
5071                 alive:Boolean
5072
5073         func main(argv:[argc::]string)
5074                 print "Hello World, what lovely oceans you have!"
5075                 print "Are there", five, "?"
5076                 print pi, pie, "but", cake
5077
5078                 A := $argv[1]; B := $argv[2]
5079
5080                 /* When a variable is defined in both branches of an 'if',
5081                  * and used afterwards, the variables are merged.
5082                  */
5083                 if A > B:
5084                         bigger := "yes"
5085                 else
5086                         bigger := "no"
5087                 print "Is", A, "bigger than", B,"? ", bigger
5088                 /* If a variable is not used after the 'if', no
5089                  * merge happens, so types can be different
5090                  */
5091                 if A > B * 2:
5092                         double:string = "yes"
5093                         print A, "is more than twice", B, "?", double
5094                 else
5095                         double := B*2
5096                         print "double", B, "is", double
5097
5098                 a : number
5099                 a = A;
5100                 b:number = B
5101                 if a > 0 and then b > 0:
5102                         while a != b:
5103                                 if a < b:
5104                                         b = b - a
5105                                 else
5106                                         a = a - b
5107                         print "GCD of", A, "and", B,"is", a
5108                 else if a <= 0:
5109                         print a, "is not positive, cannot calculate GCD"
5110                 else
5111                         print b, "is not positive, cannot calculate GCD"
5112
5113                 for
5114                         togo := 10
5115                         f1 := 1; f2 := 1
5116                         print "Fibonacci:", f1,f2,
5117                 then togo = togo - 1
5118                 while togo > 0:
5119                         f3 := f1 + f2
5120                         print "", f3,
5121                         f1 = f2
5122                         f2 = f3
5123                 print ""
5124
5125                 /* Binary search... */
5126                 for
5127                         lo:= 0; hi := 100
5128                         target := 77
5129                 while
5130                         mid := (lo + hi) / 2
5131                         if mid == target:
5132                                 use Found
5133                         if mid < target:
5134                                 lo = mid
5135                         else
5136                                 hi = mid
5137                         if hi - lo < 1:
5138                                 lo = mid
5139                                 use GiveUp
5140                         use True
5141                 do pass
5142                 case Found:
5143                         print "Yay, I found", target
5144                 case GiveUp:
5145                         print "Closest I found was", lo
5146
5147                 size::= 10
5148                 list:[size]number
5149                 list[0] = 1234
5150                 // "middle square" PRNG.  Not particularly good, but one my
5151                 // Dad taught me - the first one I ever heard of.
5152                 for i:=1; then i = i + 1; while i < size:
5153                         n := list[i-1] * list[i-1]
5154                         list[i] = (n / 100) % 10 000
5155
5156                 print "Before sort:",
5157                 for i:=0; then i = i + 1; while i < size:
5158                         print "", list[i],
5159                 print
5160
5161                 for i := 1; then i=i+1; while i < size:
5162                         for j:=i-1; then j=j-1; while j >= 0:
5163                                 if list[j] > list[j+1]:
5164                                         t:= list[j]
5165                                         list[j] = list[j+1]
5166                                         list[j+1] = t
5167                 print " After sort:",
5168                 for i:=0; then i = i + 1; while i < size:
5169                         print "", list[i],
5170                 print
5171
5172                 if 1 == 2 then print "yes"; else print "no"
5173
5174                 bob:fred
5175                 bob.name = "Hello"
5176                 bob.alive = (bob.name == "Hello")
5177                 print "bob", "is" if  bob.alive else "isn't", "alive"