ocean-lang.org Git - ocean/blob - csrc/oceani.mdc

   1 # Ocean Interpreter - Jamison Creek version
   2
   3 Ocean is intended to be a compiled language, so this interpreter is
   4 not targeted at being the final product.  It is, rather, an intermediate
   5 stage and fills that role in two distinct ways.
   6
   7 Firstly, it exists as a platform to experiment with the early language
   8 design.  An interpreter is easy to write and easy to get working, so
   9 the barrier for entry is lower if I aim to start with an interpreter.
  10
  11 Secondly, the plan for the Ocean compiler is to write it in the
  12 [Ocean language](http://ocean-lang.org).  To achieve this we naturally
  13 need some sort of boot-strap process and this interpreter - written in
  14 portable C - will fill that role.  It will be used to bootstrap the
  15 Ocean compiler.
  16
  17 Two features that are not needed to fill either of these roles are
  18 performance and completeness.  The interpreter only needs to be fast
  19 enough to run small test programs and occasionally to run the compiler
  20 on itself.  It only needs to be complete enough to test aspects of the
  21 design which are developed before the compiler is working, and to run
  22 the compiler on itself.  Any features not used by the compiler when
  23 compiling itself are superfluous.  They may be included anyway, but
  24 they may not.
  25
  26 Nonetheless, the interpreter should end up being reasonably complete,
  27 and any performance bottlenecks which appear and are easily fixed, will
  28 be.
  29
  30 ## Current version
  31
  32 This third version of the interpreter exists to test out some initial
  33 ideas relating to types.  Particularly it adds arrays (indexed from
  34 zero) and simple structures.  Basic control flow and variable scoping
  35 are already fairly well established, as are basic numerical and
  36 boolean operators.
  37
  38 Some operators that have only recently been added, and so have not
  39 generated all that much experience yet are "and then" and "or else" as
  40 short-circuit Boolean operators, and the "if ... else" trinary
  41 operator which can select between two expressions based on a third
  42 (which appears syntactically in the middle).
  43
  44 The "func" clause currently only allows a "main" function to be
  45 declared.  That will be extended when proper function support is added.
  46
  47 An element that is present purely to make a usable language, and
  48 without any expectation that they will remain, is the "print" statement
  49 which performs simple output.
  50
  51 The current scalar types are "number", "Boolean", and "string".
  52 Boolean will likely stay in its current form, the other two might, but
  53 could just as easily be changed.
  54
  55 ## Naming
  56
  57 Versions of the interpreter which obviously do not support a complete
  58 language will be named after creeks and streams.  This one is Jamison
  59 Creek.
  60
  61 Once we have something reasonably resembling a complete language, the
  62 names of rivers will be used.
  63 Early versions of the compiler will be named after seas.  Major
  64 releases of the compiler will be named after oceans.  Hopefully I will
  65 be finished once I get to the Pacific Ocean release.
  66
  67 ## Outline
  68
  69 As well as parsing and executing a program, the interpreter can print
  70 out the program from the parsed internal structure.  This is useful
  71 for validating the parsing.
  72 So the main requirements of the interpreter are:
  73
  74 - Parse the program, possibly with tracing,
  75 - Analyse the parsed program to ensure consistency,
  76 - Print the program,
  77 - Execute the "main" function in the program, if no parsing or
  78   consistency errors were found.
  79
  80 This is all performed by a single C program extracted with
  81 `parsergen`.
  82
  83 There will be two formats for printing the program: a default and one
  84 that uses bracketing.  So a `--bracket` command line option is needed
  85 for that.  Normally the first code section found is used, however an
  86 alternate section can be requested so that a file (such as this one)
  87 can contain multiple programs.  This is effected with the `--section`
  88 option.
  89
  90 This code must be compiled with `-fplan9-extensions` so that anonymous
  91 structures can be used.
  92
  93 ###### File: oceani.mk
  94
  95         myCFLAGS := -Wall -g -fplan9-extensions
  96         CFLAGS := $(filter-out $(myCFLAGS),$(CFLAGS)) $(myCFLAGS)
  97         myLDLIBS:= libparser.o libscanner.o libmdcode.o -licuuc
  98         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
  99         ## libs
 100         all :: $(LDLIBS) oceani
 101         oceani.c oceani.h : oceani.mdc parsergen
 102                 ./parsergen -o oceani --LALR --tag Parser oceani.mdc
 103         oceani.mk: oceani.mdc md2c
 104                 ./md2c oceani.mdc
 105
 106         oceani: oceani.o $(LDLIBS)
 107                 $(CC) $(CFLAGS) -o oceani oceani.o $(LDLIBS)
 108
 109 ###### Parser: header
 110         ## macros
 111         struct parse_context;
 112         ## ast
 113         struct parse_context {
 114                 struct token_config config;
 115                 char *file_name;
 116                 int parse_error;
 117                 ## parse context
 118         };
 119
 120 ###### macros
 121
 122         #define container_of(ptr, type, member) ({                      \
 123                 const typeof( ((type *)0)->member ) *__mptr = (ptr);    \
 124                 (type *)( (char *)__mptr - offsetof(type,member) );})
 125
 126         #define config2context(_conf) container_of(_conf, struct parse_context, \
 127                 config)
 128
 129 ###### Parser: reduce
 130         struct parse_context *c = config2context(config);
 131
 132 ###### Parser: code
 133
 134         #include <unistd.h>
 135         #include <stdlib.h>
 136         #include <fcntl.h>
 137         #include <errno.h>
 138         #include <sys/mman.h>
 139         #include <string.h>
 140         #include <stdio.h>
 141         #include <locale.h>
 142         #include <malloc.h>
 143         #include "mdcode.h"
 144         #include "scanner.h"
 145         #include "parser.h"
 146
 147         ## includes
 148
 149         #include "oceani.h"
 150
 151         ## forward decls
 152         ## value functions
 153         ## ast functions
 154         ## core functions
 155
 156         #include <getopt.h>
 157         static char Usage[] =
 158                 "Usage: oceani --trace --print --noexec --brackets --section=SectionName prog.ocn\n";
 159         static const struct option long_options[] = {
 160                 {"trace",     0, NULL, 't'},
 161                 {"print",     0, NULL, 'p'},
 162                 {"noexec",    0, NULL, 'n'},
 163                 {"brackets",  0, NULL, 'b'},
 164                 {"section",   1, NULL, 's'},
 165                 {NULL,        0, NULL, 0},
 166         };
 167         const char *options = "tpnbs";
 168
 169         static void pr_err(char *msg)                   // NOTEST
 170         {
 171                 fprintf(stderr, "%s\n", msg);           // NOTEST
 172         }                                               // NOTEST
 173
 174         int main(int argc, char *argv[])
 175         {
 176                 int fd;
 177                 int len;
 178                 char *file;
 179                 struct section *s = NULL, *ss;
 180                 char *section = NULL;
 181                 struct parse_context context = {
 182                         .config = {
 183                                 .ignored = (1 << TK_mark),
 184                                 .number_chars = ".,_+- ",
 185                                 .word_start = "_",
 186                                 .word_cont = "_",
 187                         },
 188                 };
 189                 int doprint=0, dotrace=0, doexec=1, brackets=0;
 190                 int opt;
 191                 while ((opt = getopt_long(argc, argv, options, long_options, NULL))
 192                        != -1) {
 193                         switch(opt) {
 194                         case 't': dotrace=1; break;
 195                         case 'p': doprint=1; break;
 196                         case 'n': doexec=0; break;
 197                         case 'b': brackets=1; break;
 198                         case 's': section = optarg; break;
 199                         default: fprintf(stderr, Usage);
 200                                 exit(1);
 201                         }
 202                 }
 203                 if (optind >= argc) {
 204                         fprintf(stderr, "oceani: no input file given\n");
 205                         exit(1);
 206                 }
 207                 fd = open(argv[optind], O_RDONLY);
 208                 if (fd < 0) {
 209                         fprintf(stderr, "oceani: cannot open %s\n", argv[optind]);
 210                         exit(1);
 211                 }
 212                 context.file_name = argv[optind];
 213                 len = lseek(fd, 0, 2);
 214                 file = mmap(NULL, len, PROT_READ, MAP_SHARED, fd, 0);
 215                 s = code_extract(file, file+len, pr_err);
 216                 if (!s) {
 217                         fprintf(stderr, "oceani: could not find any code in %s\n",
 218                                 argv[optind]);
 219                         exit(1);
 220                 }
 221
 222                 ## context initialization
 223
 224                 if (section) {
 225                         for (ss = s; ss; ss = ss->next) {
 226                                 struct text sec = ss->section;
 227                                 if (sec.len == strlen(section) &&
 228                                     strncmp(sec.txt, section, sec.len) == 0)
 229                                         break;
 230                         }
 231                         if (!ss) {
 232                                 fprintf(stderr, "oceani: cannot find section %s\n",
 233                                         section);
 234                                 goto cleanup;
 235                         }
 236                 } else
 237                         ss = s;                         // NOTEST
 238                 if (!ss->code) {
 239                         fprintf(stderr, "oceani: no code found in requested section\n");        // NOTEST
 240                         goto cleanup;                   // NOTEST
 241                 }
 242
 243                 parse_oceani(ss->code, &context.config, dotrace ? stderr : NULL);
 244
 245                 if (!context.parse_error && !analyse_funcs(&context)) {
 246                         fprintf(stderr, "oceani: type error in program - not running.\n");
 247                         context.parse_error = 1;
 248                 }
 249
 250                 if (doprint) {
 251                         ## print const decls
 252                         ## print type decls
 253                         ## print func decls
 254                 }
 255                 if (doexec && !context.parse_error)
 256                         interp_main(&context, argc - optind, argv + optind);
 257         cleanup:
 258                 while (s) {
 259                         struct section *t = s->next;
 260                         code_free(s->code);
 261                         free(s);
 262                         s = t;
 263                 }
 264                 // FIXME parser should pop scope even on error
 265                 while (context.scope_depth > 0)
 266                         scope_pop(&context);
 267                 ## free global vars
 268                 ## free context types
 269                 ## free context storage
 270                 exit(context.parse_error ? 1 : 0);
 271         }
 272
 273 ### Analysis
 274
 275 The four requirements of parse, analyse, print, interpret apply to
 276 each language element individually so that is how most of the code
 277 will be structured.
 278
 279 Three of the four are fairly self explanatory.  The one that requires
 280 a little explanation is the analysis step.
 281
 282 The current language design does not require the types of variables to
 283 be declared, but they must still have a single type.  Different
 284 operations impose different requirements on the variables, for example
 285 addition requires both arguments to be numeric, and assignment
 286 requires the variable on the left to have the same type as the
 287 expression on the right.
 288
 289 Analysis involves propagating these type requirements around and
 290 consequently setting the type of each variable.  If any requirements
 291 are violated (e.g. a string is compared with a number) or if a
 292 variable needs to have two different types, then an error is raised
 293 and the program will not run.
 294
 295 If the same variable is declared in both branchs of an 'if/else', or
 296 in all cases of a 'switch' then the multiple instances may be merged
 297 into just one variable if the variable is referenced after the
 298 conditional statement.  When this happens, the types must naturally be
 299 consistent across all the branches.  When the variable is not used
 300 outside the if, the variables in the different branches are distinct
 301 and can be of different types.
 302
 303 Undeclared names may only appear in "use" statements and "case" expressions.
 304 These names are given a type of "label" and a unique value.
 305 This allows them to fill the role of a name in an enumerated type, which
 306 is useful for testing the `switch` statement.
 307
 308 As we will see, the condition part of a `while` statement can return
 309 either a Boolean or some other type.  This requires that the expected
 310 type that gets passed around comprises a type and a flag to indicate
 311 that `Tbool` is also permitted.
 312
 313 As there are, as yet, no distinct types that are compatible, there
 314 isn't much subtlety in the analysis.  When we have distinct number
 315 types, this will become more interesting.
 316
 317 #### Error reporting
 318
 319 When analysis discovers an inconsistency it needs to report an error;
 320 just refusing to run the code ensures that the error doesn't cascade,
 321 but by itself it isn't very useful.  A clear understanding of the sort
 322 of error message that are useful will help guide the process of
 323 analysis.
 324
 325 At a simplistic level, the only sort of error that type analysis can
 326 report is that the type of some construct doesn't match a contextual
 327 requirement.  For example, in `4 + "hello"` the addition provides a
 328 contextual requirement for numbers, but `"hello"` is not a number.  In
 329 this particular example no further information is needed as the types
 330 are obvious from local information.  When a variable is involved that
 331 isn't the case.  It may be helpful to explain why the variable has a
 332 particular type, by indicating the location where the type was set,
 333 whether by declaration or usage.
 334
 335 Using a recursive-descent analysis we can easily detect a problem at
 336 multiple locations. In "`hello:= "there"; 4 + hello`" the addition
 337 will detect that one argument is not a number and the usage of `hello`
 338 will detect that a number was wanted, but not provided.  In this
 339 (early) version of the language, we will generate error reports at
 340 multiple locations, so the use of `hello` will report an error and
 341 explain were the value was set, and the addition will report an error
 342 and say why numbers are needed.  To be able to report locations for
 343 errors, each language element will need to record a file location
 344 (line and column) and each variable will need to record the language
 345 element where its type was set.  For now we will assume that each line
 346 of an error message indicates one location in the file, and up to 2
 347 types.  So we provide a `printf`-like function which takes a format, a
 348 location (a `struct exec` which has not yet been introduced), and 2
 349 types. "`%1`" reports the first type, "`%2`" reports the second.  We
 350 will need a function to print the location, once we know how that is
 351 stored. e As will be explained later, there are sometimes extra rules for
 352 type matching and they might affect error messages, we need to pass those
 353 in too.
 354
 355 As well as type errors, we sometimes need to report problems with
 356 tokens, which might be unexpected or might name a type that has not
 357 been defined.  For these we have `tok_err()` which reports an error
 358 with a given token.  Each of the error functions sets the flag in the
 359 context so indicate that parsing failed.
 360
 361 ###### forward decls
 362
 363         static void fput_loc(struct exec *loc, FILE *f);
 364         static void type_err(struct parse_context *c,
 365                              char *fmt, struct exec *loc,
 366                              struct type *t1, int rules, struct type *t2);
 367
 368 ###### core functions
 369
 370         static void type_err(struct parse_context *c,
 371                              char *fmt, struct exec *loc,
 372                              struct type *t1, int rules, struct type *t2)
 373         {
 374                 fprintf(stderr, "%s:", c->file_name);
 375                 fput_loc(loc, stderr);
 376                 for (; *fmt ; fmt++) {
 377                         if (*fmt != '%') {
 378                                 fputc(*fmt, stderr);
 379                                 continue;
 380                         }
 381                         fmt++;
 382                         switch (*fmt) {
 383                         case '%': fputc(*fmt, stderr); break;   // NOTEST
 384                         default: fputc('?', stderr); break;     // NOTEST
 385                         case '1':
 386                                 type_print(t1, stderr);
 387                                 break;
 388                         case '2':
 389                                 type_print(t2, stderr);
 390                                 break;
 391                         ## format cases
 392                         }
 393                 }
 394                 fputs("\n", stderr);
 395                 c->parse_error = 1;
 396         }
 397
 398         static void tok_err(struct parse_context *c, char *fmt, struct token *t)
 399         {
 400                 fprintf(stderr, "%s:%d:%d: %s: %.*s\n", c->file_name, t->line, t->col, fmt,
 401                         t->txt.len, t->txt.txt);
 402                 c->parse_error = 1;
 403         }
 404
 405 ## Entities: declared and predeclared.
 406
 407 There are various "things" that the language and/or the interpreter
 408 needs to know about to parse and execute a program.  These include
 409 types, variables, values, and executable code.  These are all lumped
 410 together under the term "entities" (calling them "objects" would be
 411 confusing) and introduced here.  The following section will present the
 412 different specific code elements which comprise or manipulate these
 413 various entities.
 414
 415 ### Types
 416
 417 Values come in a wide range of types, with more likely to be added.
 418 Each type needs to be able to print its own values (for convenience at
 419 least) as well as to compare two values, at least for equality and
 420 possibly for order.  For now, values might need to be duplicated and
 421 freed, though eventually such manipulations will be better integrated
 422 into the language.
 423
 424 Rather than requiring every numeric type to support all numeric
 425 operations (add, multiple, etc), we allow types to be able to present
 426 as one of a few standard types: integer, float, and fraction.  The
 427 existence of these conversion functions eventually enable types to
 428 determine if they are compatible with other types, though such types
 429 have not yet been implemented.
 430
 431 Named type are stored in a simple linked list.  Objects of each type are
 432 "values" which are often passed around by value.
 433
 434 ###### ast
 435
 436         struct value {
 437                 union {
 438                         char ptr[1];
 439                         ## value union fields
 440                 };
 441         };
 442
 443         struct type {
 444                 struct text name;
 445                 struct type *next;
 446                 int size, align;
 447                 void (*init)(struct type *type, struct value *val);
 448                 void (*prepare_type)(struct parse_context *c, struct type *type, int parse_time);
 449                 void (*print)(struct type *type, struct value *val);
 450                 void (*print_type)(struct type *type, FILE *f);
 451                 int (*cmp_order)(struct type *t1, struct type *t2,
 452                                  struct value *v1, struct value *v2);
 453                 int (*cmp_eq)(struct type *t1, struct type *t2,
 454                               struct value *v1, struct value *v2);
 455                 void (*dup)(struct type *type, struct value *vold, struct value *vnew);
 456                 void (*free)(struct type *type, struct value *val);
 457                 void (*free_type)(struct type *t);
 458                 long long (*to_int)(struct value *v);
 459                 double (*to_float)(struct value *v);
 460                 int (*to_mpq)(mpq_t *q, struct value *v);
 461                 ## type functions
 462                 union {
 463                         ## type union fields
 464                 };
 465         };
 466
 467 ###### parse context
 468
 469         struct type *typelist;
 470
 471 ###### ast functions
 472
 473         static struct type *find_type(struct parse_context *c, struct text s)
 474         {
 475                 struct type *l = c->typelist;
 476
 477                 while (l &&
 478                        text_cmp(l->name, s) != 0)
 479                                 l = l->next;
 480                 return l;
 481         }
 482
 483         static struct type *add_type(struct parse_context *c, struct text s,
 484                                      struct type *proto)
 485         {
 486                 struct type *n;
 487
 488                 n = calloc(1, sizeof(*n));
 489                 *n = *proto;
 490                 n->name = s;
 491                 n->next = c->typelist;
 492                 c->typelist = n;
 493                 return n;
 494         }
 495
 496         static void free_type(struct type *t)
 497         {
 498                 /* The type is always a reference to something in the
 499                  * context, so we don't need to free anything.
 500                  */
 501         }
 502
 503         static void free_value(struct type *type, struct value *v)
 504         {
 505                 if (type && v) {
 506                         type->free(type, v);
 507                         memset(v, 0x5a, type->size);
 508                 }
 509         }
 510
 511         static void type_print(struct type *type, FILE *f)
 512         {
 513                 if (!type)
 514                         fputs("*unknown*type*", f);     // NOTEST
 515                 else if (type->name.len)
 516                         fprintf(f, "%.*s", type->name.len, type->name.txt);
 517                 else if (type->print_type)
 518                         type->print_type(type, f);
 519                 else
 520                         fputs("*invalid*type*", f);     // NOTEST
 521         }
 522
 523         static void val_init(struct type *type, struct value *val)
 524         {
 525                 if (type && type->init)
 526                         type->init(type, val);
 527         }
 528
 529         static void dup_value(struct type *type,
 530                               struct value *vold, struct value *vnew)
 531         {
 532                 if (type && type->dup)
 533                         type->dup(type, vold, vnew);
 534         }
 535
 536         static int value_cmp(struct type *tl, struct type *tr,
 537                              struct value *left, struct value *right)
 538         {
 539                 if (tl && tl->cmp_order)
 540                         return tl->cmp_order(tl, tr, left, right);
 541                 if (tl && tl->cmp_eq)                   // NOTEST
 542                         return tl->cmp_eq(tl, tr, left, right); // NOTEST
 543                 return -1;                              // NOTEST
 544         }
 545
 546         static void print_value(struct type *type, struct value *v)
 547         {
 548                 if (type && type->print)
 549                         type->print(type, v);
 550                 else
 551                         printf("*Unknown*");            // NOTEST
 552         }
 553
 554 ###### forward decls
 555
 556         static void free_value(struct type *type, struct value *v);
 557         static int type_compat(struct type *require, struct type *have, int rules);
 558         static void type_print(struct type *type, FILE *f);
 559         static void val_init(struct type *type, struct value *v);
 560         static void dup_value(struct type *type,
 561                               struct value *vold, struct value *vnew);
 562         static int value_cmp(struct type *tl, struct type *tr,
 563                              struct value *left, struct value *right);
 564         static void print_value(struct type *type, struct value *v);
 565
 566 ###### free context types
 567
 568         while (context.typelist) {
 569                 struct type *t = context.typelist;
 570
 571                 context.typelist = t->next;
 572                 if (t->free_type)
 573                         t->free_type(t);
 574                 free(t);
 575         }
 576
 577 Type can be specified for local variables, for fields in a structure,
 578 for formal parameters to functions, and possibly elsewhere.  Different
 579 rules may apply in different contexts.  As a minimum, a named type may
 580 always be used.  Currently the type of a formal parameter can be
 581 different from types in other contexts, so we have a separate grammar
 582 symbol for those.
 583
 584 ###### Grammar
 585
 586         $*type
 587         Type -> IDENTIFIER ${
 588                 $0 = find_type(c, $1.txt);
 589                 if (!$0) {
 590                         tok_err(c,
 591                                 "error: undefined type", &$1);
 592
 593                         $0 = Tnone;
 594                 }
 595         }$
 596         ## type grammar
 597
 598         FormalType -> Type ${ $0 = $<1; }$
 599         ## formal type grammar
 600
 601 #### Base Types
 602
 603 Values of the base types can be numbers, which we represent as
 604 multi-precision fractions, strings, Booleans and labels.  When
 605 analysing the program we also need to allow for places where no value
 606 is meaningful (type `Tnone`) and where we don't know what type to
 607 expect yet (type is `NULL`).
 608
 609 Values are never shared, they are always copied when used, and freed
 610 when no longer needed.
 611
 612 When propagating type information around the program, we need to
 613 determine if two types are compatible, where type `NULL` is compatible
 614 with anything.  There are two special cases with type compatibility,
 615 both related to the Conditional Statement which will be described
 616 later.  In some cases a Boolean can be accepted as well as some other
 617 primary type, and in others any type is acceptable except a label (`Vlabel`).
 618 A separate function encoding these cases will simplify some code later.
 619
 620 ###### type functions
 621
 622         int (*compat)(struct type *this, struct type *other);
 623
 624 ###### ast functions
 625
 626         static int type_compat(struct type *require, struct type *have, int rules)
 627         {
 628                 if ((rules & Rboolok) && have == Tbool)
 629                         return 1;       // NOTEST
 630                 if ((rules & Rnolabel) && have == Tlabel)
 631                         return 0;       // NOTEST
 632                 if (!require || !have)
 633                         return 1;
 634
 635                 if (require->compat)
 636                         return require->compat(require, have);
 637
 638                 return require == have;
 639         }
 640
 641 ###### includes
 642         #include <gmp.h>
 643         #include "parse_string.h"
 644         #include "parse_number.h"
 645
 646 ###### libs
 647         myLDLIBS := libnumber.o libstring.o -lgmp
 648         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
 649
 650 ###### type union fields
 651         enum vtype {Vnone, Vstr, Vnum, Vbool, Vlabel} vtype;
 652
 653 ###### value union fields
 654         struct text str;
 655         mpq_t num;
 656         unsigned char bool;
 657         void *label;
 658
 659 ###### ast functions
 660         static void _free_value(struct type *type, struct value *v)
 661         {
 662                 if (!v)
 663                         return;         // NOTEST
 664                 switch (type->vtype) {
 665                 case Vnone: break;
 666                 case Vstr: free(v->str.txt); break;
 667                 case Vnum: mpq_clear(v->num); break;
 668                 case Vlabel:
 669                 case Vbool: break;
 670                 }
 671         }
 672
 673 ###### value functions
 674
 675         static void _val_init(struct type *type, struct value *val)
 676         {
 677                 switch(type->vtype) {
 678                 case Vnone:             // NOTEST
 679                         break;          // NOTEST
 680                 case Vnum:
 681                         mpq_init(val->num); break;
 682                 case Vstr:
 683                         val->str.txt = malloc(1);
 684                         val->str.len = 0;
 685                         break;
 686                 case Vbool:
 687                         val->bool = 0;
 688                         break;
 689                 case Vlabel:
 690                         val->label = NULL;
 691                         break;
 692                 }
 693         }
 694
 695         static void _dup_value(struct type *type,
 696                                struct value *vold, struct value *vnew)
 697         {
 698                 switch (type->vtype) {
 699                 case Vnone:             // NOTEST
 700                         break;          // NOTEST
 701                 case Vlabel:
 702                         vnew->label = vold->label;
 703                         break;
 704                 case Vbool:
 705                         vnew->bool = vold->bool;
 706                         break;
 707                 case Vnum:
 708                         mpq_init(vnew->num);
 709                         mpq_set(vnew->num, vold->num);
 710                         break;
 711                 case Vstr:
 712                         vnew->str.len = vold->str.len;
 713                         vnew->str.txt = malloc(vnew->str.len);
 714                         memcpy(vnew->str.txt, vold->str.txt, vnew->str.len);
 715                         break;
 716                 }
 717         }
 718
 719         static int _value_cmp(struct type *tl, struct type *tr,
 720                               struct value *left, struct value *right)
 721         {
 722                 int cmp;
 723                 if (tl != tr)
 724                         return tl - tr; // NOTEST
 725                 switch (tl->vtype) {
 726                 case Vlabel: cmp = left->label == right->label ? 0 : 1; break;
 727                 case Vnum: cmp = mpq_cmp(left->num, right->num); break;
 728                 case Vstr: cmp = text_cmp(left->str, right->str); break;
 729                 case Vbool: cmp = left->bool - right->bool; break;
 730                 case Vnone: cmp = 0;                    // NOTEST
 731                 }
 732                 return cmp;
 733         }
 734
 735         static void _print_value(struct type *type, struct value *v)
 736         {
 737                 switch (type->vtype) {
 738                 case Vnone:                             // NOTEST
 739                         printf("*no-value*"); break;    // NOTEST
 740                 case Vlabel:                            // NOTEST
 741                         printf("*label-%p*", v->label); break; // NOTEST
 742                 case Vstr:
 743                         printf("%.*s", v->str.len, v->str.txt); break;
 744                 case Vbool:
 745                         printf("%s", v->bool ? "True":"False"); break;
 746                 case Vnum:
 747                         {
 748                         mpf_t fl;
 749                         mpf_init2(fl, 20);
 750                         mpf_set_q(fl, v->num);
 751                         gmp_printf("%Fg", fl);
 752                         mpf_clear(fl);
 753                         break;
 754                         }
 755                 }
 756         }
 757
 758         static void _free_value(struct type *type, struct value *v);
 759
 760         static struct type base_prototype = {
 761                 .init = _val_init,
 762                 .print = _print_value,
 763                 .cmp_order = _value_cmp,
 764                 .cmp_eq = _value_cmp,
 765                 .dup = _dup_value,
 766                 .free = _free_value,
 767         };
 768
 769         static struct type *Tbool, *Tstr, *Tnum, *Tnone, *Tlabel;
 770
 771 ###### ast functions
 772         static struct type *add_base_type(struct parse_context *c, char *n,
 773                                           enum vtype vt, int size)
 774         {
 775                 struct text txt = { n, strlen(n) };
 776                 struct type *t;
 777
 778                 t = add_type(c, txt, &base_prototype);
 779                 t->vtype = vt;
 780                 t->size = size;
 781                 t->align = size > sizeof(void*) ? sizeof(void*) : size;
 782                 if (t->size & (t->align - 1))
 783                         t->size = (t->size | (t->align - 1)) + 1;       // NOTEST
 784                 return t;
 785         }
 786
 787 ###### context initialization
 788
 789         Tbool  = add_base_type(&context, "Boolean", Vbool, sizeof(char));
 790         Tstr   = add_base_type(&context, "string", Vstr, sizeof(struct text));
 791         Tnum   = add_base_type(&context, "number", Vnum, sizeof(mpq_t));
 792         Tnone  = add_base_type(&context, "none", Vnone, 0);
 793         Tlabel = add_base_type(&context, "label", Vlabel, sizeof(void*));
 794
 795 ### Variables
 796
 797 Variables are scoped named values.  We store the names in a linked list
 798 of "bindings" sorted in lexical order, and use sequential search and
 799 insertion sort.
 800
 801 ###### ast
 802
 803         struct binding {
 804                 struct text name;
 805                 struct binding *next;   // in lexical order
 806                 ## binding fields
 807         };
 808
 809 This linked list is stored in the parse context so that "reduce"
 810 functions can find or add variables, and so the analysis phase can
 811 ensure that every variable gets a type.
 812
 813 ###### parse context
 814
 815         struct binding *varlist;  // In lexical order
 816
 817 ###### ast functions
 818
 819         static struct binding *find_binding(struct parse_context *c, struct text s)
 820         {
 821                 struct binding **l = &c->varlist;
 822                 struct binding *n;
 823                 int cmp = 1;
 824
 825                 while (*l &&
 826                         (cmp = text_cmp((*l)->name, s)) < 0)
 827                                 l = & (*l)->next;
 828                 if (cmp == 0)
 829                         return *l;
 830                 n = calloc(1, sizeof(*n));
 831                 n->name = s;
 832                 n->next = *l;
 833                 *l = n;
 834                 return n;
 835         }
 836
 837 Each name can be linked to multiple variables defined in different
 838 scopes.  Each scope starts where the name is declared and continues
 839 until the end of the containing code block.  Scopes of a given name
 840 cannot nest, so a declaration while a name is in-scope is an error.
 841
 842 ###### binding fields
 843         struct variable *var;
 844
 845 ###### ast
 846         struct variable {
 847                 struct variable *previous;
 848                 struct type *type;
 849                 struct binding *name;
 850                 struct exec *where_decl;// where name was declared
 851                 struct exec *where_set; // where type was set
 852                 ## variable fields
 853         };
 854
 855 When a scope closes, the values of the variables might need to be freed.
 856 This happens in the context of some `struct exec` and each `exec` will
 857 need to know which variables need to be freed when it completes.
 858
 859 ####### exec fields
 860         struct variable *to_free;
 861
 862 ####### variable fields
 863         struct exec *cleanup_exec;
 864         struct variable *next_free;
 865
 866 ####### interp exec cleanup
 867         {
 868                 struct variable *v;
 869                 for (v = e->to_free; v; v = v->next_free) {
 870                         struct value *val = var_value(c, v);
 871                         free_value(v->type, val);
 872                 }
 873         }
 874
 875 ###### ast functions
 876         static void variable_unlink_exec(struct variable *v)
 877         {
 878                 struct variable **vp;
 879                 if (!v->cleanup_exec)
 880                         return;
 881                 for (vp = &v->cleanup_exec->to_free;
 882                     *vp; vp = &(*vp)->next_free) {
 883                         if (*vp != v)
 884                                 continue;
 885                         *vp = v->next_free;
 886                         v->cleanup_exec = NULL;
 887                         break;
 888                 }
 889         }
 890
 891 While the naming seems strange, we include local constants in the
 892 definition of variables.  A name declared `var := value` can
 893 subsequently be changed, but a name declared `var ::= value` cannot -
 894 it is constant
 895
 896 ###### variable fields
 897         int constant;
 898
 899 Scopes in parallel branches can be partially merged.  More
 900 specifically, if a given name is declared in both branches of an
 901 if/else then its scope is a candidate for merging.  Similarly if
 902 every branch of an exhaustive switch (e.g. has an "else" clause)
 903 declares a given name, then the scopes from the branches are
 904 candidates for merging.
 905
 906 Note that names declared inside a loop (which is only parallel to
 907 itself) are never visible after the loop.  Similarly names defined in
 908 scopes which are not parallel, such as those started by `for` and
 909 `switch`, are never visible after the scope.  Only variables defined in
 910 both `then` and `else` (including the implicit then after an `if`, and
 911 excluding `then` used with `for`) and in all `case`s and `else` of a
 912 `switch` or `while` can be visible beyond the `if`/`switch`/`while`.
 913
 914 Labels, which are a bit like variables, follow different rules.
 915 Labels are not explicitly declared, but if an undeclared name appears
 916 in a context where a label is legal, that effectively declares the
 917 name as a label.  The declaration remains in force (or in scope) at
 918 least to the end of the immediately containing block and conditionally
 919 in any larger containing block which does not declare the name in some
 920 other way.  Importantly, the conditional scope extension happens even
 921 if the label is only used in one parallel branch of a conditional --
 922 when used in one branch it is treated as having been declared in all
 923 branches.
 924
 925 Merge candidates are tentatively visible beyond the end of the
 926 branching statement which creates them.  If the name is used, the
 927 merge is affirmed and they become a single variable visible at the
 928 outer layer.  If not - if it is redeclared first - the merge lapses.
 929
 930 To track scopes we have an extra stack, implemented as a linked list,
 931 which roughly parallels the parse stack and which is used exclusively
 932 for scoping.  When a new scope is opened, a new frame is pushed and
 933 the child-count of the parent frame is incremented.  This child-count
 934 is used to distinguish between the first of a set of parallel scopes,
 935 in which declared variables must not be in scope, and subsequent
 936 branches, whether they may already be conditionally scoped.
 937
 938 We need a total ordering of scopes so we can easily compare to variables
 939 to see if they are concurrently in scope.  To achieve this we record a
 940 `scope_count` which is actually a count of both beginnings and endings
 941 of scopes.  Then each variable has a record of the scope count where it
 942 enters scope, and where it leaves.
 943
 944 To push a new frame *before* any code in the frame is parsed, we need a
 945 grammar reduction.  This is most easily achieved with a grammar
 946 element which derives the empty string, and creates the new scope when
 947 it is recognised.  This can be placed, for example, between a keyword
 948 like "if" and the code following it.
 949
 950 ###### ast
 951         struct scope {
 952                 struct scope *parent;
 953                 int child_count;
 954         };
 955
 956 ###### parse context
 957         int scope_depth;
 958         int scope_count;
 959         struct scope *scope_stack;
 960
 961 ###### variable fields
 962         int scope_start, scope_end;
 963
 964 ###### ast functions
 965         static void scope_pop(struct parse_context *c)
 966         {
 967                 struct scope *s = c->scope_stack;
 968
 969                 c->scope_stack = s->parent;
 970                 free(s);
 971                 c->scope_depth -= 1;
 972                 c->scope_count += 1;
 973         }
 974
 975         static void scope_push(struct parse_context *c)
 976         {
 977                 struct scope *s = calloc(1, sizeof(*s));
 978                 if (c->scope_stack)
 979                         c->scope_stack->child_count += 1;
 980                 s->parent = c->scope_stack;
 981                 c->scope_stack = s;
 982                 c->scope_depth += 1;
 983                 c->scope_count += 1;
 984         }
 985
 986 ###### Grammar
 987
 988         $void
 989         OpenScope -> ${ scope_push(c); }$
 990
 991 Each variable records a scope depth and is in one of four states:
 992
 993 - "in scope".  This is the case between the declaration of the
 994   variable and the end of the containing block, and also between
 995   the usage with affirms a merge and the end of that block.
 996
 997   The scope depth is not greater than the current parse context scope
 998   nest depth.  When the block of that depth closes, the state will
 999   change.  To achieve this, all "in scope" variables are linked
1000   together as a stack in nesting order.
1001
1002 - "pending".  The "in scope" block has closed, but other parallel
1003   scopes are still being processed.  So far, every parallel block at
1004   the same level that has closed has declared the name.
1005
1006   The scope depth is the depth of the last parallel block that
1007   enclosed the declaration, and that has closed.
1008
1009 - "conditionally in scope".  The "in scope" block and all parallel
1010   scopes have closed, and no further mention of the name has been seen.
1011   This state includes a secondary nest depth (`min_depth`) which records
1012   the outermost scope seen since the variable became conditionally in
1013   scope.  If a use of the name is found, the variable becomes "in scope"
1014   and that secondary depth becomes the recorded scope depth.  If the
1015   name is declared as a new variable, the old variable becomes "out of
1016   scope" and the recorded scope depth stays unchanged.
1017
1018 - "out of scope".  The variable is neither in scope nor conditionally
1019   in scope.  It is permanently out of scope now and can be removed from
1020   the "in scope" stack.  When a variable becomes out-of-scope it is
1021   moved to a separate list (`out_scope`) of variables which have fully
1022   known scope.  This will be used at the end of each function to assign
1023   each variable a place in the stack frame.
1024
1025 ###### variable fields
1026         int depth, min_depth;
1027         enum { OutScope, PendingScope, CondScope, InScope } scope;
1028         struct variable *in_scope;
1029
1030 ###### parse context
1031
1032         struct variable *in_scope;
1033         struct variable *out_scope;
1034
1035 All variables with the same name are linked together using the
1036 'previous' link.  Those variable that have been affirmatively merged all
1037 have a 'merged' pointer that points to one primary variable - the most
1038 recently declared instance.  When merging variables, we need to also
1039 adjust the 'merged' pointer on any other variables that had previously
1040 been merged with the one that will no longer be primary.
1041
1042 A variable that is no longer the most recent instance of a name may
1043 still have "pending" scope, if it might still be merged with most
1044 recent instance.  These variables don't really belong in the
1045 "in_scope" list, but are not immediately removed when a new instance
1046 is found.  Instead, they are detected and ignored when considering the
1047 list of in_scope names.
1048
1049 The storage of the value of a variable will be described later.  For now
1050 we just need to know that when a variable goes out of scope, it might
1051 need to be freed.  For this we need to be able to find it, so assume that
1052 `var_value()` will provide that.
1053
1054 ###### variable fields
1055         struct variable *merged;
1056
1057 ###### ast functions
1058
1059         static void variable_merge(struct variable *primary, struct variable *secondary)
1060         {
1061                 struct variable *v;
1062
1063                 primary = primary->merged;
1064
1065                 for (v = primary->previous; v; v=v->previous)
1066                         if (v == secondary || v == secondary->merged ||
1067                             v->merged == secondary ||
1068                             v->merged == secondary->merged) {
1069                                 v->scope = OutScope;
1070                                 v->merged = primary;
1071                                 if (v->scope_start < primary->scope_start)
1072                                         primary->scope_start = v->scope_start;
1073                                 if (v->scope_end > primary->scope_end)
1074                                         primary->scope_end = v->scope_end;      // NOTEST
1075                                 variable_unlink_exec(v);
1076                         }
1077         }
1078
1079 ###### forward decls
1080         static struct value *var_value(struct parse_context *c, struct variable *v);
1081
1082 ###### free global vars
1083
1084         while (context.varlist) {
1085                 struct binding *b = context.varlist;
1086                 struct variable *v = b->var;
1087                 context.varlist = b->next;
1088                 free(b);
1089                 while (v) {
1090                         struct variable *next = v->previous;
1091
1092                         if (v->global) {
1093                                 free_value(v->type, var_value(&context, v));
1094                                 if (v->depth == 0)
1095                                         // This is a global constant
1096                                         free_exec(v->where_decl);
1097                         }
1098                         free(v);
1099                         v = next;
1100                 }
1101         }
1102
1103 #### Manipulating Bindings
1104
1105 When a name is conditionally visible, a new declaration discards the old
1106 binding - the condition lapses.  Similarly when we reach the end of a
1107 function (outermost non-global scope) any conditional scope must lapse.
1108 Conversely a usage of the name affirms the visibility and extends it to
1109 the end of the containing block - i.e.  the block that contains both the
1110 original declaration and the latest usage.  This is determined from
1111 `min_depth`.  When a conditionally visible variable gets affirmed like
1112 this, it is also merged with other conditionally visible variables with
1113 the same name.
1114
1115 When we parse a variable declaration we either report an error if the
1116 name is currently bound, or create a new variable at the current nest
1117 depth if the name is unbound or bound to a conditionally scoped or
1118 pending-scope variable.  If the previous variable was conditionally
1119 scoped, it and its homonyms becomes out-of-scope.
1120
1121 When we parse a variable reference (including non-declarative assignment
1122 "foo = bar") we report an error if the name is not bound or is bound to
1123 a pending-scope variable; update the scope if the name is bound to a
1124 conditionally scoped variable; or just proceed normally if the named
1125 variable is in scope.
1126
1127 When we exit a scope, any variables bound at this level are either
1128 marked out of scope or pending-scoped, depending on whether the scope
1129 was sequential or parallel.  Here a "parallel" scope means the "then"
1130 or "else" part of a conditional, or any "case" or "else" branch of a
1131 switch.  Other scopes are "sequential".
1132
1133 When exiting a parallel scope we check if there are any variables that
1134 were previously pending and are still visible. If there are, then
1135 they weren't redeclared in the most recent scope, so they cannot be
1136 merged and must become out-of-scope.  If it is not the first of
1137 parallel scopes (based on `child_count`), we check that there was a
1138 previous binding that is still pending-scope.  If there isn't, the new
1139 variable must now be out-of-scope.
1140
1141 When exiting a sequential scope that immediately enclosed parallel
1142 scopes, we need to resolve any pending-scope variables.  If there was
1143 no `else` clause, and we cannot determine that the `switch` was exhaustive,
1144 we need to mark all pending-scope variable as out-of-scope.  Otherwise
1145 all pending-scope variables become conditionally scoped.
1146
1147 ###### ast
1148         enum closetype { CloseSequential, CloseFunction, CloseParallel, CloseElse };
1149
1150 ###### ast functions
1151
1152         static struct variable *var_decl(struct parse_context *c, struct text s)
1153         {
1154                 struct binding *b = find_binding(c, s);
1155                 struct variable *v = b->var;
1156
1157                 switch (v ? v->scope : OutScope) {
1158                 case InScope:
1159                         /* Caller will report the error */
1160                         return NULL;
1161                 case CondScope:
1162                         for (;
1163                              v && v->scope == CondScope;
1164                              v = v->previous)
1165                                 v->scope = OutScope;
1166                         break;
1167                 default: break;
1168                 }
1169                 v = calloc(1, sizeof(*v));
1170                 v->previous = b->var;
1171                 b->var = v;
1172                 v->name = b;
1173                 v->merged = v;
1174                 v->min_depth = v->depth = c->scope_depth;
1175                 v->scope = InScope;
1176                 v->in_scope = c->in_scope;
1177                 v->scope_start = c->scope_count;
1178                 c->in_scope = v;
1179                 ## variable init
1180                 return v;
1181         }
1182
1183         static struct variable *var_ref(struct parse_context *c, struct text s)
1184         {
1185                 struct binding *b = find_binding(c, s);
1186                 struct variable *v = b->var;
1187                 struct variable *v2;
1188
1189                 switch (v ? v->scope : OutScope) {
1190                 case OutScope:
1191                 case PendingScope:
1192                         /* Caller will report the error */
1193                         return NULL;
1194                 case CondScope:
1195                         /* All CondScope variables of this name need to be merged
1196                          * and become InScope
1197                          */
1198                         v->depth = v->min_depth;
1199                         v->scope = InScope;
1200                         for (v2 = v->previous;
1201                              v2 && v2->scope == CondScope;
1202                              v2 = v2->previous)
1203                                 variable_merge(v, v2);
1204                         break;
1205                 case InScope:
1206                         break;
1207                 }
1208                 return v;
1209         }
1210
1211         static int var_refile(struct parse_context *c, struct variable *v)
1212         {
1213                 /* Variable just went out of scope.  Add it to the out_scope
1214                  * list, sorted by ->scope_start
1215                  */
1216                 struct variable **vp = &c->out_scope;
1217                 while ((*vp) && (*vp)->scope_start < v->scope_start)
1218                         vp = &(*vp)->in_scope;
1219                 v->in_scope = *vp;
1220                 *vp = v;
1221                 return 0;
1222         }
1223
1224         static void var_block_close(struct parse_context *c, enum closetype ct,
1225                                     struct exec *e)
1226         {
1227                 /* Close off all variables that are in_scope.
1228                  * Some variables in c->scope may already be not-in-scope,
1229                  * such as when a PendingScope variable is hidden by a new
1230                  * variable with the same name.
1231                  * So we check for v->name->var != v and drop them.
1232                  * If we choose to make a variable OutScope, we drop it
1233                  * immediately too.
1234                  */
1235                 struct variable *v, **vp, *v2;
1236
1237                 scope_pop(c);
1238                 for (vp = &c->in_scope;
1239                      (v = *vp) && v->min_depth > c->scope_depth;
1240                      (v->scope == OutScope || v->name->var != v)
1241                      ? (*vp =  v->in_scope, var_refile(c, v))
1242                      : ( vp = &v->in_scope, 0)) {
1243                         v->min_depth = c->scope_depth;
1244                         if (v->name->var != v)
1245                                 /* This is still in scope, but we haven't just
1246                                  * closed the scope.
1247                                  */
1248                                 continue;
1249                         v->min_depth = c->scope_depth;
1250                         if (v->scope == InScope)
1251                                 v->scope_end = c->scope_count;
1252                         if (v->scope == InScope && e && !v->global) {
1253                                 /* This variable gets cleaned up when 'e' finishes */
1254                                 variable_unlink_exec(v);
1255                                 v->cleanup_exec = e;
1256                                 v->next_free = e->to_free;
1257                                 e->to_free = v;
1258                         }
1259                         switch (ct) {
1260                         case CloseElse:
1261                         case CloseParallel: /* handle PendingScope */
1262                                 switch(v->scope) {
1263                                 case InScope:
1264                                 case CondScope:
1265                                         if (c->scope_stack->child_count == 1)
1266                                                 /* first among parallel branches */
1267                                                 v->scope = PendingScope;
1268                                         else if (v->previous &&
1269                                                  v->previous->scope == PendingScope)
1270                                                 /* all previous branches used name */
1271                                                 v->scope = PendingScope;
1272                                         else if (v->type == Tlabel)
1273                                                 /* Labels remain pending even when not used */
1274                                                 v->scope = PendingScope;        // UNTESTED
1275                                         else
1276                                                 v->scope = OutScope;
1277                                         if (ct == CloseElse) {
1278                                                 /* All Pending variables with this name
1279                                                  * are now Conditional */
1280                                                 for (v2 = v;
1281                                                      v2 && v2->scope == PendingScope;
1282                                                      v2 = v2->previous)
1283                                                         v2->scope = CondScope;
1284                                         }
1285                                         break;
1286                                 case PendingScope:
1287                                         /* Not possible as it would require
1288                                          * parallel scope to be nested immediately
1289                                          * in a parallel scope, and that never
1290                                          * happens.
1291                                          */                     // NOTEST
1292                                 case OutScope:
1293                                         /* Not possible as we already tested for
1294                                          * OutScope
1295                                          */
1296                                         abort();                // NOTEST
1297                                 }
1298                                 break;
1299                         case CloseFunction:
1300                                 if (v->scope == CondScope)
1301                                         /* Condition cannot continue past end of function */
1302                                         v->scope = InScope;
1303                                 /* fallthrough */
1304                         case CloseSequential:
1305                                 if (v->type == Tlabel)
1306                                         v->scope = PendingScope;
1307                                 switch (v->scope) {
1308                                 case InScope:
1309                                         v->scope = OutScope;
1310                                         break;
1311                                 case PendingScope:
1312                                         /* There was no 'else', so we can only become
1313                                          * conditional if we know the cases were exhaustive,
1314                                          * and that doesn't mean anything yet.
1315                                          * So only labels become conditional..
1316                                          */
1317                                         for (v2 = v;
1318                                              v2 && v2->scope == PendingScope;
1319                                              v2 = v2->previous)
1320                                                 if (v2->type == Tlabel)
1321                                                         v2->scope = CondScope;
1322                                                 else
1323                                                         v2->scope = OutScope;
1324                                         break;
1325                                 case CondScope:
1326                                 case OutScope: break;
1327                                 }
1328                                 break;
1329                         }
1330                 }
1331         }
1332
1333 #### Storing Values
1334
1335 The value of a variable is store separately from the variable, on an
1336 analogue of a stack frame.  There are (currently) two frames that can be
1337 active.  A global frame which currently only stores constants, and a
1338 stacked frame which stores local variables.  Each variable knows if it
1339 is global or not, and what its index into the frame is.
1340
1341 Values in the global frame are known immediately they are relevant, so
1342 the frame needs to be reallocated as it grows so it can store those
1343 values.  The local frame doesn't get values until the interpreted phase
1344 is started, so there is no need to allocate until the size is known.
1345
1346 We initialize the `frame_pos` to an impossible value, so that we can
1347 tell if it was set or not later.
1348
1349 ###### variable fields
1350         short frame_pos;
1351         short global;
1352
1353 ###### variable init
1354         v->frame_pos = -1;
1355
1356 ###### parse context
1357
1358         short global_size, global_alloc;
1359         short local_size;
1360         void *global, *local;
1361
1362 ###### ast functions
1363
1364         static struct value *var_value(struct parse_context *c, struct variable *v)
1365         {
1366                 if (!v->global) {
1367                         if (!c->local || !v->type)
1368                                 return NULL;                    // NOTEST
1369                         if (v->frame_pos + v->type->size > c->local_size) {
1370                                 printf("INVALID frame_pos\n");  // NOTEST
1371                                 exit(2);                        // NOTEST
1372                         }
1373                         return c->local + v->frame_pos;
1374                 }
1375                 if (c->global_size > c->global_alloc) {
1376                         int old = c->global_alloc;
1377                         c->global_alloc = (c->global_size | 1023) + 1024;
1378                         c->global = realloc(c->global, c->global_alloc);
1379                         memset(c->global + old, 0, c->global_alloc - old);
1380                 }
1381                 return c->global + v->frame_pos;
1382         }
1383
1384         static struct value *global_alloc(struct parse_context *c, struct type *t,
1385                                           struct variable *v, struct value *init)
1386         {
1387                 struct value *ret;
1388                 struct variable scratch;
1389
1390                 if (t->prepare_type)
1391                         t->prepare_type(c, t, 1);       // NOTEST
1392
1393                 if (c->global_size & (t->align - 1))
1394                         c->global_size = (c->global_size + t->align) & ~(t->align-1);
1395                 if (!v) {
1396                         v = &scratch;
1397                         v->type = t;
1398                 }
1399                 v->frame_pos = c->global_size;
1400                 v->global = 1;
1401                 c->global_size += v->type->size;
1402                 ret = var_value(c, v);
1403                 if (init)
1404                         memcpy(ret, init, t->size);
1405                 else
1406                         val_init(t, ret);
1407                 return ret;
1408         }
1409
1410 As global values are found -- struct field initializers, labels etc --
1411 `global_alloc()` is called to record the value in the global frame.
1412
1413 When the program is fully parsed, each function is analysed, we need to
1414 walk the list of variables local to that function and assign them an
1415 offset in the stack frame.  For this we have `scope_finalize()`.
1416
1417 We keep the stack from dense by re-using space for between variables
1418 that are not in scope at the same time.  The `out_scope` list is sorted
1419 by `scope_start` and as we process a varible, we move it to an FIFO
1420 stack.  For each variable we consider, we first discard any from the
1421 stack anything that went out of scope before the new variable came in.
1422 Then we place the new variable just after the one at the top of the
1423 stack.
1424
1425 ###### ast functions
1426
1427         static void scope_finalize(struct parse_context *c, struct type *ft)
1428         {
1429                 int size = 0;
1430                 struct variable *next = ft->function.scope;
1431                 struct variable *done = NULL;
1432                 while (next) {
1433                         struct variable *v = next;
1434                         struct type *t = v->type;
1435                         int pos;
1436                         next = v->in_scope;
1437                         if (v->merged != v)
1438                                 continue;
1439                         if (!t)
1440                                 continue;
1441                         while (done && done->scope_end < v->scope_start)
1442                                 done = done->in_scope;
1443                         if (done)
1444                                 pos = done->frame_pos + done->type->size;
1445                         else
1446                                 pos = 0;
1447                         if (pos & (t->align - 1))
1448                                 pos = (pos + t->align) & ~(t->align-1);
1449                         v->frame_pos = pos;
1450                         if (size < pos + v->type->size)
1451                                 size = pos + v->type->size;
1452                         v->in_scope = done;
1453                         done = v;
1454                 }
1455                 c->out_scope = NULL;
1456                 ft->function.local_size = size;
1457         }
1458
1459 ###### free context storage
1460         free(context.global);
1461
1462 ### Executables
1463
1464 Executables can be lots of different things.  In many cases an
1465 executable is just an operation combined with one or two other
1466 executables.  This allows for expressions and lists etc.  Other times an
1467 executable is something quite specific like a constant or variable name.
1468 So we define a `struct exec` to be a general executable with a type, and
1469 a `struct binode` which is a subclass of `exec`, forms a node in a
1470 binary tree, and holds an operation.  There will be other subclasses,
1471 and to access these we need to be able to `cast` the `exec` into the
1472 various other types.  The first field in any `struct exec` is the type
1473 from the `exec_types` enum.
1474
1475 ###### macros
1476         #define cast(structname, pointer) ({            \
1477                 const typeof( ((struct structname *)0)->type) *__mptr = &(pointer)->type; \
1478                 if (__mptr && *__mptr != X##structname) abort();                \
1479                 (struct structname *)( (char *)__mptr);})
1480
1481         #define new(structname) ({                                              \
1482                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
1483                 __ptr->type = X##structname;                                            \
1484                 __ptr->line = -1; __ptr->column = -1;                                   \
1485                 __ptr;})
1486
1487         #define new_pos(structname, token) ({                                           \
1488                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
1489                 __ptr->type = X##structname;                                            \
1490                 __ptr->line = token.line; __ptr->column = token.col;                    \
1491                 __ptr;})
1492
1493 ###### ast
1494         enum exec_types {
1495                 Xbinode,
1496                 ## exec type
1497         };
1498         struct exec {
1499                 enum exec_types type;
1500                 int line, column;
1501                 ## exec fields
1502         };
1503         struct binode {
1504                 struct exec;
1505                 enum Btype {
1506                         ## Binode types
1507                 } op;
1508                 struct exec *left, *right;
1509         };
1510
1511 ###### ast functions
1512
1513         static int __fput_loc(struct exec *loc, FILE *f)
1514         {
1515                 if (!loc)
1516                         return 0;
1517                 if (loc->line >= 0) {
1518                         fprintf(f, "%d:%d: ", loc->line, loc->column);
1519                         return 1;
1520                 }
1521                 if (loc->type == Xbinode)
1522                         return __fput_loc(cast(binode,loc)->left, f) ||
1523                                __fput_loc(cast(binode,loc)->right, f);  // NOTEST
1524                 return 0;
1525         }
1526         static void fput_loc(struct exec *loc, FILE *f)
1527         {
1528                 if (!__fput_loc(loc, f))
1529                         fprintf(f, "??:??: ");
1530         }
1531
1532 Each different type of `exec` node needs a number of functions defined,
1533 a bit like methods.  We must be able to free it, print it, analyse it
1534 and execute it.  Once we have specific `exec` types we will need to
1535 parse them too.  Let's take this a bit more slowly.
1536
1537 #### Freeing
1538
1539 The parser generator requires a `free_foo` function for each struct
1540 that stores attributes and they will often be `exec`s and subtypes
1541 there-of.  So we need `free_exec` which can handle all the subtypes,
1542 and we need `free_binode`.
1543
1544 ###### ast functions
1545
1546         static void free_binode(struct binode *b)
1547         {
1548                 if (!b)
1549                         return;
1550                 free_exec(b->left);
1551                 free_exec(b->right);
1552                 free(b);
1553         }
1554
1555 ###### core functions
1556         static void free_exec(struct exec *e)
1557         {
1558                 if (!e)
1559                         return;
1560                 switch(e->type) {
1561                         ## free exec cases
1562                 }
1563         }
1564
1565 ###### forward decls
1566
1567         static void free_exec(struct exec *e);
1568
1569 ###### free exec cases
1570         case Xbinode: free_binode(cast(binode, e)); break;
1571
1572 #### Printing
1573
1574 Printing an `exec` requires that we know the current indent level for
1575 printing line-oriented components.  As will become clear later, we
1576 also want to know what sort of bracketing to use.
1577
1578 ###### ast functions
1579
1580         static void do_indent(int i, char *str)
1581         {
1582                 while (i-- > 0)
1583                         printf("    ");
1584                 printf("%s", str);
1585         }
1586
1587 ###### core functions
1588         static void print_binode(struct binode *b, int indent, int bracket)
1589         {
1590                 struct binode *b2;
1591                 switch(b->op) {
1592                 ## print binode cases
1593                 }
1594         }
1595
1596         static void print_exec(struct exec *e, int indent, int bracket)
1597         {
1598                 if (!e)
1599                         return;
1600                 switch (e->type) {
1601                 case Xbinode:
1602                         print_binode(cast(binode, e), indent, bracket); break;
1603                 ## print exec cases
1604                 }
1605                 if (e->to_free) {
1606                         struct variable *v;
1607                         do_indent(indent, "/* FREE");
1608                         for (v = e->to_free; v; v = v->next_free) {
1609                                 printf(" %.*s", v->name->name.len, v->name->name.txt);
1610                                 printf("[%d,%d]", v->scope_start, v->scope_end);
1611                                 if (v->frame_pos >= 0)
1612                                         printf("(%d+%d)", v->frame_pos,
1613                                                v->type ? v->type->size:0);
1614                         }
1615                         printf(" */\n");
1616                 }
1617         }
1618
1619 ###### forward decls
1620
1621         static void print_exec(struct exec *e, int indent, int bracket);
1622
1623 #### Analysing
1624
1625 As discussed, analysis involves propagating type requirements around the
1626 program and looking for errors.
1627
1628 So `propagate_types` is passed an expected type (being a `struct type`
1629 pointer together with some `val_rules` flags) that the `exec` is
1630 expected to return, and returns the type that it does return, either
1631 of which can be `NULL` signifying "unknown".  An `ok` flag is passed
1632 by reference. It is set to `0` when an error is found, and `2` when
1633 any change is made.  If it remains unchanged at `1`, then no more
1634 propagation is needed.
1635
1636 ###### ast
1637
1638         enum val_rules {Rnolabel = 1<<0, Rboolok = 1<<1, Rnoconstant = 1<<2};
1639
1640 ###### format cases
1641         case 'r':
1642                 if (rules & Rnolabel)
1643                         fputs(" (labels not permitted)", stderr);
1644                 break;
1645
1646 ###### forward decls
1647         static struct type *propagate_types(struct exec *prog, struct parse_context *c, int *ok,
1648                                             struct type *type, int rules);
1649 ###### core functions
1650
1651         static struct type *__propagate_types(struct exec *prog, struct parse_context *c, int *ok,
1652                                               struct type *type, int rules)
1653         {
1654                 struct type *t;
1655
1656                 if (!prog)
1657                         return Tnone;
1658
1659                 switch (prog->type) {
1660                 case Xbinode:
1661                 {
1662                         struct binode *b = cast(binode, prog);
1663                         switch (b->op) {
1664                         ## propagate binode cases
1665                         }
1666                         break;
1667                 }
1668                 ## propagate exec cases
1669                 }
1670                 return Tnone;
1671         }
1672
1673         static struct type *propagate_types(struct exec *prog, struct parse_context *c, int *ok,
1674                                             struct type *type, int rules)
1675         {
1676                 struct type *ret = __propagate_types(prog, c, ok, type, rules);
1677
1678                 if (c->parse_error)
1679                         *ok = 0;
1680                 return ret;
1681         }
1682
1683 #### Interpreting
1684
1685 Interpreting an `exec` doesn't require anything but the `exec`.  State
1686 is stored in variables and each variable will be directly linked from
1687 within the `exec` tree.  The exception to this is the `main` function
1688 which needs to look at command line arguments.  This function will be
1689 interpreted separately.
1690
1691 Each `exec` can return a value combined with a type in `struct lrval`.
1692 The type may be `Tnone` but must be non-NULL.  Some `exec`s will return
1693 the location of a value, which can be updated, in `lval`.  Others will
1694 set `lval` to NULL indicating that there is a value of appropriate type
1695 in `rval`.
1696
1697 ###### core functions
1698
1699         struct lrval {
1700                 struct type *type;
1701                 struct value rval, *lval;
1702         };
1703
1704         /* If dest is passed, dtype must give the expected type, and
1705          * result can go there, in which case type is returned as NULL.
1706          */
1707         static struct lrval _interp_exec(struct parse_context *c, struct exec *e,
1708                                          struct value *dest, struct type *dtype);
1709
1710         static struct value interp_exec(struct parse_context *c, struct exec *e,
1711                                         struct type **typeret)
1712         {
1713                 struct lrval ret = _interp_exec(c, e, NULL, NULL);
1714
1715                 if (!ret.type) abort();
1716                 if (typeret)
1717                         *typeret = ret.type;
1718                 if (ret.lval)
1719                         dup_value(ret.type, ret.lval, &ret.rval);
1720                 return ret.rval;
1721         }
1722
1723         static struct value *linterp_exec(struct parse_context *c, struct exec *e,
1724                                           struct type **typeret)
1725         {
1726                 struct lrval ret = _interp_exec(c, e, NULL, NULL);
1727
1728                 if (!ret.type) abort();
1729                 if (ret.lval)
1730                         *typeret = ret.type;
1731                 else
1732                         free_value(ret.type, &ret.rval);
1733                 return ret.lval;
1734         }
1735
1736         /* dinterp_exec is used when the destination type is certain and
1737          * the value has a place to go.
1738          */
1739         static void dinterp_exec(struct parse_context *c, struct exec *e,
1740                                  struct value *dest, struct type *dtype,
1741                                  int need_free)
1742         {
1743                 struct lrval ret = _interp_exec(c, e, dest, dtype);
1744                 if (!ret.type)
1745                         return; // NOTEST
1746                 if (need_free)
1747                         free_value(dtype, dest);
1748                 if (ret.lval)
1749                         dup_value(dtype, ret.lval, dest);
1750                 else
1751                         memcpy(dest, &ret.rval, dtype->size);
1752         }
1753
1754         static struct lrval _interp_exec(struct parse_context *c, struct exec *e,
1755                                          struct value *dest, struct type *dtype)
1756         {
1757                 /* If the result is copied to dest, ret.type is set to NULL */
1758                 struct lrval ret;
1759                 struct value rv = {}, *lrv = NULL;
1760                 struct type *rvtype;
1761
1762                 rvtype = ret.type = Tnone;
1763                 if (!e) {
1764                         ret.lval = lrv;
1765                         ret.rval = rv;
1766                         return ret;
1767                 }
1768
1769                 switch(e->type) {
1770                 case Xbinode:
1771                 {
1772                         struct binode *b = cast(binode, e);
1773                         struct value left, right, *lleft;
1774                         struct type *ltype, *rtype;
1775                         ltype = rtype = Tnone;
1776                         switch (b->op) {
1777                         ## interp binode cases
1778                         }
1779                         free_value(ltype, &left);
1780                         free_value(rtype, &right);
1781                         break;
1782                 }
1783                 ## interp exec cases
1784                 }
1785                 if (rvtype) {
1786                         ret.lval = lrv;
1787                         ret.rval = rv;
1788                         ret.type = rvtype;
1789                 }
1790                 ## interp exec cleanup
1791                 return ret;
1792         }
1793
1794 ### Complex types
1795
1796 Now that we have the shape of the interpreter in place we can add some
1797 complex types and connected them in to the data structures and the
1798 different phases of parse, analyse, print, interpret.
1799
1800 Thus far we have arrays and structs.
1801
1802 #### Arrays
1803
1804 Arrays can be declared by giving a size and a type, as `[size]type' so
1805 `freq:[26]number` declares `freq` to be an array of 26 numbers.  The
1806 size can be either a literal number, or a named constant.  Some day an
1807 arbitrary expression will be supported.
1808
1809 As a formal parameter to a function, the array can be declared with a
1810 new variable as the size: `name:[size::number]string`.  The `size`
1811 variable is set to the size of the array and must be a constant.  As
1812 `number` is the only supported type, it can be left out:
1813 `name:[size::]string`.
1814
1815 Arrays cannot be assigned.  When pointers are introduced we will also
1816 introduce array slices which can refer to part or all of an array -
1817 the assignment syntax will create a slice.  For now, an array can only
1818 ever be referenced by the name it is declared with.  It is likely that
1819 a "`copy`" primitive will eventually be define which can be used to
1820 make a copy of an array with controllable recursive depth.
1821
1822 For now we have two sorts of array, those with fixed size either because
1823 it is given as a literal number or because it is a struct member (which
1824 cannot have a runtime-changing size), and those with a size that is
1825 determined at runtime - local variables with a const size.  The former
1826 have their size calculated at parse time, the latter at run time.
1827
1828 For the latter type, the `size` field of the type is the size of a
1829 pointer, and the array is reallocated every time it comes into scope.
1830
1831 We differentiate struct fields with a const size from local variables
1832 with a const size by whether they are prepared at parse time or not.
1833
1834 ###### type union fields
1835
1836         struct {
1837                 int unspec;     // size is unspecified - vsize must be set.
1838                 short size;
1839                 short static_size;
1840                 struct variable *vsize;
1841                 struct type *member;
1842         } array;
1843
1844 ###### value union fields
1845         void *array;  // used if not static_size
1846
1847 ###### value functions
1848
1849         static void array_prepare_type(struct parse_context *c, struct type *type,
1850                                        int parse_time)
1851         {
1852                 struct value *vsize;
1853                 mpz_t q;
1854                 if (!type->array.vsize || type->array.static_size)
1855                         return;
1856
1857                 vsize = var_value(c, type->array.vsize);
1858                 mpz_init(q);
1859                 mpz_tdiv_q(q, mpq_numref(vsize->num), mpq_denref(vsize->num));
1860                 type->array.size = mpz_get_si(q);
1861                 mpz_clear(q);
1862
1863                 if (parse_time) {
1864                         type->array.static_size = 1;
1865                         type->size = type->array.size * type->array.member->size;
1866                         type->align = type->array.member->align;
1867                 }
1868         }
1869
1870         static void array_init(struct type *type, struct value *val)
1871         {
1872                 int i;
1873                 void *ptr = val->ptr;
1874
1875                 if (!val)
1876                         return;                         // NOTEST
1877                 if (!type->array.static_size) {
1878                         val->array = calloc(type->array.size,
1879                                             type->array.member->size);
1880                         ptr = val->array;
1881                 }
1882                 for (i = 0; i < type->array.size; i++) {
1883                         struct value *v;
1884                         v = (void*)ptr + i * type->array.member->size;
1885                         val_init(type->array.member, v);
1886                 }
1887         }
1888
1889         static void array_free(struct type *type, struct value *val)
1890         {
1891                 int i;
1892                 void *ptr = val->ptr;
1893
1894                 if (!type->array.static_size)
1895                         ptr = val->array;
1896                 for (i = 0; i < type->array.size; i++) {
1897                         struct value *v;
1898                         v = (void*)ptr + i * type->array.member->size;
1899                         free_value(type->array.member, v);
1900                 }
1901                 if (!type->array.static_size)
1902                         free(ptr);
1903         }
1904
1905         static int array_compat(struct type *require, struct type *have)
1906         {
1907                 if (have->compat != require->compat)
1908                         return 0;
1909                 /* Both are arrays, so we can look at details */
1910                 if (!type_compat(require->array.member, have->array.member, 0))
1911                         return 0;
1912                 if (have->array.unspec && require->array.unspec) {
1913                         if (have->array.vsize && require->array.vsize &&
1914                             have->array.vsize != require->array.vsize)  // UNTESTED
1915                                 /* sizes might not be the same */
1916                                 return 0;       // UNTESTED
1917                         return 1;
1918                 }
1919                 if (have->array.unspec || require->array.unspec)
1920                         return 1;       // UNTESTED
1921                 if (require->array.vsize == NULL && have->array.vsize == NULL)
1922                         return require->array.size == have->array.size;
1923
1924                 return require->array.vsize == have->array.vsize;       // UNTESTED
1925         }
1926
1927         static void array_print_type(struct type *type, FILE *f)
1928         {
1929                 fputs("[", f);
1930                 if (type->array.vsize) {
1931                         struct binding *b = type->array.vsize->name;
1932                         fprintf(f, "%.*s%s]", b->name.len, b->name.txt,
1933                                 type->array.unspec ? "::" : "");
1934                 } else
1935                         fprintf(f, "%d]", type->array.size);
1936                 type_print(type->array.member, f);
1937         }
1938
1939         static struct type array_prototype = {
1940                 .init = array_init,
1941                 .prepare_type = array_prepare_type,
1942                 .print_type = array_print_type,
1943                 .compat = array_compat,
1944                 .free = array_free,
1945                 .size = sizeof(void*),
1946                 .align = sizeof(void*),
1947         };
1948
1949 ###### declare terminals
1950         $TERM [ ]
1951
1952 ###### type grammar
1953
1954         | [ NUMBER ] Type ${ {
1955                 char tail[3];
1956                 mpq_t num;
1957                 struct text noname = { "", 0 };
1958                 struct type *t;
1959
1960                 $0 = t = add_type(c, noname, &array_prototype);
1961                 t->array.member = $<4;
1962                 t->array.vsize = NULL;
1963                 if (number_parse(num, tail, $2.txt) == 0)
1964                         tok_err(c, "error: unrecognised number", &$2);
1965                 else if (tail[0]) {
1966                         tok_err(c, "error: unsupported number suffix", &$2);
1967                         mpq_clear(num);
1968                 } else {
1969                         t->array.size = mpz_get_ui(mpq_numref(num));
1970                         if (mpz_cmp_ui(mpq_denref(num), 1) != 0) {
1971                                 tok_err(c, "error: array size must be an integer",
1972                                         &$2);
1973                         } else if (mpz_cmp_ui(mpq_numref(num), 1UL << 30) >= 0)
1974                                 tok_err(c, "error: array size is too large",
1975                                         &$2);
1976                         mpq_clear(num);
1977                 }
1978                 t->array.static_size = 1;
1979                 t->size = t->array.size * t->array.member->size;
1980                 t->align = t->array.member->align;
1981         } }$
1982
1983         | [ IDENTIFIER ] Type ${ {
1984                 struct variable *v = var_ref(c, $2.txt);
1985                 struct text noname = { "", 0 };
1986
1987                 if (!v)
1988                         tok_err(c, "error: name undeclared", &$2);
1989                 else if (!v->constant)
1990                         tok_err(c, "error: array size must be a constant", &$2);
1991
1992                 $0 = add_type(c, noname, &array_prototype);
1993                 $0->array.member = $<4;
1994                 $0->array.size = 0;
1995                 $0->array.vsize = v;
1996         } }$
1997
1998 ###### Grammar
1999         $*type
2000         OptType -> Type ${ $0 = $<1; }$
2001                 | ${ $0 = NULL; }$
2002
2003 ###### formal type grammar
2004
2005         | [ IDENTIFIER :: OptType ] Type ${ {
2006                 struct variable *v = var_decl(c, $ID.txt);
2007                 struct text noname = { "", 0 };
2008
2009                 v->type = $<OT;
2010                 v->constant = 1;
2011                 if (!v->type)
2012                         v->type = Tnum;
2013                 $0 = add_type(c, noname, &array_prototype);
2014                 $0->array.member = $<6;
2015                 $0->array.size = 0;
2016                 $0->array.unspec = 1;
2017                 $0->array.vsize = v;
2018         } }$
2019
2020 ###### Binode types
2021         Index,
2022
2023 ###### variable grammar
2024
2025         | Variable [ Expression ] ${ {
2026                 struct binode *b = new(binode);
2027                 b->op = Index;
2028                 b->left = $<1;
2029                 b->right = $<3;
2030                 $0 = b;
2031         } }$
2032
2033 ###### print binode cases
2034         case Index:
2035                 print_exec(b->left, -1, bracket);
2036                 printf("[");
2037                 print_exec(b->right, -1, bracket);
2038                 printf("]");
2039                 break;
2040
2041 ###### propagate binode cases
2042         case Index:
2043                 /* left must be an array, right must be a number,
2044                  * result is the member type of the array
2045                  */
2046                 propagate_types(b->right, c, ok, Tnum, 0);
2047                 t = propagate_types(b->left, c, ok, NULL, rules & Rnoconstant);
2048                 if (!t || t->compat != array_compat) {
2049                         type_err(c, "error: %1 cannot be indexed", prog, t, 0, NULL);
2050                         return NULL;
2051                 } else {
2052                         if (!type_compat(type, t->array.member, rules)) {
2053                                 type_err(c, "error: have %1 but need %2", prog,
2054                                          t->array.member, rules, type);
2055                         }
2056                         return t->array.member;
2057                 }
2058                 break;
2059
2060 ###### interp binode cases
2061         case Index: {
2062                 mpz_t q;
2063                 long i;
2064                 void *ptr;
2065
2066                 lleft = linterp_exec(c, b->left, &ltype);
2067                 right = interp_exec(c, b->right, &rtype);
2068                 mpz_init(q);
2069                 mpz_tdiv_q(q, mpq_numref(right.num), mpq_denref(right.num));
2070                 i = mpz_get_si(q);
2071                 mpz_clear(q);
2072
2073                 if (ltype->array.static_size)
2074                         ptr = lleft;
2075                 else
2076                         ptr = *(void**)lleft;
2077                 rvtype = ltype->array.member;
2078                 if (i >= 0 && i < ltype->array.size)
2079                         lrv = ptr + i * rvtype->size;
2080                 else
2081                         val_init(ltype->array.member, &rv); // UNSAFE
2082                 ltype = NULL;
2083                 break;
2084         }
2085
2086 #### Structs
2087
2088 A `struct` is a data-type that contains one or more other data-types.
2089 It differs from an array in that each member can be of a different
2090 type, and they are accessed by name rather than by number.  Thus you
2091 cannot choose an element by calculation, you need to know what you
2092 want up-front.
2093
2094 The language makes no promises about how a given structure will be
2095 stored in memory - it is free to rearrange fields to suit whatever
2096 criteria seems important.
2097
2098 Structs are declared separately from program code - they cannot be
2099 declared in-line in a variable declaration like arrays can.  A struct
2100 is given a name and this name is used to identify the type - the name
2101 is not prefixed by the word `struct` as it would be in C.
2102
2103 Structs are only treated as the same if they have the same name.
2104 Simply having the same fields in the same order is not enough.  This
2105 might change once we can create structure initializers from a list of
2106 values.
2107
2108 Each component datum is identified much like a variable is declared,
2109 with a name, one or two colons, and a type.  The type cannot be omitted
2110 as there is no opportunity to deduce the type from usage.  An initial
2111 value can be given following an equals sign, so
2112
2113 ##### Example: a struct type
2114
2115         struct complex:
2116                 x:number = 0
2117                 y:number = 0
2118
2119 would declare a type called "complex" which has two number fields,
2120 each initialised to zero.
2121
2122 Struct will need to be declared separately from the code that uses
2123 them, so we will need to be able to print out the declaration of a
2124 struct when reprinting the whole program.  So a `print_type_decl` type
2125 function will be needed.
2126
2127 ###### type union fields
2128
2129         struct {
2130                 int nfields;
2131                 struct field {
2132                         struct text name;
2133                         struct type *type;
2134                         struct value *init;
2135                         int offset;
2136                 } *fields;
2137         } structure;
2138
2139 ###### type functions
2140         void (*print_type_decl)(struct type *type, FILE *f);
2141
2142 ###### value functions
2143
2144         static void structure_init(struct type *type, struct value *val)
2145         {
2146                 int i;
2147
2148                 for (i = 0; i < type->structure.nfields; i++) {
2149                         struct value *v;
2150                         v = (void*) val->ptr + type->structure.fields[i].offset;
2151                         if (type->structure.fields[i].init)
2152                                 dup_value(type->structure.fields[i].type,
2153                                           type->structure.fields[i].init,
2154                                           v);
2155                         else
2156                                 val_init(type->structure.fields[i].type, v);
2157                 }
2158         }
2159
2160         static void structure_free(struct type *type, struct value *val)
2161         {
2162                 int i;
2163
2164                 for (i = 0; i < type->structure.nfields; i++) {
2165                         struct value *v;
2166                         v = (void*)val->ptr + type->structure.fields[i].offset;
2167                         free_value(type->structure.fields[i].type, v);
2168                 }
2169         }
2170
2171         static void structure_free_type(struct type *t)
2172         {
2173                 int i;
2174                 for (i = 0; i < t->structure.nfields; i++)
2175                         if (t->structure.fields[i].init) {
2176                                 free_value(t->structure.fields[i].type,
2177                                            t->structure.fields[i].init);
2178                         }
2179                 free(t->structure.fields);
2180         }
2181
2182         static struct type structure_prototype = {
2183                 .init = structure_init,
2184                 .free = structure_free,
2185                 .free_type = structure_free_type,
2186                 .print_type_decl = structure_print_type,
2187         };
2188
2189 ###### exec type
2190         Xfieldref,
2191
2192 ###### ast
2193         struct fieldref {
2194                 struct exec;
2195                 struct exec *left;
2196                 int index;
2197                 struct text name;
2198         };
2199
2200 ###### free exec cases
2201         case Xfieldref:
2202                 free_exec(cast(fieldref, e)->left);
2203                 free(e);
2204                 break;
2205
2206 ###### declare terminals
2207         $TERM struct .
2208
2209 ###### variable grammar
2210
2211         | Variable . IDENTIFIER ${ {
2212                 struct fieldref *fr = new_pos(fieldref, $2);
2213                 fr->left = $<1;
2214                 fr->name = $3.txt;
2215                 fr->index = -2;
2216                 $0 = fr;
2217         } }$
2218
2219 ###### print exec cases
2220
2221         case Xfieldref:
2222         {
2223                 struct fieldref *f = cast(fieldref, e);
2224                 print_exec(f->left, -1, bracket);
2225                 printf(".%.*s", f->name.len, f->name.txt);
2226                 break;
2227         }
2228
2229 ###### ast functions
2230         static int find_struct_index(struct type *type, struct text field)
2231         {
2232                 int i;
2233                 for (i = 0; i < type->structure.nfields; i++)
2234                         if (text_cmp(type->structure.fields[i].name, field) == 0)
2235                                 return i;
2236                 return -1;
2237         }
2238
2239 ###### propagate exec cases
2240
2241         case Xfieldref:
2242         {
2243                 struct fieldref *f = cast(fieldref, prog);
2244                 struct type *st = propagate_types(f->left, c, ok, NULL, 0);
2245
2246                 if (!st)
2247                         type_err(c, "error: unknown type for field access", f->left,    // UNTESTED
2248                                  NULL, 0, NULL);
2249                 else if (st->init != structure_init)
2250                         type_err(c, "error: field reference attempted on %1, not a struct",
2251                                  f->left, st, 0, NULL);
2252                 else if (f->index == -2) {
2253                         f->index = find_struct_index(st, f->name);
2254                         if (f->index < 0)
2255                                 type_err(c, "error: cannot find requested field in %1",
2256                                          f->left, st, 0, NULL);
2257                 }
2258                 if (f->index >= 0) {
2259                         struct type *ft = st->structure.fields[f->index].type;
2260                         if (!type_compat(type, ft, rules))
2261                                 type_err(c, "error: have %1 but need %2", prog,
2262                                          ft, rules, type);
2263                         return ft;
2264                 }
2265                 break;
2266         }
2267
2268 ###### interp exec cases
2269         case Xfieldref:
2270         {
2271                 struct fieldref *f = cast(fieldref, e);
2272                 struct type *ltype;
2273                 struct value *lleft = linterp_exec(c, f->left, &ltype);
2274                 lrv = (void*)lleft->ptr + ltype->structure.fields[f->index].offset;
2275                 rvtype = ltype->structure.fields[f->index].type;
2276                 break;
2277         }
2278
2279 ###### ast
2280         struct fieldlist {
2281                 struct fieldlist *prev;
2282                 struct field f;
2283         };
2284
2285 ###### ast functions
2286         static void free_fieldlist(struct fieldlist *f)
2287         {
2288                 if (!f)
2289                         return;
2290                 free_fieldlist(f->prev);
2291                 if (f->f.init) {
2292                         free_value(f->f.type, f->f.init);       // UNTESTED
2293                         free(f->f.init);        // UNTESTED
2294                 }
2295                 free(f);
2296         }
2297
2298 ###### top level grammar
2299         DeclareStruct -> struct IDENTIFIER FieldBlock Newlines ${ {
2300                         struct type *t =
2301                                 add_type(c, $2.txt, &structure_prototype);
2302                         int cnt = 0;
2303                         struct fieldlist *f;
2304
2305                         for (f = $3; f; f=f->prev)
2306                                 cnt += 1;
2307
2308                         t->structure.nfields = cnt;
2309                         t->structure.fields = calloc(cnt, sizeof(struct field));
2310                         f = $3;
2311                         while (cnt > 0) {
2312                                 int a = f->f.type->align;
2313                                 cnt -= 1;
2314                                 t->structure.fields[cnt] = f->f;
2315                                 if (t->size & (a-1))
2316                                         t->size = (t->size | (a-1)) + 1;
2317                                 t->structure.fields[cnt].offset = t->size;
2318                                 t->size += ((f->f.type->size - 1) | (a-1)) + 1;
2319                                 if (a > t->align)
2320                                         t->align = a;
2321                                 f->f.init = NULL;
2322                                 f = f->prev;
2323                         }
2324                 } }$
2325
2326         $*fieldlist
2327         FieldBlock -> { IN OptNL FieldLines OUT OptNL } ${ $0 = $<FL; }$
2328                 | { SimpleFieldList } ${ $0 = $<SFL; }$
2329                 | IN OptNL FieldLines OUT ${ $0 = $<FL; }$
2330                 | SimpleFieldList EOL ${ $0 = $<SFL; }$
2331
2332         FieldLines -> SimpleFieldList Newlines ${ $0 = $<SFL; }$
2333                 | FieldLines SimpleFieldList Newlines ${
2334                         $SFL->prev = $<FL;
2335                         $0 = $<SFL;
2336                 }$
2337
2338         SimpleFieldList -> Field ${ $0 = $<F; }$
2339                 | SimpleFieldList ; Field ${
2340                         $F->prev = $<SFL;
2341                         $0 = $<F;
2342                 }$
2343                 | SimpleFieldList ; ${
2344                         $0 = $<SFL;
2345                 }$
2346                 | ERROR ${ tok_err(c, "Syntax error in struct field", &$1); }$
2347
2348         Field -> IDENTIFIER : Type = Expression ${ {
2349                         int ok; // UNTESTED
2350
2351                         $0 = calloc(1, sizeof(struct fieldlist));
2352                         $0->f.name = $1.txt;
2353                         $0->f.type = $<3;
2354                         $0->f.init = NULL;
2355                         do {
2356                                 ok = 1;
2357                                 propagate_types($<5, c, &ok, $3, 0);
2358                         } while (ok == 2);
2359                         if (!ok)
2360                                 c->parse_error = 1;     // UNTESTED
2361                         else {
2362                                 struct value vl = interp_exec(c, $5, NULL);
2363                                 $0->f.init = global_alloc(c, $0->f.type, NULL, &vl);
2364                         }
2365                 } }$
2366                 | IDENTIFIER : Type ${
2367                         $0 = calloc(1, sizeof(struct fieldlist));
2368                         $0->f.name = $1.txt;
2369                         $0->f.type = $<3;
2370                         if ($0->f.type->prepare_type)
2371                                 $0->f.type->prepare_type(c, $0->f.type, 1);
2372                 }$
2373
2374 ###### forward decls
2375         static void structure_print_type(struct type *t, FILE *f);
2376
2377 ###### value functions
2378         static void structure_print_type(struct type *t, FILE *f)       // UNTESTED
2379         {       // UNTESTED
2380                 int i;  // UNTESTED
2381
2382                 fprintf(f, "struct %.*s\n", t->name.len, t->name.txt);
2383
2384                 for (i = 0; i < t->structure.nfields; i++) {
2385                         struct field *fl = t->structure.fields + i;
2386                         fprintf(f, "    %.*s : ", fl->name.len, fl->name.txt);
2387                         type_print(fl->type, f);
2388                         if (fl->type->print && fl->init) {
2389                                 fprintf(f, " = ");
2390                                 if (fl->type == Tstr)
2391                                         fprintf(f, "\"");       // UNTESTED
2392                                 print_value(fl->type, fl->init);
2393                                 if (fl->type == Tstr)
2394                                         fprintf(f, "\"");       // UNTESTED
2395                         }
2396                         printf("\n");
2397                 }
2398         }
2399
2400 ###### print type decls
2401         {       // UNTESTED
2402                 struct type *t; // UNTESTED
2403                 int target = -1;
2404
2405                 while (target != 0) {
2406                         int i = 0;
2407                         for (t = context.typelist; t ; t=t->next)
2408                                 if (t->print_type_decl && !t->check_args) {
2409                                         i += 1;
2410                                         if (i == target)
2411                                                 break;
2412                                 }
2413
2414                         if (target == -1) {
2415                                 target = i;
2416                         } else {
2417                                 t->print_type_decl(t, stdout);
2418                                 target -= 1;
2419                         }
2420                 }
2421         }
2422
2423 #### Functions
2424
2425 A function is a chunk of code which can be passed parameters and can
2426 return results.  Each function has a type which includes the set of
2427 parameters and the return value.  As yet these types cannot be declared
2428 separately from the function itself.
2429
2430 The parameters can be specified either in parentheses as a ';' separated
2431 list, such as
2432
2433 ##### Example: function 1
2434
2435         func main(av:[ac::number]string; env:[envc::number]string)
2436                 code block
2437
2438 or as an indented list of one parameter per line (though each line can
2439 be a ';' separated list)
2440
2441 ##### Example: function 2
2442
2443         func main
2444                 argv:[argc::number]string
2445                 env:[envc::number]string
2446         do
2447                 code block
2448
2449 In the first case a return type can follow the paentheses after a colon,
2450 in the second it is given on a line starting with the word `return`.
2451
2452 ##### Example: functions that return
2453
2454         func add(a:number; b:number): number
2455                 code block
2456
2457         func catenate
2458                 a: string
2459                 b: string
2460         return string
2461         do
2462                 code block
2463
2464
2465 For constructing these lists we use a `List` binode, which will be
2466 further detailed when Expression Lists are introduced.
2467
2468 ###### type union fields
2469
2470         struct {
2471                 struct binode *params;
2472                 struct type *return_type;
2473                 struct variable *scope;
2474                 int local_size;
2475         } function;
2476
2477 ###### value union fields
2478         struct exec *function;
2479
2480 ###### type functions
2481         void (*check_args)(struct parse_context *c, int *ok,
2482                            struct type *require, struct exec *args);
2483
2484 ###### value functions
2485
2486         static void function_free(struct type *type, struct value *val)
2487         {
2488                 free_exec(val->function);
2489                 val->function = NULL;
2490         }
2491
2492         static int function_compat(struct type *require, struct type *have)
2493         {
2494                 // FIXME can I do anything here yet?
2495                 return 0;
2496         }
2497
2498         static void function_check_args(struct parse_context *c, int *ok,
2499                                         struct type *require, struct exec *args)
2500         {
2501                 /* This should be 'compat', but we don't have a 'tuple' type to
2502                  * hold the type of 'args'
2503                  */
2504                 struct binode *arg = cast(binode, args);
2505                 struct binode *param = require->function.params;
2506
2507                 while (param) {
2508                         struct var *pv = cast(var, param->left);
2509                         if (!arg) {
2510                                 type_err(c, "error: insufficient arguments to function.",
2511                                          args, NULL, 0, NULL);
2512                                 break;
2513                         }
2514                         *ok = 1;
2515                         propagate_types(arg->left, c, ok, pv->var->type, 0);
2516                         param = cast(binode, param->right);
2517                         arg = cast(binode, arg->right);
2518                 }
2519                 if (arg)
2520                         type_err(c, "error: too many arguments to function.",
2521                                  args, NULL, 0, NULL);
2522         }
2523
2524         static void function_print(struct type *type, struct value *val)
2525         {
2526                 print_exec(val->function, 1, 0);
2527         }
2528
2529         static void function_print_type_decl(struct type *type, FILE *f)
2530         {
2531                 struct binode *b;
2532                 fprintf(f, "(");
2533                 for (b = type->function.params; b; b = cast(binode, b->right)) {
2534                         struct variable *v = cast(var, b->left)->var;
2535                         fprintf(f, "%.*s%s", v->name->name.len, v->name->name.txt,
2536                                 v->constant ? "::" : ":");
2537                         type_print(v->type, f);
2538                         if (b->right)
2539                                 fprintf(f, "; ");
2540                 }
2541                 fprintf(f, ")");
2542                 if (type->function.return_type != Tnone) {
2543                         fprintf(f, ":");
2544                         type_print(type->function.return_type, f);
2545                 }
2546                 fprintf(f, "\n");
2547         }
2548
2549         static void function_free_type(struct type *t)
2550         {
2551                 free_exec(t->function.params);
2552         }
2553
2554         static struct type function_prototype = {
2555                 .size = sizeof(void*),
2556                 .align = sizeof(void*),
2557                 .free = function_free,
2558                 .compat = function_compat,
2559                 .check_args = function_check_args,
2560                 .print = function_print,
2561                 .print_type_decl = function_print_type_decl,
2562                 .free_type = function_free_type,
2563         };
2564
2565 ###### declare terminals
2566
2567         $TERM func
2568
2569 ###### Binode types
2570         List,
2571
2572 ###### Grammar
2573
2574         $*variable
2575         FuncName -> IDENTIFIER ${ {
2576                         struct variable *v = var_decl(c, $1.txt);
2577                         struct var *e = new_pos(var, $1);
2578                         e->var = v;
2579                         if (v) {
2580                                 v->where_decl = e;
2581                                 $0 = v;
2582                         } else {
2583                                 v = var_ref(c, $1.txt);
2584                                 e->var = v;
2585                                 type_err(c, "error: function '%v' redeclared",
2586                                         e, NULL, 0, NULL);
2587                                 type_err(c, "info: this is where '%v' was first declared",
2588                                         v->where_decl, NULL, 0, NULL);
2589                                 free_exec(e);
2590                         }
2591                 } }$
2592
2593         $*binode
2594         Args -> ArgsLine NEWLINE ${ $0 = $<AL; }$
2595                 | Args ArgsLine NEWLINE ${ {
2596                         struct binode *b = $<AL;
2597                         struct binode **bp = &b;
2598                         while (*bp)
2599                                 bp = (struct binode **)&(*bp)->left;
2600                         *bp = $<A;
2601                         $0 = b;
2602                 } }$
2603
2604         ArgsLine -> ${ $0 = NULL; }$
2605                 | Varlist ${ $0 = $<1; }$
2606                 | Varlist ; ${ $0 = $<1; }$
2607
2608         Varlist -> Varlist ; ArgDecl ${
2609                         $0 = new(binode);
2610                         $0->op = List;
2611                         $0->left = $<Vl;
2612                         $0->right = $<AD;
2613                 }$
2614                 | ArgDecl ${
2615                         $0 = new(binode);
2616                         $0->op = List;
2617                         $0->left = NULL;
2618                         $0->right = $<AD;
2619                 }$
2620
2621         $*var
2622         ArgDecl -> IDENTIFIER : FormalType ${ {
2623                 struct variable *v = var_decl(c, $1.txt);
2624                 $0 = new(var);
2625                 $0->var = v;
2626                 v->type = $<FT;
2627         } }$
2628
2629 ## Executables: the elements of code
2630
2631 Each code element needs to be parsed, printed, analysed,
2632 interpreted, and freed.  There are several, so let's just start with
2633 the easy ones and work our way up.
2634
2635 ### Values
2636
2637 We have already met values as separate objects.  When manifest
2638 constants appear in the program text, that must result in an executable
2639 which has a constant value.  So the `val` structure embeds a value in
2640 an executable.
2641
2642 ###### exec type
2643         Xval,
2644
2645 ###### ast
2646         struct val {
2647                 struct exec;
2648                 struct type *vtype;
2649                 struct value val;
2650         };
2651
2652 ###### ast functions
2653         struct val *new_val(struct type *T, struct token tk)
2654         {
2655                 struct val *v = new_pos(val, tk);
2656                 v->vtype = T;
2657                 return v;
2658         }
2659
2660 ###### Grammar
2661
2662         $TERM True False
2663
2664         $*val
2665         Value ->  True ${
2666                         $0 = new_val(Tbool, $1);
2667                         $0->val.bool = 1;
2668                         }$
2669                 | False ${
2670                         $0 = new_val(Tbool, $1);
2671                         $0->val.bool = 0;
2672                         }$
2673                 | NUMBER ${
2674                         $0 = new_val(Tnum, $1);
2675                         {
2676                         char tail[3];
2677                         if (number_parse($0->val.num, tail, $1.txt) == 0)
2678                                 mpq_init($0->val.num);  // UNTESTED
2679                                 if (tail[0])
2680                                         tok_err(c, "error: unsupported number suffix",
2681                                                 &$1);
2682                         }
2683                         }$
2684                 | STRING ${
2685                         $0 = new_val(Tstr, $1);
2686                         {
2687                         char tail[3];
2688                         string_parse(&$1, '\\', &$0->val.str, tail);
2689                         if (tail[0])
2690                                 tok_err(c, "error: unsupported string suffix",
2691                                         &$1);
2692                         }
2693                         }$
2694                 | MULTI_STRING ${
2695                         $0 = new_val(Tstr, $1);
2696                         {
2697                         char tail[3];
2698                         string_parse(&$1, '\\', &$0->val.str, tail);
2699                         if (tail[0])
2700                                 tok_err(c, "error: unsupported string suffix",
2701                                         &$1);
2702                         }
2703                         }$
2704
2705 ###### print exec cases
2706         case Xval:
2707         {
2708                 struct val *v = cast(val, e);
2709                 if (v->vtype == Tstr)
2710                         printf("\"");
2711                 print_value(v->vtype, &v->val);
2712                 if (v->vtype == Tstr)
2713                         printf("\"");
2714                 break;
2715         }
2716
2717 ###### propagate exec cases
2718         case Xval:
2719         {
2720                 struct val *val = cast(val, prog);
2721                 if (!type_compat(type, val->vtype, rules))
2722                         type_err(c, "error: expected %1%r found %2",
2723                                    prog, type, rules, val->vtype);
2724                 return val->vtype;
2725         }
2726
2727 ###### interp exec cases
2728         case Xval:
2729                 rvtype = cast(val, e)->vtype;
2730                 dup_value(rvtype, &cast(val, e)->val, &rv);
2731                 break;
2732
2733 ###### ast functions
2734         static void free_val(struct val *v)
2735         {
2736                 if (v)
2737                         free_value(v->vtype, &v->val);
2738                 free(v);
2739         }
2740
2741 ###### free exec cases
2742         case Xval: free_val(cast(val, e)); break;
2743
2744 ###### ast functions
2745         // Move all nodes from 'b' to 'rv', reversing their order.
2746         // In 'b' 'left' is a list, and 'right' is the last node.
2747         // In 'rv', left' is the first node and 'right' is a list.
2748         static struct binode *reorder_bilist(struct binode *b)
2749         {
2750                 struct binode *rv = NULL;
2751
2752                 while (b) {
2753                         struct exec *t = b->right;
2754                         b->right = rv;
2755                         rv = b;
2756                         if (b->left)
2757                                 b = cast(binode, b->left);
2758                         else
2759                                 b = NULL;
2760                         rv->left = t;
2761                 }
2762                 return rv;
2763         }
2764
2765 ### Variables
2766
2767 Just as we used a `val` to wrap a value into an `exec`, we similarly
2768 need a `var` to wrap a `variable` into an exec.  While each `val`
2769 contained a copy of the value, each `var` holds a link to the variable
2770 because it really is the same variable no matter where it appears.
2771 When a variable is used, we need to remember to follow the `->merged`
2772 link to find the primary instance.
2773
2774 ###### exec type
2775         Xvar,
2776
2777 ###### ast
2778         struct var {
2779                 struct exec;
2780                 struct variable *var;
2781         };
2782
2783 ###### Grammar
2784
2785         $TERM : ::
2786
2787         $*var
2788         VariableDecl -> IDENTIFIER : ${ {
2789                 struct variable *v = var_decl(c, $1.txt);
2790                 $0 = new_pos(var, $1);
2791                 $0->var = v;
2792                 if (v)
2793                         v->where_decl = $0;
2794                 else {
2795                         v = var_ref(c, $1.txt);
2796                         $0->var = v;
2797                         type_err(c, "error: variable '%v' redeclared",
2798                                  $0, NULL, 0, NULL);
2799                         type_err(c, "info: this is where '%v' was first declared",
2800                                  v->where_decl, NULL, 0, NULL);
2801                 }
2802         } }$
2803             | IDENTIFIER :: ${ {
2804                 struct variable *v = var_decl(c, $1.txt);
2805                 $0 = new_pos(var, $1);
2806                 $0->var = v;
2807                 if (v) {
2808                         v->where_decl = $0;
2809                         v->constant = 1;
2810                 } else {
2811                         v = var_ref(c, $1.txt);
2812                         $0->var = v;
2813                         type_err(c, "error: variable '%v' redeclared",
2814                                  $0, NULL, 0, NULL);
2815                         type_err(c, "info: this is where '%v' was first declared",
2816                                  v->where_decl, NULL, 0, NULL);
2817                 }
2818         } }$
2819             | IDENTIFIER : Type ${ {
2820                 struct variable *v = var_decl(c, $1.txt);
2821                 $0 = new_pos(var, $1);
2822                 $0->var = v;
2823                 if (v) {
2824                         v->where_decl = $0;
2825                         v->where_set = $0;
2826                         v->type = $<Type;
2827                 } else {
2828                         v = var_ref(c, $1.txt);
2829                         $0->var = v;
2830                         type_err(c, "error: variable '%v' redeclared",
2831                                  $0, NULL, 0, NULL);
2832                         type_err(c, "info: this is where '%v' was first declared",
2833                                  v->where_decl, NULL, 0, NULL);
2834                 }
2835         } }$
2836             | IDENTIFIER :: Type ${ {
2837                 struct variable *v = var_decl(c, $1.txt);
2838                 $0 = new_pos(var, $1);
2839                 $0->var = v;
2840                 if (v) {
2841                         v->where_decl = $0;
2842                         v->where_set = $0;
2843                         v->type = $<Type;
2844                         v->constant = 1;
2845                 } else {
2846                         v = var_ref(c, $1.txt);
2847                         $0->var = v;
2848                         type_err(c, "error: variable '%v' redeclared",
2849                                  $0, NULL, 0, NULL);
2850                         type_err(c, "info: this is where '%v' was first declared",
2851                                  v->where_decl, NULL, 0, NULL);
2852                 }
2853         } }$
2854
2855         $*exec
2856         Variable -> IDENTIFIER ${ {
2857                 struct variable *v = var_ref(c, $1.txt);
2858                 $0 = new_pos(var, $1);
2859                 if (v == NULL) {
2860                         /* This might be a label - allocate a var just in case */
2861                         v = var_decl(c, $1.txt);
2862                         if (v) {
2863                                 v->type = Tnone;
2864                                 v->where_decl = $0;
2865                                 v->where_set = $0;
2866                         }
2867                 }
2868                 cast(var, $0)->var = v;
2869         } }$
2870         ## variable grammar
2871
2872 ###### print exec cases
2873         case Xvar:
2874         {
2875                 struct var *v = cast(var, e);
2876                 if (v->var) {
2877                         struct binding *b = v->var->name;
2878                         printf("%.*s", b->name.len, b->name.txt);
2879                 }
2880                 break;
2881         }
2882
2883 ###### format cases
2884         case 'v':
2885                 if (loc && loc->type == Xvar) {
2886                         struct var *v = cast(var, loc);
2887                         if (v->var) {
2888                                 struct binding *b = v->var->name;
2889                                 fprintf(stderr, "%.*s", b->name.len, b->name.txt);
2890                         } else
2891                                 fputs("???", stderr);   // NOTEST
2892                 } else
2893                         fputs("NOTVAR", stderr);
2894                 break;
2895
2896 ###### propagate exec cases
2897
2898         case Xvar:
2899         {
2900                 struct var *var = cast(var, prog);
2901                 struct variable *v = var->var;
2902                 if (!v) {
2903                         type_err(c, "%d:BUG: no variable!!", prog, NULL, 0, NULL); // NOTEST
2904                         return Tnone;                                   // NOTEST
2905                 }
2906                 v = v->merged;
2907                 if (v->constant && (rules & Rnoconstant)) {
2908                         type_err(c, "error: Cannot assign to a constant: %v",
2909                                  prog, NULL, 0, NULL);
2910                         type_err(c, "info: name was defined as a constant here",
2911                                  v->where_decl, NULL, 0, NULL);
2912                         return v->type;
2913                 }
2914                 if (v->type == Tnone && v->where_decl == prog)
2915                         type_err(c, "error: variable used but not declared: %v",
2916                                  prog, NULL, 0, NULL);
2917                 if (v->type == NULL) {
2918                         if (type && *ok != 0) {
2919                                 v->type = type;
2920                                 v->where_set = prog;
2921                                 *ok = 2;
2922                         }
2923                         return type;
2924                 }
2925                 if (!type_compat(type, v->type, rules)) {
2926                         type_err(c, "error: expected %1%r but variable '%v' is %2", prog,
2927                                  type, rules, v->type);
2928                         type_err(c, "info: this is where '%v' was set to %1", v->where_set,
2929                                  v->type, rules, NULL);
2930                 }
2931                 if (!type)
2932                         return v->type;
2933                 return type;
2934         }
2935
2936 ###### interp exec cases
2937         case Xvar:
2938         {
2939                 struct var *var = cast(var, e);
2940                 struct variable *v = var->var;
2941
2942                 v = v->merged;
2943                 lrv = var_value(c, v);
2944                 rvtype = v->type;
2945                 break;
2946         }
2947
2948 ###### ast functions
2949
2950         static void free_var(struct var *v)
2951         {
2952                 free(v);
2953         }
2954
2955 ###### free exec cases
2956         case Xvar: free_var(cast(var, e)); break;
2957
2958 ### Expressions: Conditional
2959
2960 Our first user of the `binode` will be conditional expressions, which
2961 is a bit odd as they actually have three components.  That will be
2962 handled by having 2 binodes for each expression.  The conditional
2963 expression is the lowest precedence operator which is why we define it
2964 first - to start the precedence list.
2965
2966 Conditional expressions are of the form "value `if` condition `else`
2967 other_value".  They associate to the right, so everything to the right
2968 of `else` is part of an else value, while only a higher-precedence to
2969 the left of `if` is the if values.  Between `if` and `else` there is no
2970 room for ambiguity, so a full conditional expression is allowed in
2971 there.
2972
2973 ###### Binode types
2974         CondExpr,
2975
2976 ###### Grammar
2977
2978         $LEFT if $$ifelse
2979         ## expr precedence
2980
2981         $*exec
2982         Expression -> Expression if Expression else Expression $$ifelse ${ {
2983                         struct binode *b1 = new(binode);
2984                         struct binode *b2 = new(binode);
2985                         b1->op = CondExpr;
2986                         b1->left = $<3;
2987                         b1->right = b2;
2988                         b2->op = CondExpr;
2989                         b2->left = $<1;
2990                         b2->right = $<5;
2991                         $0 = b1;
2992                 } }$
2993                 ## expression grammar
2994
2995 ###### print binode cases
2996
2997         case CondExpr:
2998                 b2 = cast(binode, b->right);
2999                 if (bracket) printf("(");
3000                 print_exec(b2->left, -1, bracket);
3001                 printf(" if ");
3002                 print_exec(b->left, -1, bracket);
3003                 printf(" else ");
3004                 print_exec(b2->right, -1, bracket);
3005                 if (bracket) printf(")");
3006                 break;
3007
3008 ###### propagate binode cases
3009
3010         case CondExpr: {
3011                 /* cond must be Tbool, others must match */
3012                 struct binode *b2 = cast(binode, b->right);
3013                 struct type *t2;
3014
3015                 propagate_types(b->left, c, ok, Tbool, 0);
3016                 t = propagate_types(b2->left, c, ok, type, Rnolabel);
3017                 t2 = propagate_types(b2->right, c, ok, type ?: t, Rnolabel);
3018                 return t ?: t2;
3019         }
3020
3021 ###### interp binode cases
3022
3023         case CondExpr: {
3024                 struct binode *b2 = cast(binode, b->right);
3025                 left = interp_exec(c, b->left, &ltype);
3026                 if (left.bool)
3027                         rv = interp_exec(c, b2->left, &rvtype); // UNTESTED
3028                 else
3029                         rv = interp_exec(c, b2->right, &rvtype);
3030                 }
3031                 break;
3032
3033 ### Expression list
3034
3035 We take a brief detour, now that we have expressions, to describe lists
3036 of expressions.  These will be needed for function parameters and
3037 possibly other situations.  They seem generic enough to introduce here
3038 to be used elsewhere.
3039
3040 And ExpressionList will use the `List` type of `binode`, building up at
3041 the end.  And place where they are used will probably call
3042 `reorder_bilist()` to get a more normal first/next arrangement.
3043
3044 ###### declare terminals
3045         $TERM ,
3046
3047 `List` execs have no implicit semantics, so they are never propagated or
3048 interpreted.  The can be printed as a comma separate list, which is how
3049 they are parsed.  Note they are also used for function formal parameter
3050 lists.  In that case a separate function is used to print them.
3051
3052 ###### print binode cases
3053         case List:
3054                 while (b) {
3055                         printf(" ");
3056                         print_exec(b->left, -1, bracket);
3057                         if (b->right)
3058                                 printf(",");
3059                         b = cast(binode, b->right);
3060                 }
3061                 break;
3062
3063 ###### propagate binode cases
3064         case List: abort(); // NOTEST
3065 ###### interp binode cases
3066         case List: abort(); // NOTEST
3067
3068 ###### Grammar
3069
3070         $*binode
3071         ExpressionList -> ExpressionList , Expression ${
3072                         $0 = new(binode);
3073                         $0->op = List;
3074                         $0->left = $<1;
3075                         $0->right = $<3;
3076                 }$
3077                 | Expression ${
3078                         $0 = new(binode);
3079                         $0->op = List;
3080                         $0->left = NULL;
3081                         $0->right = $<1;
3082                 }$
3083
3084 ### Expressions: Boolean
3085
3086 The next class of expressions to use the `binode` will be Boolean
3087 expressions.  "`and then`" and "`or else`" are similar to `and` and `or`
3088 have same corresponding precendence.  The difference is that they don't
3089 evaluate the second expression if not necessary.
3090
3091 ###### Binode types
3092         And,
3093         AndThen,
3094         Or,
3095         OrElse,
3096         Not,
3097
3098 ###### expr precedence
3099         $LEFT or
3100         $LEFT and
3101         $LEFT not
3102
3103 ###### expression grammar
3104                 | Expression or Expression ${ {
3105                         struct binode *b = new(binode);
3106                         b->op = Or;
3107                         b->left = $<1;
3108                         b->right = $<3;
3109                         $0 = b;
3110                 } }$
3111                 | Expression or else Expression ${ {
3112                         struct binode *b = new(binode);
3113                         b->op = OrElse;
3114                         b->left = $<1;
3115                         b->right = $<4;
3116                         $0 = b;
3117                 } }$
3118
3119                 | Expression and Expression ${ {
3120                         struct binode *b = new(binode);
3121                         b->op = And;
3122                         b->left = $<1;
3123                         b->right = $<3;
3124                         $0 = b;
3125                 } }$
3126                 | Expression and then Expression ${ {
3127                         struct binode *b = new(binode);
3128                         b->op = AndThen;
3129                         b->left = $<1;
3130                         b->right = $<4;
3131                         $0 = b;
3132                 } }$
3133
3134                 | not Expression ${ {
3135                         struct binode *b = new(binode);
3136                         b->op = Not;
3137                         b->right = $<2;
3138                         $0 = b;
3139                 } }$
3140
3141 ###### print binode cases
3142         case And:
3143                 if (bracket) printf("(");
3144                 print_exec(b->left, -1, bracket);
3145                 printf(" and ");
3146                 print_exec(b->right, -1, bracket);
3147                 if (bracket) printf(")");
3148                 break;
3149         case AndThen:
3150                 if (bracket) printf("(");
3151                 print_exec(b->left, -1, bracket);
3152                 printf(" and then ");
3153                 print_exec(b->right, -1, bracket);
3154                 if (bracket) printf(")");
3155                 break;
3156         case Or:
3157                 if (bracket) printf("(");
3158                 print_exec(b->left, -1, bracket);
3159                 printf(" or ");
3160                 print_exec(b->right, -1, bracket);
3161                 if (bracket) printf(")");
3162                 break;
3163         case OrElse:
3164                 if (bracket) printf("(");
3165                 print_exec(b->left, -1, bracket);
3166                 printf(" or else ");
3167                 print_exec(b->right, -1, bracket);
3168                 if (bracket) printf(")");
3169                 break;
3170         case Not:
3171                 if (bracket) printf("(");
3172                 printf("not ");
3173                 print_exec(b->right, -1, bracket);
3174                 if (bracket) printf(")");
3175                 break;
3176
3177 ###### propagate binode cases
3178         case And:
3179         case AndThen:
3180         case Or:
3181         case OrElse:
3182         case Not:
3183                 /* both must be Tbool, result is Tbool */
3184                 propagate_types(b->left, c, ok, Tbool, 0);
3185                 propagate_types(b->right, c, ok, Tbool, 0);
3186                 if (type && type != Tbool)
3187                         type_err(c, "error: %1 operation found where %2 expected", prog,
3188                                    Tbool, 0, type);
3189                 return Tbool;
3190
3191 ###### interp binode cases
3192         case And:
3193                 rv = interp_exec(c, b->left, &rvtype);
3194                 right = interp_exec(c, b->right, &rtype);
3195                 rv.bool = rv.bool && right.bool;
3196                 break;
3197         case AndThen:
3198                 rv = interp_exec(c, b->left, &rvtype);
3199                 if (rv.bool)
3200                         rv = interp_exec(c, b->right, NULL);
3201                 break;
3202         case Or:
3203                 rv = interp_exec(c, b->left, &rvtype);
3204                 right = interp_exec(c, b->right, &rtype);
3205                 rv.bool = rv.bool || right.bool;
3206                 break;
3207         case OrElse:
3208                 rv = interp_exec(c, b->left, &rvtype);
3209                 if (!rv.bool)
3210                         rv = interp_exec(c, b->right, NULL);
3211                 break;
3212         case Not:
3213                 rv = interp_exec(c, b->right, &rvtype);
3214                 rv.bool = !rv.bool;
3215                 break;
3216
3217 ### Expressions: Comparison
3218
3219 Of slightly higher precedence that Boolean expressions are Comparisons.
3220 A comparison takes arguments of any comparable type, but the two types
3221 must be the same.
3222
3223 To simplify the parsing we introduce an `eop` which can record an
3224 expression operator, and the `CMPop` non-terminal will match one of them.
3225
3226 ###### ast
3227         struct eop {
3228                 enum Btype op;
3229         };
3230
3231 ###### ast functions
3232         static void free_eop(struct eop *e)
3233         {
3234                 if (e)
3235                         free(e);
3236         }
3237
3238 ###### Binode types
3239         Less,
3240         Gtr,
3241         LessEq,
3242         GtrEq,
3243         Eql,
3244         NEql,
3245
3246 ###### expr precedence
3247         $LEFT < > <= >= == != CMPop
3248
3249 ###### expression grammar
3250         | Expression CMPop Expression ${ {
3251                 struct binode *b = new(binode);
3252                 b->op = $2.op;
3253                 b->left = $<1;
3254                 b->right = $<3;
3255                 $0 = b;
3256         } }$
3257
3258 ###### Grammar
3259
3260         $eop
3261         CMPop ->   < ${ $0.op = Less; }$
3262                 |  > ${ $0.op = Gtr; }$
3263                 |  <= ${ $0.op = LessEq; }$
3264                 |  >= ${ $0.op = GtrEq; }$
3265                 |  == ${ $0.op = Eql; }$
3266                 |  != ${ $0.op = NEql; }$
3267
3268 ###### print binode cases
3269
3270         case Less:
3271         case LessEq:
3272         case Gtr:
3273         case GtrEq:
3274         case Eql:
3275         case NEql:
3276                 if (bracket) printf("(");
3277                 print_exec(b->left, -1, bracket);
3278                 switch(b->op) {
3279                 case Less:   printf(" < "); break;
3280                 case LessEq: printf(" <= "); break;
3281                 case Gtr:    printf(" > "); break;
3282                 case GtrEq:  printf(" >= "); break;
3283                 case Eql:    printf(" == "); break;
3284                 case NEql:   printf(" != "); break;
3285                 default: abort();               // NOTEST
3286                 }
3287                 print_exec(b->right, -1, bracket);
3288                 if (bracket) printf(")");
3289                 break;
3290
3291 ###### propagate binode cases
3292         case Less:
3293         case LessEq:
3294         case Gtr:
3295         case GtrEq:
3296         case Eql:
3297         case NEql:
3298                 /* Both must match but not be labels, result is Tbool */
3299                 t = propagate_types(b->left, c, ok, NULL, Rnolabel);
3300                 if (t)
3301                         propagate_types(b->right, c, ok, t, 0);
3302                 else {
3303                         t = propagate_types(b->right, c, ok, NULL, Rnolabel);   // UNTESTED
3304                         if (t)  // UNTESTED
3305                                 t = propagate_types(b->left, c, ok, t, 0);      // UNTESTED
3306                 }
3307                 if (!type_compat(type, Tbool, 0))
3308                         type_err(c, "error: Comparison returns %1 but %2 expected", prog,
3309                                     Tbool, rules, type);
3310                 return Tbool;
3311
3312 ###### interp binode cases
3313         case Less:
3314         case LessEq:
3315         case Gtr:
3316         case GtrEq:
3317         case Eql:
3318         case NEql:
3319         {
3320                 int cmp;
3321                 left = interp_exec(c, b->left, &ltype);
3322                 right = interp_exec(c, b->right, &rtype);
3323                 cmp = value_cmp(ltype, rtype, &left, &right);
3324                 rvtype = Tbool;
3325                 switch (b->op) {
3326                 case Less:      rv.bool = cmp <  0; break;
3327                 case LessEq:    rv.bool = cmp <= 0; break;
3328                 case Gtr:       rv.bool = cmp >  0; break;
3329                 case GtrEq:     rv.bool = cmp >= 0; break;
3330                 case Eql:       rv.bool = cmp == 0; break;
3331                 case NEql:      rv.bool = cmp != 0; break;
3332                 default:        rv.bool = 0; break;     // NOTEST
3333                 }
3334                 break;
3335         }
3336
3337 ### Expressions: Arithmetic etc.
3338
3339 The remaining expressions with the highest precedence are arithmetic,
3340 string concatenation, and string conversion.  String concatenation
3341 (`++`) has the same precedence as multiplication and division, but lower
3342 than the uniary.
3343
3344 String conversion is a temporary feature until I get a better type
3345 system.  `$` is a prefix operator which expects a string and returns
3346 a number.
3347
3348 `+` and `-` are both infix and prefix operations (where they are
3349 absolute value and negation).  These have different operator names.
3350
3351 We also have a 'Bracket' operator which records where parentheses were
3352 found.  This makes it easy to reproduce these when printing.  Possibly I
3353 should only insert brackets were needed for precedence.
3354
3355 ###### Binode types
3356         Plus, Minus,
3357         Times, Divide, Rem,
3358         Concat,
3359         Absolute, Negate,
3360         StringConv,
3361         Bracket,
3362
3363 ###### expr precedence
3364         $LEFT + - Eop
3365         $LEFT * / % ++ Top
3366         $LEFT Uop $
3367         $TERM ( )
3368
3369 ###### expression grammar
3370                 | Expression Eop Expression ${ {
3371                         struct binode *b = new(binode);
3372                         b->op = $2.op;
3373                         b->left = $<1;
3374                         b->right = $<3;
3375                         $0 = b;
3376                 } }$
3377
3378                 | Expression Top Expression ${ {
3379                         struct binode *b = new(binode);
3380                         b->op = $2.op;
3381                         b->left = $<1;
3382                         b->right = $<3;
3383                         $0 = b;
3384                 } }$
3385
3386                 | ( Expression ) ${ {
3387                         struct binode *b = new_pos(binode, $1);
3388                         b->op = Bracket;
3389                         b->right = $<2;
3390                         $0 = b;
3391                 } }$
3392                 | Uop Expression ${ {
3393                         struct binode *b = new(binode);
3394                         b->op = $1.op;
3395                         b->right = $<2;
3396                         $0 = b;
3397                 } }$
3398                 | Value ${ $0 = $<1; }$
3399                 | Variable ${ $0 = $<1; }$
3400
3401 ###### Grammar
3402
3403         $eop
3404         Eop ->    + ${ $0.op = Plus; }$
3405                 | - ${ $0.op = Minus; }$
3406
3407         Uop ->    + ${ $0.op = Absolute; }$
3408                 | - ${ $0.op = Negate; }$
3409                 | $ ${ $0.op = StringConv; }$
3410
3411         Top ->    * ${ $0.op = Times; }$
3412                 | / ${ $0.op = Divide; }$
3413                 | % ${ $0.op = Rem; }$
3414                 | ++ ${ $0.op = Concat; }$
3415
3416 ###### print binode cases
3417         case Plus:
3418         case Minus:
3419         case Times:
3420         case Divide:
3421         case Concat:
3422         case Rem:
3423                 if (bracket) printf("(");
3424                 print_exec(b->left, indent, bracket);
3425                 switch(b->op) {
3426                 case Plus:   fputs(" + ", stdout); break;
3427                 case Minus:  fputs(" - ", stdout); break;
3428                 case Times:  fputs(" * ", stdout); break;
3429                 case Divide: fputs(" / ", stdout); break;
3430                 case Rem:    fputs(" % ", stdout); break;
3431                 case Concat: fputs(" ++ ", stdout); break;
3432                 default: abort();       // NOTEST
3433                 }                       // NOTEST
3434                 print_exec(b->right, indent, bracket);
3435                 if (bracket) printf(")");
3436                 break;
3437         case Absolute:
3438         case Negate:
3439         case StringConv:
3440                 if (bracket) printf("(");
3441                 switch (b->op) {
3442                 case Absolute:   fputs("+", stdout); break;
3443                 case Negate:     fputs("-", stdout); break;
3444                 case StringConv: fputs("$", stdout); break;
3445                 default: abort();       // NOTEST
3446                 }                       // NOTEST
3447                 print_exec(b->right, indent, bracket);
3448                 if (bracket) printf(")");
3449                 break;
3450         case Bracket:
3451                 printf("(");
3452                 print_exec(b->right, indent, bracket);
3453                 printf(")");
3454                 break;
3455
3456 ###### propagate binode cases
3457         case Plus:
3458         case Minus:
3459         case Times:
3460         case Rem:
3461         case Divide:
3462                 /* both must be numbers, result is Tnum */
3463         case Absolute:
3464         case Negate:
3465                 /* as propagate_types ignores a NULL,
3466                  * unary ops fit here too */
3467                 propagate_types(b->left, c, ok, Tnum, 0);
3468                 propagate_types(b->right, c, ok, Tnum, 0);
3469                 if (!type_compat(type, Tnum, 0))
3470                         type_err(c, "error: Arithmetic returns %1 but %2 expected", prog,
3471                                    Tnum, rules, type);
3472                 return Tnum;
3473
3474         case Concat:
3475                 /* both must be Tstr, result is Tstr */
3476                 propagate_types(b->left, c, ok, Tstr, 0);
3477                 propagate_types(b->right, c, ok, Tstr, 0);
3478                 if (!type_compat(type, Tstr, 0))
3479                         type_err(c, "error: Concat returns %1 but %2 expected", prog,
3480                                    Tstr, rules, type);
3481                 return Tstr;
3482
3483         case StringConv:
3484                 /* op must be string, result is number */
3485                 propagate_types(b->left, c, ok, Tstr, 0);
3486                 if (!type_compat(type, Tnum, 0))
3487                         type_err(c,     // UNTESTED
3488                           "error: Can only convert string to number, not %1",
3489                                 prog, type, 0, NULL);
3490                 return Tnum;
3491
3492         case Bracket:
3493                 return propagate_types(b->right, c, ok, type, 0);
3494
3495 ###### interp binode cases
3496
3497         case Plus:
3498                 rv = interp_exec(c, b->left, &rvtype);
3499                 right = interp_exec(c, b->right, &rtype);
3500                 mpq_add(rv.num, rv.num, right.num);
3501                 break;
3502         case Minus:
3503                 rv = interp_exec(c, b->left, &rvtype);
3504                 right = interp_exec(c, b->right, &rtype);
3505                 mpq_sub(rv.num, rv.num, right.num);
3506                 break;
3507         case Times:
3508                 rv = interp_exec(c, b->left, &rvtype);
3509                 right = interp_exec(c, b->right, &rtype);
3510                 mpq_mul(rv.num, rv.num, right.num);
3511                 break;
3512         case Divide:
3513                 rv = interp_exec(c, b->left, &rvtype);
3514                 right = interp_exec(c, b->right, &rtype);
3515                 mpq_div(rv.num, rv.num, right.num);
3516                 break;
3517         case Rem: {
3518                 mpz_t l, r, rem;
3519
3520                 left = interp_exec(c, b->left, &ltype);
3521                 right = interp_exec(c, b->right, &rtype);
3522                 mpz_init(l); mpz_init(r); mpz_init(rem);
3523                 mpz_tdiv_q(l, mpq_numref(left.num), mpq_denref(left.num));
3524                 mpz_tdiv_q(r, mpq_numref(right.num), mpq_denref(right.num));
3525                 mpz_tdiv_r(rem, l, r);
3526                 val_init(Tnum, &rv);
3527                 mpq_set_z(rv.num, rem);
3528                 mpz_clear(r); mpz_clear(l); mpz_clear(rem);
3529                 rvtype = ltype;
3530                 break;
3531         }
3532         case Negate:
3533                 rv = interp_exec(c, b->right, &rvtype);
3534                 mpq_neg(rv.num, rv.num);
3535                 break;
3536         case Absolute:
3537                 rv = interp_exec(c, b->right, &rvtype);
3538                 mpq_abs(rv.num, rv.num);
3539                 break;
3540         case Bracket:
3541                 rv = interp_exec(c, b->right, &rvtype);
3542                 break;
3543         case Concat:
3544                 left = interp_exec(c, b->left, &ltype);
3545                 right = interp_exec(c, b->right, &rtype);
3546                 rvtype = Tstr;
3547                 rv.str = text_join(left.str, right.str);
3548                 break;
3549         case StringConv:
3550                 right = interp_exec(c, b->right, &rvtype);
3551                 rtype = Tstr;
3552                 rvtype = Tnum;
3553
3554                 struct text tx = right.str;
3555                 char tail[3];
3556                 int neg = 0;
3557                 if (tx.txt[0] == '-') {
3558                         neg = 1;        // UNTESTED
3559                         tx.txt++;       // UNTESTED
3560                         tx.len--;       // UNTESTED
3561                 }
3562                 if (number_parse(rv.num, tail, tx) == 0)
3563                         mpq_init(rv.num);       // UNTESTED
3564                 else if (neg)
3565                         mpq_neg(rv.num, rv.num);        // UNTESTED
3566                 if (tail[0])
3567                         printf("Unsupported suffix: %.*s\n", tx.len, tx.txt);   // UNTESTED
3568
3569                 break;
3570
3571 ###### value functions
3572
3573         static struct text text_join(struct text a, struct text b)
3574         {
3575                 struct text rv;
3576                 rv.len = a.len + b.len;
3577                 rv.txt = malloc(rv.len);
3578                 memcpy(rv.txt, a.txt, a.len);
3579                 memcpy(rv.txt+a.len, b.txt, b.len);
3580                 return rv;
3581         }
3582
3583 ### Function calls
3584
3585 A function call can appear either as an expression or as a statement.
3586 As functions cannot yet return values, only the statement version will work.
3587 We use a new 'Funcall' binode type to link the function with a list of
3588 arguments, form with the 'List' nodes.
3589
3590 ###### Binode types
3591         Funcall,
3592
3593 ###### expression grammar
3594         | Variable ( ExpressionList ) ${ {
3595                 struct binode *b = new(binode);
3596                 b->op = Funcall;
3597                 b->left = $<V;
3598                 b->right = reorder_bilist($<EL);
3599                 $0 = b;
3600         } }$
3601         | Variable ( ) ${ {
3602                 struct binode *b = new(binode);
3603                 b->op = Funcall;
3604                 b->left = $<V;
3605                 b->right = NULL;
3606                 $0 = b;
3607         } }$
3608
3609 ###### SimpleStatement Grammar
3610
3611         | Variable ( ExpressionList ) ${ {
3612                 struct binode *b = new(binode);
3613                 b->op = Funcall;
3614                 b->left = $<V;
3615                 b->right = reorder_bilist($<EL);
3616                 $0 = b;
3617         } }$
3618
3619 ###### print binode cases
3620
3621         case Funcall:
3622                 do_indent(indent, "");
3623                 print_exec(b->left, -1, bracket);
3624                 printf("(");
3625                 for (b = cast(binode, b->right); b; b = cast(binode, b->right)) {
3626                         if (b->left) {
3627                                 printf(" ");
3628                                 print_exec(b->left, -1, bracket);
3629                                 if (b->right)
3630                                         printf(",");
3631                         }
3632                 }
3633                 printf(")");
3634                 if (indent >= 0)
3635                         printf("\n");
3636                 break;
3637
3638 ###### propagate binode cases
3639
3640         case Funcall: {
3641                 /* Every arg must match formal parameter, and result
3642                  * is return type of function
3643                  */
3644                 struct binode *args = cast(binode, b->right);
3645                 struct var *v = cast(var, b->left);
3646
3647                 if (!v->var->type || v->var->type->check_args == NULL) {
3648                         type_err(c, "error: attempt to call a non-function.",
3649                                  prog, NULL, 0, NULL);
3650                         return NULL;
3651                 }
3652                 v->var->type->check_args(c, ok, v->var->type, args);
3653                 return v->var->type->function.return_type;
3654         }
3655
3656 ###### interp binode cases
3657
3658         case Funcall: {
3659                 struct var *v = cast(var, b->left);
3660                 struct type *t = v->var->type;
3661                 void *oldlocal = c->local;
3662                 int old_size = c->local_size;
3663                 void *local = calloc(1, t->function.local_size);
3664                 struct value *fbody = var_value(c, v->var);
3665                 struct binode *arg = cast(binode, b->right);
3666                 struct binode *param = t->function.params;
3667
3668                 while (param) {
3669                         struct var *pv = cast(var, param->left);
3670                         struct type *vtype = NULL;
3671                         struct value val = interp_exec(c, arg->left, &vtype);
3672                         struct value *lval;
3673                         c->local = local; c->local_size = t->function.local_size;
3674                         lval = var_value(c, pv->var);
3675                         c->local = oldlocal; c->local_size = old_size;
3676                         memcpy(lval, &val, vtype->size);
3677                         param = cast(binode, param->right);
3678                         arg = cast(binode, arg->right);
3679                 }
3680                 c->local = local; c->local_size = t->function.local_size;
3681                 rv = interp_exec(c, fbody->function, &rvtype);
3682                 c->local = oldlocal; c->local_size = old_size;
3683                 free(local);
3684                 break;
3685         }
3686
3687 ### Blocks, Statements, and Statement lists.
3688
3689 Now that we have expressions out of the way we need to turn to
3690 statements.  There are simple statements and more complex statements.
3691 Simple statements do not contain (syntactic) newlines, complex statements do.
3692
3693 Statements often come in sequences and we have corresponding simple
3694 statement lists and complex statement lists.
3695 The former comprise only simple statements separated by semicolons.
3696 The later comprise complex statements and simple statement lists.  They are
3697 separated by newlines.  Thus the semicolon is only used to separate
3698 simple statements on the one line.  This may be overly restrictive,
3699 but I'm not sure I ever want a complex statement to share a line with
3700 anything else.
3701
3702 Note that a simple statement list can still use multiple lines if
3703 subsequent lines are indented, so
3704
3705 ###### Example: wrapped simple statement list
3706
3707         a = b; c = d;
3708            e = f; print g
3709
3710 is a single simple statement list.  This might allow room for
3711 confusion, so I'm not set on it yet.
3712
3713 A simple statement list needs no extra syntax.  A complex statement
3714 list has two syntactic forms.  It can be enclosed in braces (much like
3715 C blocks), or it can be introduced by an indent and continue until an
3716 unindented newline (much like Python blocks).  With this extra syntax
3717 it is referred to as a block.
3718
3719 Note that a block does not have to include any newlines if it only
3720 contains simple statements.  So both of:
3721
3722         if condition: a=b; d=f
3723
3724         if condition { a=b; print f }
3725
3726 are valid.
3727
3728 In either case the list is constructed from a `binode` list with
3729 `Block` as the operator.  When parsing the list it is most convenient
3730 to append to the end, so a list is a list and a statement.  When using
3731 the list it is more convenient to consider a list to be a statement
3732 and a list.  So we need a function to re-order a list.
3733 `reorder_bilist` serves this purpose.
3734
3735 The only stand-alone statement we introduce at this stage is `pass`
3736 which does nothing and is represented as a `NULL` pointer in a `Block`
3737 list.  Other stand-alone statements will follow once the infrastructure
3738 is in-place.
3739
3740 ###### Binode types
3741         Block,
3742
3743 ###### Grammar
3744
3745         $TERM { } ;
3746
3747         $*binode
3748         Block -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3749                 | { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3750                 | SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3751                 | SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3752                 | IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
3753
3754         OpenBlock -> OpenScope { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3755                 | OpenScope { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3756                 | OpenScope SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3757                 | OpenScope SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3758                 | IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
3759
3760         UseBlock -> { OpenScope IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3761                 | { OpenScope SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3762                 | IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
3763
3764         ColonBlock -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3765                 | { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3766                 | : SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3767                 | : SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3768                 | : IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
3769
3770         Statementlist -> ComplexStatements ${ $0 = reorder_bilist($<CS); }$
3771
3772         ComplexStatements -> ComplexStatements ComplexStatement ${
3773                         if ($2 == NULL) {
3774                                 $0 = $<1;
3775                         } else {
3776                                 $0 = new(binode);
3777                                 $0->op = Block;
3778                                 $0->left = $<1;
3779                                 $0->right = $<2;
3780                         }
3781                 }$
3782                 | ComplexStatement ${
3783                         if ($1 == NULL) {
3784                                 $0 = NULL;
3785                         } else {
3786                                 $0 = new(binode);
3787                                 $0->op = Block;
3788                                 $0->left = NULL;
3789                                 $0->right = $<1;
3790                         }
3791                 }$
3792
3793         $*exec
3794         ComplexStatement -> SimpleStatements Newlines ${
3795                         $0 = reorder_bilist($<SS);
3796                         }$
3797                 |  SimpleStatements ; Newlines ${
3798                         $0 = reorder_bilist($<SS);
3799                         }$
3800                 ## ComplexStatement Grammar
3801
3802         $*binode
3803         SimpleStatements -> SimpleStatements ; SimpleStatement ${
3804                         $0 = new(binode);
3805                         $0->op = Block;
3806                         $0->left = $<1;
3807                         $0->right = $<3;
3808                         }$
3809                 | SimpleStatement ${
3810                         $0 = new(binode);
3811                         $0->op = Block;
3812                         $0->left = NULL;
3813                         $0->right = $<1;
3814                         }$
3815
3816         $TERM pass
3817         SimpleStatement -> pass ${ $0 = NULL; }$
3818                 | ERROR ${ tok_err(c, "Syntax error in statement", &$1); }$
3819                 ## SimpleStatement Grammar
3820
3821 ###### print binode cases
3822         case Block:
3823                 if (indent < 0) {
3824                         // simple statement
3825                         if (b->left == NULL)    // UNTESTED
3826                                 printf("pass"); // UNTESTED
3827                         else
3828                                 print_exec(b->left, indent, bracket);   // UNTESTED
3829                         if (b->right) { // UNTESTED
3830                                 printf("; ");   // UNTESTED
3831                                 print_exec(b->right, indent, bracket);  // UNTESTED
3832                         }
3833                 } else {
3834                         // block, one per line
3835                         if (b->left == NULL)
3836                                 do_indent(indent, "pass\n");
3837                         else
3838                                 print_exec(b->left, indent, bracket);
3839                         if (b->right)
3840                                 print_exec(b->right, indent, bracket);
3841                 }
3842                 break;
3843
3844 ###### propagate binode cases
3845         case Block:
3846         {
3847                 /* If any statement returns something other than Tnone
3848                  * or Tbool then all such must return same type.
3849                  * As each statement may be Tnone or something else,
3850                  * we must always pass NULL (unknown) down, otherwise an incorrect
3851                  * error might occur.  We never return Tnone unless it is
3852                  * passed in.
3853                  */
3854                 struct binode *e;
3855
3856                 for (e = b; e; e = cast(binode, e->right)) {
3857                         t = propagate_types(e->left, c, ok, NULL, rules);
3858                         if ((rules & Rboolok) && (t == Tbool || t == Tnone))
3859                                 t = NULL;
3860                         if (t == Tnone && e->right)
3861                                 /* Only the final statement *must* return a value
3862                                  * when not Rboolok
3863                                  */
3864                                 t = NULL;
3865                         if (t) {
3866                                 if (!type)
3867                                         type = t;
3868                                 else if (t != type)
3869                                         type_err(c, "error: expected %1%r, found %2",
3870                                                  e->left, type, rules, t);
3871                         }
3872                 }
3873                 return type;
3874         }
3875
3876 ###### interp binode cases
3877         case Block:
3878                 while (rvtype == Tnone &&
3879                        b) {
3880                         if (b->left)
3881                                 rv = interp_exec(c, b->left, &rvtype);
3882                         b = cast(binode, b->right);
3883                 }
3884                 break;
3885
3886 ### The Print statement
3887
3888 `print` is a simple statement that takes a comma-separated list of
3889 expressions and prints the values separated by spaces and terminated
3890 by a newline.  No control of formatting is possible.
3891
3892 `print` uses `ExpressionList` to collect the expressions and stores them
3893 on the left side of a `Print` binode unlessthere is a trailing comma
3894 when the list is stored on the `right` side and no trailing newline is
3895 printed.
3896
3897 ###### Binode types
3898         Print,
3899
3900 ##### expr precedence
3901         $TERM print
3902
3903 ###### SimpleStatement Grammar
3904
3905         | print ExpressionList ${
3906                 $0 = new(binode);
3907                 $0->op = Print;
3908                 $0->right = NULL;
3909                 $0->left = reorder_bilist($<EL);
3910         }$
3911         | print ExpressionList , ${ {
3912                 $0 = new(binode);
3913                 $0->op = Print;
3914                 $0->right = reorder_bilist($<EL);
3915                 $0->left = NULL;
3916         } }$
3917         | print ${
3918                 $0 = new(binode);
3919                 $0->op = Print;
3920                 $0->left = NULL;
3921                 $0->right = NULL;
3922         }$
3923
3924 ###### print binode cases
3925
3926         case Print:
3927                 do_indent(indent, "print");
3928                 if (b->right) {
3929                         print_exec(b->right, -1, bracket);
3930                         printf(",");
3931                 } else
3932                         print_exec(b->left, -1, bracket);
3933                 if (indent >= 0)
3934                         printf("\n");
3935                 break;
3936
3937 ###### propagate binode cases
3938
3939         case Print:
3940                 /* don't care but all must be consistent */
3941                 if (b->left)
3942                         b = cast(binode, b->left);
3943                 else
3944                         b = cast(binode, b->right);
3945                 while (b) {
3946                         propagate_types(b->left, c, ok, NULL, Rnolabel);
3947                         b = cast(binode, b->right);
3948                 }
3949                 break;
3950
3951 ###### interp binode cases
3952
3953         case Print:
3954         {
3955                 struct binode *b2 = cast(binode, b->left);
3956                 if (!b2)
3957                         b2 = cast(binode, b->right);
3958                 for (; b2; b2 = cast(binode, b2->right)) {
3959                         left = interp_exec(c, b2->left, &ltype);
3960                         print_value(ltype, &left);
3961                         free_value(ltype, &left);
3962                         if (b2->right)
3963                                 putchar(' ');
3964                 }
3965                 if (b->right == NULL)
3966                         printf("\n");
3967                 ltype = Tnone;
3968                 break;
3969         }
3970
3971 ###### Assignment statement
3972
3973 An assignment will assign a value to a variable, providing it hasn't
3974 been declared as a constant.  The analysis phase ensures that the type
3975 will be correct so the interpreter just needs to perform the
3976 calculation.  There is a form of assignment which declares a new
3977 variable as well as assigning a value.  If a name is assigned before
3978 it is declared, and error will be raised as the name is created as
3979 `Tlabel` and it is illegal to assign to such names.
3980
3981 ###### Binode types
3982         Assign,
3983         Declare,
3984
3985 ###### declare terminals
3986         $TERM =
3987
3988 ###### SimpleStatement Grammar
3989         | Variable = Expression ${
3990                         $0 = new(binode);
3991                         $0->op = Assign;
3992                         $0->left = $<1;
3993                         $0->right = $<3;
3994                 }$
3995         | VariableDecl = Expression ${
3996                         $0 = new(binode);
3997                         $0->op = Declare;
3998                         $0->left = $<1;
3999                         $0->right =$<3;
4000                 }$
4001
4002         | VariableDecl ${
4003                         if ($1->var->where_set == NULL) {
4004                                 type_err(c,
4005                                          "Variable declared with no type or value: %v",
4006                                          $1, NULL, 0, NULL);
4007                                 free_var($1);
4008                         } else {
4009                                 $0 = new(binode);
4010                                 $0->op = Declare;
4011                                 $0->left = $<1;
4012                                 $0->right = NULL;
4013                         }
4014                 }$
4015
4016 ###### print binode cases
4017
4018         case Assign:
4019                 do_indent(indent, "");
4020                 print_exec(b->left, indent, bracket);
4021                 printf(" = ");
4022                 print_exec(b->right, indent, bracket);
4023                 if (indent >= 0)
4024                         printf("\n");
4025                 break;
4026
4027         case Declare:
4028                 {
4029                 struct variable *v = cast(var, b->left)->var;
4030                 do_indent(indent, "");
4031                 print_exec(b->left, indent, bracket);
4032                 if (cast(var, b->left)->var->constant) {
4033                         printf("::");
4034                         if (v->where_decl == v->where_set) {
4035                                 type_print(v->type, stdout);
4036                                 printf(" ");
4037                         }
4038                 } else {
4039                         printf(":");
4040                         if (v->where_decl == v->where_set) {
4041                                 type_print(v->type, stdout);
4042                                 printf(" ");
4043                         }
4044                 }
4045                 if (b->right) {
4046                         printf("= ");
4047                         print_exec(b->right, indent, bracket);
4048                 }
4049                 if (indent >= 0)
4050                         printf("\n");
4051                 }
4052                 break;
4053
4054 ###### propagate binode cases
4055
4056         case Assign:
4057         case Declare:
4058                 /* Both must match and not be labels,
4059                  * Type must support 'dup',
4060                  * For Assign, left must not be constant.
4061                  * result is Tnone
4062                  */
4063                 t = propagate_types(b->left, c, ok, NULL,
4064                                     Rnolabel | (b->op == Assign ? Rnoconstant : 0));
4065                 if (!b->right)
4066                         return Tnone;
4067
4068                 if (t) {
4069                         if (propagate_types(b->right, c, ok, t, 0) != t)
4070                                 if (b->left->type == Xvar)
4071                                         type_err(c, "info: variable '%v' was set as %1 here.",
4072                                                  cast(var, b->left)->var->where_set, t, rules, NULL);
4073                 } else {
4074                         t = propagate_types(b->right, c, ok, NULL, Rnolabel);
4075                         if (t)
4076                                 propagate_types(b->left, c, ok, t,
4077                                                 (b->op == Assign ? Rnoconstant : 0));
4078                 }
4079                 if (t && t->dup == NULL)
4080                         type_err(c, "error: cannot assign value of type %1", b, t, 0, NULL);
4081                 return Tnone;
4082
4083                 break;
4084
4085 ###### interp binode cases
4086
4087         case Assign:
4088                 lleft = linterp_exec(c, b->left, &ltype);
4089                 if (lleft)
4090                         dinterp_exec(c, b->right, lleft, ltype, 1);
4091                 ltype = Tnone;
4092                 break;
4093
4094         case Declare:
4095         {
4096                 struct variable *v = cast(var, b->left)->var;
4097                 struct value *val;
4098                 v = v->merged;
4099                 val = var_value(c, v);
4100                 if (v->type->prepare_type)
4101                         v->type->prepare_type(c, v->type, 0);
4102                 if (b->right)
4103                         dinterp_exec(c, b->right, val, v->type, 0);
4104                 else
4105                         val_init(v->type, val);
4106                 break;
4107         }
4108
4109 ### The `use` statement
4110
4111 The `use` statement is the last "simple" statement.  It is needed when a
4112 statement block can return a value.  This includes the body of a
4113 function which has a return type, and the "condition" code blocks in
4114 `if`, `while`, and `switch` statements.
4115
4116 ###### Binode types
4117         Use,
4118
4119 ###### expr precedence
4120         $TERM use
4121
4122 ###### SimpleStatement Grammar
4123         | use Expression ${
4124                 $0 = new_pos(binode, $1);
4125                 $0->op = Use;
4126                 $0->right = $<2;
4127                 if ($0->right->type == Xvar) {
4128                         struct var *v = cast(var, $0->right);
4129                         if (v->var->type == Tnone) {
4130                                 /* Convert this to a label */
4131                                 struct value *val;
4132
4133                                 v->var->type = Tlabel;
4134                                 val = global_alloc(c, Tlabel, v->var, NULL);
4135                                 val->label = val;
4136                         }
4137                 }
4138         }$
4139
4140 ###### print binode cases
4141
4142         case Use:
4143                 do_indent(indent, "use ");
4144                 print_exec(b->right, -1, bracket);
4145                 if (indent >= 0)
4146                         printf("\n");
4147                 break;
4148
4149 ###### propagate binode cases
4150
4151         case Use:
4152                 /* result matches value */
4153                 return propagate_types(b->right, c, ok, type, 0);
4154
4155 ###### interp binode cases
4156
4157         case Use:
4158                 rv = interp_exec(c, b->right, &rvtype);
4159                 break;
4160
4161 ### The Conditional Statement
4162
4163 This is the biggy and currently the only complex statement.  This
4164 subsumes `if`, `while`, `do/while`, `switch`, and some parts of `for`.
4165 It is comprised of a number of parts, all of which are optional though
4166 set combinations apply.  Each part is (usually) a key word (`then` is
4167 sometimes optional) followed by either an expression or a code block,
4168 except the `casepart` which is a "key word and an expression" followed
4169 by a code block.  The code-block option is valid for all parts and,
4170 where an expression is also allowed, the code block can use the `use`
4171 statement to report a value.  If the code block does not report a value
4172 the effect is similar to reporting `True`.
4173
4174 The `else` and `case` parts, as well as `then` when combined with
4175 `if`, can contain a `use` statement which will apply to some
4176 containing conditional statement. `for` parts, `do` parts and `then`
4177 parts used with `for` can never contain a `use`, except in some
4178 subordinate conditional statement.
4179
4180 If there is a `forpart`, it is executed first, only once.
4181 If there is a `dopart`, then it is executed repeatedly providing
4182 always that the `condpart` or `cond`, if present, does not return a non-True
4183 value.  `condpart` can fail to return any value if it simply executes
4184 to completion.  This is treated the same as returning `True`.
4185
4186 If there is a `thenpart` it will be executed whenever the `condpart`
4187 or `cond` returns True (or does not return any value), but this will happen
4188 *after* `dopart` (when present).
4189
4190 If `elsepart` is present it will be executed at most once when the
4191 condition returns `False` or some value that isn't `True` and isn't
4192 matched by any `casepart`.  If there are any `casepart`s, they will be
4193 executed when the condition returns a matching value.
4194
4195 The particular sorts of values allowed in case parts has not yet been
4196 determined in the language design, so nothing is prohibited.
4197
4198 The various blocks in this complex statement potentially provide scope
4199 for variables as described earlier.  Each such block must include the
4200 "OpenScope" nonterminal before parsing the block, and must call
4201 `var_block_close()` when closing the block.
4202
4203 The code following "`if`", "`switch`" and "`for`" does not get its own
4204 scope, but is in a scope covering the whole statement, so names
4205 declared there cannot be redeclared elsewhere.  Similarly the
4206 condition following "`while`" is in a scope the covers the body
4207 ("`do`" part) of the loop, and which does not allow conditional scope
4208 extension.  Code following "`then`" (both looping and non-looping),
4209 "`else`" and "`case`" each get their own local scope.
4210
4211 The type requirements on the code block in a `whilepart` are quite
4212 unusal.  It is allowed to return a value of some identifiable type, in
4213 which case the loop aborts and an appropriate `casepart` is run, or it
4214 can return a Boolean, in which case the loop either continues to the
4215 `dopart` (on `True`) or aborts and runs the `elsepart` (on `False`).
4216 This is different both from the `ifpart` code block which is expected to
4217 return a Boolean, or the `switchpart` code block which is expected to
4218 return the same type as the casepart values.  The correct analysis of
4219 the type of the `whilepart` code block is the reason for the
4220 `Rboolok` flag which is passed to `propagate_types()`.
4221
4222 The `cond_statement` cannot fit into a `binode` so a new `exec` is
4223 defined.  As there are two scopes which cover multiple parts - one for
4224 the whole statement and one for "while" and "do" - and as we will use
4225 the 'struct exec' to track scopes, we actually need two new types of
4226 exec.  One is a `binode` for the looping part, the rest is the
4227 `cond_statement`.  The `cond_statement` will use an auxilliary `struct
4228 casepart` to track a list of case parts.
4229
4230 ###### Binode types
4231         Loop
4232
4233 ###### exec type
4234         Xcond_statement,
4235
4236 ###### ast
4237         struct casepart {
4238                 struct exec *value;
4239                 struct exec *action;
4240                 struct casepart *next;
4241         };
4242         struct cond_statement {
4243                 struct exec;
4244                 struct exec *forpart, *condpart, *thenpart, *elsepart;
4245                 struct binode *looppart;
4246                 struct casepart *casepart;
4247         };
4248
4249 ###### ast functions
4250
4251         static void free_casepart(struct casepart *cp)
4252         {
4253                 while (cp) {
4254                         struct casepart *t;
4255                         free_exec(cp->value);
4256                         free_exec(cp->action);
4257                         t = cp->next;
4258                         free(cp);
4259                         cp = t;
4260                 }
4261         }
4262
4263         static void free_cond_statement(struct cond_statement *s)
4264         {
4265                 if (!s)
4266                         return;
4267                 free_exec(s->forpart);
4268                 free_exec(s->condpart);
4269                 free_exec(s->looppart);
4270                 free_exec(s->thenpart);
4271                 free_exec(s->elsepart);
4272                 free_casepart(s->casepart);
4273                 free(s);
4274         }
4275
4276 ###### free exec cases
4277         case Xcond_statement: free_cond_statement(cast(cond_statement, e)); break;
4278
4279 ###### ComplexStatement Grammar
4280         | CondStatement ${ $0 = $<1; }$
4281
4282 ###### expr precedence
4283         $TERM for then while do
4284         $TERM else
4285         $TERM switch case
4286
4287 ###### Grammar
4288
4289         $*cond_statement
4290         // A CondStatement must end with EOL, as does CondSuffix and
4291         // IfSuffix.
4292         // ForPart, ThenPart, SwitchPart, CasePart are non-empty and
4293         // may or may not end with EOL
4294         // WhilePart and IfPart include an appropriate Suffix
4295
4296         // ForPart, SwitchPart, and IfPart open scopes, o we have to close
4297         // them.  WhilePart opens and closes its own scope.
4298         CondStatement -> ForPart OptNL ThenPart OptNL WhilePart CondSuffix ${
4299                         $0 = $<CS;
4300                         $0->forpart = $<FP;
4301                         $0->thenpart = $<TP;
4302                         $0->looppart = $<WP;
4303                         var_block_close(c, CloseSequential, $0);
4304                         }$
4305                 | ForPart OptNL WhilePart CondSuffix ${
4306                         $0 = $<CS;
4307                         $0->forpart = $<FP;
4308                         $0->looppart = $<WP;
4309                         var_block_close(c, CloseSequential, $0);
4310                         }$
4311                 | WhilePart CondSuffix ${
4312                         $0 = $<CS;
4313                         $0->looppart = $<WP;
4314                         }$
4315                 | SwitchPart OptNL CasePart CondSuffix ${
4316                         $0 = $<CS;
4317                         $0->condpart = $<SP;
4318                         $CP->next = $0->casepart;
4319                         $0->casepart = $<CP;
4320                         var_block_close(c, CloseSequential, $0);
4321                         }$
4322                 | SwitchPart : IN OptNL CasePart CondSuffix OUT Newlines ${
4323                         $0 = $<CS;
4324                         $0->condpart = $<SP;
4325                         $CP->next = $0->casepart;
4326                         $0->casepart = $<CP;
4327                         var_block_close(c, CloseSequential, $0);
4328                         }$
4329                 | IfPart IfSuffix ${
4330                         $0 = $<IS;
4331                         $0->condpart = $IP.condpart; $IP.condpart = NULL;
4332                         $0->thenpart = $IP.thenpart; $IP.thenpart = NULL;
4333                         // This is where we close an "if" statement
4334                         var_block_close(c, CloseSequential, $0);
4335                         }$
4336
4337         CondSuffix -> IfSuffix ${
4338                         $0 = $<1;
4339                 }$
4340                 | Newlines CasePart CondSuffix ${
4341                         $0 = $<CS;
4342                         $CP->next = $0->casepart;
4343                         $0->casepart = $<CP;
4344                 }$
4345                 | CasePart CondSuffix ${
4346                         $0 = $<CS;
4347                         $CP->next = $0->casepart;
4348                         $0->casepart = $<CP;
4349                 }$
4350
4351         IfSuffix -> Newlines ${ $0 = new(cond_statement); }$
4352                 | Newlines ElsePart ${ $0 = $<EP; }$
4353                 | ElsePart ${$0 = $<EP; }$
4354
4355         ElsePart -> else OpenBlock Newlines ${
4356                         $0 = new(cond_statement);
4357                         $0->elsepart = $<OB;
4358                         var_block_close(c, CloseElse, $0->elsepart);
4359                 }$
4360                 | else OpenScope CondStatement ${
4361                         $0 = new(cond_statement);
4362                         $0->elsepart = $<CS;
4363                         var_block_close(c, CloseElse, $0->elsepart);
4364                 }$
4365
4366         $*casepart
4367         CasePart -> case Expression OpenScope ColonBlock ${
4368                         $0 = calloc(1,sizeof(struct casepart));
4369                         $0->value = $<Ex;
4370                         $0->action = $<Bl;
4371                         var_block_close(c, CloseParallel, $0->action);
4372                 }$
4373
4374         $*exec
4375         // These scopes are closed in CondStatement
4376         ForPart -> for OpenBlock ${
4377                         $0 = $<Bl;
4378                 }$
4379
4380         ThenPart -> then OpenBlock ${
4381                         $0 = $<OB;
4382                         var_block_close(c, CloseSequential, $0);
4383                 }$
4384
4385         $*binode
4386         // This scope is closed in CondStatement
4387         WhilePart -> while UseBlock OptNL do OpenBlock ${
4388                         $0 = new(binode);
4389                         $0->op = Loop;
4390                         $0->left = $<UB;
4391                         $0->right = $<OB;
4392                         var_block_close(c, CloseSequential, $0->right);
4393                         var_block_close(c, CloseSequential, $0);
4394                 }$
4395                 | while OpenScope Expression OpenScope ColonBlock ${
4396                         $0 = new(binode);
4397                         $0->op = Loop;
4398                         $0->left = $<Exp;
4399                         $0->right = $<CB;
4400                         var_block_close(c, CloseSequential, $0->right);
4401                         var_block_close(c, CloseSequential, $0);
4402                 }$
4403
4404         $cond_statement
4405         IfPart -> if UseBlock OptNL then OpenBlock ${
4406                         $0.condpart = $<UB;
4407                         $0.thenpart = $<OB;
4408                         var_block_close(c, CloseParallel, $0.thenpart);
4409                 }$
4410                 | if OpenScope Expression OpenScope ColonBlock ${
4411                         $0.condpart = $<Ex;
4412                         $0.thenpart = $<CB;
4413                         var_block_close(c, CloseParallel, $0.thenpart);
4414                 }$
4415                 | if OpenScope Expression OpenScope OptNL then Block ${
4416                         $0.condpart = $<Ex;
4417                         $0.thenpart = $<Bl;
4418                         var_block_close(c, CloseParallel, $0.thenpart);
4419                 }$
4420
4421         $*exec
4422         // This scope is closed in CondStatement
4423         SwitchPart -> switch OpenScope Expression ${
4424                         $0 = $<Ex;
4425                 }$
4426                 | switch UseBlock ${
4427                         $0 = $<Bl;
4428                 }$
4429
4430 ###### print binode cases
4431         case Loop:
4432                 if (b->left && b->left->type == Xbinode &&
4433                     cast(binode, b->left)->op == Block) {
4434                         if (bracket)
4435                                 do_indent(indent, "while {\n");
4436                         else
4437                                 do_indent(indent, "while\n");
4438                         print_exec(b->left, indent+1, bracket);
4439                         if (bracket)
4440                                 do_indent(indent, "} do {\n");
4441                         else
4442                                 do_indent(indent, "do\n");
4443                         print_exec(b->right, indent+1, bracket);
4444                         if (bracket)
4445                                 do_indent(indent, "}\n");
4446                 } else {
4447                         do_indent(indent, "while ");
4448                         print_exec(b->left, 0, bracket);
4449                         if (bracket)
4450                                 printf(" {\n");
4451                         else
4452                                 printf(":\n");
4453                         print_exec(b->right, indent+1, bracket);
4454                         if (bracket)
4455                                 do_indent(indent, "}\n");
4456                 }
4457                 break;
4458
4459 ###### print exec cases
4460
4461         case Xcond_statement:
4462         {
4463                 struct cond_statement *cs = cast(cond_statement, e);
4464                 struct casepart *cp;
4465                 if (cs->forpart) {
4466                         do_indent(indent, "for");
4467                         if (bracket) printf(" {\n"); else printf("\n");
4468                         print_exec(cs->forpart, indent+1, bracket);
4469                         if (cs->thenpart) {
4470                                 if (bracket)
4471                                         do_indent(indent, "} then {\n");
4472                                 else
4473                                         do_indent(indent, "then\n");
4474                                 print_exec(cs->thenpart, indent+1, bracket);
4475                         }
4476                         if (bracket) do_indent(indent, "}\n");
4477                 }
4478                 if (cs->looppart) {
4479                         print_exec(cs->looppart, indent, bracket);
4480                 } else {
4481                         // a condition
4482                         if (cs->casepart)
4483                                 do_indent(indent, "switch");
4484                         else
4485                                 do_indent(indent, "if");
4486                         if (cs->condpart && cs->condpart->type == Xbinode &&
4487                             cast(binode, cs->condpart)->op == Block) {
4488                                 if (bracket)
4489                                         printf(" {\n");
4490                                 else
4491                                         printf("\n");
4492                                 print_exec(cs->condpart, indent+1, bracket);
4493                                 if (bracket)
4494                                         do_indent(indent, "}\n");
4495                                 if (cs->thenpart) {
4496                                         do_indent(indent, "then\n");
4497                                         print_exec(cs->thenpart, indent+1, bracket);
4498                                 }
4499                         } else {
4500                                 printf(" ");
4501                                 print_exec(cs->condpart, 0, bracket);
4502                                 if (cs->thenpart) {
4503                                         if (bracket)
4504                                                 printf(" {\n");
4505                                         else
4506                                                 printf(":\n");
4507                                         print_exec(cs->thenpart, indent+1, bracket);
4508                                         if (bracket)
4509                                                 do_indent(indent, "}\n");
4510                                 } else
4511                                         printf("\n");
4512                         }
4513                 }
4514                 for (cp = cs->casepart; cp; cp = cp->next) {
4515                         do_indent(indent, "case ");
4516                         print_exec(cp->value, -1, 0);
4517                         if (bracket)
4518                                 printf(" {\n");
4519                         else
4520                                 printf(":\n");
4521                         print_exec(cp->action, indent+1, bracket);
4522                         if (bracket)
4523                                 do_indent(indent, "}\n");
4524                 }
4525                 if (cs->elsepart) {
4526                         do_indent(indent, "else");
4527                         if (bracket)
4528                                 printf(" {\n");
4529                         else
4530                                 printf("\n");
4531                         print_exec(cs->elsepart, indent+1, bracket);
4532                         if (bracket)
4533                                 do_indent(indent, "}\n");
4534                 }
4535                 break;
4536         }
4537
4538 ###### propagate binode cases
4539         case Loop:
4540                 t = propagate_types(b->right, c, ok, Tnone, 0);
4541                 if (!type_compat(Tnone, t, 0))
4542                         *ok = 0;        // UNTESTED
4543                 return propagate_types(b->left, c, ok, type, rules);
4544
4545 ###### propagate exec cases
4546         case Xcond_statement:
4547         {
4548                 // forpart and looppart->right must return Tnone
4549                 // thenpart must return Tnone if there is a loopart,
4550                 // otherwise it is like elsepart.
4551                 // condpart must:
4552                 //    be bool if there is no casepart
4553                 //    match casepart->values if there is a switchpart
4554                 //    either be bool or match casepart->value if there
4555                 //             is a whilepart
4556                 // elsepart and casepart->action must match the return type
4557                 //   expected of this statement.
4558                 struct cond_statement *cs = cast(cond_statement, prog);
4559                 struct casepart *cp;
4560
4561                 t = propagate_types(cs->forpart, c, ok, Tnone, 0);
4562                 if (!type_compat(Tnone, t, 0))
4563                         *ok = 0;        // UNTESTED
4564
4565                 if (cs->looppart) {
4566                         t = propagate_types(cs->thenpart, c, ok, Tnone, 0);
4567                         if (!type_compat(Tnone, t, 0))
4568                                 *ok = 0;        // UNTESTED
4569                 }
4570                 if (cs->casepart == NULL) {
4571                         propagate_types(cs->condpart, c, ok, Tbool, 0);
4572                         propagate_types(cs->looppart, c, ok, Tbool, 0);
4573                 } else {
4574                         /* Condpart must match case values, with bool permitted */
4575                         t = NULL;
4576                         for (cp = cs->casepart;
4577                              cp && !t; cp = cp->next)
4578                                 t = propagate_types(cp->value, c, ok, NULL, 0);
4579                         if (!t && cs->condpart)
4580                                 t = propagate_types(cs->condpart, c, ok, NULL, Rboolok);        // UNTESTED
4581                         if (!t && cs->looppart)
4582                                 t = propagate_types(cs->looppart, c, ok, NULL, Rboolok);        // UNTESTED
4583                         // Now we have a type (I hope) push it down
4584                         if (t) {
4585                                 for (cp = cs->casepart; cp; cp = cp->next)
4586                                         propagate_types(cp->value, c, ok, t, 0);
4587                                 propagate_types(cs->condpart, c, ok, t, Rboolok);
4588                                 propagate_types(cs->looppart, c, ok, t, Rboolok);
4589                         }
4590                 }
4591                 // (if)then, else, and case parts must return expected type.
4592                 if (!cs->looppart && !type)
4593                         type = propagate_types(cs->thenpart, c, ok, NULL, rules);
4594                 if (!type)
4595                         type = propagate_types(cs->elsepart, c, ok, NULL, rules);
4596                 for (cp = cs->casepart;
4597                      cp && !type;
4598                      cp = cp->next)     // UNTESTED
4599                         type = propagate_types(cp->action, c, ok, NULL, rules); // UNTESTED
4600                 if (type) {
4601                         if (!cs->looppart)
4602                                 propagate_types(cs->thenpart, c, ok, type, rules);
4603                         propagate_types(cs->elsepart, c, ok, type, rules);
4604                         for (cp = cs->casepart; cp ; cp = cp->next)
4605                                 propagate_types(cp->action, c, ok, type, rules);
4606                         return type;
4607                 } else
4608                         return NULL;
4609         }
4610
4611 ###### interp binode cases
4612         case Loop:
4613                 // This just performs one iterration of the loop
4614                 rv = interp_exec(c, b->left, &rvtype);
4615                 if (rvtype == Tnone ||
4616                     (rvtype == Tbool && rv.bool != 0))
4617                         // rvtype is Tnone or Tbool, doesn't need to be freed
4618                         interp_exec(c, b->right, NULL);
4619                 break;
4620
4621 ###### interp exec cases
4622         case Xcond_statement:
4623         {
4624                 struct value v, cnd;
4625                 struct type *vtype, *cndtype;
4626                 struct casepart *cp;
4627                 struct cond_statement *cs = cast(cond_statement, e);
4628
4629                 if (cs->forpart)
4630                         interp_exec(c, cs->forpart, NULL);
4631                 if (cs->looppart) {
4632                         while ((cnd = interp_exec(c, cs->looppart, &cndtype)),
4633                                cndtype == Tnone || (cndtype == Tbool && cnd.bool != 0))
4634                                 interp_exec(c, cs->thenpart, NULL);
4635                 } else {
4636                         cnd = interp_exec(c, cs->condpart, &cndtype);
4637                         if ((cndtype == Tnone ||
4638                             (cndtype == Tbool && cnd.bool != 0))) {
4639                                 // cnd is Tnone or Tbool, doesn't need to be freed
4640                                 rv = interp_exec(c, cs->thenpart, &rvtype);
4641                                 // skip else (and cases)
4642                                 goto Xcond_done;
4643                         }
4644                 }
4645                 for (cp = cs->casepart; cp; cp = cp->next) {
4646                         v = interp_exec(c, cp->value, &vtype);
4647                         if (value_cmp(cndtype, vtype, &v, &cnd) == 0) {
4648                                 free_value(vtype, &v);
4649                                 free_value(cndtype, &cnd);
4650                                 rv = interp_exec(c, cp->action, &rvtype);
4651                                 goto Xcond_done;
4652                         }
4653                         free_value(vtype, &v);
4654                 }
4655                 free_value(cndtype, &cnd);
4656                 if (cs->elsepart)
4657                         rv = interp_exec(c, cs->elsepart, &rvtype);
4658                 else
4659                         rvtype = Tnone;
4660         Xcond_done:
4661                 break;
4662         }
4663
4664 ### Top level structure
4665
4666 All the language elements so far can be used in various places.  Now
4667 it is time to clarify what those places are.
4668
4669 At the top level of a file there will be a number of declarations.
4670 Many of the things that can be declared haven't been described yet,
4671 such as functions, procedures, imports, and probably more.
4672 For now there are two sorts of things that can appear at the top
4673 level.  They are predefined constants, `struct` types, and the `main`
4674 function.  While the syntax will allow the `main` function to appear
4675 multiple times, that will trigger an error if it is actually attempted.
4676
4677 The various declarations do not return anything.  They store the
4678 various declarations in the parse context.
4679
4680 ###### Parser: grammar
4681
4682         $void
4683         Ocean -> OptNL DeclarationList
4684
4685         ## declare terminals
4686
4687         OptNL ->
4688                 | OptNL NEWLINE
4689         Newlines -> NEWLINE
4690                 | Newlines NEWLINE
4691
4692         DeclarationList -> Declaration
4693                 | DeclarationList Declaration
4694
4695         Declaration -> ERROR Newlines ${
4696                         tok_err(c,      // UNTESTED
4697                                 "error: unhandled parse error", &$1);
4698                 }$
4699                 | DeclareConstant
4700                 | DeclareFunction
4701                 | DeclareStruct
4702
4703         ## top level grammar
4704
4705         ## Grammar
4706
4707 ### The `const` section
4708
4709 As well as being defined in with the code that uses them, constants
4710 can be declared at the top level.  These have full-file scope, so they
4711 are always `InScope`.  The value of a top level constant can be given
4712 as an expression, and this is evaluated immediately rather than in the
4713 later interpretation stage.  Once we add functions to the language, we
4714 will need rules concern which, if any, can be used to define a top
4715 level constant.
4716
4717 Constants are defined in a section that starts with the reserved word
4718 `const` and then has a block with a list of assignment statements.
4719 For syntactic consistency, these must use the double-colon syntax to
4720 make it clear that they are constants.  Type can also be given: if
4721 not, the type will be determined during analysis, as with other
4722 constants.
4723
4724 As the types constants are inserted at the head of a list, printing
4725 them in the same order that they were read is not straight forward.
4726 We take a quadratic approach here and count the number of constants
4727 (variables of depth 0), then count down from there, each time
4728 searching through for the Nth constant for decreasing N.
4729
4730 ###### top level grammar
4731
4732         $TERM const
4733
4734         DeclareConstant -> const { IN OptNL ConstList OUT OptNL } Newlines
4735                 | const { SimpleConstList } Newlines
4736                 | const IN OptNL ConstList OUT Newlines
4737                 | const SimpleConstList Newlines
4738
4739         ConstList -> ConstList SimpleConstLine
4740                 | SimpleConstLine
4741         SimpleConstList -> SimpleConstList ; Const
4742                 | Const
4743                 | SimpleConstList ;
4744         SimpleConstLine -> SimpleConstList Newlines
4745                 | ERROR Newlines ${ tok_err(c, "Syntax error in constant", &$1); }$
4746
4747         $*type
4748         CType -> Type   ${ $0 = $<1; }$
4749                 |       ${ $0 = NULL; }$
4750         $void
4751         Const -> IDENTIFIER :: CType = Expression ${ {
4752                 int ok;
4753                 struct variable *v;
4754
4755                 v = var_decl(c, $1.txt);
4756                 if (v) {
4757                         struct var *var = new_pos(var, $1);
4758                         v->where_decl = var;
4759                         v->where_set = var;
4760                         var->var = v;
4761                         v->constant = 1;
4762                         v->global = 1;
4763                 } else {
4764                         struct variable *vorig = var_ref(c, $1.txt);
4765                         tok_err(c, "error: name already declared", &$1);
4766                         type_err(c, "info: this is where '%v' was first declared",
4767                                  vorig->where_decl, NULL, 0, NULL);
4768                 }
4769                 do {
4770                         ok = 1;
4771                         propagate_types($5, c, &ok, $3, 0);
4772                 } while (ok == 2);
4773                 if (!ok)
4774                         c->parse_error = 1;
4775                 else if (v) {
4776                         struct value res = interp_exec(c, $5, &v->type);
4777                         global_alloc(c, v->type, v, &res);
4778                 }
4779         } }$
4780
4781 ###### print const decls
4782         {
4783                 struct variable *v;
4784                 int target = -1;
4785
4786                 while (target != 0) {
4787                         int i = 0;
4788                         for (v = context.in_scope; v; v=v->in_scope)
4789                                 if (v->depth == 0 && v->constant) {
4790                                         i += 1;
4791                                         if (i == target)
4792                                                 break;
4793                                 }
4794
4795                         if (target == -1) {
4796                                 if (i)
4797                                         printf("const\n");
4798                                 target = i;
4799                         } else {
4800                                 struct value *val = var_value(&context, v);
4801                                 printf("    %.*s :: ", v->name->name.len, v->name->name.txt);
4802                                 type_print(v->type, stdout);
4803                                 printf(" = ");
4804                                 if (v->type == Tstr)
4805                                         printf("\"");
4806                                 print_value(v->type, val);
4807                                 if (v->type == Tstr)
4808                                         printf("\"");
4809                                 printf("\n");
4810                                 target -= 1;
4811                         }
4812                 }
4813         }
4814
4815 ### Function declarations
4816
4817 The code in an Ocean program is all stored in function declarations.
4818 One of the functions must be named `main` and it must accept an array of
4819 strings as a parameter - the command line arguments.
4820
4821 As this is the top level, several things are handled a bit differently.
4822 The function is not interpreted by `interp_exec` as that isn't passed
4823 the argument list which the program requires.  Similarly type analysis
4824 is a bit more interesting at this level.
4825
4826 ###### ast functions
4827
4828         static struct variable *declare_function(struct parse_context *c,
4829                                                 struct variable *name,
4830                                                 struct binode *args,
4831                                                 struct type *ret,
4832                                                 struct exec *code)
4833         {
4834                 struct text funcname = {" func", 5};
4835                 if (name) {
4836                         struct value fn = {.function = code};
4837                         name->type = add_type(c, funcname, &function_prototype);
4838                         name->type->function.params = reorder_bilist(args);
4839                         name->type->function.return_type = ret;
4840                         global_alloc(c, name->type, name, &fn);
4841                         var_block_close(c, CloseFunction, code);
4842                         name->type->function.scope = c->out_scope;
4843                 } else {
4844                         free_binode(args);
4845                         free_type(ret);
4846                         free_exec(code);
4847                         var_block_close(c, CloseFunction, NULL);
4848                 }
4849                 c->out_scope = NULL;
4850                 return name;
4851         }
4852
4853 ###### declare terminals
4854         $TERM return
4855
4856 ###### top level grammar
4857
4858         $*variable
4859         DeclareFunction -> func FuncName ( OpenScope ArgsLine ) Block Newlines ${
4860                         $0 = declare_function(c, $<FN, $<Ar, Tnone, $<Bl);
4861                 }$
4862                 | func FuncName IN OpenScope Args OUT OptNL do Block Newlines ${
4863                         $0 = declare_function(c, $<FN, $<Ar, Tnone, $<Bl);
4864                 }$
4865                 | func FuncName NEWLINE OpenScope OptNL do Block Newlines ${
4866                         $0 = declare_function(c, $<FN, NULL, Tnone, $<Bl);
4867                 }$
4868                 | func FuncName ( OpenScope ArgsLine ) : Type Block Newlines ${
4869                         $0 = declare_function(c, $<FN, $<Ar, $<Ty, $<Bl);
4870                 }$
4871                 | func FuncName IN OpenScope Args OUT OptNL return Type Newlines do Block Newlines ${
4872                         $0 = declare_function(c, $<FN, $<Ar, $<Ty, $<Bl);
4873                 }$
4874                 | func FuncName NEWLINE OpenScope return Type Newlines do Block Newlines ${
4875                         $0 = declare_function(c, $<FN, NULL, $<Ty, $<Bl);
4876                 }$
4877
4878 ###### print func decls
4879         {
4880                 struct variable *v;
4881                 int target = -1;
4882
4883                 while (target != 0) {
4884                         int i = 0;
4885                         for (v = context.in_scope; v; v=v->in_scope)
4886                                 if (v->depth == 0 && v->type && v->type->check_args) {
4887                                         i += 1;
4888                                         if (i == target)
4889                                                 break;
4890                                 }
4891
4892                         if (target == -1) {
4893                                 target = i;
4894                         } else {
4895                                 struct value *val = var_value(&context, v);
4896                                 printf("func %.*s", v->name->name.len, v->name->name.txt);
4897                                 v->type->print_type_decl(v->type, stdout);
4898                                 if (brackets)
4899                                         print_exec(val->function, 0, brackets);
4900                                 else
4901                                         print_value(v->type, val);
4902                                 printf("/* frame size %d */\n", v->type->function.local_size);
4903                                 target -= 1;
4904                         }
4905                 }
4906         }
4907
4908 ###### core functions
4909
4910         static int analyse_funcs(struct parse_context *c)
4911         {
4912                 struct variable *v;
4913                 int all_ok = 1;
4914                 for (v = c->in_scope; v; v = v->in_scope) {
4915                         struct value *val;
4916                         int ok = 1;
4917                         if (v->depth != 0 || !v->type || !v->type->check_args)
4918                                 continue;
4919                         val = var_value(c, v);
4920                         do {
4921                                 ok = 1;
4922                                 propagate_types(val->function, c, &ok,
4923                                                 v->type->function.return_type, 0);
4924                         } while (ok == 2);
4925                         if (ok)
4926                                 /* Make sure everything is still consistent */
4927                                 propagate_types(val->function, c, &ok,
4928                                                 v->type->function.return_type, 0);
4929                         if (!ok)
4930                                 all_ok = 0;
4931                         if (!v->type->function.return_type->dup) {
4932                                 type_err(c, "error: function cannot return value of type %1",
4933                                          v->where_decl, v->type->function.return_type, 0, NULL);
4934                         }
4935
4936                         scope_finalize(c, v->type);
4937                 }
4938                 return all_ok;
4939         }
4940
4941         static int analyse_main(struct type *type, struct parse_context *c)
4942         {
4943                 struct binode *bp = type->function.params;
4944                 struct binode *b;
4945                 int ok = 1;
4946                 int arg = 0;
4947                 struct type *argv_type;
4948                 struct text argv_type_name = { " argv", 5 };
4949
4950                 argv_type = add_type(c, argv_type_name, &array_prototype);
4951                 argv_type->array.member = Tstr;
4952                 argv_type->array.unspec = 1;
4953
4954                 for (b = bp; b; b = cast(binode, b->right)) {
4955                         ok = 1;
4956                         switch (arg++) {
4957                         case 0: /* argv */
4958                                 propagate_types(b->left, c, &ok, argv_type, 0);
4959                                 break;
4960                         default: /* invalid */  // NOTEST
4961                                 propagate_types(b->left, c, &ok, Tnone, 0);     // NOTEST
4962                         }
4963                         if (!ok)
4964                                 c->parse_error = 1;
4965                 }
4966
4967                 return !c->parse_error;
4968         }
4969
4970         static void interp_main(struct parse_context *c, int argc, char **argv)
4971         {
4972                 struct value *progp = NULL;
4973                 struct text main_name = { "main", 4 };
4974                 struct variable *mainv;
4975                 struct binode *al;
4976                 int anum = 0;
4977                 struct value v;
4978                 struct type *vtype;
4979
4980                 mainv = var_ref(c, main_name);
4981                 if (mainv)
4982                         progp = var_value(c, mainv);
4983                 if (!progp || !progp->function) {
4984                         fprintf(stderr, "oceani: no main function found.\n");
4985                         c->parse_error = 1;
4986                         return;
4987                 }
4988                 if (!analyse_main(mainv->type, c)) {
4989                         fprintf(stderr, "oceani: main has wrong type.\n");
4990                         c->parse_error = 1;
4991                         return;
4992                 }
4993                 al = mainv->type->function.params;
4994
4995                 c->local_size = mainv->type->function.local_size;
4996                 c->local = calloc(1, c->local_size);
4997                 while (al) {
4998                         struct var *v = cast(var, al->left);
4999                         struct value *vl = var_value(c, v->var);
5000                         struct value arg;
5001                         struct type *t;
5002                         mpq_t argcq;
5003                         int i;
5004
5005                         switch (anum++) {
5006                         case 0: /* argv */
5007                                 t = v->var->type;
5008                                 mpq_init(argcq);
5009                                 mpq_set_ui(argcq, argc, 1);
5010                                 memcpy(var_value(c, t->array.vsize), &argcq, sizeof(argcq));
5011                                 t->prepare_type(c, t, 0);
5012                                 array_init(v->var->type, vl);
5013                                 for (i = 0; i < argc; i++) {
5014                                         struct value *vl2 = vl->array + i * v->var->type->array.member->size;
5015
5016                                         arg.str.txt = argv[i];
5017                                         arg.str.len = strlen(argv[i]);
5018                                         free_value(Tstr, vl2);
5019                                         dup_value(Tstr, &arg, vl2);
5020                                 }
5021                                 break;
5022                         }
5023                         al = cast(binode, al->right);
5024                 }
5025                 v = interp_exec(c, progp->function, &vtype);
5026                 free_value(vtype, &v);
5027                 free(c->local);
5028                 c->local = NULL;
5029         }
5030
5031 ###### ast functions
5032         void free_variable(struct variable *v)
5033         {
5034         }
5035
5036 ## And now to test it out.
5037
5038 Having a language requires having a "hello world" program.  I'll
5039 provide a little more than that: a program that prints "Hello world"
5040 finds the GCD of two numbers, prints the first few elements of
5041 Fibonacci, performs a binary search for a number, and a few other
5042 things which will likely grow as the languages grows.
5043
5044 ###### File: oceani.mk
5045         demos :: sayhello
5046         sayhello : oceani
5047                 @echo "===== DEMO ====="
5048                 ./oceani --section "demo: hello" oceani.mdc 55 33
5049
5050 ###### demo: hello
5051
5052         const
5053                 pi ::= 3.141_592_6
5054                 four ::= 2 + 2 ; five ::= 10/2
5055         const pie ::= "I like Pie";
5056                 cake ::= "The cake is"
5057                   ++ " a lie"
5058
5059         struct fred
5060                 size:[four]number
5061                 name:string
5062                 alive:Boolean
5063
5064         func main(argv:[argc::]string)
5065                 print "Hello World, what lovely oceans you have!"
5066                 print "Are there", five, "?"
5067                 print pi, pie, "but", cake
5068
5069                 A := $argv[1]; B := $argv[2]
5070
5071                 /* When a variable is defined in both branches of an 'if',
5072                  * and used afterwards, the variables are merged.
5073                  */
5074                 if A > B:
5075                         bigger := "yes"
5076                 else
5077                         bigger := "no"
5078                 print "Is", A, "bigger than", B,"? ", bigger
5079                 /* If a variable is not used after the 'if', no
5080                  * merge happens, so types can be different
5081                  */
5082                 if A > B * 2:
5083                         double:string = "yes"
5084                         print A, "is more than twice", B, "?", double
5085                 else
5086                         double := B*2
5087                         print "double", B, "is", double
5088
5089                 a : number
5090                 a = A;
5091                 b:number = B
5092                 if a > 0 and then b > 0:
5093                         while a != b:
5094                                 if a < b:
5095                                         b = b - a
5096                                 else
5097                                         a = a - b
5098                         print "GCD of", A, "and", B,"is", a
5099                 else if a <= 0:
5100                         print a, "is not positive, cannot calculate GCD"
5101                 else
5102                         print b, "is not positive, cannot calculate GCD"
5103
5104                 for
5105                         togo := 10
5106                         f1 := 1; f2 := 1
5107                         print "Fibonacci:", f1,f2,
5108                 then togo = togo - 1
5109                 while togo > 0:
5110                         f3 := f1 + f2
5111                         print "", f3,
5112                         f1 = f2
5113                         f2 = f3
5114                 print ""
5115
5116                 /* Binary search... */
5117                 for
5118                         lo:= 0; hi := 100
5119                         target := 77
5120                 while
5121                         mid := (lo + hi) / 2
5122                         if mid == target:
5123                                 use Found
5124                         if mid < target:
5125                                 lo = mid
5126                         else
5127                                 hi = mid
5128                         if hi - lo < 1:
5129                                 lo = mid
5130                                 use GiveUp
5131                         use True
5132                 do pass
5133                 case Found:
5134                         print "Yay, I found", target
5135                 case GiveUp:
5136                         print "Closest I found was", lo
5137
5138                 size::= 10
5139                 list:[size]number
5140                 list[0] = 1234
5141                 // "middle square" PRNG.  Not particularly good, but one my
5142                 // Dad taught me - the first one I ever heard of.
5143                 for i:=1; then i = i + 1; while i < size:
5144                         n := list[i-1] * list[i-1]
5145                         list[i] = (n / 100) % 10 000
5146
5147                 print "Before sort:",
5148                 for i:=0; then i = i + 1; while i < size:
5149                         print "", list[i],
5150                 print
5151
5152                 for i := 1; then i=i+1; while i < size:
5153                         for j:=i-1; then j=j-1; while j >= 0:
5154                                 if list[j] > list[j+1]:
5155                                         t:= list[j]
5156                                         list[j] = list[j+1]
5157                                         list[j+1] = t
5158                 print " After sort:",
5159                 for i:=0; then i = i + 1; while i < size:
5160                         print "", list[i],
5161                 print
5162
5163                 if 1 == 2 then print "yes"; else print "no"
5164
5165                 bob:fred
5166                 bob.name = "Hello"
5167                 bob.alive = (bob.name == "Hello")
5168                 print "bob", "is" if  bob.alive else "isn't", "alive"