ocean-lang.org Git - ocean/blob - csrc/oceani.mdc

   1 # Ocean Interpreter - Jamison Creek version
   2
   3 Ocean is intended to be a compiled language, so this interpreter is
   4 not targeted at being the final product.  It is, rather, an intermediate
   5 stage and fills that role in two distinct ways.
   6
   7 Firstly, it exists as a platform to experiment with the early language
   8 design.  An interpreter is easy to write and easy to get working, so
   9 the barrier for entry is lower if I aim to start with an interpreter.
  10
  11 Secondly, the plan for the Ocean compiler is to write it in the
  12 [Ocean language](http://ocean-lang.org).  To achieve this we naturally
  13 need some sort of boot-strap process and this interpreter - written in
  14 portable C - will fill that role.  It will be used to bootstrap the
  15 Ocean compiler.
  16
  17 Two features that are not needed to fill either of these roles are
  18 performance and completeness.  The interpreter only needs to be fast
  19 enough to run small test programs and occasionally to run the compiler
  20 on itself.  It only needs to be complete enough to test aspects of the
  21 design which are developed before the compiler is working, and to run
  22 the compiler on itself.  Any features not used by the compiler when
  23 compiling itself are superfluous.  They may be included anyway, but
  24 they may not.
  25
  26 Nonetheless, the interpreter should end up being reasonably complete,
  27 and any performance bottlenecks which appear and are easily fixed, will
  28 be.
  29
  30 ## Current version
  31
  32 This third version of the interpreter exists to test out some initial
  33 ideas relating to types.  Particularly it adds arrays (indexed from
  34 zero) and simple structures.  Basic control flow and variable scoping
  35 are already fairly well established, as are basic numerical and
  36 boolean operators.
  37
  38 Some operators that have only recently been added, and so have not
  39 generated all that much experience yet are "and then" and "or else" as
  40 short-circuit Boolean operators, and the "if ... else" trinary
  41 operator which can select between two expressions based on a third
  42 (which appears syntactically in the middle).
  43
  44 Elements that are present purely to make a usable language, and
  45 without any expectation that they will remain, are the "program'
  46 clause, which provides a list of variables to received command-line
  47 arguments, and the "print" statement which performs simple output.
  48
  49 The current scalar types are "number", "Boolean", and "string".
  50 Boolean will likely stay in its current form, the other two might, but
  51 could just as easily be changed.
  52
  53 ## Naming
  54
  55 Versions of the interpreter which obviously do not support a complete
  56 language will be named after creeks and streams.  This one is Jamison
  57 Creek.
  58
  59 Once we have something reasonably resembling a complete language, the
  60 names of rivers will be used.
  61 Early versions of the compiler will be named after seas.  Major
  62 releases of the compiler will be named after oceans.  Hopefully I will
  63 be finished once I get to the Pacific Ocean release.
  64
  65 ## Outline
  66
  67 As well as parsing and executing a program, the interpreter can print
  68 out the program from the parsed internal structure.  This is useful
  69 for validating the parsing.
  70 So the main requirements of the interpreter are:
  71
  72 - Parse the program, possibly with tracing,
  73 - Analyse the parsed program to ensure consistency,
  74 - Print the program,
  75 - Execute the program, if no parsing or consistency errors were found.
  76
  77 This is all performed by a single C program extracted with
  78 `parsergen`.
  79
  80 There will be two formats for printing the program: a default and one
  81 that uses bracketing.  So a `--bracket` command line option is needed
  82 for that.  Normally the first code section found is used, however an
  83 alternate section can be requested so that a file (such as this one)
  84 can contain multiple programs This is effected with the `--section`
  85 option.
  86
  87 This code must be compiled with `-fplan9-extensions` so that anonymous
  88 structures can be used.
  89
  90 ###### File: oceani.mk
  91
  92         myCFLAGS := -Wall -g -fplan9-extensions
  93         CFLAGS := $(filter-out $(myCFLAGS),$(CFLAGS)) $(myCFLAGS)
  94         myLDLIBS:= libparser.o libscanner.o libmdcode.o -licuuc
  95         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
  96         ## libs
  97         all :: $(LDLIBS) oceani
  98         oceani.c oceani.h : oceani.mdc parsergen
  99                 ./parsergen -o oceani --LALR --tag Parser oceani.mdc
 100         oceani.mk: oceani.mdc md2c
 101                 ./md2c oceani.mdc
 102
 103         oceani: oceani.o $(LDLIBS)
 104                 $(CC) $(CFLAGS) -o oceani oceani.o $(LDLIBS)
 105
 106 ###### Parser: header
 107         ## macros
 108         ## ast
 109         struct parse_context {
 110                 struct token_config config;
 111                 char *file_name;
 112                 int parse_error;
 113                 struct exec *prog;
 114                 ## parse context
 115         };
 116
 117 ###### macros
 118
 119         #define container_of(ptr, type, member) ({                      \
 120                 const typeof( ((type *)0)->member ) *__mptr = (ptr);    \
 121                 (type *)( (char *)__mptr - offsetof(type,member) );})
 122
 123         #define config2context(_conf) container_of(_conf, struct parse_context, \
 124                 config)
 125
 126 ###### Parser: reduce
 127         struct parse_context *c = config2context(config);
 128
 129 ###### Parser: code
 130
 131         #include <unistd.h>
 132         #include <stdlib.h>
 133         #include <fcntl.h>
 134         #include <errno.h>
 135         #include <sys/mman.h>
 136         #include <string.h>
 137         #include <stdio.h>
 138         #include <locale.h>
 139         #include <malloc.h>
 140         #include "mdcode.h"
 141         #include "scanner.h"
 142         #include "parser.h"
 143
 144         ## includes
 145
 146         #include "oceani.h"
 147
 148         ## forward decls
 149         ## value functions
 150         ## ast functions
 151         ## core functions
 152
 153         #include <getopt.h>
 154         static char Usage[] = "Usage: oceani --trace --print --noexec --brackets"
 155                               "--section=SectionName prog.ocn\n";
 156         static const struct option long_options[] = {
 157                 {"trace",     0, NULL, 't'},
 158                 {"print",     0, NULL, 'p'},
 159                 {"noexec",    0, NULL, 'n'},
 160                 {"brackets",  0, NULL, 'b'},
 161                 {"section",   1, NULL, 's'},
 162                 {NULL,        0, NULL, 0},
 163         };
 164         const char *options = "tpnbs";
 165         int main(int argc, char *argv[])
 166         {
 167                 int fd;
 168                 int len;
 169                 char *file;
 170                 struct section *s, *ss;
 171                 char *section = NULL;
 172                 struct parse_context context = {
 173                         .config = {
 174                                 .ignored = (1 << TK_line_comment)
 175                                          | (1 << TK_block_comment)
 176                                          | (1 << TK_mark),
 177                                 .number_chars = ".,_+- ",
 178                                 .word_start = "_",
 179                                 .word_cont = "_",
 180                         },
 181                 };
 182                 int doprint=0, dotrace=0, doexec=1, brackets=0;
 183                 int opt;
 184                 while ((opt = getopt_long(argc, argv, options, long_options, NULL))
 185                        != -1) {
 186                         switch(opt) {
 187                         case 't': dotrace=1; break;
 188                         case 'p': doprint=1; break;
 189                         case 'n': doexec=0; break;
 190                         case 'b': brackets=1; break;
 191                         case 's': section = optarg; break;
 192                         default: fprintf(stderr, Usage);
 193                                 exit(1);
 194                         }
 195                 }
 196                 if (optind >= argc) {
 197                         fprintf(stderr, "oceani: no input file given\n");
 198                         exit(1);
 199                 }
 200                 fd = open(argv[optind], O_RDONLY);
 201                 if (fd < 0) {
 202                         fprintf(stderr, "oceani: cannot open %s\n", argv[optind]);
 203                         exit(1);
 204                 }
 205                 context.file_name = argv[optind];
 206                 len = lseek(fd, 0, 2);
 207                 file = mmap(NULL, len, PROT_READ, MAP_SHARED, fd, 0);
 208                 s = code_extract(file, file+len, NULL);
 209                 if (!s) {
 210                         fprintf(stderr, "oceani: could not find any code in %s\n",
 211                                 argv[optind]);
 212                         exit(1);
 213                 }
 214
 215                 ## context initialization
 216
 217                 if (section) {
 218                         for (ss = s; ss; ss = ss->next) {
 219                                 struct text sec = ss->section;
 220                                 if (sec.len == strlen(section) &&
 221                                     strncmp(sec.txt, section, sec.len) == 0)
 222                                         break;
 223                         }
 224                         if (!ss) {
 225                                 fprintf(stderr, "oceani: cannot find section %s\n",
 226                                         section);
 227                                 exit(1);
 228                         }
 229                 } else
 230                         ss = s;
 231                 parse_oceani(ss->code, &context.config, dotrace ? stderr : NULL);
 232
 233                 if (!context.prog) {
 234                         fprintf(stderr, "oceani: no program found.\n");
 235                         context.parse_error = 1;
 236                 }
 237                 if (context.prog && doprint) {
 238                         ## print const decls
 239                         ## print type decls
 240                         print_exec(context.prog, 0, brackets);
 241                 }
 242                 if (context.prog && doexec && !context.parse_error) {
 243                         if (!analyse_prog(context.prog, &context)) {
 244                                 fprintf(stderr, "oceani: type error in program - not running.\n");
 245                                 exit(1);
 246                         }
 247                         interp_prog(context.prog, argv+optind+1);
 248                 }
 249                 free_exec(context.prog);
 250
 251                 while (s) {
 252                         struct section *t = s->next;
 253                         code_free(s->code);
 254                         free(s);
 255                         s = t;
 256                 }
 257                 ## free context vars
 258                 ## free context types
 259                 exit(context.parse_error ? 1 : 0);
 260         }
 261
 262 ### Analysis
 263
 264 The four requirements of parse, analyse, print, interpret apply to
 265 each language element individually so that is how most of the code
 266 will be structured.
 267
 268 Three of the four are fairly self explanatory.  The one that requires
 269 a little explanation is the analysis step.
 270
 271 The current language design does not require the types of variables to
 272 be declared, but they must still have a single type.  Different
 273 operations impose different requirements on the variables, for example
 274 addition requires both arguments to be numeric, and assignment
 275 requires the variable on the left to have the same type as the
 276 expression on the right.
 277
 278 Analysis involves propagating these type requirements around and
 279 consequently setting the type of each variable.  If any requirements
 280 are violated (e.g. a string is compared with a number) or if a
 281 variable needs to have two different types, then an error is raised
 282 and the program will not run.
 283
 284 If the same variable is declared in both branchs of an 'if/else', or
 285 in all cases of a 'switch' then the multiple instances may be merged
 286 into just one variable if the variable is references after the
 287 conditional statement.  When this happens, the types must naturally be
 288 consistent across all the branches.  When the variable is not used
 289 outside the if, the variables in the different branches are distinct
 290 and can be of different types.
 291
 292 Determining the types of all variables early is important for
 293 processing command line arguments.  These can be assigned to any of
 294 several types of variable, but we must first know the correct type so
 295 any required conversion can happen.  If a variable is associated with
 296 a command line argument but no type can be interpreted (e.g. the
 297 variable is only ever used in a `print` statement), then the type is
 298 set to 'string'.
 299
 300 Undeclared names may only appear in "use" statements and "case" expressions.
 301 These names are given a type of "label" and a unique value.
 302 This allows them to fill the role of a name in an enumerated type, which
 303 is useful for testing the `switch` statement.
 304
 305 As we will see, the condition part of a `while` statement can return
 306 either a Boolean or some other type.  This requires that the expected
 307 type that gets passed around comprises a type and a flag to indicate
 308 that `Tbool` is also permitted.
 309
 310 As there are, as yet, no distinct types that are compatible, there
 311 isn't much subtlety in the analysis.  When we have distinct number
 312 types, this will become more interesting.
 313
 314 #### Error reporting
 315
 316 When analysis discovers an inconsistency it needs to report an error;
 317 just refusing to run the code ensures that the error doesn't cascade,
 318 but by itself it isn't very useful.  A clear understanding of the sort
 319 of error message that are useful will help guide the process of
 320 analysis.
 321
 322 At a simplistic level, the only sort of error that type analysis can
 323 report is that the type of some construct doesn't match a contextual
 324 requirement.  For example, in `4 + "hello"` the addition provides a
 325 contextual requirement for numbers, but `"hello"` is not a number.  In
 326 this particular example no further information is needed as the types
 327 are obvious from local information.  When a variable is involved that
 328 isn't the case.  It may be helpful to explain why the variable has a
 329 particular type, by indicating the location where the type was set,
 330 whether by declaration or usage.
 331
 332 Using a recursive-descent analysis we can easily detect a problem at
 333 multiple locations. In "`hello:= "there"; 4 + hello`" the addition
 334 will detect that one argument is not a number and the usage of `hello`
 335 will detect that a number was wanted, but not provided.  In this
 336 (early) version of the language, we will generate error reports at
 337 multiple locations, so the use of `hello` will report an error and
 338 explain were the value was set, and the addition will report an error
 339 and say why numbers are needed.  To be able to report locations for
 340 errors, each language element will need to record a file location
 341 (line and column) and each variable will need to record the language
 342 element where its type was set.  For now we will assume that each line
 343 of an error message indicates one location in the file, and up to 2
 344 types.  So we provide a `printf`-like function which takes a format, a
 345 language (a `struct exec` which has not yet been introduced), and 2
 346 types. "`%1`" reports the first type, "`%2`" reports the second.  We
 347 will need a function to print the location, once we know how that is
 348 stored.  As will be explained later, there are sometimes extra rules for
 349 type matching and they might affect error messages, we need to pass those
 350 in too.
 351
 352 As well as type errors, we sometimes need to report problems with
 353 tokens, which might be unexpected or might name a type that has not
 354 been defined.  For these we have `tok_err()` which reports an error
 355 with a given token.  Each of the error functions sets the flag in the
 356 context so indicate that parsing failed.
 357
 358 ###### forward decls
 359
 360         static void fput_loc(struct exec *loc, FILE *f);
 361
 362 ###### core functions
 363
 364         static void type_err(struct parse_context *c,
 365                              char *fmt, struct exec *loc,
 366                              struct type *t1, int rules, struct type *t2)
 367         {
 368                 fprintf(stderr, "%s:", c->file_name);
 369                 fput_loc(loc, stderr);
 370                 for (; *fmt ; fmt++) {
 371                         if (*fmt != '%') {
 372                                 fputc(*fmt, stderr);
 373                                 continue;
 374                         }
 375                         fmt++;
 376                         switch (*fmt) {
 377                         case '%': fputc(*fmt, stderr); break;   // NOTEST
 378                         default: fputc('?', stderr); break;     // NOTEST
 379                         case '1':
 380                                 type_print(t1, stderr);
 381                                 break;
 382                         case '2':
 383                                 type_print(t2, stderr);
 384                                 break;
 385                         ## format cases
 386                         }
 387                 }
 388                 fputs("\n", stderr);
 389                 c->parse_error = 1;
 390         }
 391
 392         static void tok_err(struct parse_context *c, char *fmt, struct token *t)
 393         {
 394                 fprintf(stderr, "%s:%d:%d: %s: %.*s\n", c->file_name, t->line, t->col, fmt,
 395                         t->txt.len, t->txt.txt);
 396                 c->parse_error = 1;
 397         }
 398
 399 ## Entities: declared and predeclared.
 400
 401 There are various "things" that the language and/or the interpreter
 402 needs to know about to parse and execute a program.  These include
 403 types, variables, values, and executable code.  These are all lumped
 404 together under the term "entities" (calling them "objects" would be
 405 confusing) and introduced here.  These will introduced and described
 406 here.  The following section will present the different specific code
 407 elements which comprise or manipulate these various entities.
 408
 409 ### Types
 410
 411 Values come in a wide range of types, with more likely to be added.
 412 Each type needs to be able to parse and print its own values (for
 413 convenience at least) as well as to compare two values, at least for
 414 equality and possibly for order.  For now, values might need to be
 415 duplicated and freed, though eventually such manipulations will be
 416 better integrated into the language.
 417
 418 Rather than requiring every numeric type to support all numeric
 419 operations (add, multiple, etc), we allow types to be able to present
 420 as one of a few standard types: integer, float, and fraction.  The
 421 existence of these conversion functions eventaully enable types to
 422 determine if they are compatible with other types, though such types
 423 have not yet been implemented.
 424
 425 Named type are stored in a simple linked list.  Objects of each type are "values"
 426 which are often passed around by value.
 427
 428 ###### ast
 429
 430         struct value {
 431                 struct type *type;
 432                 union {
 433                         ## value union fields
 434                 };
 435         };
 436
 437         struct type {
 438                 struct text name;
 439                 struct type *next;
 440                 struct value (*init)(struct type *type);
 441                 struct value (*prepare)(struct type *type);
 442                 struct value (*parse)(struct type *type, char *str);
 443                 void (*print)(struct value val);
 444                 void (*print_type)(struct type *type, FILE *f);
 445                 int (*cmp_order)(struct value v1, struct value v2);
 446                 int (*cmp_eq)(struct value v1, struct value v2);
 447                 struct value (*dup)(struct value val);
 448                 void (*free)(struct value val);
 449                 void (*free_type)(struct type *t);
 450                 int (*compat)(struct type *this, struct type *other);
 451                 long long (*to_int)(struct value *v);
 452                 double (*to_float)(struct value *v);
 453                 int (*to_mpq)(mpq_t *q, struct value *v);
 454                 ## type functions
 455                 union {
 456                         ## type union fields
 457                 };
 458         };
 459
 460 ###### parse context
 461
 462         struct type *typelist;
 463
 464 ###### ast functions
 465
 466         static struct type *find_type(struct parse_context *c, struct text s)
 467         {
 468                 struct type *l = c->typelist;
 469
 470                 while (l &&
 471                        text_cmp(l->name, s) != 0)
 472                                 l = l->next;
 473                 return l;
 474         }
 475
 476         static struct type *add_type(struct parse_context *c, struct text s,
 477                                      struct type *proto)
 478         {
 479                 struct type *n;
 480
 481                 n = calloc(1, sizeof(*n));
 482                 *n = *proto;
 483                 n->name = s;
 484                 n->next = c->typelist;
 485                 c->typelist = n;
 486                 return n;
 487         }
 488
 489         static void free_type(struct type *t)
 490         {
 491                 /* The type is always a reference to something in the
 492                  * context, so we don't need to free anything.
 493                  */
 494         }
 495
 496         static void free_value(struct value v)
 497         {
 498                 if (v.type)
 499                         v.type->free(v);
 500         }
 501
 502         static int type_compat(struct type *require, struct type *have, int rules)
 503         {
 504                 if ((rules & Rboolok) && have == Tbool)
 505                         return 1;
 506                 if ((rules & Rnolabel) && have == Tlabel)
 507                         return 0;
 508                 if (!require || !have)
 509                         return 1;
 510
 511                 if (require->compat)
 512                         return require->compat(require, have);
 513
 514                 return require == have;
 515         }
 516
 517         static void type_print(struct type *type, FILE *f)
 518         {
 519                 if (!type)
 520                         fputs("*unknown*type*", f);
 521                 else if (type->name.len)
 522                         fprintf(f, "%.*s", type->name.len, type->name.txt);
 523                 else if (type->print_type)
 524                         type->print_type(type, f);
 525                 else
 526                         fputs("*invalid*type*", f);     // NOTEST
 527         }
 528
 529         static struct value val_prepare(struct type *type)
 530         {
 531                 struct value rv;
 532
 533                 if (type)
 534                         return type->prepare(type);
 535                 rv.type = type;
 536                 return rv;
 537         }
 538
 539         static struct value val_init(struct type *type)
 540         {
 541                 struct value rv;
 542
 543                 if (type)
 544                         return type->init(type);
 545                 rv.type = type;
 546                 return rv;
 547         }
 548
 549         static struct value dup_value(struct value v)
 550         {
 551                 if (v.type)
 552                         return v.type->dup(v);
 553                 return v;
 554         }
 555
 556         static int value_cmp(struct value left, struct value right)
 557         {
 558                 if (left.type && left.type->cmp_order)
 559                         return left.type->cmp_order(left, right);
 560                 if (left.type && left.type->cmp_eq)
 561                         return left.type->cmp_eq(left, right);
 562                 return -1;
 563         }
 564
 565         static void print_value(struct value v)
 566         {
 567                 if (v.type && v.type->print)
 568                         v.type->print(v);
 569                 else
 570                         printf("*Unknown*");            // NOTEST
 571         }
 572
 573         static struct value parse_value(struct type *type, char *arg)
 574         {
 575                 struct value rv;
 576
 577                 if (type && type->parse)
 578                         return type->parse(type, arg);
 579                 rv.type = NULL;                         // NOTEST
 580                 return rv;                              // NOTEST
 581         }
 582
 583 ###### forward decls
 584
 585         static void free_value(struct value v);
 586         static int type_compat(struct type *require, struct type *have, int rules);
 587         static void type_print(struct type *type, FILE *f);
 588         static struct value val_init(struct type *type);
 589         static struct value dup_value(struct value v);
 590         static int value_cmp(struct value left, struct value right);
 591         static void print_value(struct value v);
 592         static struct value parse_value(struct type *type, char *arg);
 593
 594 ###### free context types
 595
 596         while (context.typelist) {
 597                 struct type *t = context.typelist;
 598
 599                 context.typelist = t->next;
 600                 if (t->free_type)
 601                         t->free_type(t);
 602                 free(t);
 603         }
 604
 605 #### Base Types
 606
 607 Values of the base types can be numbers, which we represent as
 608 multi-precision fractions, strings, Booleans and labels.  When
 609 analysing the program we also need to allow for places where no value
 610 is meaningful (type `Tnone`) and where we don't know what type to
 611 expect yet (type is `NULL`).
 612
 613 Values are never shared, they are always copied when used, and freed
 614 when no longer needed.
 615
 616 When propagating type information around the program, we need to
 617 determine if two types are compatible, where type `NULL` is compatible
 618 with anything.  There are two special cases with type compatibility,
 619 both related to the Conditional Statement which will be described
 620 later.  In some cases a Boolean can be accepted as well as some other
 621 primary type, and in others any type is acceptable except a label (`Vlabel`).
 622 A separate function encoding these cases will simplify some code later.
 623
 624 When assigning command line arguments to variables, we need to be able
 625 to parse each type from a string.
 626
 627 The distinction beteen "prepare" and "init" needs to be explained.
 628 "init" sets up an initial value, such as "zero" or the empty string.
 629 "prepare" simply prepares the data structure so that if "free" gets
 630 called on it, it won't do something silly.  Normally a value will be
 631 stored after "prepare" but before "free", but this might not happen if
 632 there are errors.
 633
 634 ###### includes
 635         #include <gmp.h>
 636         #include "string.h"
 637         #include "number.h"
 638
 639 ###### libs
 640         myLDLIBS := libnumber.o libstring.o -lgmp
 641         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
 642
 643 ###### type union fields
 644         enum vtype {Vnone, Vstr, Vnum, Vbool, Vlabel} vtype;
 645
 646 ###### value union fields
 647         struct text str;
 648         mpq_t num;
 649         int bool;
 650         void *label;
 651
 652 ###### ast functions
 653         static void _free_value(struct value v)
 654         {
 655                 switch (v.type->vtype) {
 656                 case Vnone: break;
 657                 case Vstr: free(v.str.txt); break;
 658                 case Vnum: mpq_clear(v.num); break;
 659                 case Vlabel:
 660                 case Vbool: break;
 661                 }
 662         }
 663
 664 ###### value functions
 665
 666         static struct value _val_prepare(struct type *type)
 667         {
 668                 struct value rv;
 669
 670                 rv.type = type;
 671                 switch(type->vtype) {
 672                 case Vnone:
 673                         break;
 674                 case Vnum:
 675                         memset(&rv.num, 0, sizeof(rv.num));
 676                         break;
 677                 case Vstr:
 678                         rv.str.txt = NULL;
 679                         rv.str.len = 0;
 680                         break;
 681                 case Vbool:
 682                         rv.bool = 0;
 683                         break;
 684                 case Vlabel:
 685                         rv.label = NULL;
 686                         break;
 687                 }
 688                 return rv;
 689         }
 690
 691         static struct value _val_init(struct type *type)
 692         {
 693                 struct value rv;
 694
 695                 rv.type = type;
 696                 switch(type->vtype) {
 697                 case Vnone:             // NOTEST
 698                         break;          // NOTEST
 699                 case Vnum:
 700                         mpq_init(rv.num); break;
 701                 case Vstr:
 702                         rv.str.txt = malloc(1);
 703                         rv.str.len = 0;
 704                         break;
 705                 case Vbool:
 706                         rv.bool = 0;
 707                         break;
 708                 case Vlabel:                    // NOTEST
 709                         rv.label = NULL;        // NOTEST
 710                         break;                  // NOTEST
 711                 }
 712                 return rv;
 713         }
 714
 715         static struct value _dup_value(struct value v)
 716         {
 717                 struct value rv;
 718                 rv.type = v.type;
 719                 switch (rv.type->vtype) {
 720                 case Vnone:             // NOTEST
 721                         break;          // NOTEST
 722                 case Vlabel:
 723                         rv.label = v.label;
 724                         break;
 725                 case Vbool:
 726                         rv.bool = v.bool;
 727                         break;
 728                 case Vnum:
 729                         mpq_init(rv.num);
 730                         mpq_set(rv.num, v.num);
 731                         break;
 732                 case Vstr:
 733                         rv.str.len = v.str.len;
 734                         rv.str.txt = malloc(rv.str.len);
 735                         memcpy(rv.str.txt, v.str.txt, v.str.len);
 736                         break;
 737                 }
 738                 return rv;
 739         }
 740
 741         static int _value_cmp(struct value left, struct value right)
 742         {
 743                 int cmp;
 744                 if (left.type != right.type)
 745                         return left.type - right.type;  // NOTEST
 746                 switch (left.type->vtype) {
 747                 case Vlabel: cmp = left.label == right.label ? 0 : 1; break;
 748                 case Vnum: cmp = mpq_cmp(left.num, right.num); break;
 749                 case Vstr: cmp = text_cmp(left.str, right.str); break;
 750                 case Vbool: cmp = left.bool - right.bool; break;
 751                 case Vnone: cmp = 0;                    // NOTEST
 752                 }
 753                 return cmp;
 754         }
 755
 756         static void _print_value(struct value v)
 757         {
 758                 switch (v.type->vtype) {
 759                 case Vnone:                             // NOTEST
 760                         printf("*no-value*"); break;    // NOTEST
 761                 case Vlabel:                            // NOTEST
 762                         printf("*label-%p*", v.label); break; // NOTEST
 763                 case Vstr:
 764                         printf("%.*s", v.str.len, v.str.txt); break;
 765                 case Vbool:
 766                         printf("%s", v.bool ? "True":"False"); break;
 767                 case Vnum:
 768                         {
 769                         mpf_t fl;
 770                         mpf_init2(fl, 20);
 771                         mpf_set_q(fl, v.num);
 772                         gmp_printf("%Fg", fl);
 773                         mpf_clear(fl);
 774                         break;
 775                         }
 776                 }
 777         }
 778
 779         static struct value _parse_value(struct type *type, char *arg)
 780         {
 781                 struct value val;
 782                 struct text tx;
 783                 int neg = 0;
 784                 char tail[3] = "";
 785
 786                 val.type = type;
 787                 switch(type->vtype) {
 788                 case Vlabel:                            // NOTEST
 789                 case Vnone:                             // NOTEST
 790                         val.type = NULL;                // NOTEST
 791                         break;                          // NOTEST
 792                 case Vstr:
 793                         val.str.len = strlen(arg);
 794                         val.str.txt = malloc(val.str.len);
 795                         memcpy(val.str.txt, arg, val.str.len);
 796                         break;
 797                 case Vnum:
 798                         if (*arg == '-') {
 799                                 neg = 1;
 800                                 arg++;
 801                         }
 802                         tx.txt = arg; tx.len = strlen(tx.txt);
 803                         if (number_parse(val.num, tail, tx) == 0)
 804                                 mpq_init(val.num);
 805                         else if (neg)
 806                                 mpq_neg(val.num, val.num);
 807                         if (tail[0]) {
 808                                 printf("Unsupported suffix: %s\n", arg);
 809                                 val.type = NULL;
 810                         }
 811                         break;
 812                 case Vbool:
 813                         if (strcasecmp(arg, "true") == 0 ||
 814                             strcmp(arg, "1") == 0)
 815                                 val.bool = 1;
 816                         else if (strcasecmp(arg, "false") == 0 ||
 817                                  strcmp(arg, "0") == 0)
 818                                 val.bool = 0;
 819                         else {
 820                                 printf("Bad bool: %s\n", arg);
 821                                 val.type = NULL;
 822                         }
 823                         break;
 824                 }
 825                 return val;
 826         }
 827
 828         static void _free_value(struct value v);
 829
 830         static struct type base_prototype = {
 831                 .init = _val_init,
 832                 .prepare = _val_prepare,
 833                 .parse = _parse_value,
 834                 .print = _print_value,
 835                 .cmp_order = _value_cmp,
 836                 .cmp_eq = _value_cmp,
 837                 .dup = _dup_value,
 838                 .free = _free_value,
 839         };
 840
 841         static struct type *Tbool, *Tstr, *Tnum, *Tnone, *Tlabel;
 842
 843 ###### ast functions
 844         static struct type *add_base_type(struct parse_context *c, char *n, enum vtype vt)
 845         {
 846                 struct text txt = { n, strlen(n) };
 847                 struct type *t;
 848
 849                 t = add_type(c, txt, &base_prototype);
 850                 t->vtype = vt;
 851                 return t;
 852         }
 853
 854 ###### context initialization
 855
 856         Tbool  = add_base_type(&context, "Boolean", Vbool);
 857         Tstr   = add_base_type(&context, "string", Vstr);
 858         Tnum   = add_base_type(&context, "number", Vnum);
 859         Tnone  = add_base_type(&context, "none", Vnone);
 860         Tlabel = add_base_type(&context, "label", Vlabel);
 861
 862 ### Variables
 863
 864 Variables are scoped named values.  We store the names in a linked
 865 list of "bindings" sorted lexically, and use sequential search and
 866 insertion sort.
 867
 868 ###### ast
 869
 870         struct binding {
 871                 struct text name;
 872                 struct binding *next;   // in lexical order
 873                 ## binding fields
 874         };
 875
 876 This linked list is stored in the parse context so that "reduce"
 877 functions can find or add variables, and so the analysis phase can
 878 ensure that every variable gets a type.
 879
 880 ###### parse context
 881
 882         struct binding *varlist;  // In lexical order
 883
 884 ###### ast functions
 885
 886         static struct binding *find_binding(struct parse_context *c, struct text s)
 887         {
 888                 struct binding **l = &c->varlist;
 889                 struct binding *n;
 890                 int cmp = 1;
 891
 892                 while (*l &&
 893                         (cmp = text_cmp((*l)->name, s)) < 0)
 894                                 l = & (*l)->next;
 895                 if (cmp == 0)
 896                         return *l;
 897                 n = calloc(1, sizeof(*n));
 898                 n->name = s;
 899                 n->next = *l;
 900                 *l = n;
 901                 return n;
 902         }
 903
 904 Each name can be linked to multiple variables defined in different
 905 scopes.  Each scope starts where the name is declared and continues
 906 until the end of the containing code block.  Scopes of a given name
 907 cannot nest, so a declaration while a name is in-scope is an error.
 908
 909 ###### binding fields
 910         struct variable *var;
 911
 912 ###### ast
 913         struct variable {
 914                 struct variable *previous;
 915                 struct value val;
 916                 struct binding *name;
 917                 struct exec *where_decl;// where name was declared
 918                 struct exec *where_set; // where type was set
 919                 ## variable fields
 920         };
 921
 922 While the naming seems strange, we include local constants in the
 923 definition of variables.  A name declared `var := value` can
 924 subsequently be changed, but a name declared `var ::= value` cannot -
 925 it is constant
 926
 927 ###### variable fields
 928         int constant;
 929
 930 Scopes in parallel branches can be partially merged.  More
 931 specifically, if a given name is declared in both branches of an
 932 if/else then its scope is a candidate for merging.  Similarly if
 933 every branch of an exhaustive switch (e.g. has an "else" clause)
 934 declares a given name, then the scopes from the branches are
 935 candidates for merging.
 936
 937 Note that names declared inside a loop (which is only parallel to
 938 itself) are never visible after the loop.  Similarly names defined in
 939 scopes which are not parallel, such as those started by `for` and
 940 `switch`, are never visible after the scope.  Only variables defined in
 941 both `then` and `else` (including the implicit then after an `if`, and
 942 excluding `then` used with `for`) and in all `case`s and `else` of a
 943 `switch` or `while` can be visible beyond the `if`/`switch`/`while`.
 944
 945 Labels, which are a bit like variables, follow different rules.
 946 Labels are not explicitly declared, but if an undeclared name appears
 947 in a context where a label is legal, that effectively declares the
 948 name as a label.  The declaration remains in force (or in scope) at
 949 least to the end of the immediately containing block and conditionally
 950 in any larger containing block which does not declare the name in some
 951 other way.  Importantly, the conditional scope extension happens even
 952 if the label is only used in one parallel branch of a conditional --
 953 when used in one branch it is treated as having been declared in all
 954 branches.
 955
 956 Merge candidates are tentatively visible beyond the end of the
 957 branching statement which creates them.  If the name is used, the
 958 merge is affirmed and they become a single variable visible at the
 959 outer layer.  If not - if it is redeclared first - the merge lapses.
 960
 961 To track scopes we have an extra stack, implemented as a linked list,
 962 which roughly parallels the parse stack and which is used exclusively
 963 for scoping.  When a new scope is opened, a new frame is pushed and
 964 the child-count of the parent frame is incremented.  This child-count
 965 is used to distinguish between the first of a set of parallel scopes,
 966 in which declared variables must not be in scope, and subsequent
 967 branches, whether they must already be conditionally scoped.
 968
 969 To push a new frame *before* any code in the frame is parsed, we need a
 970 grammar reduction.  This is most easily achieved with a grammar
 971 element which derives the empty string, and creates the new scope when
 972 it is recognized.  This can be placed, for example, between a keyword
 973 like "if" and the code following it.
 974
 975 ###### ast
 976         struct scope {
 977                 struct scope *parent;
 978                 int child_count;
 979         };
 980
 981 ###### parse context
 982         int scope_depth;
 983         struct scope *scope_stack;
 984
 985 ###### ast functions
 986         static void scope_pop(struct parse_context *c)
 987         {
 988                 struct scope *s = c->scope_stack;
 989
 990                 c->scope_stack = s->parent;
 991                 free(s);
 992                 c->scope_depth -= 1;
 993         }
 994
 995         static void scope_push(struct parse_context *c)
 996         {
 997                 struct scope *s = calloc(1, sizeof(*s));
 998                 if (c->scope_stack)
 999                         c->scope_stack->child_count += 1;
1000                 s->parent = c->scope_stack;
1001                 c->scope_stack = s;
1002                 c->scope_depth += 1;
1003         }
1004
1005 ###### Grammar
1006
1007         $void
1008         OpenScope -> ${ scope_push(c); }$
1009
1010 Each variable records a scope depth and is in one of four states:
1011
1012 - "in scope".  This is the case between the declaration of the
1013   variable and the end of the containing block, and also between
1014   the usage with affirms a merge and the end of that block.
1015
1016   The scope depth is not greater than the current parse context scope
1017   nest depth.  When the block of that depth closes, the state will
1018   change.  To achieve this, all "in scope" variables are linked
1019   together as a stack in nesting order.
1020
1021 - "pending".  The "in scope" block has closed, but other parallel
1022   scopes are still being processed.  So far, every parallel block at
1023   the same level that has closed has declared the name.
1024
1025   The scope depth is the depth of the last parallel block that
1026   enclosed the declaration, and that has closed.
1027
1028 - "conditionally in scope".  The "in scope" block and all parallel
1029   scopes have closed, and no further mention of the name has been
1030   seen.  This state includes a secondary nest depth which records the
1031   outermost scope seen since the variable became conditionally in
1032   scope.  If a use of the name is found, the variable becomes "in
1033   scope" and that secondary depth becomes the recorded scope depth.
1034   If the name is declared as a new variable, the old variable becomes
1035   "out of scope" and the recorded scope depth stays unchanged.
1036
1037 - "out of scope".  The variable is neither in scope nor conditionally
1038   in scope.  It is permanently out of scope now and can be removed from
1039   the "in scope" stack.
1040
1041 ###### variable fields
1042         int depth, min_depth;
1043         enum { OutScope, PendingScope, CondScope, InScope } scope;
1044         struct variable *in_scope;
1045
1046 ###### parse context
1047
1048         struct variable *in_scope;
1049
1050 All variables with the same name are linked together using the
1051 'previous' link.  Those variable that have
1052 been affirmatively merged all have a 'merged' pointer that points to
1053 one primary variable - the most recently declared instance. When
1054 merging variables, we need to also adjust the 'merged' pointer on any
1055 other variables that had previously been merged with the one that will
1056 no longer be primary.
1057
1058 A variable that is no longer the most recent instance of a name may
1059 still have "pending" scope, if it might still be merged with most
1060 recent instance.  These variables don't really belong in the
1061 "in_scope" list, but are not immediately removed when a new instance
1062 is found.  Instead, they are detected and ignored when considering the
1063 list of in_scope names.
1064
1065 ###### variable fields
1066         struct variable *merged;
1067
1068 ###### ast functions
1069
1070         static void variable_merge(struct variable *primary, struct variable *secondary)
1071         {
1072                 struct variable *v;
1073
1074                 if (primary->merged)
1075                         // shouldn't happen
1076                         primary = primary->merged;
1077
1078                 for (v = primary->previous; v; v=v->previous)
1079                         if (v == secondary || v == secondary->merged ||
1080                             v->merged == secondary ||
1081                             (v->merged && v->merged == secondary->merged)) {
1082                                 v->scope = OutScope;
1083                                 v->merged = primary;
1084                         }
1085         }
1086
1087 ###### free context vars
1088
1089         while (context.varlist) {
1090                 struct binding *b = context.varlist;
1091                 struct variable *v = b->var;
1092                 context.varlist = b->next;
1093                 free(b);
1094                 while (v) {
1095                         struct variable *t = v;
1096
1097                         v = t->previous;
1098                         free_value(t->val);
1099                         if (t->depth == 0)
1100                                 // This is a global constant
1101                                 free_exec(t->where_decl);
1102                         free(t);
1103                 }
1104         }
1105
1106 #### Manipulating Bindings
1107
1108 When a name is conditionally visible, a new declaration discards the
1109 old binding - the condition lapses.  Conversely a usage of the name
1110 affirms the visibility and extends it to the end of the containing
1111 block - i.e. the block that contains both the original declaration and
1112 the latest usage.  This is determined from `min_depth`.  When a
1113 conditionally visible variable gets affirmed like this, it is also
1114 merged with other conditionally visible variables with the same name.
1115
1116 When we parse a variable declaration we either report an error if the
1117 name is currently bound, or create a new variable at the current nest
1118 depth if the name is unbound or bound to a conditionally scoped or
1119 pending-scope variable.  If the previous variable was conditionally
1120 scoped, it and its homonyms becomes out-of-scope.
1121
1122 When we parse a variable reference (including non-declarative
1123 assignment) we report an error if the name is not bound or is bound to
1124 a pending-scope variable; update the scope if the name is bound to a
1125 conditionally scoped variable; or just proceed normally if the named
1126 variable is in scope.
1127
1128 When we exit a scope, any variables bound at this level are either
1129 marked out of scope or pending-scoped, depending on whether the scope
1130 was sequential or parallel.  Here a "parallel" scope means the "then"
1131 or "else" part of a conditional, or any "case" or "else" branch of a
1132 switch.  Other scopes are "sequential".
1133
1134 When exiting a parallel scope we check if there are any variables that
1135 were previously pending and are still visible. If there are, then
1136 there weren't redeclared in the most recent scope, so they cannot be
1137 merged and must become out-of-scope.  If it is not the first of
1138 parallel scopes (based on `child_count`), we check that there was a
1139 previous binding that is still pending-scope.  If there isn't, the new
1140 variable must now be out-of-scope.
1141
1142 When exiting a sequential scope that immediately enclosed parallel
1143 scopes, we need to resolve any pending-scope variables.  If there was
1144 no `else` clause, and we cannot determine that the `switch` was exhaustive,
1145 we need to mark all pending-scope variable as out-of-scope.  Otherwise
1146 all pending-scope variables become conditionally scoped.
1147
1148 ###### ast
1149         enum closetype { CloseSequential, CloseParallel, CloseElse };
1150
1151 ###### ast functions
1152
1153         static struct variable *var_decl(struct parse_context *c, struct text s)
1154         {
1155                 struct binding *b = find_binding(c, s);
1156                 struct variable *v = b->var;
1157
1158                 switch (v ? v->scope : OutScope) {
1159                 case InScope:
1160                         /* Caller will report the error */
1161                         return NULL;
1162                 case CondScope:
1163                         for (;
1164                              v && v->scope == CondScope;
1165                              v = v->previous)
1166                                 v->scope = OutScope;
1167                         break;
1168                 default: break;
1169                 }
1170                 v = calloc(1, sizeof(*v));
1171                 v->previous = b->var;
1172                 b->var = v;
1173                 v->name = b;
1174                 v->min_depth = v->depth = c->scope_depth;
1175                 v->scope = InScope;
1176                 v->in_scope = c->in_scope;
1177                 c->in_scope = v;
1178                 v->val = val_prepare(NULL);
1179                 return v;
1180         }
1181
1182         static struct variable *var_ref(struct parse_context *c, struct text s)
1183         {
1184                 struct binding *b = find_binding(c, s);
1185                 struct variable *v = b->var;
1186                 struct variable *v2;
1187
1188                 switch (v ? v->scope : OutScope) {
1189                 case OutScope:
1190                 case PendingScope:
1191                         /* Caller will report the error */
1192                         return NULL;
1193                 case CondScope:
1194                         /* All CondScope variables of this name need to be merged
1195                          * and become InScope
1196                          */
1197                         v->depth = v->min_depth;
1198                         v->scope = InScope;
1199                         for (v2 = v->previous;
1200                              v2 && v2->scope == CondScope;
1201                              v2 = v2->previous)
1202                                 variable_merge(v, v2);
1203                         break;
1204                 case InScope:
1205                         break;
1206                 }
1207                 return v;
1208         }
1209
1210         static void var_block_close(struct parse_context *c, enum closetype ct)
1211         {
1212                 /* Close off all variables that are in_scope */
1213                 struct variable *v, **vp, *v2;
1214
1215                 scope_pop(c);
1216                 for (vp = &c->in_scope;
1217                      v = *vp, v && v->depth > c->scope_depth && v->min_depth > c->scope_depth;
1218                      ) {
1219                         if (v->name->var == v) switch (ct) {
1220                         case CloseElse:
1221                         case CloseParallel: /* handle PendingScope */
1222                                 switch(v->scope) {
1223                                 case InScope:
1224                                 case CondScope:
1225                                         if (c->scope_stack->child_count == 1)
1226                                                 v->scope = PendingScope;
1227                                         else if (v->previous &&
1228                                                  v->previous->scope == PendingScope)
1229                                                 v->scope = PendingScope;
1230                                         else if (v->val.type == Tlabel)
1231                                                 v->scope = PendingScope;
1232                                         else if (v->name->var == v)
1233                                                 v->scope = OutScope;
1234                                         if (ct == CloseElse) {
1235                                                 /* All Pending variables with this name
1236                                                  * are now Conditional */
1237                                                 for (v2 = v;
1238                                                      v2 && v2->scope == PendingScope;
1239                                                      v2 = v2->previous)
1240                                                         v2->scope = CondScope;
1241                                         }
1242                                         break;
1243                                 case PendingScope:
1244                                         for (v2 = v;
1245                                              v2 && v2->scope == PendingScope;
1246                                              v2 = v2->previous)
1247                                                 if (v2->val.type != Tlabel)
1248                                                         v2->scope = OutScope;
1249                                         break;
1250                                 case OutScope: break;
1251                                 }
1252                                 break;
1253                         case CloseSequential:
1254                                 if (v->val.type == Tlabel)
1255                                         v->scope = PendingScope;
1256                                 switch (v->scope) {
1257                                 case InScope:
1258                                         v->scope = OutScope;
1259                                         break;
1260                                 case PendingScope:
1261                                         /* There was no 'else', so we can only become
1262                                          * conditional if we know the cases were exhaustive,
1263                                          * and that doesn't mean anything yet.
1264                                          * So only labels become conditional..
1265                                          */
1266                                         for (v2 = v;
1267                                              v2 && v2->scope == PendingScope;
1268                                              v2 = v2->previous)
1269                                                 if (v2->val.type == Tlabel) {
1270                                                         v2->scope = CondScope;
1271                                                         v2->min_depth = c->scope_depth;
1272                                                 } else
1273                                                         v2->scope = OutScope;
1274                                         break;
1275                                 case CondScope:
1276                                 case OutScope: break;
1277                                 }
1278                                 break;
1279                         }
1280                         if (v->scope == OutScope || v->name->var != v)
1281                                 *vp = v->in_scope;
1282                         else
1283                                 vp = &v->in_scope;
1284                 }
1285         }
1286
1287 ### Executables
1288
1289 Executables can be lots of different things.  In many cases an
1290 executable is just an operation combined with one or two other
1291 executables.  This allows for expressions and lists etc.  Other times
1292 an executable is something quite specific like a constant or variable
1293 name.  So we define a `struct exec` to be a general executable with a
1294 type, and a `struct binode` which is a subclass of `exec`, forms a
1295 node in a binary tree, and holds an operation. There will be other
1296 subclasses, and to access these we need to be able to `cast` the
1297 `exec` into the various other types.
1298
1299 ###### macros
1300         #define cast(structname, pointer) ({            \
1301                 const typeof( ((struct structname *)0)->type) *__mptr = &(pointer)->type; \
1302                 if (__mptr && *__mptr != X##structname) abort();                \
1303                 (struct structname *)( (char *)__mptr);})
1304
1305         #define new(structname) ({                                              \
1306                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
1307                 __ptr->type = X##structname;                                            \
1308                 __ptr->line = -1; __ptr->column = -1;                                   \
1309                 __ptr;})
1310
1311         #define new_pos(structname, token) ({                                           \
1312                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
1313                 __ptr->type = X##structname;                                            \
1314                 __ptr->line = token.line; __ptr->column = token.col;                    \
1315                 __ptr;})
1316
1317 ###### ast
1318         enum exec_types {
1319                 Xbinode,
1320                 ## exec type
1321         };
1322         struct exec {
1323                 enum exec_types type;
1324                 int line, column;
1325         };
1326         struct binode {
1327                 struct exec;
1328                 enum Btype {
1329                         ## Binode types
1330                 } op;
1331                 struct exec *left, *right;
1332         };
1333
1334 ###### ast functions
1335
1336         static int __fput_loc(struct exec *loc, FILE *f)
1337         {
1338                 if (!loc)
1339                         return 0;               // NOTEST
1340                 if (loc->line >= 0) {
1341                         fprintf(f, "%d:%d: ", loc->line, loc->column);
1342                         return 1;
1343                 }
1344                 if (loc->type == Xbinode)
1345                         return __fput_loc(cast(binode,loc)->left, f) ||
1346                                __fput_loc(cast(binode,loc)->right, f);
1347                 return 0;
1348         }
1349         static void fput_loc(struct exec *loc, FILE *f)
1350         {
1351                 if (!__fput_loc(loc, f))
1352                         fprintf(f, "??:??: ");  // NOTEST
1353         }
1354
1355 Each different type of `exec` node needs a number of functions
1356 defined, a bit like methods.  We must be able to be able to free it,
1357 print it, analyse it and execute it.  Once we have specific `exec`
1358 types we will need to parse them too.  Let's take this a bit more
1359 slowly.
1360
1361 #### Freeing
1362
1363 The parser generator requires a `free_foo` function for each struct
1364 that stores attributes and they will often be `exec`s and subtypes
1365 there-of.  So we need `free_exec` which can handle all the subtypes,
1366 and we need `free_binode`.
1367
1368 ###### ast functions
1369
1370         static void free_binode(struct binode *b)
1371         {
1372                 if (!b)
1373                         return;
1374                 free_exec(b->left);
1375                 free_exec(b->right);
1376                 free(b);
1377         }
1378
1379 ###### core functions
1380         static void free_exec(struct exec *e)
1381         {
1382                 if (!e)
1383                         return;
1384                 switch(e->type) {
1385                         ## free exec cases
1386                 }
1387         }
1388
1389 ###### forward decls
1390
1391         static void free_exec(struct exec *e);
1392
1393 ###### free exec cases
1394         case Xbinode: free_binode(cast(binode, e)); break;
1395
1396 #### Printing
1397
1398 Printing an `exec` requires that we know the current indent level for
1399 printing line-oriented components.  As will become clear later, we
1400 also want to know what sort of bracketing to use.
1401
1402 ###### ast functions
1403
1404         static void do_indent(int i, char *str)
1405         {
1406                 while (i--)
1407                         printf("    ");
1408                 printf("%s", str);
1409         }
1410
1411 ###### core functions
1412         static void print_binode(struct binode *b, int indent, int bracket)
1413         {
1414                 struct binode *b2;
1415                 switch(b->op) {
1416                 ## print binode cases
1417                 }
1418         }
1419
1420         static void print_exec(struct exec *e, int indent, int bracket)
1421         {
1422                 if (!e)
1423                         return;         // NOTEST
1424                 switch (e->type) {
1425                 case Xbinode:
1426                         print_binode(cast(binode, e), indent, bracket); break;
1427                 ## print exec cases
1428                 }
1429         }
1430
1431 ###### forward decls
1432
1433         static void print_exec(struct exec *e, int indent, int bracket);
1434
1435 #### Analysing
1436
1437 As discussed, analysis involves propagating type requirements around
1438 the program and looking for errors.
1439
1440 So `propagate_types` is passed an expected type (being a `struct type`
1441 pointer together with some `val_rules` flags) that the `exec` is
1442 expected to return, and returns the type that it does return, either
1443 of which can be `NULL` signifying "unknown".  An `ok` flag is passed
1444 by reference. It is set to `0` when an error is found, and `2` when
1445 any change is made.  If it remains unchanged at `1`, then no more
1446 propagation is needed.
1447
1448 ###### ast
1449
1450         enum val_rules {Rnolabel = 1<<0, Rboolok = 1<<1, Rnoconstant = 2<<1};
1451
1452 ###### format cases
1453         case 'r':
1454                 if (rules & Rnolabel)
1455                         fputs(" (labels not permitted)", stderr);
1456                 break;
1457
1458 ###### core functions
1459
1460         static struct type *propagate_types(struct exec *prog, struct parse_context *c, int *ok,
1461                                             struct type *type, int rules);
1462         static struct type *__propagate_types(struct exec *prog, struct parse_context *c, int *ok,
1463                                               struct type *type, int rules)
1464         {
1465                 struct type *t;
1466
1467                 if (!prog)
1468                         return Tnone;
1469
1470                 switch (prog->type) {
1471                 case Xbinode:
1472                 {
1473                         struct binode *b = cast(binode, prog);
1474                         switch (b->op) {
1475                         ## propagate binode cases
1476                         }
1477                         break;
1478                 }
1479                 ## propagate exec cases
1480                 }
1481                 return Tnone;
1482         }
1483
1484         static struct type *propagate_types(struct exec *prog, struct parse_context *c, int *ok,
1485                                             struct type *type, int rules)
1486         {
1487                 struct type *ret = __propagate_types(prog, c, ok, type, rules);
1488
1489                 if (c->parse_error)
1490                         *ok = 0;
1491                 return ret;
1492         }
1493
1494 #### Interpreting
1495
1496 Interpreting an `exec` doesn't require anything but the `exec`.  State
1497 is stored in variables and each variable will be directly linked from
1498 within the `exec` tree.  The exception to this is the whole `program`
1499 which needs to look at command line arguments.  The `program` will be
1500 interpreted separately.
1501
1502 Each `exec` can return a value, which may be `Tnone` but must be
1503 non-NULL;  Some `exec`s will return the location of a value, which can
1504 be updates.  To support this, each exec case must store either a value
1505 in `val` or the pointer to a value in `lval`.  If `lval` is set, but a
1506 simple value is required, `inter_exec()` will dereference `lval` to
1507 get the value.
1508
1509 ###### core functions
1510
1511         struct lrval {
1512                 struct value val, *lval;
1513         };
1514
1515         static struct lrval _interp_exec(struct exec *e);
1516
1517         static struct value interp_exec(struct exec *e)
1518         {
1519                 struct lrval ret = _interp_exec(e);
1520
1521                 if (ret.lval)
1522                         return dup_value(*ret.lval);
1523                 else
1524                         return ret.val;
1525         }
1526
1527         static struct value *linterp_exec(struct exec *e)
1528         {
1529                 struct lrval ret = _interp_exec(e);
1530
1531                 return ret.lval;
1532         }
1533
1534         static struct lrval _interp_exec(struct exec *e)
1535         {
1536                 struct lrval ret;
1537                 struct value rv, *lrv = NULL;
1538                 rv.type = Tnone;
1539                 if (!e) {
1540                         ret.lval = lrv;
1541                         ret.val = rv;
1542                         return ret;
1543                 }
1544
1545                 switch(e->type) {
1546                 case Xbinode:
1547                 {
1548                         struct binode *b = cast(binode, e);
1549                         struct value left, right, *lleft;
1550                         left.type = right.type = Tnone;
1551                         switch (b->op) {
1552                         ## interp binode cases
1553                         }
1554                         free_value(left); free_value(right);
1555                         break;
1556                 }
1557                 ## interp exec cases
1558                 }
1559                 ret.lval = lrv;
1560                 ret.val = rv;
1561                 return ret;
1562         }
1563
1564 ### Complex types
1565
1566 Now that we have the shape of the interpreter in place we can add some
1567 complex types and connected them in to the data structures and the
1568 different phases of parse, analyse, print, interpret.
1569
1570 Thus far we have arrays and structs.
1571
1572 #### Arrays
1573
1574 Arrays can be declared by giving a size and a type, as `[size]type' so
1575 `freq:[26]number` declares `freq` to be an array of 26 numbers.  The
1576 size can be an arbitrary expression which is evaluated when the name
1577 comes into scope.
1578
1579 Arrays cannot be assigned.  When pointers are introduced we will also
1580 introduce array slices which can refer to part or all of an array -
1581 the assignment syntax will create a slice.  For now, an array can only
1582 ever be referenced by the name it is declared with.  It is likely that
1583 a "`copy`" primitive will eventually be define which can be used to
1584 make a copy of an array with controllable depth.
1585
1586 ###### type union fields
1587
1588         struct {
1589                 int size;
1590                 struct variable *vsize;
1591                 struct type *member;
1592         } array;
1593
1594 ###### value union fields
1595         struct {
1596                 struct value *elmnts;
1597         } array;
1598
1599 ###### value functions
1600
1601         static struct value array_prepare(struct type *type)
1602         {
1603                 struct value ret;
1604
1605                 ret.type = type;
1606                 ret.array.elmnts = NULL;
1607                 return ret;
1608         }
1609
1610         static struct value array_init(struct type *type)
1611         {
1612                 struct value ret;
1613                 int i;
1614
1615                 ret.type = type;
1616                 if (type->array.vsize) {
1617                         mpz_t q;
1618                         mpz_init(q);
1619                         mpz_tdiv_q(q, mpq_numref(type->array.vsize->val.num),
1620                                    mpq_denref(type->array.vsize->val.num));
1621                         type->array.size = mpz_get_si(q);
1622                         mpz_clear(q);
1623                 }
1624                 ret.array.elmnts = calloc(type->array.size,
1625                                           sizeof(ret.array.elmnts[0]));
1626                 for (i = 0; ret.array.elmnts && i < type->array.size; i++)
1627                         ret.array.elmnts[i] = val_init(type->array.member);
1628                 return ret;
1629         }
1630
1631         static void array_free(struct value val)
1632         {
1633                 int i;
1634
1635                 if (val.array.elmnts)
1636                         for (i = 0; i < val.type->array.size; i++)
1637                                 free_value(val.array.elmnts[i]);
1638                 free(val.array.elmnts);
1639         }
1640
1641         static int array_compat(struct type *require, struct type *have)
1642         {
1643                 if (have->compat != require->compat)
1644                         return 0;
1645                 /* Both are arrays, so we can look at details */
1646                 if (!type_compat(require->array.member, have->array.member, 0))
1647                         return 0;
1648                 if (require->array.vsize == NULL && have->array.vsize == NULL)
1649                         return require->array.size == have->array.size;
1650
1651                 return require->array.vsize == have->array.vsize;
1652         }
1653
1654         static void array_print_type(struct type *type, FILE *f)
1655         {
1656                 fputs("[", f);
1657                 if (type->array.vsize) {
1658                         struct binding *b = type->array.vsize->name;
1659                         fprintf(f, "%.*s]", b->name.len, b->name.txt);
1660                 } else
1661                         fprintf(f, "%d]", type->array.size);
1662                 type_print(type->array.member, f);
1663         }
1664
1665         static struct type array_prototype = {
1666                 .prepare = array_prepare,
1667                 .init = array_init,
1668                 .print_type = array_print_type,
1669                 .compat = array_compat,
1670                 .free = array_free,
1671         };
1672
1673 ###### type grammar
1674
1675         | [ NUMBER ] Type ${
1676                 $0 = calloc(1, sizeof(struct type));
1677                 *($0) = array_prototype;
1678                 $0->array.member = $<4;
1679                 $0->array.vsize = NULL;
1680                 {
1681                 char tail[3];
1682                 mpq_t num;
1683                 if (number_parse(num, tail, $2.txt) == 0)
1684                         tok_err(c, "error: unrecognised number", &$2);
1685                 else if (tail[0])
1686                         tok_err(c, "error: unsupported number suffix", &$2);
1687                 else {
1688                         $0->array.size = mpz_get_ui(mpq_numref(num));
1689                         if (mpz_cmp_ui(mpq_denref(num), 1) != 0) {
1690                                 tok_err(c, "error: array size must be an integer",
1691                                         &$2);
1692                         } else if (mpz_cmp_ui(mpq_numref(num), 1UL << 30) >= 0)
1693                                 tok_err(c, "error: array size is too large",
1694                                         &$2);
1695                         mpq_clear(num);
1696                 }
1697                 $0->next= c->anon_typelist;
1698                 c->anon_typelist = $0;
1699                 }
1700         }$
1701
1702         | [ IDENTIFIER ] Type ${ {
1703                 struct variable *v = var_ref(c, $2.txt);
1704
1705                 if (!v)
1706                         tok_err(c, "error: name undeclared", &$2);
1707                 else if (!v->constant)
1708                         tok_err(c, "error: array size must be a constant", &$2);
1709
1710                 $0 = calloc(1, sizeof(struct type));
1711                 *($0) = array_prototype;
1712                 $0->array.member = $<4;
1713                 $0->array.size = 0;
1714                 $0->array.vsize = v;
1715                 $0->next= c->anon_typelist;
1716                 c->anon_typelist = $0;
1717         } }$
1718
1719 ###### parse context
1720
1721         struct type *anon_typelist;
1722
1723 ###### free context types
1724
1725         while (context.anon_typelist) {
1726                 struct type *t = context.anon_typelist;
1727
1728                 context.anon_typelist = t->next;
1729                 free(t);
1730         }
1731
1732 ###### Binode types
1733         Index,
1734
1735 ###### variable grammar
1736
1737         | Variable [ Expression ] ${ {
1738                 struct binode *b = new(binode);
1739                 b->op = Index;
1740                 b->left = $<1;
1741                 b->right = $<3;
1742                 $0 = b;
1743         } }$
1744
1745 ###### print binode cases
1746         case Index:
1747                 print_exec(b->left, -1, bracket);
1748                 printf("[");
1749                 print_exec(b->right, -1, bracket);
1750                 printf("]");
1751                 break;
1752
1753 ###### propagate binode cases
1754         case Index:
1755                 /* left must be an array, right must be a number,
1756                  * result is the member type of the array
1757                  */
1758                 propagate_types(b->right, c, ok, Tnum, 0);
1759                 t = propagate_types(b->left, c, ok, NULL, rules & Rnoconstant);
1760                 if (!t || t->compat != array_compat) {
1761                         type_err(c, "error: %1 cannot be indexed", prog, t, 0, NULL);
1762                         return NULL;
1763                 } else {
1764                         if (!type_compat(type, t->array.member, rules)) {
1765                                 type_err(c, "error: have %1 but need %2", prog,
1766                                          t->array.member, rules, type);
1767                         }
1768                         return t->array.member;
1769                 }
1770                 break;
1771
1772 ###### interp binode cases
1773         case Index: {
1774                 mpz_t q;
1775                 long i;
1776
1777                 lleft = linterp_exec(b->left);
1778                 right = interp_exec(b->right);
1779                 mpz_init(q);
1780                 mpz_tdiv_q(q, mpq_numref(right.num), mpq_denref(right.num));
1781                 i = mpz_get_si(q);
1782                 mpz_clear(q);
1783
1784                 if (i >= 0 && i < lleft->type->array.size)
1785                         lrv = &lleft->array.elmnts[i];
1786                 else
1787                         rv = val_init(lleft->type->array.member);
1788                 break;
1789         }
1790
1791 #### Structs
1792
1793 A `struct` is a data-type that contains one or more other data-types.
1794 It differs from an array in that each member can be of a different
1795 type, and they are accessed by name rather than by number.  Thus you
1796 cannot choose an element by calculation, you need to know what you
1797 want up-front.
1798
1799 The language makes no promises about how a given structure will be
1800 stored in memory - it is free to rearrange fields to suit whatever
1801 criteria seems important.
1802
1803 Structs are declared separately from program code - they cannot be
1804 declared in-line in a variable declaration like arrays can.  A struct
1805 is given a name and this name is used to identify the type - the name
1806 is not prefixed by the word `struct` as it would be in C.
1807
1808 Structs are only treated as the same if they have the same name.
1809 Simply having the same fields in the same order is not enough.  This
1810 might change once we can create structure initializes from a list of
1811 values.
1812
1813 Each component datum is identified much like a variable is declared,
1814 with a name, one or two colons, and a type.  The type cannot be omitted
1815 as there is no opportunity to deduce the type from usage.  An initial
1816 value can be given following an equals sign, so
1817
1818 ##### Example: a struct type
1819
1820         struct complex:
1821                 x:number = 0
1822                 y:number = 0
1823
1824 would declare a type called "complex" which has two number fields,
1825 each initialised to zero.
1826
1827 Struct will need to be declared separately from the code that uses
1828 them, so we will need to be able to print out the declaration of a
1829 struct when reprinting the whole program.  So a `print_type_decl` type
1830 function will be needed.
1831
1832 ###### type union fields
1833
1834         struct {
1835                 int nfields;
1836                 struct field {
1837                         struct text name;
1838                         struct type *type;
1839                         struct value init;
1840                 } *fields;
1841         } structure;
1842
1843 ###### value union fields
1844         struct {
1845                 struct value *fields;
1846         } structure;
1847
1848 ###### type functions
1849         void (*print_type_decl)(struct type *type, FILE *f);
1850
1851 ###### value functions
1852
1853         static struct value structure_prepare(struct type *type)
1854         {
1855                 struct value ret;
1856
1857                 ret.type = type;
1858                 ret.structure.fields = NULL;
1859                 return ret;
1860         }
1861
1862         static struct value structure_init(struct type *type)
1863         {
1864                 struct value ret;
1865                 int i;
1866
1867                 ret.type = type;
1868                 ret.structure.fields = calloc(type->structure.nfields,
1869                                               sizeof(ret.structure.fields[0]));
1870                 for (i = 0; ret.structure.fields && i < type->structure.nfields; i++)
1871                         ret.structure.fields[i] = val_init(type->structure.fields[i].type);
1872                 return ret;
1873         }
1874
1875         static void structure_free(struct value val)
1876         {
1877                 int i;
1878
1879                 if (val.structure.fields)
1880                         for (i = 0; i < val.type->structure.nfields; i++)
1881                                 free_value(val.structure.fields[i]);
1882                 free(val.structure.fields);
1883         }
1884
1885         static void structure_free_type(struct type *t)
1886         {
1887                 int i;
1888                 for (i = 0; i < t->structure.nfields; i++)
1889                         free_value(t->structure.fields[i].init);
1890                 free(t->structure.fields);
1891         }
1892
1893         static struct type structure_prototype = {
1894                 .prepare = structure_prepare,
1895                 .init = structure_init,
1896                 .free = structure_free,
1897                 .free_type = structure_free_type,
1898                 .print_type_decl = structure_print_type,
1899         };
1900
1901 ###### exec type
1902         Xfieldref,
1903
1904 ###### ast
1905         struct fieldref {
1906                 struct exec;
1907                 struct exec *left;
1908                 int index;
1909                 struct text name;
1910         };
1911
1912 ###### free exec cases
1913         case Xfieldref:
1914                 free_exec(cast(fieldref, e)->left);
1915                 free(e);
1916                 break;
1917
1918 ###### variable grammar
1919
1920         | Variable . IDENTIFIER ${ {
1921                 struct fieldref *fr = new_pos(fieldref, $2);
1922                 fr->left = $<1;
1923                 fr->name = $3.txt;
1924                 fr->index = -2;
1925                 $0 = fr;
1926         } }$
1927
1928 ###### print exec cases
1929
1930         case Xfieldref:
1931         {
1932                 struct fieldref *f = cast(fieldref, e);
1933                 print_exec(f->left, -1, bracket);
1934                 printf(".%.*s", f->name.len, f->name.txt);
1935                 break;
1936         }
1937
1938 ###### ast functions
1939         static int find_struct_index(struct type *type, struct text field)
1940         {
1941                 int i;
1942                 for (i = 0; i < type->structure.nfields; i++)
1943                         if (text_cmp(type->structure.fields[i].name, field) == 0)
1944                                 return i;
1945                 return -1;
1946         }
1947
1948 ###### propagate exec cases
1949
1950         case Xfieldref:
1951         {
1952                 struct fieldref *f = cast(fieldref, prog);
1953                 struct type *st = propagate_types(f->left, c, ok, NULL, 0);
1954
1955                 if (!st)
1956                         type_err(c, "error: unknown type for field access", f->left,
1957                                  NULL, 0, NULL);
1958                 else if (st->prepare != structure_prepare)
1959                         type_err(c, "error: field reference attempted on %1, not a struct",
1960                                  f->left, st, 0, NULL);
1961                 else if (f->index == -2) {
1962                         f->index = find_struct_index(st, f->name);
1963                         if (f->index < 0)
1964                                 type_err(c, "error: cannot find requested field in %1",
1965                                          f->left, st, 0, NULL);
1966                 }
1967                 if (f->index >= 0) {
1968                         struct type *ft = st->structure.fields[f->index].type;
1969                         if (!type_compat(type, ft, rules))
1970                                 type_err(c, "error: have %1 but need %2", prog,
1971                                          ft, rules, type);
1972                         return ft;
1973                 }
1974                 break;
1975         }
1976
1977 ###### interp exec cases
1978         case Xfieldref:
1979         {
1980                 struct fieldref *f = cast(fieldref, e);
1981                 struct value *lleft = linterp_exec(f->left);
1982                 lrv = &lleft->structure.fields[f->index];
1983                 break;
1984         }
1985
1986 ###### ast
1987         struct fieldlist {
1988                 struct fieldlist *prev;
1989                 struct field f;
1990         };
1991
1992 ###### ast functions
1993         static void free_fieldlist(struct fieldlist *f)
1994         {
1995                 if (!f)
1996                         return;
1997                 free_fieldlist(f->prev);
1998                 free_value(f->f.init);
1999                 free(f);
2000         }
2001
2002 ###### top level grammar
2003         DeclareStruct -> struct IDENTIFIER FieldBlock ${ {
2004                         struct type *t =
2005                                 add_type(c, $2.txt, &structure_prototype);
2006                         int cnt = 0;
2007                         struct fieldlist *f;
2008
2009                         for (f = $3; f; f=f->prev)
2010                                 cnt += 1;
2011
2012                         t->structure.nfields = cnt;
2013                         t->structure.fields = calloc(cnt, sizeof(struct field));
2014                         f = $3;
2015                         while (cnt > 0) {
2016                                 cnt -= 1;
2017                                 t->structure.fields[cnt] = f->f;
2018                                 f->f.init = val_prepare(Tnone);
2019                                 f = f->prev;
2020                         }
2021                 } }$
2022                 | DeclareStruct NEWLINE
2023
2024         $void
2025         Open -> {
2026                 | NEWLINE Open
2027         Close -> }
2028                 | NEWLINE Close
2029         $*fieldlist
2030         FieldBlock -> Open FieldList } ${ $0 = $<2; }$
2031                 | Open SimpleFieldList } ${ $0 = $<2; }$
2032                 | : FieldList $$NEWLINE ${ $0 = $<2; }$
2033
2034         FieldList -> SimpleFieldListLine ${ $0 = $<1; }$
2035                 | FieldList SimpleFieldListLine ${
2036                         $2->prev = $<1;
2037                         $0 = $<2;
2038                 }$
2039
2040         SimpleFieldListLine -> SimpleFieldList NEWLINE ${ $0 = $<1; }$
2041                 | SimpleFieldListLine NEWLINE ${ $0 = $<1; }$
2042
2043         SimpleFieldList -> Field ${ $0 = $<1; }$
2044                 | SimpleFieldList ; Field ${
2045                         $3->prev = $<1;
2046                         $0 = $<3;
2047                 }$
2048                 | SimpleFieldList ; ${
2049                         $0 = $<1;
2050                 }$
2051
2052         Field -> IDENTIFIER : Type = Expression ${ {
2053                         int ok;
2054
2055                         $0 = calloc(1, sizeof(struct fieldlist));
2056                         $0->f.name = $1.txt;
2057                         $0->f.type = $<3;
2058                         $0->f.init = val_prepare($0->f.type);
2059                         do {
2060                                 ok = 1;
2061                                 propagate_types($<5, c, &ok, $3, 0);
2062                         } while (ok == 2);
2063                         if (!ok)
2064                                 c->parse_error = 1;
2065                         else
2066                                 $0->f.init = interp_exec($5);
2067                 } }$
2068                 | IDENTIFIER : Type ${
2069                         $0 = calloc(1, sizeof(struct fieldlist));
2070                         $0->f.name = $1.txt;
2071                         $0->f.type = $<3;
2072                         $0->f.init = val_init($3);
2073                 }$
2074                 | ERROR ${ tok_err(c, "Syntax error in struct field", &$1); }$
2075
2076 ###### forward decls
2077         static void structure_print_type(struct type *t, FILE *f);
2078
2079 ###### value functions
2080         static void structure_print_type(struct type *t, FILE *f)
2081         {
2082                 int i;
2083
2084                 fprintf(f, "struct %.*s:\n", t->name.len, t->name.txt);
2085
2086                 for (i = 0; i < t->structure.nfields; i++) {
2087                         struct field *fl = t->structure.fields + i;
2088                         fprintf(f, "    %.*s : ", fl->name.len, fl->name.txt);
2089                         type_print(fl->type, f);
2090                         if (fl->init.type->print) {
2091                                 fprintf(f, " = ");
2092                                 if (fl->init.type == Tstr)
2093                                         fprintf(f, "\"");
2094                                 print_value(fl->init);
2095                                 if (fl->init.type == Tstr)
2096                                         fprintf(f, "\"");
2097                         }
2098                         printf("\n");
2099                 }
2100         }
2101
2102 ###### print type decls
2103         {
2104                 struct type *t;
2105                 int target = -1;
2106
2107                 while (target != 0) {
2108                         int i = 0;
2109                         for (t = context.typelist; t ; t=t->next)
2110                                 if (t->print_type_decl) {
2111                                         i += 1;
2112                                         if (i == target)
2113                                                 break;
2114                                 }
2115
2116                         if (target == -1) {
2117                                 target = i;
2118                         } else {
2119                                 t->print_type_decl(t, stdout);
2120                                 target -= 1;
2121                         }
2122                 }
2123         }
2124
2125 ## Executables: the elements of code
2126
2127 Each code element needs to be parsed, printed, analysed,
2128 interpreted, and freed.  There are several, so let's just start with
2129 the easy ones and work our way up.
2130
2131 ### Values
2132
2133 We have already met values as separate objects.  When manifest
2134 constants appear in the program text, that must result in an executable
2135 which has a constant value.  So the `val` structure embeds a value in
2136 an executable.
2137
2138 ###### exec type
2139         Xval,
2140
2141 ###### ast
2142         struct val {
2143                 struct exec;
2144                 struct value val;
2145         };
2146
2147 ###### Grammar
2148
2149         $*val
2150         Value ->  True ${
2151                         $0 = new_pos(val, $1);
2152                         $0->val.type = Tbool;
2153                         $0->val.bool = 1;
2154                         }$
2155                 | False ${
2156                         $0 = new_pos(val, $1);
2157                         $0->val.type = Tbool;
2158                         $0->val.bool = 0;
2159                         }$
2160                 | NUMBER ${
2161                         $0 = new_pos(val, $1);
2162                         $0->val.type = Tnum;
2163                         {
2164                         char tail[3];
2165                         if (number_parse($0->val.num, tail, $1.txt) == 0)
2166                                 mpq_init($0->val.num);
2167                                 if (tail[0])
2168                                         tok_err(c, "error: unsupported number suffix",
2169                                                 &$1);
2170                         }
2171                         }$
2172                 | STRING ${
2173                         $0 = new_pos(val, $1);
2174                         $0->val.type = Tstr;
2175                         {
2176                         char tail[3];
2177                         string_parse(&$1, '\\', &$0->val.str, tail);
2178                         if (tail[0])
2179                                 tok_err(c, "error: unsupported string suffix",
2180                                         &$1);
2181                         }
2182                         }$
2183                 | MULTI_STRING ${
2184                         $0 = new_pos(val, $1);
2185                         $0->val.type = Tstr;
2186                         {
2187                         char tail[3];
2188                         string_parse(&$1, '\\', &$0->val.str, tail);
2189                         if (tail[0])
2190                                 tok_err(c, "error: unsupported string suffix",
2191                                         &$1);
2192                         }
2193                         }$
2194
2195 ###### print exec cases
2196         case Xval:
2197         {
2198                 struct val *v = cast(val, e);
2199                 if (v->val.type == Tstr)
2200                         printf("\"");
2201                 print_value(v->val);
2202                 if (v->val.type == Tstr)
2203                         printf("\"");
2204                 break;
2205         }
2206
2207 ###### propagate exec cases
2208         case Xval:
2209         {
2210                 struct val *val = cast(val, prog);
2211                 if (!type_compat(type, val->val.type, rules))
2212                         type_err(c, "error: expected %1%r found %2",
2213                                    prog, type, rules, val->val.type);
2214                 return val->val.type;
2215         }
2216
2217 ###### interp exec cases
2218         case Xval:
2219                 rv = dup_value(cast(val, e)->val);
2220                 break;
2221
2222 ###### ast functions
2223         static void free_val(struct val *v)
2224         {
2225                 if (!v)
2226                         return;
2227                 free_value(v->val);
2228                 free(v);
2229         }
2230
2231 ###### free exec cases
2232         case Xval: free_val(cast(val, e)); break;
2233
2234 ###### ast functions
2235         // Move all nodes from 'b' to 'rv', reversing the order.
2236         // In 'b' 'left' is a list, and 'right' is the last node.
2237         // In 'rv', left' is the first node and 'right' is a list.
2238         static struct binode *reorder_bilist(struct binode *b)
2239         {
2240                 struct binode *rv = NULL;
2241
2242                 while (b) {
2243                         struct exec *t = b->right;
2244                         b->right = rv;
2245                         rv = b;
2246                         if (b->left)
2247                                 b = cast(binode, b->left);
2248                         else
2249                                 b = NULL;
2250                         rv->left = t;
2251                 }
2252                 return rv;
2253         }
2254
2255 ### Variables
2256
2257 Just as we used a `val` to wrap a value into an `exec`, we similarly
2258 need a `var` to wrap a `variable` into an exec.  While each `val`
2259 contained a copy of the value, each `var` hold a link to the variable
2260 because it really is the same variable no matter where it appears.
2261 When a variable is used, we need to remember to follow the `->merged`
2262 link to find the primary instance.
2263
2264 ###### exec type
2265         Xvar,
2266
2267 ###### ast
2268         struct var {
2269                 struct exec;
2270                 struct variable *var;
2271         };
2272
2273 ###### Grammar
2274
2275         $*var
2276         VariableDecl -> IDENTIFIER : ${ {
2277                 struct variable *v = var_decl(c, $1.txt);
2278                 $0 = new_pos(var, $1);
2279                 $0->var = v;
2280                 if (v)
2281                         v->where_decl = $0;
2282                 else {
2283                         v = var_ref(c, $1.txt);
2284                         $0->var = v;
2285                         type_err(c, "error: variable '%v' redeclared",
2286                                  $0, NULL, 0, NULL);
2287                         type_err(c, "info: this is where '%v' was first declared",
2288                                  v->where_decl, NULL, 0, NULL);
2289                 }
2290         } }$
2291             | IDENTIFIER :: ${ {
2292                 struct variable *v = var_decl(c, $1.txt);
2293                 $0 = new_pos(var, $1);
2294                 $0->var = v;
2295                 if (v) {
2296                         v->where_decl = $0;
2297                         v->constant = 1;
2298                 } else {
2299                         v = var_ref(c, $1.txt);
2300                         $0->var = v;
2301                         type_err(c, "error: variable '%v' redeclared",
2302                                  $0, NULL, 0, NULL);
2303                         type_err(c, "info: this is where '%v' was first declared",
2304                                  v->where_decl, NULL, 0, NULL);
2305                 }
2306         } }$
2307             | IDENTIFIER : Type ${ {
2308                 struct variable *v = var_decl(c, $1.txt);
2309                 $0 = new_pos(var, $1);
2310                 $0->var = v;
2311                 if (v) {
2312                         v->where_decl = $0;
2313                         v->where_set = $0;
2314                         v->val = val_prepare($<3);
2315                 } else {
2316                         v = var_ref(c, $1.txt);
2317                         $0->var = v;
2318                         type_err(c, "error: variable '%v' redeclared",
2319                                  $0, NULL, 0, NULL);
2320                         type_err(c, "info: this is where '%v' was first declared",
2321                                  v->where_decl, NULL, 0, NULL);
2322                 }
2323         } }$
2324             | IDENTIFIER :: Type ${ {
2325                 struct variable *v = var_decl(c, $1.txt);
2326                 $0 = new_pos(var, $1);
2327                 $0->var = v;
2328                 if (v) {
2329                         v->where_decl = $0;
2330                         v->where_set = $0;
2331                         v->val = val_prepare($<3);
2332                         v->constant = 1;
2333                 } else {
2334                         v = var_ref(c, $1.txt);
2335                         $0->var = v;
2336                         type_err(c, "error: variable '%v' redeclared",
2337                                  $0, NULL, 0, NULL);
2338                         type_err(c, "info: this is where '%v' was first declared",
2339                                  v->where_decl, NULL, 0, NULL);
2340                 }
2341         } }$
2342
2343         $*exec
2344         Variable -> IDENTIFIER ${ {
2345                 struct variable *v = var_ref(c, $1.txt);
2346                 $0 = new_pos(var, $1);
2347                 if (v == NULL) {
2348                         /* This might be a label - allocate a var just in case */
2349                         v = var_decl(c, $1.txt);
2350                         if (v) {
2351                                 v->val = val_prepare(Tnone);
2352                                 v->where_decl = $0;
2353                                 v->where_set = $0;
2354                         }
2355                 }
2356                 cast(var, $0)->var = v;
2357         } }$
2358         ## variable grammar
2359
2360         $*type
2361         Type -> IDENTIFIER ${
2362                 $0 = find_type(c, $1.txt);
2363                 if (!$0) {
2364                         tok_err(c,
2365                                 "error: undefined type", &$1);
2366
2367                         $0 = Tnone;
2368                 }
2369         }$
2370         ## type grammar
2371
2372 ###### print exec cases
2373         case Xvar:
2374         {
2375                 struct var *v = cast(var, e);
2376                 if (v->var) {
2377                         struct binding *b = v->var->name;
2378                         printf("%.*s", b->name.len, b->name.txt);
2379                 }
2380                 break;
2381         }
2382
2383 ###### format cases
2384         case 'v':
2385                 if (loc->type == Xvar) {
2386                         struct var *v = cast(var, loc);
2387                         if (v->var) {
2388                                 struct binding *b = v->var->name;
2389                                 fprintf(stderr, "%.*s", b->name.len, b->name.txt);
2390                         } else
2391                                 fputs("???", stderr);   // NOTEST
2392                 } else
2393                         fputs("NOTVAR", stderr);        // NOTEST
2394                 break;
2395
2396 ###### propagate exec cases
2397
2398         case Xvar:
2399         {
2400                 struct var *var = cast(var, prog);
2401                 struct variable *v = var->var;
2402                 if (!v) {
2403                         type_err(c, "%d:BUG: no variable!!", prog, NULL, 0, NULL); // NOTEST
2404                         return Tnone;                                   // NOTEST
2405                 }
2406                 if (v->merged)
2407                         v = v->merged;
2408                 if (v->constant && (rules & Rnoconstant)) {
2409                         type_err(c, "error: Cannot assign to a constant: %v",
2410                                  prog, NULL, 0, NULL);
2411                         type_err(c, "info: name was defined as a constant here",
2412                                  v->where_decl, NULL, 0, NULL);
2413                         return v->val.type;
2414                 }
2415                 if (v->val.type == Tnone && v->where_decl == prog)
2416                         type_err(c, "error: variable used but not declared: %v",
2417                                  prog, NULL, 0, NULL);
2418                 if (v->val.type == NULL) {
2419                         if (type && *ok != 0) {
2420                                 v->val = val_prepare(type);
2421                                 v->where_set = prog;
2422                                 *ok = 2;
2423                         }
2424                         return type;
2425                 }
2426                 if (!type_compat(type, v->val.type, rules)) {
2427                         type_err(c, "error: expected %1%r but variable '%v' is %2", prog,
2428                                  type, rules, v->val.type);
2429                         type_err(c, "info: this is where '%v' was set to %1", v->where_set,
2430                                  v->val.type, rules, NULL);
2431                 }
2432                 if (!type)
2433                         return v->val.type;
2434                 return type;
2435         }
2436
2437 ###### interp exec cases
2438         case Xvar:
2439         {
2440                 struct var *var = cast(var, e);
2441                 struct variable *v = var->var;
2442
2443                 if (v->merged)
2444                         v = v->merged;
2445                 lrv = &v->val;
2446                 break;
2447         }
2448
2449 ###### ast functions
2450
2451         static void free_var(struct var *v)
2452         {
2453                 free(v);
2454         }
2455
2456 ###### free exec cases
2457         case Xvar: free_var(cast(var, e)); break;
2458
2459 ### Expressions: Conditional
2460
2461 Our first user of the `binode` will be conditional expressions, which
2462 is a bit odd as they actually have three components.  That will be
2463 handled by having 2 binodes for each expression.  The conditional
2464 expression is the lowest precedence operatior, so it gets to define
2465 what an "Expression" is.  The next level up is "BoolExpr", which
2466 comes next.
2467
2468 Conditional expressions are of the form "value `if` condition `else`
2469 other_value".  They associate to the right, so everything to the right
2470 of `else` is part of an else value, while only the BoolExpr to the
2471 left of `if` is the if values.  Between `if` and `else` there is no
2472 room for ambiguity, so a full conditional expression is allowed in there.
2473
2474 ###### Binode types
2475         CondExpr,
2476
2477 ###### Grammar
2478
2479         $LEFT if $$ifelse
2480         ## expr precedence
2481
2482         $*exec
2483         Expression -> Expression if Expression else Expression $$ifelse ${ {
2484                         struct binode *b1 = new(binode);
2485                         struct binode *b2 = new(binode);
2486                         b1->op = CondExpr;
2487                         b1->left = $<3;
2488                         b1->right = b2;
2489                         b2->op = CondExpr;
2490                         b2->left = $<1;
2491                         b2->right = $<5;
2492                         $0 = b1;
2493                 } }$
2494                 ## expression grammar
2495
2496 ###### print binode cases
2497
2498         case CondExpr:
2499                 b2 = cast(binode, b->right);
2500                 if (bracket) printf("(");
2501                 print_exec(b2->left, -1, bracket);
2502                 printf(" if ");
2503                 print_exec(b->left, -1, bracket);
2504                 printf(" else ");
2505                 print_exec(b2->right, -1, bracket);
2506                 if (bracket) printf(")");
2507                 break;
2508
2509 ###### propagate binode cases
2510
2511         case CondExpr: {
2512                 /* cond must be Tbool, others must match */
2513                 struct binode *b2 = cast(binode, b->right);
2514                 struct type *t2;
2515
2516                 propagate_types(b->left, c, ok, Tbool, 0);
2517                 t = propagate_types(b2->left, c, ok, type, Rnolabel);
2518                 t2 = propagate_types(b2->right, c, ok, type ?: t, Rnolabel);
2519                 return t ?: t2;
2520         }
2521
2522 ###### interp binode cases
2523
2524         case CondExpr: {
2525                 struct binode *b2 = cast(binode, b->right);
2526                 left = interp_exec(b->left);
2527                 if (left.bool)
2528                         rv = interp_exec(b2->left);
2529                 else
2530                         rv = interp_exec(b2->right);
2531                 }
2532                 break;
2533
2534 ### Expressions: Boolean
2535
2536 The next class of expressions to use the `binode` will be Boolean
2537 expressions.  As I haven't implemented precedence in the parser
2538 generator yet, we need different names for each precedence level used
2539 by expressions.  The outer most or lowest level precedence after
2540 conditional expressions are Boolean operators which form an `BoolExpr`
2541 out of `BTerm`s and `BFact`s.  As well as `or` `and`, and `not` we
2542 have `and then` and `or else` which only evaluate the second operand
2543 if the result would make a difference.
2544
2545 ###### Binode types
2546         And,
2547         AndThen,
2548         Or,
2549         OrElse,
2550         Not,
2551
2552 ###### expr precedence
2553         $LEFT or
2554         $LEFT and
2555         $LEFT not
2556
2557 ###### expression grammar
2558                 | Expression or Expression ${ {
2559                         struct binode *b = new(binode);
2560                         b->op = Or;
2561                         b->left = $<1;
2562                         b->right = $<3;
2563                         $0 = b;
2564                 } }$
2565                 | Expression or else Expression ${ {
2566                         struct binode *b = new(binode);
2567                         b->op = OrElse;
2568                         b->left = $<1;
2569                         b->right = $<4;
2570                         $0 = b;
2571                 } }$
2572
2573                 | Expression and Expression ${ {
2574                         struct binode *b = new(binode);
2575                         b->op = And;
2576                         b->left = $<1;
2577                         b->right = $<3;
2578                         $0 = b;
2579                 } }$
2580                 | Expression and then Expression ${ {
2581                         struct binode *b = new(binode);
2582                         b->op = AndThen;
2583                         b->left = $<1;
2584                         b->right = $<4;
2585                         $0 = b;
2586                 } }$
2587
2588                 | not Expression ${ {
2589                         struct binode *b = new(binode);
2590                         b->op = Not;
2591                         b->right = $<2;
2592                         $0 = b;
2593                 } }$
2594
2595 ###### print binode cases
2596         case And:
2597                 if (bracket) printf("(");
2598                 print_exec(b->left, -1, bracket);
2599                 printf(" and ");
2600                 print_exec(b->right, -1, bracket);
2601                 if (bracket) printf(")");
2602                 break;
2603         case AndThen:
2604                 if (bracket) printf("(");
2605                 print_exec(b->left, -1, bracket);
2606                 printf(" and then ");
2607                 print_exec(b->right, -1, bracket);
2608                 if (bracket) printf(")");
2609                 break;
2610         case Or:
2611                 if (bracket) printf("(");
2612                 print_exec(b->left, -1, bracket);
2613                 printf(" or ");
2614                 print_exec(b->right, -1, bracket);
2615                 if (bracket) printf(")");
2616                 break;
2617         case OrElse:
2618                 if (bracket) printf("(");
2619                 print_exec(b->left, -1, bracket);
2620                 printf(" or else ");
2621                 print_exec(b->right, -1, bracket);
2622                 if (bracket) printf(")");
2623                 break;
2624         case Not:
2625                 if (bracket) printf("(");
2626                 printf("not ");
2627                 print_exec(b->right, -1, bracket);
2628                 if (bracket) printf(")");
2629                 break;
2630
2631 ###### propagate binode cases
2632         case And:
2633         case AndThen:
2634         case Or:
2635         case OrElse:
2636         case Not:
2637                 /* both must be Tbool, result is Tbool */
2638                 propagate_types(b->left, c, ok, Tbool, 0);
2639                 propagate_types(b->right, c, ok, Tbool, 0);
2640                 if (type && type != Tbool)
2641                         type_err(c, "error: %1 operation found where %2 expected", prog,
2642                                    Tbool, 0, type);
2643                 return Tbool;
2644
2645 ###### interp binode cases
2646         case And:
2647                 rv = interp_exec(b->left);
2648                 right = interp_exec(b->right);
2649                 rv.bool = rv.bool && right.bool;
2650                 break;
2651         case AndThen:
2652                 rv = interp_exec(b->left);
2653                 if (rv.bool)
2654                         rv = interp_exec(b->right);
2655                 break;
2656         case Or:
2657                 rv = interp_exec(b->left);
2658                 right = interp_exec(b->right);
2659                 rv.bool = rv.bool || right.bool;
2660                 break;
2661         case OrElse:
2662                 rv = interp_exec(b->left);
2663                 if (!rv.bool)
2664                         rv = interp_exec(b->right);
2665                 break;
2666         case Not:
2667                 rv = interp_exec(b->right);
2668                 rv.bool = !rv.bool;
2669                 break;
2670
2671 ### Expressions: Comparison
2672
2673 Of slightly higher precedence that Boolean expressions are
2674 Comparisons.
2675 A comparison takes arguments of any comparable type, but the two types must be
2676 the same.
2677
2678 To simplify the parsing we introduce an `eop` which can record an
2679 expression operator.
2680
2681 ###### ast
2682         struct eop {
2683                 enum Btype op;
2684         };
2685
2686 ###### ast functions
2687         static void free_eop(struct eop *e)
2688         {
2689                 if (e)
2690                         free(e);
2691         }
2692
2693 ###### Binode types
2694         Less,
2695         Gtr,
2696         LessEq,
2697         GtrEq,
2698         Eql,
2699         NEql,
2700
2701 ###### expr precedence
2702         $LEFT < > <= >= == != CMPop
2703
2704 ###### expression grammar
2705         | Expression CMPop Expression ${ {
2706                 struct binode *b = new(binode);
2707                 b->op = $2.op;
2708                 b->left = $<1;
2709                 b->right = $<3;
2710                 $0 = b;
2711         } }$
2712
2713 ###### Grammar
2714
2715         $eop
2716         CMPop ->   < ${ $0.op = Less; }$
2717                 |  > ${ $0.op = Gtr; }$
2718                 |  <= ${ $0.op = LessEq; }$
2719                 |  >= ${ $0.op = GtrEq; }$
2720                 |  == ${ $0.op = Eql; }$
2721                 |  != ${ $0.op = NEql; }$
2722
2723 ###### print binode cases
2724
2725         case Less:
2726         case LessEq:
2727         case Gtr:
2728         case GtrEq:
2729         case Eql:
2730         case NEql:
2731                 if (bracket) printf("(");
2732                 print_exec(b->left, -1, bracket);
2733                 switch(b->op) {
2734                 case Less:   printf(" < "); break;
2735                 case LessEq: printf(" <= "); break;
2736                 case Gtr:    printf(" > "); break;
2737                 case GtrEq:  printf(" >= "); break;
2738                 case Eql:    printf(" == "); break;
2739                 case NEql:   printf(" != "); break;
2740                 default: abort();               // NOTEST
2741                 }
2742                 print_exec(b->right, -1, bracket);
2743                 if (bracket) printf(")");
2744                 break;
2745
2746 ###### propagate binode cases
2747         case Less:
2748         case LessEq:
2749         case Gtr:
2750         case GtrEq:
2751         case Eql:
2752         case NEql:
2753                 /* Both must match but not be labels, result is Tbool */
2754                 t = propagate_types(b->left, c, ok, NULL, Rnolabel);
2755                 if (t)
2756                         propagate_types(b->right, c, ok, t, 0);
2757                 else {
2758                         t = propagate_types(b->right, c, ok, NULL, Rnolabel);
2759                         if (t)
2760                                 t = propagate_types(b->left, c, ok, t, 0);
2761                 }
2762                 if (!type_compat(type, Tbool, 0))
2763                         type_err(c, "error: Comparison returns %1 but %2 expected", prog,
2764                                     Tbool, rules, type);
2765                 return Tbool;
2766
2767 ###### interp binode cases
2768         case Less:
2769         case LessEq:
2770         case Gtr:
2771         case GtrEq:
2772         case Eql:
2773         case NEql:
2774         {
2775                 int cmp;
2776                 left = interp_exec(b->left);
2777                 right = interp_exec(b->right);
2778                 cmp = value_cmp(left, right);
2779                 rv.type = Tbool;
2780                 switch (b->op) {
2781                 case Less:      rv.bool = cmp <  0; break;
2782                 case LessEq:    rv.bool = cmp <= 0; break;
2783                 case Gtr:       rv.bool = cmp >  0; break;
2784                 case GtrEq:     rv.bool = cmp >= 0; break;
2785                 case Eql:       rv.bool = cmp == 0; break;
2786                 case NEql:      rv.bool = cmp != 0; break;
2787                 default: rv.bool = 0; break;    // NOTEST
2788                 }
2789                 break;
2790         }
2791
2792 ### Expressions: The rest
2793
2794 The remaining expressions with the highest precedence are arithmetic
2795 and string concatenation.  They are `Expr`, `Term`, and `Factor`.
2796 The `Factor` is where the `Value` and `Variable` that we already have
2797 are included.
2798
2799 `+` and `-` are both infix and prefix operations (where they are
2800 absolute value and negation).  These have different operator names.
2801
2802 We also have a 'Bracket' operator which records where parentheses were
2803 found.  This makes it easy to reproduce these when printing.  Once
2804 precedence is handled better I might be able to discard this.
2805
2806 ###### Binode types
2807         Plus, Minus,
2808         Times, Divide, Rem,
2809         Concat,
2810         Absolute, Negate,
2811         Bracket,
2812
2813 ###### expr precedence
2814         $LEFT + - Eop
2815         $LEFT * / % ++ Top
2816         $LEFT Uop
2817
2818 ###### expression grammar
2819                 | Expression Eop Expression ${ {
2820                         struct binode *b = new(binode);
2821                         b->op = $2.op;
2822                         b->left = $<1;
2823                         b->right = $<3;
2824                         $0 = b;
2825                 } }$
2826
2827                 | Expression Top Expression ${ {
2828                         struct binode *b = new(binode);
2829                         b->op = $2.op;
2830                         b->left = $<1;
2831                         b->right = $<3;
2832                         $0 = b;
2833                 } }$
2834
2835                 | ( Expression ) ${ {
2836                         struct binode *b = new_pos(binode, $1);
2837                         b->op = Bracket;
2838                         b->right = $<2;
2839                         $0 = b;
2840                 } }$
2841                 | Uop Expression ${ {
2842                         struct binode *b = new(binode);
2843                         b->op = $1.op;
2844                         b->right = $<2;
2845                         $0 = b;
2846                 } }$
2847                 | Value ${ $0 = $<1; }$
2848                 | Variable ${ $0 = $<1; }$
2849
2850         $eop
2851         Eop ->    + ${ $0.op = Plus; }$
2852                 | - ${ $0.op = Minus; }$
2853
2854         Uop ->    + ${ $0.op = Absolute; }$
2855                 | - ${ $0.op = Negate; }$
2856
2857         Top ->    * ${ $0.op = Times; }$
2858                 | / ${ $0.op = Divide; }$
2859                 | % ${ $0.op = Rem; }$
2860                 | ++ ${ $0.op = Concat; }$
2861
2862 ###### print binode cases
2863         case Plus:
2864         case Minus:
2865         case Times:
2866         case Divide:
2867         case Concat:
2868         case Rem:
2869                 if (bracket) printf("(");
2870                 print_exec(b->left, indent, bracket);
2871                 switch(b->op) {
2872                 case Plus:   fputs(" + ", stdout); break;
2873                 case Minus:  fputs(" - ", stdout); break;
2874                 case Times:  fputs(" * ", stdout); break;
2875                 case Divide: fputs(" / ", stdout); break;
2876                 case Rem:    fputs(" % ", stdout); break;
2877                 case Concat: fputs(" ++ ", stdout); break;
2878                 default: abort();       // NOTEST
2879                 }                       // NOTEST
2880                 print_exec(b->right, indent, bracket);
2881                 if (bracket) printf(")");
2882                 break;
2883         case Absolute:
2884                 if (bracket) printf("(");
2885                 printf("+");
2886                 print_exec(b->right, indent, bracket);
2887                 if (bracket) printf(")");
2888                 break;
2889         case Negate:
2890                 if (bracket) printf("(");
2891                 printf("-");
2892                 print_exec(b->right, indent, bracket);
2893                 if (bracket) printf(")");
2894                 break;
2895         case Bracket:
2896                 printf("(");
2897                 print_exec(b->right, indent, bracket);
2898                 printf(")");
2899                 break;
2900
2901 ###### propagate binode cases
2902         case Plus:
2903         case Minus:
2904         case Times:
2905         case Rem:
2906         case Divide:
2907                 /* both must be numbers, result is Tnum */
2908         case Absolute:
2909         case Negate:
2910                 /* as propagate_types ignores a NULL,
2911                  * unary ops fit here too */
2912                 propagate_types(b->left, c, ok, Tnum, 0);
2913                 propagate_types(b->right, c, ok, Tnum, 0);
2914                 if (!type_compat(type, Tnum, 0))
2915                         type_err(c, "error: Arithmetic returns %1 but %2 expected", prog,
2916                                    Tnum, rules, type);
2917                 return Tnum;
2918
2919         case Concat:
2920                 /* both must be Tstr, result is Tstr */
2921                 propagate_types(b->left, c, ok, Tstr, 0);
2922                 propagate_types(b->right, c, ok, Tstr, 0);
2923                 if (!type_compat(type, Tstr, 0))
2924                         type_err(c, "error: Concat returns %1 but %2 expected", prog,
2925                                    Tstr, rules, type);
2926                 return Tstr;
2927
2928         case Bracket:
2929                 return propagate_types(b->right, c, ok, type, 0);
2930
2931 ###### interp binode cases
2932
2933         case Plus:
2934                 rv = interp_exec(b->left);
2935                 right = interp_exec(b->right);
2936                 mpq_add(rv.num, rv.num, right.num);
2937                 break;
2938         case Minus:
2939                 rv = interp_exec(b->left);
2940                 right = interp_exec(b->right);
2941                 mpq_sub(rv.num, rv.num, right.num);
2942                 break;
2943         case Times:
2944                 rv = interp_exec(b->left);
2945                 right = interp_exec(b->right);
2946                 mpq_mul(rv.num, rv.num, right.num);
2947                 break;
2948         case Divide:
2949                 rv = interp_exec(b->left);
2950                 right = interp_exec(b->right);
2951                 mpq_div(rv.num, rv.num, right.num);
2952                 break;
2953         case Rem: {
2954                 mpz_t l, r, rem;
2955
2956                 left = interp_exec(b->left);
2957                 right = interp_exec(b->right);
2958                 mpz_init(l); mpz_init(r); mpz_init(rem);
2959                 mpz_tdiv_q(l, mpq_numref(left.num), mpq_denref(left.num));
2960                 mpz_tdiv_q(r, mpq_numref(right.num), mpq_denref(right.num));
2961                 mpz_tdiv_r(rem, l, r);
2962                 rv = val_init(Tnum);
2963                 mpq_set_z(rv.num, rem);
2964                 mpz_clear(r); mpz_clear(l); mpz_clear(rem);
2965                 break;
2966         }
2967         case Negate:
2968                 rv = interp_exec(b->right);
2969                 mpq_neg(rv.num, rv.num);
2970                 break;
2971         case Absolute:
2972                 rv = interp_exec(b->right);
2973                 mpq_abs(rv.num, rv.num);
2974                 break;
2975         case Bracket:
2976                 rv = interp_exec(b->right);
2977                 break;
2978         case Concat:
2979                 left = interp_exec(b->left);
2980                 right = interp_exec(b->right);
2981                 rv.type = Tstr;
2982                 rv.str = text_join(left.str, right.str);
2983                 break;
2984
2985 ###### value functions
2986
2987         static struct text text_join(struct text a, struct text b)
2988         {
2989                 struct text rv;
2990                 rv.len = a.len + b.len;
2991                 rv.txt = malloc(rv.len);
2992                 memcpy(rv.txt, a.txt, a.len);
2993                 memcpy(rv.txt+a.len, b.txt, b.len);
2994                 return rv;
2995         }
2996
2997 ### Blocks, Statements, and Statement lists.
2998
2999 Now that we have expressions out of the way we need to turn to
3000 statements.  There are simple statements and more complex statements.
3001 Simple statements do not contain (syntactic) newlines, complex statements do.
3002
3003 Statements often come in sequences and we have corresponding simple
3004 statement lists and complex statement lists.
3005 The former comprise only simple statements separated by semicolons.
3006 The later comprise complex statements and simple statement lists.  They are
3007 separated by newlines.  Thus the semicolon is only used to separate
3008 simple statements on the one line.  This may be overly restrictive,
3009 but I'm not sure I ever want a complex statement to share a line with
3010 anything else.
3011
3012 Note that a simple statement list can still use multiple lines if
3013 subsequent lines are indented, so
3014
3015 ###### Example: wrapped simple statement list
3016
3017         a = b; c = d;
3018            e = f; print g
3019
3020 is a single simple statement list.  This might allow room for
3021 confusion, so I'm not set on it yet.
3022
3023 A simple statement list needs no extra syntax.  A complex statement
3024 list has two syntactic forms.  It can be enclosed in braces (much like
3025 C blocks), or it can be introduced by a colon and continue until an
3026 unindented newline (much like Python blocks).  With this extra syntax
3027 it is referred to as a block.
3028
3029 Note that a block does not have to include any newlines if it only
3030 contains simple statements.  So both of:
3031
3032         if condition: a=b; d=f
3033
3034         if condition { a=b; print f }
3035
3036 are valid.
3037
3038 In either case the list is constructed from a `binode` list with
3039 `Block` as the operator.  When parsing the list it is most convenient
3040 to append to the end, so a list is a list and a statement.  When using
3041 the list it is more convenient to consider a list to be a statement
3042 and a list.  So we need a function to re-order a list.
3043 `reorder_bilist` serves this purpose.
3044
3045 The only stand-alone statement we introduce at this stage is `pass`
3046 which does nothing and is represented as a `NULL` pointer in a `Block`
3047 list.  Other stand-alone statements will follow once the infrastructure
3048 is in-place.
3049
3050 ###### Binode types
3051         Block,
3052
3053 ###### Grammar
3054
3055         $*binode
3056         Block -> Open Statementlist Close ${ $0 = $<2; }$
3057                 | Open SimpleStatements } ${ $0 = reorder_bilist($<2); }$
3058                 | : SimpleStatements $$NEWLINE ${ $0 = reorder_bilist($<2); }$
3059                 | : Statementlist $$NEWLINE ${ $0 = $<2; }$
3060
3061         Statementlist -> ComplexStatements ${ $0 = reorder_bilist($<1); }$
3062                 | NEWLINE Statementlist ${ $0 = $<2; }$
3063
3064         ComplexStatements -> ComplexStatements ComplexStatement ${
3065                         if ($2 == NULL) {
3066                                 $0 = $<1;
3067                         } else {
3068                                 $0 = new(binode);
3069                                 $0->op = Block;
3070                                 $0->left = $<1;
3071                                 $0->right = $<2;
3072                         }
3073                 }$
3074                 | ComplexStatement ${
3075                         if ($1 == NULL) {
3076                                 $0 = NULL;
3077                         } else {
3078                                 $0 = new(binode);
3079                                 $0->op = Block;
3080                                 $0->left = NULL;
3081                                 $0->right = $<1;
3082                         }
3083                 }$
3084
3085         $*exec
3086         ComplexStatement -> SimpleStatementLine ${
3087                         $0 = reorder_bilist($<1);
3088                         }$
3089                 | ComplexStatement NEWLINE ${ $0 = $<1; }$
3090                 ## ComplexStatement Grammar
3091
3092         $*binode
3093         SimpleStatements -> SimpleStatements ; SimpleStatement ${
3094                         $0 = new(binode);
3095                         $0->op = Block;
3096                         $0->left = $<1;
3097                         $0->right = $<3;
3098                         }$
3099                 | SimpleStatement ${
3100                         $0 = new(binode);
3101                         $0->op = Block;
3102                         $0->left = NULL;
3103                         $0->right = $<1;
3104                         }$
3105                 | SimpleStatements ; ${ $0 = $<1; }$
3106
3107         SimpleStatementLine -> SimpleStatements NEWLINE ${ $0 = $<1; }$
3108                 | SimpleStatementLine NEWLINE ${ $0 = $<1; }$
3109
3110         SimpleStatement -> pass ${ $0 = NULL; }$
3111                 | ERROR ${ tok_err(c, "Syntax error in statement", &$1); }$
3112                 ## SimpleStatement Grammar
3113
3114 ###### print binode cases
3115         case Block:
3116                 if (indent < 0) {
3117                         // simple statement
3118                         if (b->left == NULL)
3119                                 printf("pass");
3120                         else
3121                                 print_exec(b->left, indent, bracket);
3122                         if (b->right) {
3123                                 printf("; ");
3124                                 print_exec(b->right, indent, bracket);
3125                         }
3126                 } else {
3127                         // block, one per line
3128                         if (b->left == NULL)
3129                                 do_indent(indent, "pass\n");
3130                         else
3131                                 print_exec(b->left, indent, bracket);
3132                         if (b->right)
3133                                 print_exec(b->right, indent, bracket);
3134                 }
3135                 break;
3136
3137 ###### propagate binode cases
3138         case Block:
3139         {
3140                 /* If any statement returns something other than Tnone
3141                  * or Tbool then all such must return same type.
3142                  * As each statement may be Tnone or something else,
3143                  * we must always pass NULL (unknown) down, otherwise an incorrect
3144                  * error might occur.  We never return Tnone unless it is
3145                  * passed in.
3146                  */
3147                 struct binode *e;
3148
3149                 for (e = b; e; e = cast(binode, e->right)) {
3150                         t = propagate_types(e->left, c, ok, NULL, rules);
3151                         if ((rules & Rboolok) && t == Tbool)
3152                                 t = NULL;
3153                         if (t && t != Tnone && t != Tbool) {
3154                                 if (!type)
3155                                         type = t;
3156                                 else if (t != type)
3157                                         type_err(c, "error: expected %1%r, found %2",
3158                                                  e->left, type, rules, t);
3159                         }
3160                 }
3161                 return type;
3162         }
3163
3164 ###### interp binode cases
3165         case Block:
3166                 while (rv.type == Tnone &&
3167                        b) {
3168                         if (b->left)
3169                                 rv = interp_exec(b->left);
3170                         b = cast(binode, b->right);
3171                 }
3172                 break;
3173
3174 ### The Print statement
3175
3176 `print` is a simple statement that takes a comma-separated list of
3177 expressions and prints the values separated by spaces and terminated
3178 by a newline.  No control of formatting is possible.
3179
3180 `print` faces the same list-ordering issue as blocks, and uses the
3181 same solution.
3182
3183 ###### Binode types
3184         Print,
3185
3186 ###### SimpleStatement Grammar
3187
3188         | print ExpressionList ${
3189                 $0 = reorder_bilist($<2);
3190         }$
3191         | print ExpressionList , ${
3192                 $0 = new(binode);
3193                 $0->op = Print;
3194                 $0->right = NULL;
3195                 $0->left = $<2;
3196                 $0 = reorder_bilist($0);
3197         }$
3198         | print ${
3199                 $0 = new(binode);
3200                 $0->op = Print;
3201                 $0->right = NULL;
3202         }$
3203
3204 ###### Grammar
3205
3206         $*binode
3207         ExpressionList -> ExpressionList , Expression ${
3208                 $0 = new(binode);
3209                 $0->op = Print;
3210                 $0->left = $<1;
3211                 $0->right = $<3;
3212                 }$
3213                 | Expression ${
3214                         $0 = new(binode);
3215                         $0->op = Print;
3216                         $0->left = NULL;
3217                         $0->right = $<1;
3218                 }$
3219
3220 ###### print binode cases
3221
3222         case Print:
3223                 do_indent(indent, "print");
3224                 while (b) {
3225                         if (b->left) {
3226                                 printf(" ");
3227                                 print_exec(b->left, -1, bracket);
3228                                 if (b->right)
3229                                         printf(",");
3230                         }
3231                         b = cast(binode, b->right);
3232                 }
3233                 if (indent >= 0)
3234                         printf("\n");
3235                 break;
3236
3237 ###### propagate binode cases
3238
3239         case Print:
3240                 /* don't care but all must be consistent */
3241                 propagate_types(b->left, c, ok, NULL, Rnolabel);
3242                 propagate_types(b->right, c, ok, NULL, Rnolabel);
3243                 break;
3244
3245 ###### interp binode cases
3246
3247         case Print:
3248         {
3249                 char sep = 0;
3250                 int eol = 1;
3251                 for ( ; b; b = cast(binode, b->right))
3252                         if (b->left) {
3253                                 if (sep)
3254                                         putchar(sep);
3255                                 left = interp_exec(b->left);
3256                                 print_value(left);
3257                                 free_value(left);
3258                                 if (b->right)
3259                                         sep = ' ';
3260                         } else if (sep)
3261                                 eol = 0;
3262                 left.type = Tnone;
3263                 if (eol)
3264                         printf("\n");
3265                 break;
3266         }
3267
3268 ###### Assignment statement
3269
3270 An assignment will assign a value to a variable, providing it hasn't
3271 be declared as a constant.  The analysis phase ensures that the type
3272 will be correct so the interpreter just needs to perform the
3273 calculation.  There is a form of assignment which declares a new
3274 variable as well as assigning a value.  If a name is assigned before
3275 it is declared, and error will be raised as the name is created as
3276 `Tlabel` and it is illegal to assign to such names.
3277
3278 ###### Binode types
3279         Assign,
3280         Declare,
3281
3282 ###### SimpleStatement Grammar
3283         | Variable = Expression ${
3284                         $0 = new(binode);
3285                         $0->op = Assign;
3286                         $0->left = $<1;
3287                         $0->right = $<3;
3288                 }$
3289         | VariableDecl = Expression ${
3290                         $0 = new(binode);
3291                         $0->op = Declare;
3292                         $0->left = $<1;
3293                         $0->right =$<3;
3294                 }$
3295
3296         | VariableDecl ${
3297                         if ($1->var->where_set == NULL) {
3298                                 type_err(c,
3299                                          "Variable declared with no type or value: %v",
3300                                          $1, NULL, 0, NULL);
3301                         } else {
3302                                 $0 = new(binode);
3303                                 $0->op = Declare;
3304                                 $0->left = $<1;
3305                                 $0->right = NULL;
3306                         }
3307                 }$
3308
3309 ###### print binode cases
3310
3311         case Assign:
3312                 do_indent(indent, "");
3313                 print_exec(b->left, indent, bracket);
3314                 printf(" = ");
3315                 print_exec(b->right, indent, bracket);
3316                 if (indent >= 0)
3317                         printf("\n");
3318                 break;
3319
3320         case Declare:
3321                 {
3322                 struct variable *v = cast(var, b->left)->var;
3323                 do_indent(indent, "");
3324                 print_exec(b->left, indent, bracket);
3325                 if (cast(var, b->left)->var->constant) {
3326                         if (v->where_decl == v->where_set) {
3327                                 printf("::");
3328                                 type_print(v->val.type, stdout);
3329                                 printf(" ");
3330                         } else
3331                                 printf(" ::");
3332                 } else {
3333                         if (v->where_decl == v->where_set) {
3334                                 printf(":");
3335                                 type_print(v->val.type, stdout);
3336                                 printf(" ");
3337                         } else
3338                                 printf(" :");
3339                 }
3340                 if (b->right) {
3341                         printf("= ");
3342                         print_exec(b->right, indent, bracket);
3343                 }
3344                 if (indent >= 0)
3345                         printf("\n");
3346                 }
3347                 break;
3348
3349 ###### propagate binode cases
3350
3351         case Assign:
3352         case Declare:
3353                 /* Both must match and not be labels,
3354                  * Type must support 'dup',
3355                  * For Assign, left must not be constant.
3356                  * result is Tnone
3357                  */
3358                 t = propagate_types(b->left, c, ok, NULL,
3359                                     Rnolabel | (b->op == Assign ? Rnoconstant : 0));
3360                 if (!b->right)
3361                         return Tnone;
3362
3363                 if (t) {
3364                         if (propagate_types(b->right, c, ok, t, 0) != t)
3365                                 if (b->left->type == Xvar)
3366                                         type_err(c, "info: variable '%v' was set as %1 here.",
3367                                                  cast(var, b->left)->var->where_set, t, rules, NULL);
3368                 } else {
3369                         t = propagate_types(b->right, c, ok, NULL, Rnolabel);
3370                         if (t)
3371                                 propagate_types(b->left, c, ok, t,
3372                                                 (b->op == Assign ? Rnoconstant : 0));
3373                 }
3374                 if (t && t->dup == NULL)
3375                         type_err(c, "error: cannot assign value of type %1", b, t, 0, NULL);
3376                 return Tnone;
3377
3378                 break;
3379
3380 ###### interp binode cases
3381
3382         case Assign:
3383                 lleft = linterp_exec(b->left);
3384                 right = interp_exec(b->right);
3385                 if (lleft) {
3386                         free_value(*lleft);
3387                         *lleft = right;
3388                 } else
3389                         free_value(right);      // NOTEST
3390                 right.type = NULL;
3391                 break;
3392
3393         case Declare:
3394         {
3395                 struct variable *v = cast(var, b->left)->var;
3396                 if (v->merged)
3397                         v = v->merged;
3398                 if (b->right)
3399                         right = interp_exec(b->right);
3400                 else
3401                         right = val_init(v->val.type);
3402                 free_value(v->val);
3403                 v->val = right;
3404                 right.type = NULL;
3405                 break;
3406         }
3407
3408 ### The `use` statement
3409
3410 The `use` statement is the last "simple" statement.  It is needed when
3411 the condition in a conditional statement is a block.  `use` works much
3412 like `return` in C, but only completes the `condition`, not the whole
3413 function.
3414
3415 ###### Binode types
3416         Use,
3417
3418 ###### SimpleStatement Grammar
3419         | use Expression ${
3420                 $0 = new_pos(binode, $1);
3421                 $0->op = Use;
3422                 $0->right = $<2;
3423                 if ($0->right->type == Xvar) {
3424                         struct var *v = cast(var, $0->right);
3425                         if (v->var->val.type == Tnone) {
3426                                 /* Convert this to a label */
3427                                 v->var->val = val_prepare(Tlabel);
3428                                 v->var->val.label = &v->var->val;
3429                         }
3430                 }
3431         }$
3432
3433 ###### print binode cases
3434
3435         case Use:
3436                 do_indent(indent, "use ");
3437                 print_exec(b->right, -1, bracket);
3438                 if (indent >= 0)
3439                         printf("\n");
3440                 break;
3441
3442 ###### propagate binode cases
3443
3444         case Use:
3445                 /* result matches value */
3446                 return propagate_types(b->right, c, ok, type, 0);
3447
3448 ###### interp binode cases
3449
3450         case Use:
3451                 rv = interp_exec(b->right);
3452                 break;
3453
3454 ### The Conditional Statement
3455
3456 This is the biggy and currently the only complex statement.  This
3457 subsumes `if`, `while`, `do/while`, `switch`, and some parts of `for`.
3458 It is comprised of a number of parts, all of which are optional though
3459 set combinations apply.  Each part is (usually) a key word (`then` is
3460 sometimes optional) followed by either an expression or a code block,
3461 except the `casepart` which is a "key word and an expression" followed
3462 by a code block.  The code-block option is valid for all parts and,
3463 where an expression is also allowed, the code block can use the `use`
3464 statement to report a value.  If the code block does not report a value
3465 the effect is similar to reporting `True`.
3466
3467 The `else` and `case` parts, as well as `then` when combined with
3468 `if`, can contain a `use` statement which will apply to some
3469 containing conditional statement. `for` parts, `do` parts and `then`
3470 parts used with `for` can never contain a `use`, except in some
3471 subordinate conditional statement.
3472
3473 If there is a `forpart`, it is executed first, only once.
3474 If there is a `dopart`, then it is executed repeatedly providing
3475 always that the `condpart` or `cond`, if present, does not return a non-True
3476 value.  `condpart` can fail to return any value if it simply executes
3477 to completion.  This is treated the same as returning `True`.
3478
3479 If there is a `thenpart` it will be executed whenever the `condpart`
3480 or `cond` returns True (or does not return any value), but this will happen
3481 *after* `dopart` (when present).
3482
3483 If `elsepart` is present it will be executed at most once when the
3484 condition returns `False` or some value that isn't `True` and isn't
3485 matched by any `casepart`.  If there are any `casepart`s, they will be
3486 executed when the condition returns a matching value.
3487
3488 The particular sorts of values allowed in case parts has not yet been
3489 determined in the language design, so nothing is prohibited.
3490
3491 The various blocks in this complex statement potentially provide scope
3492 for variables as described earlier.  Each such block must include the
3493 "OpenScope" nonterminal before parsing the block, and must call
3494 `var_block_close()` when closing the block.
3495
3496 The code following "`if`", "`switch`" and "`for`" does not get its own
3497 scope, but is in a scope covering the whole statement, so names
3498 declared there cannot be redeclared elsewhere.  Similarly the
3499 condition following "`while`" is in a scope the covers the body
3500 ("`do`" part) of the loop, and which does not allow conditional scope
3501 extension.  Code following "`then`" (both looping and non-looping),
3502 "`else`" and "`case`" each get their own local scope.
3503
3504 The type requirements on the code block in a `whilepart` are quite
3505 unusal.  It is allowed to return a value of some identifiable type, in
3506 which case the loop aborts and an appropriate `casepart` is run, or it
3507 can return a Boolean, in which case the loop either continues to the
3508 `dopart` (on `True`) or aborts and runs the `elsepart` (on `False`).
3509 This is different both from the `ifpart` code block which is expected to
3510 return a Boolean, or the `switchpart` code block which is expected to
3511 return the same type as the casepart values.  The correct analysis of
3512 the type of the `whilepart` code block is the reason for the
3513 `Rboolok` flag which is passed to `propagate_types()`.
3514
3515 The `cond_statement` cannot fit into a `binode` so a new `exec` is
3516 defined.
3517
3518 ###### exec type
3519         Xcond_statement,
3520
3521 ###### ast
3522         struct casepart {
3523                 struct exec *value;
3524                 struct exec *action;
3525                 struct casepart *next;
3526         };
3527         struct cond_statement {
3528                 struct exec;
3529                 struct exec *forpart, *condpart, *dopart, *thenpart, *elsepart;
3530                 struct casepart *casepart;
3531         };
3532
3533 ###### ast functions
3534
3535         static void free_casepart(struct casepart *cp)
3536         {
3537                 while (cp) {
3538                         struct casepart *t;
3539                         free_exec(cp->value);
3540                         free_exec(cp->action);
3541                         t = cp->next;
3542                         free(cp);
3543                         cp = t;
3544                 }
3545         }
3546
3547         static void free_cond_statement(struct cond_statement *s)
3548         {
3549                 if (!s)
3550                         return;
3551                 free_exec(s->forpart);
3552                 free_exec(s->condpart);
3553                 free_exec(s->dopart);
3554                 free_exec(s->thenpart);
3555                 free_exec(s->elsepart);
3556                 free_casepart(s->casepart);
3557                 free(s);
3558         }
3559
3560 ###### free exec cases
3561         case Xcond_statement: free_cond_statement(cast(cond_statement, e)); break;
3562
3563 ###### ComplexStatement Grammar
3564         | CondStatement ${ $0 = $<1; }$
3565
3566 ###### Grammar
3567
3568         $*cond_statement
3569         // both ForThen and Whilepart open scopes, and CondSuffix only
3570         // closes one - so in the first branch here we have another to close.
3571         CondStatement -> ForPart ThenPart WhilePart CondSuffix ${
3572                         $0 = $<4;
3573                         $0->forpart = $<1;
3574                         $0->thenpart = $<2;
3575                         $0->condpart = $3.condpart; $3.condpart = NULL;
3576                         $0->dopart = $3.dopart; $3.dopart = NULL;
3577                         var_block_close(c, CloseSequential);
3578                         }$
3579                 |  ForPart WhilePart CondSuffix ${
3580                         $0 = $<3;
3581                         $0->forpart = $<1;
3582                         $0->thenpart = NULL;
3583                         $0->condpart = $2.condpart; $2.condpart = NULL;
3584                         $0->dopart = $2.dopart; $2.dopart = NULL;
3585                         var_block_close(c, CloseSequential);
3586                         }$
3587                 | WhilePart CondSuffix ${
3588                         $0 = $<2;
3589                         $0->condpart = $1.condpart; $1.condpart = NULL;
3590                         $0->dopart = $1.dopart; $1.dopart = NULL;
3591                         }$
3592                 | SwitchPart CasePart CondSuffix ${
3593                         $0 = $<3;
3594                         $0->condpart = $<1;
3595                         $2->next = $0->casepart;
3596                         $0->casepart = $<2;
3597                         }$
3598                 | IfPart IfSuffix ${
3599                         $0 = $<2;
3600                         $0->condpart = $1.condpart; $1.condpart = NULL;
3601                         $0->thenpart = $1.thenpart; $1.thenpart = NULL;
3602                         // This is where we close an "if" statement
3603                         var_block_close(c, CloseSequential);
3604                         }$
3605
3606         CondSuffix -> IfSuffix ${
3607                         $0 = $<1;
3608                         // This is where we close scope of the whole
3609                         // "for" or "while" statement
3610                         var_block_close(c, CloseSequential);
3611                 }$
3612                 | CasePart CondSuffix ${
3613                         $0 = $<2;
3614                         $1->next = $0->casepart;
3615                         $0->casepart = $<1;
3616                 }$
3617
3618         $*casepart
3619         CasePart -> case Expression OpenScope Block ${
3620                         $0 = calloc(1,sizeof(struct casepart));
3621                         $0->value = $<2;
3622                         $0->action = $<4;
3623                         var_block_close(c, CloseParallel);
3624                 }$
3625                 | CasePart NEWLINE ${ $0 = $<1; }$
3626
3627         $*cond_statement
3628         IfSuffix ->  ${ $0 = new(cond_statement); }$
3629                 | IfSuffix NEWLINE ${ $0 = $<1; }$
3630                 | else OpenScope Block ${
3631                         $0 = new(cond_statement);
3632                         $0->elsepart = $<3;
3633                         var_block_close(c, CloseElse);
3634                 }$
3635                 | else OpenScope CondStatement ${
3636                         $0 = new(cond_statement);
3637                         $0->elsepart = $<3;
3638                         var_block_close(c, CloseElse);
3639                 }$
3640
3641         $*exec
3642         // These scopes are closed in CondSuffix
3643         ForPart -> for OpenScope SimpleStatements ${
3644                         $0 = reorder_bilist($<3);
3645                 }$
3646                 |  for OpenScope Block ${
3647                         $0 = $<3;
3648                 }$
3649                 |  ForPart NEWLINE ${ $0 = $<1; }$
3650
3651         ThenPart -> then OpenScope SimpleStatements ${
3652                         $0 = reorder_bilist($<3);
3653                         var_block_close(c, CloseSequential);
3654                 }$
3655                 |  then OpenScope Block ${
3656                         $0 = $<3;
3657                         var_block_close(c, CloseSequential);
3658                 }$
3659                 |  ThenPart NEWLINE ${ $0 = $<1; }$
3660
3661         // This scope is closed in CondSuffix
3662         WhileHead -> while OpenScope Block ${ $0 = $<3; }$
3663                 | WhileHead NEWLINE ${ $0 = $<1; }$
3664
3665         $cond_statement
3666         // This scope is closed in CondSuffix
3667         WhilePart -> while OpenScope Expression Block ${
3668                         $0.type = Xcond_statement;
3669                         $0.condpart = $<3;
3670                         $0.dopart = $<4;
3671                 }$
3672                 | WhileHead do Block ${
3673                         $0.type = Xcond_statement;
3674                         $0.condpart = $<1;
3675                         $0.dopart = $<3;
3676                 }$
3677                 | WhilePart NEWLINE ${ $0 = $<1; }$
3678
3679         IfPart -> if OpenScope Expression OpenScope Block ${
3680                         $0.type = Xcond_statement;
3681                         $0.condpart = $<3;
3682                         $0.thenpart = $<5;
3683                         var_block_close(c, CloseParallel);
3684                 }$
3685                 | if OpenScope Block then OpenScope Block ${
3686                         $0.type = Xcond_statement;
3687                         $0.condpart = $<3;
3688                         $0.thenpart = $<6;
3689                         var_block_close(c, CloseParallel);
3690                 }$
3691                 | IfPart NEWLINE ${ $0 = $<1; }$
3692
3693         $*exec
3694         // This scope is closed in CondSuffix
3695         SwitchPart -> switch OpenScope Expression ${
3696                         $0 = $<3;
3697                 }$
3698                 | switch OpenScope Block ${
3699                         $0 = $<3;
3700                 }$
3701                 | SwitchPart NEWLINE ${ $0 = $<1; }$
3702
3703 ###### print exec cases
3704
3705         case Xcond_statement:
3706         {
3707                 struct cond_statement *cs = cast(cond_statement, e);
3708                 struct casepart *cp;
3709                 if (cs->forpart) {
3710                         do_indent(indent, "for");
3711                         if (bracket) printf(" {\n"); else printf(":\n");
3712                         print_exec(cs->forpart, indent+1, bracket);
3713                         if (cs->thenpart) {
3714                                 if (bracket)
3715                                         do_indent(indent, "} then {\n");
3716                                 else
3717                                         do_indent(indent, "then:\n");
3718                                 print_exec(cs->thenpart, indent+1, bracket);
3719                         }
3720                         if (bracket) do_indent(indent, "}\n");
3721                 }
3722                 if (cs->dopart) {
3723                         // a loop
3724                         if (cs->condpart && cs->condpart->type == Xbinode &&
3725                             cast(binode, cs->condpart)->op == Block) {
3726                                 if (bracket)
3727                                         do_indent(indent, "while {\n");
3728                                 else
3729                                         do_indent(indent, "while:\n");
3730                                 print_exec(cs->condpart, indent+1, bracket);
3731                                 if (bracket)
3732                                         do_indent(indent, "} do {\n");
3733                                 else
3734                                         do_indent(indent, "do:\n");
3735                                 print_exec(cs->dopart, indent+1, bracket);
3736                                 if (bracket)
3737                                         do_indent(indent, "}\n");
3738                         } else {
3739                                 do_indent(indent, "while ");
3740                                 print_exec(cs->condpart, 0, bracket);
3741                                 if (bracket)
3742                                         printf(" {\n");
3743                                 else
3744                                         printf(":\n");
3745                                 print_exec(cs->dopart, indent+1, bracket);
3746                                 if (bracket)
3747                                         do_indent(indent, "}\n");
3748                         }
3749                 } else {
3750                         // a condition
3751                         if (cs->casepart)
3752                                 do_indent(indent, "switch");
3753                         else
3754                                 do_indent(indent, "if");
3755                         if (cs->condpart && cs->condpart->type == Xbinode &&
3756                             cast(binode, cs->condpart)->op == Block) {
3757                                 if (bracket)
3758                                         printf(" {\n");
3759                                 else
3760                                         printf(":\n");
3761                                 print_exec(cs->condpart, indent+1, bracket);
3762                                 if (bracket)
3763                                         do_indent(indent, "}\n");
3764                                 if (cs->thenpart) {
3765                                         do_indent(indent, "then:\n");
3766                                         print_exec(cs->thenpart, indent+1, bracket);
3767                                 }
3768                         } else {
3769                                 printf(" ");
3770                                 print_exec(cs->condpart, 0, bracket);
3771                                 if (cs->thenpart) {
3772                                         if (bracket)
3773                                                 printf(" {\n");
3774                                         else
3775                                                 printf(":\n");
3776                                         print_exec(cs->thenpart, indent+1, bracket);
3777                                         if (bracket)
3778                                                 do_indent(indent, "}\n");
3779                                 } else
3780                                         printf("\n");
3781                         }
3782                 }
3783                 for (cp = cs->casepart; cp; cp = cp->next) {
3784                         do_indent(indent, "case ");
3785                         print_exec(cp->value, -1, 0);
3786                         if (bracket)
3787                                 printf(" {\n");
3788                         else
3789                                 printf(":\n");
3790                         print_exec(cp->action, indent+1, bracket);
3791                         if (bracket)
3792                                 do_indent(indent, "}\n");
3793                 }
3794                 if (cs->elsepart) {
3795                         do_indent(indent, "else");
3796                         if (bracket)
3797                                 printf(" {\n");
3798                         else
3799                                 printf(":\n");
3800                         print_exec(cs->elsepart, indent+1, bracket);
3801                         if (bracket)
3802                                 do_indent(indent, "}\n");
3803                 }
3804                 break;
3805         }
3806
3807 ###### propagate exec cases
3808         case Xcond_statement:
3809         {
3810                 // forpart and dopart must return Tnone
3811                 // thenpart must return Tnone if there is a dopart,
3812                 // otherwise it is like elsepart.
3813                 // condpart must:
3814                 //    be bool if there is no casepart
3815                 //    match casepart->values if there is a switchpart
3816                 //    either be bool or match casepart->value if there
3817                 //             is a whilepart
3818                 // elsepart and casepart->action must match the return type
3819                 //   expected of this statement.
3820                 struct cond_statement *cs = cast(cond_statement, prog);
3821                 struct casepart *cp;
3822
3823                 t = propagate_types(cs->forpart, c, ok, Tnone, 0);
3824                 if (!type_compat(Tnone, t, 0))
3825                         *ok = 0;
3826                 t = propagate_types(cs->dopart, c, ok, Tnone, 0);
3827                 if (!type_compat(Tnone, t, 0))
3828                         *ok = 0;
3829                 if (cs->dopart) {
3830                         t = propagate_types(cs->thenpart, c, ok, Tnone, 0);
3831                         if (!type_compat(Tnone, t, 0))
3832                                 *ok = 0;
3833                 }
3834                 if (cs->casepart == NULL)
3835                         propagate_types(cs->condpart, c, ok, Tbool, 0);
3836                 else {
3837                         /* Condpart must match case values, with bool permitted */
3838                         t = NULL;
3839                         for (cp = cs->casepart;
3840                              cp && !t; cp = cp->next)
3841                                 t = propagate_types(cp->value, c, ok, NULL, 0);
3842                         if (!t && cs->condpart)
3843                                 t = propagate_types(cs->condpart, c, ok, NULL, Rboolok);
3844                         // Now we have a type (I hope) push it down
3845                         if (t) {
3846                                 for (cp = cs->casepart; cp; cp = cp->next)
3847                                         propagate_types(cp->value, c, ok, t, 0);
3848                                 propagate_types(cs->condpart, c, ok, t, Rboolok);
3849                         }
3850                 }
3851                 // (if)then, else, and case parts must return expected type.
3852                 if (!cs->dopart && !type)
3853                         type = propagate_types(cs->thenpart, c, ok, NULL, rules);
3854                 if (!type)
3855                         type = propagate_types(cs->elsepart, c, ok, NULL, rules);
3856                 for (cp = cs->casepart;
3857                      cp && !type;
3858                      cp = cp->next)
3859                         type = propagate_types(cp->action, c, ok, NULL, rules);
3860                 if (type) {
3861                         if (!cs->dopart)
3862                                 propagate_types(cs->thenpart, c, ok, type, rules);
3863                         propagate_types(cs->elsepart, c, ok, type, rules);
3864                         for (cp = cs->casepart; cp ; cp = cp->next)
3865                                 propagate_types(cp->action, c, ok, type, rules);
3866                         return type;
3867                 } else
3868                         return NULL;
3869         }
3870
3871 ###### interp exec cases
3872         case Xcond_statement:
3873         {
3874                 struct value v, cnd;
3875                 struct casepart *cp;
3876                 struct cond_statement *c = cast(cond_statement, e);
3877
3878                 if (c->forpart)
3879                         interp_exec(c->forpart);
3880                 do {
3881                         if (c->condpart)
3882                                 cnd = interp_exec(c->condpart);
3883                         else
3884                                 cnd.type = Tnone;
3885                         if (!(cnd.type == Tnone ||
3886                               (cnd.type == Tbool && cnd.bool != 0)))
3887                                 break;
3888                         // cnd is Tnone or Tbool, doesn't need to be freed
3889                         if (c->dopart)
3890                                 interp_exec(c->dopart);
3891
3892                         if (c->thenpart) {
3893                                 rv = interp_exec(c->thenpart);
3894                                 if (rv.type != Tnone || !c->dopart)
3895                                         goto Xcond_done;
3896                                 free_value(rv);
3897                         }
3898                 } while (c->dopart);
3899
3900                 for (cp = c->casepart; cp; cp = cp->next) {
3901                         v = interp_exec(cp->value);
3902                         if (value_cmp(v, cnd) == 0) {
3903                                 free_value(v);
3904                                 free_value(cnd);
3905                                 rv = interp_exec(cp->action);
3906                                 goto Xcond_done;
3907                         }
3908                         free_value(v);
3909                 }
3910                 free_value(cnd);
3911                 if (c->elsepart)
3912                         rv = interp_exec(c->elsepart);
3913                 else
3914                         rv.type = Tnone;
3915         Xcond_done:
3916                 break;
3917         }
3918
3919 ### Top level structure
3920
3921 All the language elements so far can be used in various places.  Now
3922 it is time to clarify what those places are.
3923
3924 At the top level of a file there will be a number of declarations.
3925 Many of the things that can be declared haven't been described yet,
3926 such as functions, procedures, imports, and probably more.
3927 For now there are two sorts of things that can appear at the top
3928 level.  They are predefined constants, `struct` types, and the main
3929 program.  While the syntax will allow the main program to appear
3930 multiple times, that will trigger an error if it is actually attempted.
3931
3932 The various declarations do not return anything.  They store the
3933 various declarations in the parse context.
3934
3935 ###### Parser: grammar
3936
3937         $void
3938         Ocean -> DeclarationList
3939                 | NEWLINE Ocean
3940
3941         DeclarationList -> Declaration
3942                 | DeclarationList Declaration
3943
3944         Declaration -> Declaration NEWLINE
3945                 | DeclareConstant
3946                 | DeclareProgram
3947                 | DeclareStruct
3948                 | ERROR NEWLINE ${
3949                         tok_err(c,
3950                                 "error: unhandled parse error", &$1);
3951                 }$
3952
3953         ## top level grammar
3954
3955 ### The `const` section
3956
3957 As well as being defined in with the code that uses them, constants
3958 can be declared at the top level.  These have full-file scope, so they
3959 are always `InScope`.  The value of a top level constant can be given
3960 as an expression, and this is evaluated immediately rather than in the
3961 later interpretation stage.  Once we add functions to the language, we
3962 will need rules concern which, if any, can be used to define a top
3963 level constant.
3964
3965 Constants are defined in a section that starts with the reserved word
3966 `const` and then has a block with a list of assignment statements.
3967 For syntactic consistency, these must use the double-colon syntax to
3968 make it clear that they are constants.  Type can also be given: if
3969 not, the type will be determined during analysis, as with other
3970 constants.
3971
3972 As the types constants are inserted at the head of a list, printing
3973 them in the same order that they were read is not straight forward.
3974 We take a quadratic approach here and count the number of constants
3975 (variables of depth 0), then count down from there, each time
3976 searching through for the Nth constant for decreasing N.
3977
3978 ###### top level grammar
3979
3980         DeclareConstant -> const Open ConstList Close
3981                 | const Open SimpleConstList }
3982                 | const : ConstList $$NEWLINE
3983                 | const SimpleConstList NEWLINE
3984
3985         ConstList -> ConstLines
3986                 | NEWLINE ConstList
3987         ConstLines -> ConstLines SimpleConstLine
3988                 | SimpleConstLine
3989         SimpleConstList -> SimpleConstList ; Const
3990                 | Const
3991                 | SimpleConstList ;
3992         SimpleConstLine -> SimpleConstList NEWLINE
3993                 | SimpleConstLine NEWLINE
3994                 | ERROR NEWLINE ${ tok_err(c, "Syntax error in constant", &$1); }$
3995
3996         $*type
3997         CType -> Type   ${ $0 = $<1; }$
3998                 |       ${ $0 = NULL; }$
3999         $void
4000         Const -> IDENTIFIER :: CType = Expression ${ {
4001                 int ok;
4002                 struct variable *v;
4003
4004                 v = var_decl(c, $1.txt);
4005                 if (v) {
4006                         struct var *var = new_pos(var, $1);
4007                         v->where_decl = var;
4008                         v->where_set = var;
4009                         var->var = v;
4010                         v->constant = 1;
4011                 } else {
4012                         v = var_ref(c, $1.txt);
4013                         tok_err(c, "error: name already declared", &$1);
4014                         type_err(c, "info: this is where '%v' was first declared",
4015                                  v->where_decl, NULL, 0, NULL);
4016                 }
4017                 do {
4018                         ok = 1;
4019                         propagate_types($5, c, &ok, $3, 0);
4020                 } while (ok == 2);
4021                 if (!ok)
4022                         c->parse_error = 1;
4023                 else if (v) {
4024                         v->val = interp_exec($5);
4025                 }
4026         } }$
4027
4028 ###### print const decls
4029         {
4030                 struct variable *v;
4031                 int target = -1;
4032
4033                 while (target != 0) {
4034                         int i = 0;
4035                         for (v = context.in_scope; v; v=v->in_scope)
4036                                 if (v->depth == 0) {
4037                                         i += 1;
4038                                         if (i == target)
4039                                                 break;
4040                                 }
4041
4042                         if (target == -1) {
4043                                 if (i)
4044                                         printf("const:\n");
4045                                 target = i;
4046                         } else {
4047                                 printf("    %.*s :: ", v->name->name.len, v->name->name.txt);
4048                                 type_print(v->val.type, stdout);
4049                                 printf(" = ");
4050                                 if (v->val.type == Tstr)
4051                                         printf("\"");
4052                                 print_value(v->val);
4053                                 if (v->val.type == Tstr)
4054                                         printf("\"");
4055                                 printf("\n");
4056                                 target -= 1;
4057                         }
4058                 }
4059         }
4060
4061 ### Finally the whole program.
4062
4063 Somewhat reminiscent of Pascal a (current) Ocean program starts with
4064 the keyword "program" and a list of variable names which are assigned
4065 values from command line arguments.  Following this is a `block` which
4066 is the code to execute.  Unlike Pascal, constants and other
4067 declarations come *before* the program.
4068
4069 As this is the top level, several things are handled a bit
4070 differently.
4071 The whole program is not interpreted by `interp_exec` as that isn't
4072 passed the argument list which the program requires.  Similarly type
4073 analysis is a bit more interesting at this level.
4074
4075 ###### Binode types
4076         Program,
4077
4078 ###### top level grammar
4079
4080         DeclareProgram -> Program ${ {
4081                 if (c->prog)
4082                         type_err(c, "Program defined a second time",
4083                                  $1, NULL, 0, NULL);
4084                 else
4085                         c->prog = $<1;
4086         } }$
4087
4088         $*binode
4089         Program -> program OpenScope Varlist Block ${
4090                 $0 = new(binode);
4091                 $0->op = Program;
4092                 $0->left = reorder_bilist($<3);
4093                 $0->right = $<4;
4094                 var_block_close(c, CloseSequential);
4095                 if (c->scope_stack && !c->parse_error) abort();
4096                 }$
4097
4098         Varlist -> Varlist ArgDecl ${
4099                         $0 = new(binode);
4100                         $0->op = Program;
4101                         $0->left = $<1;
4102                         $0->right = $<2;
4103                 }$
4104                 | ${ $0 = NULL; }$
4105
4106         $*var
4107         ArgDecl -> IDENTIFIER ${ {
4108                 struct variable *v = var_decl(c, $1.txt);
4109                 $0 = new(var);
4110                 $0->var = v;
4111         } }$
4112
4113         ## Grammar
4114
4115 ###### print binode cases
4116         case Program:
4117                 do_indent(indent, "program");
4118                 for (b2 = cast(binode, b->left); b2; b2 = cast(binode, b2->right)) {
4119                         printf(" ");
4120                         print_exec(b2->left, 0, 0);
4121                 }
4122                 if (bracket)
4123                         printf(" {\n");
4124                 else
4125                         printf(":\n");
4126                 print_exec(b->right, indent+1, bracket);
4127                 if (bracket)
4128                         do_indent(indent, "}\n");
4129                 break;
4130
4131 ###### propagate binode cases
4132         case Program: abort();          // NOTEST
4133
4134 ###### core functions
4135
4136         static int analyse_prog(struct exec *prog, struct parse_context *c)
4137         {
4138                 struct binode *b = cast(binode, prog);
4139                 int ok = 1;
4140
4141                 if (!b)
4142                         return 0;       // NOTEST
4143                 do {
4144                         ok = 1;
4145                         propagate_types(b->right, c, &ok, Tnone, 0);
4146                 } while (ok == 2);
4147                 if (!ok)
4148                         return 0;
4149
4150                 for (b = cast(binode, b->left); b; b = cast(binode, b->right)) {
4151                         struct var *v = cast(var, b->left);
4152                         if (!v->var->val.type) {
4153                                 v->var->where_set = b;
4154                                 v->var->val = val_prepare(Tstr);
4155                         }
4156                 }
4157                 b = cast(binode, prog);
4158                 do {
4159                         ok = 1;
4160                         propagate_types(b->right, c, &ok, Tnone, 0);
4161                 } while (ok == 2);
4162                 if (!ok)
4163                         return 0;
4164
4165                 /* Make sure everything is still consistent */
4166                 propagate_types(b->right, c, &ok, Tnone, 0);
4167                 return !!ok;
4168         }
4169
4170         static void interp_prog(struct exec *prog, char **argv)
4171         {
4172                 struct binode *p = cast(binode, prog);
4173                 struct binode *al;
4174                 struct value v;
4175
4176                 if (!prog)
4177                         return;         // NOTEST
4178                 al = cast(binode, p->left);
4179                 while (al) {
4180                         struct var *v = cast(var, al->left);
4181                         struct value *vl = &v->var->val;
4182
4183                         if (argv[0] == NULL) {
4184                                 printf("Not enough args\n");
4185                                 exit(1);
4186                         }
4187                         al = cast(binode, al->right);
4188                         free_value(*vl);
4189                         *vl = parse_value(vl->type, argv[0]);
4190                         if (vl->type == NULL)
4191                                 exit(1);
4192                         argv++;
4193                 }
4194                 v = interp_exec(p->right);
4195                 free_value(v);
4196         }
4197
4198 ###### interp binode cases
4199         case Program: abort();  // NOTEST
4200
4201 ## And now to test it out.
4202
4203 Having a language requires having a "hello world" program.  I'll
4204 provide a little more than that: a program that prints "Hello world"
4205 finds the GCD of two numbers, prints the first few elements of
4206 Fibonacci, performs a binary search for a number, and a few other
4207 things which will likely grow as the languages grows.
4208
4209 ###### File: oceani.mk
4210         demos :: sayhello
4211         sayhello : oceani
4212                 @echo "===== DEMO ====="
4213                 ./oceani --section "demo: hello" oceani.mdc 55 33
4214
4215 ###### demo: hello
4216
4217         const:
4218                 pi ::= 3.141_592_6
4219                 four ::= 2 + 2 ; five ::= 10/2
4220         const pie ::= "I like Pie";
4221                 cake ::= "The cake is"
4222                   ++ " a lie"
4223
4224         struct fred:
4225                 size:[four]number
4226                 name:string
4227                 alive:Boolean
4228
4229         program A B:
4230                 print "Hello World, what lovely oceans you have!"
4231                 print "Are there", five, "?"
4232                 print pi, pie, "but", cake
4233
4234                 /* When a variable is defined in both branches of an 'if',
4235                  * and used afterwards, the variables are merged.
4236                  */
4237                 if A > B:
4238                         bigger := "yes"
4239                 else:
4240                         bigger := "no"
4241                 print "Is", A, "bigger than", B,"? ", bigger
4242                 /* If a variable is not used after the 'if', no
4243                  * merge happens, so types can be different
4244                  */
4245                 if A > B * 2:
4246                         double:string = "yes"
4247                         print A, "is more than twice", B, "?", double
4248                 else:
4249                         double := B*2
4250                         print "double", B, "is", double
4251
4252                 a : number
4253                 a = A;
4254                 b:number = B
4255                 if a > 0 and then b > 0:
4256                         while a != b:
4257                                 if a < b:
4258                                         b = b - a
4259                                 else:
4260                                         a = a - b
4261                         print "GCD of", A, "and", B,"is", a
4262                 else if a <= 0:
4263                         print a, "is not positive, cannot calculate GCD"
4264                 else:
4265                         print b, "is not positive, cannot calculate GCD"
4266
4267                 for:
4268                         togo := 10
4269                         f1 := 1; f2 := 1
4270                         print "Fibonacci:", f1,f2,
4271                 then togo = togo - 1
4272                 while togo > 0:
4273                         f3 := f1 + f2
4274                         print "", f3,
4275                         f1 = f2
4276                         f2 = f3
4277                 print ""
4278
4279                 /* Binary search... */
4280                 for:
4281                         lo:= 0; hi := 100
4282                         target := 77
4283                 while:
4284                         mid := (lo + hi) / 2
4285                         if mid == target:
4286                                 use Found
4287                         if mid < target:
4288                                 lo = mid
4289                         else:
4290                                 hi = mid
4291                         if hi - lo < 1:
4292                                 use GiveUp
4293                         use True
4294                 do: pass
4295                 case Found:
4296                         print "Yay, I found", target
4297                 case GiveUp:
4298                         print "Closest I found was", mid
4299
4300                 size::= 10
4301                 list:[size]number
4302                 list[0] = 1234
4303                 // "middle square" PRNG.  Not particularly good, but one my
4304                 // Dad taught me - the first one I ever heard of.
4305                 for i:=1; then i = i + 1; while i < size:
4306                         n := list[i-1] * list[i-1]
4307                         list[i] = (n / 100) % 10 000
4308
4309                 print "Before sort:",
4310                 for i:=0; then i = i + 1; while i < size:
4311                         print "", list[i],
4312                 print
4313
4314                 for i := 1; then i=i+1; while i < size:
4315                         for j:=i-1; then j=j-1; while j >= 0:
4316                                 if list[j] > list[j+1]:
4317                                         t:= list[j]
4318                                         list[j] = list[j+1]
4319                                         list[j+1] = t
4320                 print " After sort:",
4321                 for i:=0; then i = i + 1; while i < size:
4322                         print "", list[i],
4323                 print
4324
4325                 bob:fred
4326                 bob.name = "Hello"
4327                 bob.alive = (bob.name == "Hello")
4328                 print "bob", "is" if  bob.alive else "isn't", "alive"