ocean-lang.org Git - ocean/blob - csrc/oceani.mdc

   1 # Ocean Interpreter - Jamison Creek version
   2
   3 Ocean is intended to be a compiled language, so this interpreter is
   4 not targeted at being the final product.  It is, rather, an intermediate
   5 stage and fills that role in two distinct ways.
   6
   7 Firstly, it exists as a platform to experiment with the early language
   8 design.  An interpreter is easy to write and easy to get working, so
   9 the barrier for entry is lower if I aim to start with an interpreter.
  10
  11 Secondly, the plan for the Ocean compiler is to write it in the
  12 [Ocean language](http://ocean-lang.org).  To achieve this we naturally
  13 need some sort of boot-strap process and this interpreter - written in
  14 portable C - will fill that role.  It will be used to bootstrap the
  15 Ocean compiler.
  16
  17 Two features that are not needed to fill either of these roles are
  18 performance and completeness.  The interpreter only needs to be fast
  19 enough to run small test programs and occasionally to run the compiler
  20 on itself.  It only needs to be complete enough to test aspects of the
  21 design which are developed before the compiler is working, and to run
  22 the compiler on itself.  Any features not used by the compiler when
  23 compiling itself are superfluous.  They may be included anyway, but
  24 they may not.
  25
  26 Nonetheless, the interpreter should end up being reasonably complete,
  27 and any performance bottlenecks which appear and are easily fixed, will
  28 be.
  29
  30 ## Current version
  31
  32 This third version of the interpreter exists to test out some initial
  33 ideas relating to types.  Particularly it adds arrays (indexed from
  34 zero) and simple structures.  Basic control flow and variable scoping
  35 are already fairly well established, as are basic numerical and
  36 boolean operators.
  37
  38 Some operators that have only recently been added, and so have not
  39 generated all that much experience yet are "and then" and "or else" as
  40 short-circuit Boolean operators, and the "if ... else" trinary
  41 operator which can select between two expressions based on a third
  42 (which appears syntactically in the middle).
  43
  44 The "func" clause currently only allows a "main" function to be
  45 declared.  That will be extended when proper function support is added.
  46
  47 An element that is present purely to make a usable language, and
  48 without any expectation that they will remain, is the "print" statement
  49 which performs simple output.
  50
  51 The current scalar types are "number", "Boolean", and "string".
  52 Boolean will likely stay in its current form, the other two might, but
  53 could just as easily be changed.
  54
  55 ## Naming
  56
  57 Versions of the interpreter which obviously do not support a complete
  58 language will be named after creeks and streams.  This one is Jamison
  59 Creek.
  60
  61 Once we have something reasonably resembling a complete language, the
  62 names of rivers will be used.
  63 Early versions of the compiler will be named after seas.  Major
  64 releases of the compiler will be named after oceans.  Hopefully I will
  65 be finished once I get to the Pacific Ocean release.
  66
  67 ## Outline
  68
  69 As well as parsing and executing a program, the interpreter can print
  70 out the program from the parsed internal structure.  This is useful
  71 for validating the parsing.
  72 So the main requirements of the interpreter are:
  73
  74 - Parse the program, possibly with tracing,
  75 - Analyse the parsed program to ensure consistency,
  76 - Print the program,
  77 - Execute the "main" function in the program, if no parsing or
  78   consistency errors were found.
  79
  80 This is all performed by a single C program extracted with
  81 `parsergen`.
  82
  83 There will be two formats for printing the program: a default and one
  84 that uses bracketing.  So a `--bracket` command line option is needed
  85 for that.  Normally the first code section found is used, however an
  86 alternate section can be requested so that a file (such as this one)
  87 can contain multiple programs.  This is effected with the `--section`
  88 option.
  89
  90 This code must be compiled with `-fplan9-extensions` so that anonymous
  91 structures can be used.
  92
  93 ###### File: oceani.mk
  94
  95         myCFLAGS := -Wall -g -fplan9-extensions
  96         CFLAGS := $(filter-out $(myCFLAGS),$(CFLAGS)) $(myCFLAGS)
  97         myLDLIBS:= libparser.o libscanner.o libmdcode.o -licuuc
  98         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
  99         ## libs
 100         all :: $(LDLIBS) oceani
 101         oceani.c oceani.h : oceani.mdc parsergen
 102                 ./parsergen -o oceani --LALR --tag Parser oceani.mdc
 103         oceani.mk: oceani.mdc md2c
 104                 ./md2c oceani.mdc
 105
 106         oceani: oceani.o $(LDLIBS)
 107                 $(CC) $(CFLAGS) -o oceani oceani.o $(LDLIBS)
 108
 109 ###### Parser: header
 110         ## macros
 111         struct parse_context;
 112         ## ast
 113         struct parse_context {
 114                 struct token_config config;
 115                 char *file_name;
 116                 int parse_error;
 117                 ## parse context
 118         };
 119
 120 ###### macros
 121
 122         #define container_of(ptr, type, member) ({                      \
 123                 const typeof( ((type *)0)->member ) *__mptr = (ptr);    \
 124                 (type *)( (char *)__mptr - offsetof(type,member) );})
 125
 126         #define config2context(_conf) container_of(_conf, struct parse_context, \
 127                 config)
 128
 129 ###### Parser: reduce
 130         struct parse_context *c = config2context(config);
 131
 132 ###### Parser: code
 133         #define _GNU_SOURCE
 134         #include <unistd.h>
 135         #include <stdlib.h>
 136         #include <fcntl.h>
 137         #include <errno.h>
 138         #include <sys/mman.h>
 139         #include <string.h>
 140         #include <stdio.h>
 141         #include <locale.h>
 142         #include <malloc.h>
 143         #include "mdcode.h"
 144         #include "scanner.h"
 145         #include "parser.h"
 146
 147         ## includes
 148
 149         #include "oceani.h"
 150
 151         ## forward decls
 152         ## value functions
 153         ## ast functions
 154         ## core functions
 155
 156         #include <getopt.h>
 157         static char Usage[] =
 158                 "Usage: oceani --trace --print --noexec --brackets --section=SectionName prog.ocn\n";
 159         static const struct option long_options[] = {
 160                 {"trace",     0, NULL, 't'},
 161                 {"print",     0, NULL, 'p'},
 162                 {"noexec",    0, NULL, 'n'},
 163                 {"brackets",  0, NULL, 'b'},
 164                 {"section",   1, NULL, 's'},
 165                 {NULL,        0, NULL, 0},
 166         };
 167         const char *options = "tpnbs";
 168
 169         static void pr_err(char *msg)                   // NOTEST
 170         {
 171                 fprintf(stderr, "%s\n", msg);           // NOTEST
 172         }                                               // NOTEST
 173
 174         int main(int argc, char *argv[])
 175         {
 176                 int fd;
 177                 int len;
 178                 char *file;
 179                 struct section *s = NULL, *ss;
 180                 char *section = NULL;
 181                 struct parse_context context = {
 182                         .config = {
 183                                 .ignored = (1 << TK_mark),
 184                                 .number_chars = ".,_+- ",
 185                                 .word_start = "_",
 186                                 .word_cont = "_",
 187                         },
 188                 };
 189                 int doprint=0, dotrace=0, doexec=1, brackets=0;
 190                 int opt;
 191                 while ((opt = getopt_long(argc, argv, options, long_options, NULL))
 192                        != -1) {
 193                         switch(opt) {
 194                         case 't': dotrace=1; break;
 195                         case 'p': doprint=1; break;
 196                         case 'n': doexec=0; break;
 197                         case 'b': brackets=1; break;
 198                         case 's': section = optarg; break;
 199                         default: fprintf(stderr, Usage);
 200                                 exit(1);
 201                         }
 202                 }
 203                 if (optind >= argc) {
 204                         fprintf(stderr, "oceani: no input file given\n");
 205                         exit(1);
 206                 }
 207                 fd = open(argv[optind], O_RDONLY);
 208                 if (fd < 0) {
 209                         fprintf(stderr, "oceani: cannot open %s\n", argv[optind]);
 210                         exit(1);
 211                 }
 212                 context.file_name = argv[optind];
 213                 len = lseek(fd, 0, 2);
 214                 file = mmap(NULL, len, PROT_READ, MAP_SHARED, fd, 0);
 215                 s = code_extract(file, file+len, pr_err);
 216                 if (!s) {
 217                         fprintf(stderr, "oceani: could not find any code in %s\n",
 218                                 argv[optind]);
 219                         exit(1);
 220                 }
 221
 222                 ## context initialization
 223
 224                 if (section) {
 225                         for (ss = s; ss; ss = ss->next) {
 226                                 struct text sec = ss->section;
 227                                 if (sec.len == strlen(section) &&
 228                                     strncmp(sec.txt, section, sec.len) == 0)
 229                                         break;
 230                         }
 231                         if (!ss) {
 232                                 fprintf(stderr, "oceani: cannot find section %s\n",
 233                                         section);
 234                                 goto cleanup;
 235                         }
 236                 } else
 237                         ss = s;                         // NOTEST
 238                 if (!ss->code) {
 239                         fprintf(stderr, "oceani: no code found in requested section\n");        // NOTEST
 240                         goto cleanup;                   // NOTEST
 241                 }
 242
 243                 parse_oceani(ss->code, &context.config, dotrace ? stderr : NULL);
 244
 245                 resolve_consts(&context);
 246                 prepare_types(&context);
 247                 if (!context.parse_error && !analyse_funcs(&context)) {
 248                         fprintf(stderr, "oceani: type error in program - not running.\n");
 249                         context.parse_error = 1;
 250                 }
 251
 252                 if (doprint) {
 253                         ## print const decls
 254                         ## print type decls
 255                         ## print func decls
 256                 }
 257                 if (doexec && !context.parse_error)
 258                         interp_main(&context, argc - optind, argv + optind);
 259         cleanup:
 260                 while (s) {
 261                         struct section *t = s->next;
 262                         code_free(s->code);
 263                         free(s);
 264                         s = t;
 265                 }
 266                 // FIXME parser should pop scope even on error
 267                 while (context.scope_depth > 0)
 268                         scope_pop(&context);
 269                 ## free global vars
 270                 ## free const decls
 271                 ## free context types
 272                 ## free context storage
 273                 exit(context.parse_error ? 1 : 0);
 274         }
 275
 276 ### Analysis
 277
 278 The four requirements of parse, analyse, print, interpret apply to
 279 each language element individually so that is how most of the code
 280 will be structured.
 281
 282 Three of the four are fairly self explanatory.  The one that requires
 283 a little explanation is the analysis step.
 284
 285 The current language design does not require the types of variables to
 286 be declared, but they must still have a single type.  Different
 287 operations impose different requirements on the variables, for example
 288 addition requires both arguments to be numeric, and assignment
 289 requires the variable on the left to have the same type as the
 290 expression on the right.
 291
 292 Analysis involves propagating these type requirements around and
 293 consequently setting the type of each variable.  If any requirements
 294 are violated (e.g. a string is compared with a number) or if a
 295 variable needs to have two different types, then an error is raised
 296 and the program will not run.
 297
 298 If the same variable is declared in both branchs of an 'if/else', or
 299 in all cases of a 'switch' then the multiple instances may be merged
 300 into just one variable if the variable is referenced after the
 301 conditional statement.  When this happens, the types must naturally be
 302 consistent across all the branches.  When the variable is not used
 303 outside the if, the variables in the different branches are distinct
 304 and can be of different types.
 305
 306 Undeclared names may only appear in "use" statements and "case" expressions.
 307 These names are given a type of "label" and a unique value.
 308 This allows them to fill the role of a name in an enumerated type, which
 309 is useful for testing the `switch` statement.
 310
 311 As we will see, the condition part of a `while` statement can return
 312 either a Boolean or some other type.  This requires that the expected
 313 type that gets passed around comprises a type and a flag to indicate
 314 that `Tbool` is also permitted.
 315
 316 As there are, as yet, no distinct types that are compatible, there
 317 isn't much subtlety in the analysis.  When we have distinct number
 318 types, this will become more interesting.
 319
 320 #### Error reporting
 321
 322 When analysis discovers an inconsistency it needs to report an error;
 323 just refusing to run the code ensures that the error doesn't cascade,
 324 but by itself it isn't very useful.  A clear understanding of the sort
 325 of error message that are useful will help guide the process of
 326 analysis.
 327
 328 At a simplistic level, the only sort of error that type analysis can
 329 report is that the type of some construct doesn't match a contextual
 330 requirement.  For example, in `4 + "hello"` the addition provides a
 331 contextual requirement for numbers, but `"hello"` is not a number.  In
 332 this particular example no further information is needed as the types
 333 are obvious from local information.  When a variable is involved that
 334 isn't the case.  It may be helpful to explain why the variable has a
 335 particular type, by indicating the location where the type was set,
 336 whether by declaration or usage.
 337
 338 Using a recursive-descent analysis we can easily detect a problem at
 339 multiple locations. In "`hello:= "there"; 4 + hello`" the addition
 340 will detect that one argument is not a number and the usage of `hello`
 341 will detect that a number was wanted, but not provided.  In this
 342 (early) version of the language, we will generate error reports at
 343 multiple locations, so the use of `hello` will report an error and
 344 explain were the value was set, and the addition will report an error
 345 and say why numbers are needed.  To be able to report locations for
 346 errors, each language element will need to record a file location
 347 (line and column) and each variable will need to record the language
 348 element where its type was set.  For now we will assume that each line
 349 of an error message indicates one location in the file, and up to 2
 350 types.  So we provide a `printf`-like function which takes a format, a
 351 location (a `struct exec` which has not yet been introduced), and 2
 352 types. "`%1`" reports the first type, "`%2`" reports the second.  We
 353 will need a function to print the location, once we know how that is
 354 stored. e As will be explained later, there are sometimes extra rules for
 355 type matching and they might affect error messages, we need to pass those
 356 in too.
 357
 358 As well as type errors, we sometimes need to report problems with
 359 tokens, which might be unexpected or might name a type that has not
 360 been defined.  For these we have `tok_err()` which reports an error
 361 with a given token.  Each of the error functions sets the flag in the
 362 context so indicate that parsing failed.
 363
 364 ###### forward decls
 365
 366         static void fput_loc(struct exec *loc, FILE *f);
 367         static void type_err(struct parse_context *c,
 368                              char *fmt, struct exec *loc,
 369                              struct type *t1, int rules, struct type *t2);
 370
 371 ###### core functions
 372
 373         static void type_err(struct parse_context *c,
 374                              char *fmt, struct exec *loc,
 375                              struct type *t1, int rules, struct type *t2)
 376         {
 377                 fprintf(stderr, "%s:", c->file_name);
 378                 fput_loc(loc, stderr);
 379                 for (; *fmt ; fmt++) {
 380                         if (*fmt != '%') {
 381                                 fputc(*fmt, stderr);
 382                                 continue;
 383                         }
 384                         fmt++;
 385                         switch (*fmt) {
 386                         case '%': fputc(*fmt, stderr); break;   // NOTEST
 387                         default: fputc('?', stderr); break;     // NOTEST
 388                         case '1':
 389                                 type_print(t1, stderr);
 390                                 break;
 391                         case '2':
 392                                 type_print(t2, stderr);
 393                                 break;
 394                         ## format cases
 395                         }
 396                 }
 397                 fputs("\n", stderr);
 398                 c->parse_error = 1;
 399         }
 400
 401         static void tok_err(struct parse_context *c, char *fmt, struct token *t)
 402         {
 403                 fprintf(stderr, "%s:%d:%d: %s: %.*s\n", c->file_name, t->line, t->col, fmt,
 404                         t->txt.len, t->txt.txt);
 405                 c->parse_error = 1;
 406         }
 407
 408 ## Entities: declared and predeclared.
 409
 410 There are various "things" that the language and/or the interpreter
 411 needs to know about to parse and execute a program.  These include
 412 types, variables, values, and executable code.  These are all lumped
 413 together under the term "entities" (calling them "objects" would be
 414 confusing) and introduced here.  The following section will present the
 415 different specific code elements which comprise or manipulate these
 416 various entities.
 417
 418 ### Executables
 419
 420 Executables can be lots of different things.  In many cases an
 421 executable is just an operation combined with one or two other
 422 executables.  This allows for expressions and lists etc.  Other times an
 423 executable is something quite specific like a constant or variable name.
 424 So we define a `struct exec` to be a general executable with a type, and
 425 a `struct binode` which is a subclass of `exec`, forms a node in a
 426 binary tree, and holds an operation.  There will be other subclasses,
 427 and to access these we need to be able to `cast` the `exec` into the
 428 various other types.  The first field in any `struct exec` is the type
 429 from the `exec_types` enum.
 430
 431 ###### macros
 432         #define cast(structname, pointer) ({            \
 433                 const typeof( ((struct structname *)0)->type) *__mptr = &(pointer)->type; \
 434                 if (__mptr && *__mptr != X##structname) abort();                \
 435                 (struct structname *)( (char *)__mptr);})
 436
 437         #define new(structname) ({                                              \
 438                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
 439                 __ptr->type = X##structname;                                            \
 440                 __ptr->line = -1; __ptr->column = -1;                                   \
 441                 __ptr;})
 442
 443         #define new_pos(structname, token) ({                                           \
 444                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
 445                 __ptr->type = X##structname;                                            \
 446                 __ptr->line = token.line; __ptr->column = token.col;                    \
 447                 __ptr;})
 448
 449 ###### ast
 450         enum exec_types {
 451                 Xbinode,
 452                 ## exec type
 453         };
 454         struct exec {
 455                 enum exec_types type;
 456                 int line, column;
 457                 ## exec fields
 458         };
 459         struct binode {
 460                 struct exec;
 461                 enum Btype {
 462                         ## Binode types
 463                 } op;
 464                 struct exec *left, *right;
 465         };
 466
 467 ###### ast functions
 468
 469         static int __fput_loc(struct exec *loc, FILE *f)
 470         {
 471                 if (!loc)
 472                         return 0;
 473                 if (loc->line >= 0) {
 474                         fprintf(f, "%d:%d: ", loc->line, loc->column);
 475                         return 1;
 476                 }
 477                 if (loc->type == Xbinode)
 478                         return __fput_loc(cast(binode,loc)->left, f) ||
 479                                __fput_loc(cast(binode,loc)->right, f);  // NOTEST
 480                 return 0;
 481         }
 482         static void fput_loc(struct exec *loc, FILE *f)
 483         {
 484                 if (!__fput_loc(loc, f))
 485                         fprintf(f, "??:??: ");
 486         }
 487
 488 Each different type of `exec` node needs a number of functions defined,
 489 a bit like methods.  We must be able to free it, print it, analyse it
 490 and execute it.  Once we have specific `exec` types we will need to
 491 parse them too.  Let's take this a bit more slowly.
 492
 493 #### Freeing
 494
 495 The parser generator requires a `free_foo` function for each struct
 496 that stores attributes and they will often be `exec`s and subtypes
 497 there-of.  So we need `free_exec` which can handle all the subtypes,
 498 and we need `free_binode`.
 499
 500 ###### ast functions
 501
 502         static void free_binode(struct binode *b)
 503         {
 504                 if (!b)
 505                         return;
 506                 free_exec(b->left);
 507                 free_exec(b->right);
 508                 free(b);
 509         }
 510
 511 ###### core functions
 512         static void free_exec(struct exec *e)
 513         {
 514                 if (!e)
 515                         return;
 516                 switch(e->type) {
 517                         ## free exec cases
 518                 }
 519         }
 520
 521 ###### forward decls
 522
 523         static void free_exec(struct exec *e);
 524
 525 ###### free exec cases
 526         case Xbinode: free_binode(cast(binode, e)); break;
 527
 528 #### Printing
 529
 530 Printing an `exec` requires that we know the current indent level for
 531 printing line-oriented components.  As will become clear later, we
 532 also want to know what sort of bracketing to use.
 533
 534 ###### ast functions
 535
 536         static void do_indent(int i, char *str)
 537         {
 538                 while (i-- > 0)
 539                         printf("    ");
 540                 printf("%s", str);
 541         }
 542
 543 ###### core functions
 544         static void print_binode(struct binode *b, int indent, int bracket)
 545         {
 546                 struct binode *b2;
 547                 switch(b->op) {
 548                 ## print binode cases
 549                 }
 550         }
 551
 552         static void print_exec(struct exec *e, int indent, int bracket)
 553         {
 554                 if (!e)
 555                         return;
 556                 switch (e->type) {
 557                 case Xbinode:
 558                         print_binode(cast(binode, e), indent, bracket); break;
 559                 ## print exec cases
 560                 }
 561                 if (e->to_free) {
 562                         struct variable *v;
 563                         do_indent(indent, "/* FREE");
 564                         for (v = e->to_free; v; v = v->next_free) {
 565                                 printf(" %.*s", v->name->name.len, v->name->name.txt);
 566                                 printf("[%d,%d]", v->scope_start, v->scope_end);
 567                                 if (v->frame_pos >= 0)
 568                                         printf("(%d+%d)", v->frame_pos,
 569                                                v->type ? v->type->size:0);
 570                         }
 571                         printf(" */\n");
 572                 }
 573         }
 574
 575 ###### forward decls
 576
 577         static void print_exec(struct exec *e, int indent, int bracket);
 578
 579 #### Analysing
 580
 581 As discussed, analysis involves propagating type requirements around the
 582 program and looking for errors.
 583
 584 So `propagate_types` is passed an expected type (being a `struct type`
 585 pointer together with some `val_rules` flags) that the `exec` is
 586 expected to return, and returns the type that it does return, either of
 587 which can be `NULL` signifying "unknown".  A `prop_err` flag set is
 588 passed by reference.  It has `Efail` set when an error is found, and
 589 `Eretry` when the type for some element is set via propagation.  If it
 590 remains unchanged at `0`, then no more propagation is needed.
 591
 592 ###### ast
 593
 594         enum val_rules {Rnolabel = 1<<0, Rboolok = 1<<1, Rnoconstant = 1<<2};
 595         enum prop_err {Efail = 1<<0, Eretry = 1<<1};
 596
 597 ###### format cases
 598         case 'r':
 599                 if (rules & Rnolabel)
 600                         fputs(" (labels not permitted)", stderr);
 601                 break;
 602
 603 ###### forward decls
 604         static struct type *propagate_types(struct exec *prog, struct parse_context *c, enum prop_err *perr,
 605                                             struct type *type, int rules);
 606 ###### core functions
 607
 608         static struct type *__propagate_types(struct exec *prog, struct parse_context *c, enum prop_err *perr,
 609                                               struct type *type, int rules)
 610         {
 611                 struct type *t;
 612
 613                 if (!prog)
 614                         return Tnone;
 615
 616                 switch (prog->type) {
 617                 case Xbinode:
 618                 {
 619                         struct binode *b = cast(binode, prog);
 620                         switch (b->op) {
 621                         ## propagate binode cases
 622                         }
 623                         break;
 624                 }
 625                 ## propagate exec cases
 626                 }
 627                 return Tnone;
 628         }
 629
 630         static struct type *propagate_types(struct exec *prog, struct parse_context *c, enum prop_err *perr,
 631                                             struct type *type, int rules)
 632         {
 633                 struct type *ret = __propagate_types(prog, c, perr, type, rules);
 634
 635                 if (c->parse_error)
 636                         *perr |= Efail;
 637                 return ret;
 638         }
 639
 640 #### Interpreting
 641
 642 Interpreting an `exec` doesn't require anything but the `exec`.  State
 643 is stored in variables and each variable will be directly linked from
 644 within the `exec` tree.  The exception to this is the `main` function
 645 which needs to look at command line arguments.  This function will be
 646 interpreted separately.
 647
 648 Each `exec` can return a value combined with a type in `struct lrval`.
 649 The type may be `Tnone` but must be non-NULL.  Some `exec`s will return
 650 the location of a value, which can be updated, in `lval`.  Others will
 651 set `lval` to NULL indicating that there is a value of appropriate type
 652 in `rval`.
 653
 654 ###### forward decls
 655         static struct value interp_exec(struct parse_context *c, struct exec *e,
 656                                         struct type **typeret);
 657 ###### core functions
 658
 659         struct lrval {
 660                 struct type *type;
 661                 struct value rval, *lval;
 662         };
 663
 664         /* If dest is passed, dtype must give the expected type, and
 665          * result can go there, in which case type is returned as NULL.
 666          */
 667         static struct lrval _interp_exec(struct parse_context *c, struct exec *e,
 668                                          struct value *dest, struct type *dtype);
 669
 670         static struct value interp_exec(struct parse_context *c, struct exec *e,
 671                                         struct type **typeret)
 672         {
 673                 struct lrval ret = _interp_exec(c, e, NULL, NULL);
 674
 675                 if (!ret.type) abort();
 676                 if (typeret)
 677                         *typeret = ret.type;
 678                 if (ret.lval)
 679                         dup_value(ret.type, ret.lval, &ret.rval);
 680                 return ret.rval;
 681         }
 682
 683         static struct value *linterp_exec(struct parse_context *c, struct exec *e,
 684                                           struct type **typeret)
 685         {
 686                 struct lrval ret = _interp_exec(c, e, NULL, NULL);
 687
 688                 if (!ret.type) abort();
 689                 if (ret.lval)
 690                         *typeret = ret.type;
 691                 else
 692                         free_value(ret.type, &ret.rval);
 693                 return ret.lval;
 694         }
 695
 696         /* dinterp_exec is used when the destination type is certain and
 697          * the value has a place to go.
 698          */
 699         static void dinterp_exec(struct parse_context *c, struct exec *e,
 700                                  struct value *dest, struct type *dtype,
 701                                  int need_free)
 702         {
 703                 struct lrval ret = _interp_exec(c, e, dest, dtype);
 704                 if (!ret.type)
 705                         return;
 706                 if (need_free)
 707                         free_value(dtype, dest);
 708                 if (ret.lval)
 709                         dup_value(dtype, ret.lval, dest);
 710                 else
 711                         memcpy(dest, &ret.rval, dtype->size);
 712         }
 713
 714         static struct lrval _interp_exec(struct parse_context *c, struct exec *e,
 715                                          struct value *dest, struct type *dtype)
 716         {
 717                 /* If the result is copied to dest, ret.type is set to NULL */
 718                 struct lrval ret;
 719                 struct value rv = {}, *lrv = NULL;
 720                 struct type *rvtype;
 721
 722                 rvtype = ret.type = Tnone;
 723                 if (!e) {
 724                         ret.lval = lrv;
 725                         ret.rval = rv;
 726                         return ret;
 727                 }
 728
 729                 switch(e->type) {
 730                 case Xbinode:
 731                 {
 732                         struct binode *b = cast(binode, e);
 733                         struct value left, right, *lleft;
 734                         struct type *ltype, *rtype;
 735                         ltype = rtype = Tnone;
 736                         switch (b->op) {
 737                         ## interp binode cases
 738                         }
 739                         free_value(ltype, &left);
 740                         free_value(rtype, &right);
 741                         break;
 742                 }
 743                 ## interp exec cases
 744                 }
 745                 if (rvtype) {
 746                         ret.lval = lrv;
 747                         ret.rval = rv;
 748                         ret.type = rvtype;
 749                 }
 750                 ## interp exec cleanup
 751                 return ret;
 752         }
 753
 754 ### Types
 755
 756 Values come in a wide range of types, with more likely to be added.
 757 Each type needs to be able to print its own values (for convenience at
 758 least) as well as to compare two values, at least for equality and
 759 possibly for order.  For now, values might need to be duplicated and
 760 freed, though eventually such manipulations will be better integrated
 761 into the language.
 762
 763 Rather than requiring every numeric type to support all numeric
 764 operations (add, multiply, etc), we allow types to be able to present
 765 as one of a few standard types: integer, float, and fraction.  The
 766 existence of these conversion functions eventually enable types to
 767 determine if they are compatible with other types, though such types
 768 have not yet been implemented.
 769
 770 Named type are stored in a simple linked list.  Objects of each type are
 771 "values" which are often passed around by value.
 772
 773 There are both explicitly named types, and anonymous types.  Anonymous
 774 cannot be accessed by name, but are used internally and have a name
 775 which might be reported in error messages.
 776
 777 ###### ast
 778
 779         struct value {
 780                 union {
 781                         char ptr[1];
 782                         ## value union fields
 783                 };
 784         };
 785
 786         struct type {
 787                 struct text name;
 788                 struct type *next;
 789                 int size, align;
 790                 int anon;
 791                 void (*init)(struct type *type, struct value *val);
 792                 void (*prepare_type)(struct parse_context *c, struct type *type, int parse_time);
 793                 void (*print)(struct type *type, struct value *val, FILE *f);
 794                 void (*print_type)(struct type *type, FILE *f);
 795                 int (*cmp_order)(struct type *t1, struct type *t2,
 796                                  struct value *v1, struct value *v2);
 797                 int (*cmp_eq)(struct type *t1, struct type *t2,
 798                               struct value *v1, struct value *v2);
 799                 void (*dup)(struct type *type, struct value *vold, struct value *vnew);
 800                 void (*free)(struct type *type, struct value *val);
 801                 void (*free_type)(struct type *t);
 802                 long long (*to_int)(struct value *v);
 803                 double (*to_float)(struct value *v);
 804                 int (*to_mpq)(mpq_t *q, struct value *v);
 805                 ## type functions
 806                 union {
 807                         ## type union fields
 808                 };
 809         };
 810
 811 ###### parse context
 812
 813         struct type *typelist;
 814
 815 ###### includes
 816         #include <stdarg.h>
 817
 818 ###### ast functions
 819
 820         static struct type *find_type(struct parse_context *c, struct text s)
 821         {
 822                 struct type *t = c->typelist;
 823
 824                 while (t && (t->anon ||
 825                              text_cmp(t->name, s) != 0))
 826                                 t = t->next;
 827                 return t;
 828         }
 829
 830         static struct type *_add_type(struct parse_context *c, struct text s,
 831                                      struct type *proto, int anon)
 832         {
 833                 struct type *n;
 834
 835                 n = calloc(1, sizeof(*n));
 836                 *n = *proto;
 837                 n->name = s;
 838                 n->anon = anon;
 839                 n->next = c->typelist;
 840                 c->typelist = n;
 841                 return n;
 842         }
 843
 844         static struct type *add_type(struct parse_context *c, struct text s,
 845                                       struct type *proto)
 846         {
 847                 return _add_type(c, s, proto, 0);
 848         }
 849
 850         static struct type *add_anon_type(struct parse_context *c,
 851                                           struct type *proto, char *name, ...)
 852         {
 853                 struct text t;
 854                 va_list ap;
 855
 856                 va_start(ap, name);
 857                 vasprintf(&t.txt, name, ap);
 858                 va_end(ap);
 859                 t.len = strlen(name);
 860                 return _add_type(c, t, proto, 1);
 861         }
 862
 863         static void free_type(struct type *t)
 864         {
 865                 /* The type is always a reference to something in the
 866                  * context, so we don't need to free anything.
 867                  */
 868         }
 869
 870         static void free_value(struct type *type, struct value *v)
 871         {
 872                 if (type && v) {
 873                         type->free(type, v);
 874                         memset(v, 0x5a, type->size);
 875                 }
 876         }
 877
 878         static void type_print(struct type *type, FILE *f)
 879         {
 880                 if (!type)
 881                         fputs("*unknown*type*", f);     // NOTEST
 882                 else if (type->name.len && !type->anon)
 883                         fprintf(f, "%.*s", type->name.len, type->name.txt);
 884                 else if (type->print_type)
 885                         type->print_type(type, f);
 886                 else
 887                         fputs("*invalid*type*", f);
 888         }
 889
 890         static void val_init(struct type *type, struct value *val)
 891         {
 892                 if (type && type->init)
 893                         type->init(type, val);
 894         }
 895
 896         static void dup_value(struct type *type,
 897                               struct value *vold, struct value *vnew)
 898         {
 899                 if (type && type->dup)
 900                         type->dup(type, vold, vnew);
 901         }
 902
 903         static int value_cmp(struct type *tl, struct type *tr,
 904                              struct value *left, struct value *right)
 905         {
 906                 if (tl && tl->cmp_order)
 907                         return tl->cmp_order(tl, tr, left, right);
 908                 if (tl && tl->cmp_eq)                   // NOTEST
 909                         return tl->cmp_eq(tl, tr, left, right); // NOTEST
 910                 return -1;                              // NOTEST
 911         }
 912
 913         static void print_value(struct type *type, struct value *v, FILE *f)
 914         {
 915                 if (type && type->print)
 916                         type->print(type, v, f);
 917                 else
 918                         fprintf(f, "*Unknown*");                // NOTEST
 919         }
 920
 921         static void prepare_types(struct parse_context *c)
 922         {
 923                 struct type *t;
 924
 925                 for (t = c->typelist; t; t = t->next)
 926                         if (t->prepare_type)
 927                                 t->prepare_type(c, t, 1);
 928         }
 929
 930 ###### forward decls
 931
 932         static void free_value(struct type *type, struct value *v);
 933         static int type_compat(struct type *require, struct type *have, int rules);
 934         static void type_print(struct type *type, FILE *f);
 935         static void val_init(struct type *type, struct value *v);
 936         static void dup_value(struct type *type,
 937                               struct value *vold, struct value *vnew);
 938         static int value_cmp(struct type *tl, struct type *tr,
 939                              struct value *left, struct value *right);
 940         static void print_value(struct type *type, struct value *v, FILE *f);
 941
 942 ###### free context types
 943
 944         while (context.typelist) {
 945                 struct type *t = context.typelist;
 946
 947                 context.typelist = t->next;
 948                 if (t->free_type)
 949                         t->free_type(t);
 950                 if (t->anon)
 951                         free(t->name.txt);
 952                 free(t);
 953         }
 954
 955 Type can be specified for local variables, for fields in a structure,
 956 for formal parameters to functions, and possibly elsewhere.  Different
 957 rules may apply in different contexts.  As a minimum, a named type may
 958 always be used.  Currently the type of a formal parameter can be
 959 different from types in other contexts, so we have a separate grammar
 960 symbol for those.
 961
 962 ###### Grammar
 963
 964         $*type
 965         Type -> IDENTIFIER ${
 966                 $0 = find_type(c, $1.txt);
 967                 if (!$0) {
 968                         tok_err(c,
 969                                 "error: undefined type", &$1);
 970
 971                         $0 = Tnone;
 972                 }
 973         }$
 974         ## type grammar
 975
 976         FormalType -> Type ${ $0 = $<1; }$
 977         ## formal type grammar
 978
 979 #### Base Types
 980
 981 Values of the base types can be numbers, which we represent as
 982 multi-precision fractions, strings, Booleans and labels.  When
 983 analysing the program we also need to allow for places where no value
 984 is meaningful (type `Tnone`) and where we don't know what type to
 985 expect yet (type is `NULL`).
 986
 987 Values are never shared, they are always copied when used, and freed
 988 when no longer needed.
 989
 990 When propagating type information around the program, we need to
 991 determine if two types are compatible, where type `NULL` is compatible
 992 with anything.  There are two special cases with type compatibility,
 993 both related to the Conditional Statement which will be described
 994 later.  In some cases a Boolean can be accepted as well as some other
 995 primary type, and in others any type is acceptable except a label (`Vlabel`).
 996 A separate function encoding these cases will simplify some code later.
 997
 998 ###### type functions
 999
1000         int (*compat)(struct type *this, struct type *other);
1001
1002 ###### ast functions
1003
1004         static int type_compat(struct type *require, struct type *have, int rules)
1005         {
1006                 if ((rules & Rboolok) && have == Tbool)
1007                         return 1;       // NOTEST
1008                 if ((rules & Rnolabel) && have == Tlabel)
1009                         return 0;       // NOTEST
1010                 if (!require || !have)
1011                         return 1;
1012
1013                 if (require->compat)
1014                         return require->compat(require, have);
1015
1016                 return require == have;
1017         }
1018
1019 ###### includes
1020         #include <gmp.h>
1021         #include "parse_string.h"
1022         #include "parse_number.h"
1023
1024 ###### libs
1025         myLDLIBS := libnumber.o libstring.o -lgmp
1026         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
1027
1028 ###### type union fields
1029         enum vtype {Vnone, Vstr, Vnum, Vbool, Vlabel} vtype;
1030
1031 ###### value union fields
1032         struct text str;
1033         mpq_t num;
1034         unsigned char bool;
1035         void *label;
1036
1037 ###### ast functions
1038         static void _free_value(struct type *type, struct value *v)
1039         {
1040                 if (!v)
1041                         return;         // NOTEST
1042                 switch (type->vtype) {
1043                 case Vnone: break;
1044                 case Vstr: free(v->str.txt); break;
1045                 case Vnum: mpq_clear(v->num); break;
1046                 case Vlabel:
1047                 case Vbool: break;
1048                 }
1049         }
1050
1051 ###### value functions
1052
1053         static void _val_init(struct type *type, struct value *val)
1054         {
1055                 switch(type->vtype) {
1056                 case Vnone:             // NOTEST
1057                         break;          // NOTEST
1058                 case Vnum:
1059                         mpq_init(val->num); break;
1060                 case Vstr:
1061                         val->str.txt = malloc(1);
1062                         val->str.len = 0;
1063                         break;
1064                 case Vbool:
1065                         val->bool = 0;
1066                         break;
1067                 case Vlabel:
1068                         val->label = NULL;
1069                         break;
1070                 }
1071         }
1072
1073         static void _dup_value(struct type *type,
1074                                struct value *vold, struct value *vnew)
1075         {
1076                 switch (type->vtype) {
1077                 case Vnone:             // NOTEST
1078                         break;          // NOTEST
1079                 case Vlabel:
1080                         vnew->label = vold->label;
1081                         break;
1082                 case Vbool:
1083                         vnew->bool = vold->bool;
1084                         break;
1085                 case Vnum:
1086                         mpq_init(vnew->num);
1087                         mpq_set(vnew->num, vold->num);
1088                         break;
1089                 case Vstr:
1090                         vnew->str.len = vold->str.len;
1091                         vnew->str.txt = malloc(vnew->str.len);
1092                         memcpy(vnew->str.txt, vold->str.txt, vnew->str.len);
1093                         break;
1094                 }
1095         }
1096
1097         static int _value_cmp(struct type *tl, struct type *tr,
1098                               struct value *left, struct value *right)
1099         {
1100                 int cmp;
1101                 if (tl != tr)
1102                         return tl - tr; // NOTEST
1103                 switch (tl->vtype) {
1104                 case Vlabel: cmp = left->label == right->label ? 0 : 1; break;
1105                 case Vnum: cmp = mpq_cmp(left->num, right->num); break;
1106                 case Vstr: cmp = text_cmp(left->str, right->str); break;
1107                 case Vbool: cmp = left->bool - right->bool; break;
1108                 case Vnone: cmp = 0;                    // NOTEST
1109                 }
1110                 return cmp;
1111         }
1112
1113         static void _print_value(struct type *type, struct value *v, FILE *f)
1114         {
1115                 switch (type->vtype) {
1116                 case Vnone:                             // NOTEST
1117                         fprintf(f, "*no-value*"); break;        // NOTEST
1118                 case Vlabel:                            // NOTEST
1119                         fprintf(f, "*label-%p*", v->label); break; // NOTEST
1120                 case Vstr:
1121                         fprintf(f, "%.*s", v->str.len, v->str.txt); break;
1122                 case Vbool:
1123                         fprintf(f, "%s", v->bool ? "True":"False"); break;
1124                 case Vnum:
1125                         {
1126                         mpf_t fl;
1127                         mpf_init2(fl, 20);
1128                         mpf_set_q(fl, v->num);
1129                         gmp_fprintf(f, "%.10Fg", fl);
1130                         mpf_clear(fl);
1131                         break;
1132                         }
1133                 }
1134         }
1135
1136         static void _free_value(struct type *type, struct value *v);
1137
1138         static struct type base_prototype = {
1139                 .init = _val_init,
1140                 .print = _print_value,
1141                 .cmp_order = _value_cmp,
1142                 .cmp_eq = _value_cmp,
1143                 .dup = _dup_value,
1144                 .free = _free_value,
1145         };
1146
1147         static struct type *Tbool, *Tstr, *Tnum, *Tnone, *Tlabel;
1148
1149 ###### ast functions
1150         static struct type *add_base_type(struct parse_context *c, char *n,
1151                                           enum vtype vt, int size)
1152         {
1153                 struct text txt = { n, strlen(n) };
1154                 struct type *t;
1155
1156                 t = add_type(c, txt, &base_prototype);
1157                 t->vtype = vt;
1158                 t->size = size;
1159                 t->align = size > sizeof(void*) ? sizeof(void*) : size;
1160                 if (t->size & (t->align - 1))
1161                         t->size = (t->size | (t->align - 1)) + 1;       // NOTEST
1162                 return t;
1163         }
1164
1165 ###### context initialization
1166
1167         Tbool  = add_base_type(&context, "Boolean", Vbool, sizeof(char));
1168         Tstr   = add_base_type(&context, "string", Vstr, sizeof(struct text));
1169         Tnum   = add_base_type(&context, "number", Vnum, sizeof(mpq_t));
1170         Tnone  = add_base_type(&context, "none", Vnone, 0);
1171         Tlabel = add_base_type(&context, "label", Vlabel, sizeof(void*));
1172
1173 ##### Base Values
1174
1175 We have already met values as separate objects.  When manifest constants
1176 appear in the program text, that must result in an executable which has
1177 a constant value.  So the `val` structure embeds a value in an
1178 executable.
1179
1180 ###### exec type
1181         Xval,
1182
1183 ###### ast
1184         struct val {
1185                 struct exec;
1186                 struct type *vtype;
1187                 struct value val;
1188         };
1189
1190 ###### ast functions
1191         struct val *new_val(struct type *T, struct token tk)
1192         {
1193                 struct val *v = new_pos(val, tk);
1194                 v->vtype = T;
1195                 return v;
1196         }
1197
1198 ###### Grammar
1199
1200         $TERM True False
1201
1202         $*val
1203         Value ->  True ${
1204                 $0 = new_val(Tbool, $1);
1205                 $0->val.bool = 1;
1206         }$
1207         | False ${
1208                 $0 = new_val(Tbool, $1);
1209                 $0->val.bool = 0;
1210         }$
1211         | NUMBER ${ {
1212                 char tail[3];
1213                 $0 = new_val(Tnum, $1);
1214                 if (number_parse($0->val.num, tail, $1.txt) == 0)
1215                         mpq_init($0->val.num);  // UNTESTED
1216                         if (tail[0])
1217                                 tok_err(c, "error: unsupported number suffix",
1218                                         &$1);
1219         } }$
1220         | STRING ${ {
1221                 char tail[3];
1222                 $0 = new_val(Tstr, $1);
1223                 string_parse(&$1, '\\', &$0->val.str, tail);
1224                 if (tail[0])
1225                         tok_err(c, "error: unsupported string suffix",
1226                                 &$1);
1227         } }$
1228         | MULTI_STRING ${ {
1229                 char tail[3];
1230                 $0 = new_val(Tstr, $1);
1231                 string_parse(&$1, '\\', &$0->val.str, tail);
1232                 if (tail[0])
1233                         tok_err(c, "error: unsupported string suffix",
1234                                 &$1);
1235         } }$
1236
1237 ###### print exec cases
1238         case Xval:
1239         {
1240                 struct val *v = cast(val, e);
1241                 if (v->vtype == Tstr)
1242                         printf("\"");
1243                 // FIXME how to ensure numbers have same precision.
1244                 print_value(v->vtype, &v->val, stdout);
1245                 if (v->vtype == Tstr)
1246                         printf("\"");
1247                 break;
1248         }
1249
1250 ###### propagate exec cases
1251         case Xval:
1252         {
1253                 struct val *val = cast(val, prog);
1254                 if (!type_compat(type, val->vtype, rules))
1255                         type_err(c, "error: expected %1%r found %2",
1256                                    prog, type, rules, val->vtype);
1257                 return val->vtype;
1258         }
1259
1260 ###### interp exec cases
1261         case Xval:
1262                 rvtype = cast(val, e)->vtype;
1263                 dup_value(rvtype, &cast(val, e)->val, &rv);
1264                 break;
1265
1266 ###### ast functions
1267         static void free_val(struct val *v)
1268         {
1269                 if (v)
1270                         free_value(v->vtype, &v->val);
1271                 free(v);
1272         }
1273
1274 ###### free exec cases
1275         case Xval: free_val(cast(val, e)); break;
1276
1277 ###### ast functions
1278         // Move all nodes from 'b' to 'rv', reversing their order.
1279         // In 'b' 'left' is a list, and 'right' is the last node.
1280         // In 'rv', left' is the first node and 'right' is a list.
1281         static struct binode *reorder_bilist(struct binode *b)
1282         {
1283                 struct binode *rv = NULL;
1284
1285                 while (b) {
1286                         struct exec *t = b->right;
1287                         b->right = rv;
1288                         rv = b;
1289                         if (b->left)
1290                                 b = cast(binode, b->left);
1291                         else
1292                                 b = NULL;
1293                         rv->left = t;
1294                 }
1295                 return rv;
1296         }
1297
1298 ### Variables
1299
1300 Variables are scoped named values.  We store the names in a linked list
1301 of "bindings" sorted in lexical order, and use sequential search and
1302 insertion sort.
1303
1304 ###### ast
1305
1306         struct binding {
1307                 struct text name;
1308                 struct binding *next;   // in lexical order
1309                 ## binding fields
1310         };
1311
1312 This linked list is stored in the parse context so that "reduce"
1313 functions can find or add variables, and so the analysis phase can
1314 ensure that every variable gets a type.
1315
1316 ###### parse context
1317
1318         struct binding *varlist;  // In lexical order
1319
1320 ###### ast functions
1321
1322         static struct binding *find_binding(struct parse_context *c, struct text s)
1323         {
1324                 struct binding **l = &c->varlist;
1325                 struct binding *n;
1326                 int cmp = 1;
1327
1328                 while (*l &&
1329                         (cmp = text_cmp((*l)->name, s)) < 0)
1330                                 l = & (*l)->next;
1331                 if (cmp == 0)
1332                         return *l;
1333                 n = calloc(1, sizeof(*n));
1334                 n->name = s;
1335                 n->next = *l;
1336                 *l = n;
1337                 return n;
1338         }
1339
1340 Each name can be linked to multiple variables defined in different
1341 scopes.  Each scope starts where the name is declared and continues
1342 until the end of the containing code block.  Scopes of a given name
1343 cannot nest, so a declaration while a name is in-scope is an error.
1344
1345 ###### binding fields
1346         struct variable *var;
1347
1348 ###### ast
1349         struct variable {
1350                 struct variable *previous;
1351                 struct type *type;
1352                 struct binding *name;
1353                 struct exec *where_decl;// where name was declared
1354                 struct exec *where_set; // where type was set
1355                 ## variable fields
1356         };
1357
1358 When a scope closes, the values of the variables might need to be freed.
1359 This happens in the context of some `struct exec` and each `exec` will
1360 need to know which variables need to be freed when it completes.
1361
1362 ####### exec fields
1363         struct variable *to_free;
1364
1365 ####### variable fields
1366         struct exec *cleanup_exec;
1367         struct variable *next_free;
1368
1369 ####### interp exec cleanup
1370         {
1371                 struct variable *v;
1372                 for (v = e->to_free; v; v = v->next_free) {
1373                         struct value *val = var_value(c, v);
1374                         free_value(v->type, val);
1375                 }
1376         }
1377
1378 ###### ast functions
1379         static void variable_unlink_exec(struct variable *v)
1380         {
1381                 struct variable **vp;
1382                 if (!v->cleanup_exec)
1383                         return;
1384                 for (vp = &v->cleanup_exec->to_free;
1385                     *vp; vp = &(*vp)->next_free) {
1386                         if (*vp != v)
1387                                 continue;
1388                         *vp = v->next_free;
1389                         v->cleanup_exec = NULL;
1390                         break;
1391                 }
1392         }
1393
1394 While the naming seems strange, we include local constants in the
1395 definition of variables.  A name declared `var := value` can
1396 subsequently be changed, but a name declared `var ::= value` cannot -
1397 it is constant
1398
1399 ###### variable fields
1400         int constant;
1401
1402 Scopes in parallel branches can be partially merged.  More
1403 specifically, if a given name is declared in both branches of an
1404 if/else then its scope is a candidate for merging.  Similarly if
1405 every branch of an exhaustive switch (e.g. has an "else" clause)
1406 declares a given name, then the scopes from the branches are
1407 candidates for merging.
1408
1409 Note that names declared inside a loop (which is only parallel to
1410 itself) are never visible after the loop.  Similarly names defined in
1411 scopes which are not parallel, such as those started by `for` and
1412 `switch`, are never visible after the scope.  Only variables defined in
1413 both `then` and `else` (including the implicit then after an `if`, and
1414 excluding `then` used with `for`) and in all `case`s and `else` of a
1415 `switch` or `while` can be visible beyond the `if`/`switch`/`while`.
1416
1417 Labels, which are a bit like variables, follow different rules.
1418 Labels are not explicitly declared, but if an undeclared name appears
1419 in a context where a label is legal, that effectively declares the
1420 name as a label.  The declaration remains in force (or in scope) at
1421 least to the end of the immediately containing block and conditionally
1422 in any larger containing block which does not declare the name in some
1423 other way.  Importantly, the conditional scope extension happens even
1424 if the label is only used in one parallel branch of a conditional --
1425 when used in one branch it is treated as having been declared in all
1426 branches.
1427
1428 Merge candidates are tentatively visible beyond the end of the
1429 branching statement which creates them.  If the name is used, the
1430 merge is affirmed and they become a single variable visible at the
1431 outer layer.  If not - if it is redeclared first - the merge lapses.
1432
1433 To track scopes we have an extra stack, implemented as a linked list,
1434 which roughly parallels the parse stack and which is used exclusively
1435 for scoping.  When a new scope is opened, a new frame is pushed and
1436 the child-count of the parent frame is incremented.  This child-count
1437 is used to distinguish between the first of a set of parallel scopes,
1438 in which declared variables must not be in scope, and subsequent
1439 branches, whether they may already be conditionally scoped.
1440
1441 We need a total ordering of scopes so we can easily compare to variables
1442 to see if they are concurrently in scope.  To achieve this we record a
1443 `scope_count` which is actually a count of both beginnings and endings
1444 of scopes.  Then each variable has a record of the scope count where it
1445 enters scope, and where it leaves.
1446
1447 To push a new frame *before* any code in the frame is parsed, we need a
1448 grammar reduction.  This is most easily achieved with a grammar
1449 element which derives the empty string, and creates the new scope when
1450 it is recognised.  This can be placed, for example, between a keyword
1451 like "if" and the code following it.
1452
1453 ###### ast
1454         struct scope {
1455                 struct scope *parent;
1456                 int child_count;
1457         };
1458
1459 ###### parse context
1460         int scope_depth;
1461         int scope_count;
1462         struct scope *scope_stack;
1463
1464 ###### variable fields
1465         int scope_start, scope_end;
1466
1467 ###### ast functions
1468         static void scope_pop(struct parse_context *c)
1469         {
1470                 struct scope *s = c->scope_stack;
1471
1472                 c->scope_stack = s->parent;
1473                 free(s);
1474                 c->scope_depth -= 1;
1475                 c->scope_count += 1;
1476         }
1477
1478         static void scope_push(struct parse_context *c)
1479         {
1480                 struct scope *s = calloc(1, sizeof(*s));
1481                 if (c->scope_stack)
1482                         c->scope_stack->child_count += 1;
1483                 s->parent = c->scope_stack;
1484                 c->scope_stack = s;
1485                 c->scope_depth += 1;
1486                 c->scope_count += 1;
1487         }
1488
1489 ###### Grammar
1490
1491         $void
1492         OpenScope -> ${ scope_push(c); }$
1493
1494 Each variable records a scope depth and is in one of four states:
1495
1496 - "in scope".  This is the case between the declaration of the
1497   variable and the end of the containing block, and also between
1498   the usage with affirms a merge and the end of that block.
1499
1500   The scope depth is not greater than the current parse context scope
1501   nest depth.  When the block of that depth closes, the state will
1502   change.  To achieve this, all "in scope" variables are linked
1503   together as a stack in nesting order.
1504
1505 - "pending".  The "in scope" block has closed, but other parallel
1506   scopes are still being processed.  So far, every parallel block at
1507   the same level that has closed has declared the name.
1508
1509   The scope depth is the depth of the last parallel block that
1510   enclosed the declaration, and that has closed.
1511
1512 - "conditionally in scope".  The "in scope" block and all parallel
1513   scopes have closed, and no further mention of the name has been seen.
1514   This state includes a secondary nest depth (`min_depth`) which records
1515   the outermost scope seen since the variable became conditionally in
1516   scope.  If a use of the name is found, the variable becomes "in scope"
1517   and that secondary depth becomes the recorded scope depth.  If the
1518   name is declared as a new variable, the old variable becomes "out of
1519   scope" and the recorded scope depth stays unchanged.
1520
1521 - "out of scope".  The variable is neither in scope nor conditionally
1522   in scope.  It is permanently out of scope now and can be removed from
1523   the "in scope" stack.  When a variable becomes out-of-scope it is
1524   moved to a separate list (`out_scope`) of variables which have fully
1525   known scope.  This will be used at the end of each function to assign
1526   each variable a place in the stack frame.
1527
1528 ###### variable fields
1529         int depth, min_depth;
1530         enum { OutScope, PendingScope, CondScope, InScope } scope;
1531         struct variable *in_scope;
1532
1533 ###### parse context
1534
1535         struct variable *in_scope;
1536         struct variable *out_scope;
1537
1538 All variables with the same name are linked together using the
1539 'previous' link.  Those variable that have been affirmatively merged all
1540 have a 'merged' pointer that points to one primary variable - the most
1541 recently declared instance.  When merging variables, we need to also
1542 adjust the 'merged' pointer on any other variables that had previously
1543 been merged with the one that will no longer be primary.
1544
1545 A variable that is no longer the most recent instance of a name may
1546 still have "pending" scope, if it might still be merged with most
1547 recent instance.  These variables don't really belong in the
1548 "in_scope" list, but are not immediately removed when a new instance
1549 is found.  Instead, they are detected and ignored when considering the
1550 list of in_scope names.
1551
1552 The storage of the value of a variable will be described later.  For now
1553 we just need to know that when a variable goes out of scope, it might
1554 need to be freed.  For this we need to be able to find it, so assume that
1555 `var_value()` will provide that.
1556
1557 ###### variable fields
1558         struct variable *merged;
1559
1560 ###### ast functions
1561
1562         static void variable_merge(struct variable *primary, struct variable *secondary)
1563         {
1564                 struct variable *v;
1565
1566                 primary = primary->merged;
1567
1568                 for (v = primary->previous; v; v=v->previous)
1569                         if (v == secondary || v == secondary->merged ||
1570                             v->merged == secondary ||
1571                             v->merged == secondary->merged) {
1572                                 v->scope = OutScope;
1573                                 v->merged = primary;
1574                                 if (v->scope_start < primary->scope_start)
1575                                         primary->scope_start = v->scope_start;
1576                                 if (v->scope_end > primary->scope_end)
1577                                         primary->scope_end = v->scope_end;      // NOTEST
1578                                 variable_unlink_exec(v);
1579                         }
1580         }
1581
1582 ###### forward decls
1583         static struct value *var_value(struct parse_context *c, struct variable *v);
1584
1585 ###### free global vars
1586
1587         while (context.varlist) {
1588                 struct binding *b = context.varlist;
1589                 struct variable *v = b->var;
1590                 context.varlist = b->next;
1591                 free(b);
1592                 while (v) {
1593                         struct variable *next = v->previous;
1594
1595                         if (v->global && v->frame_pos >= 0) {
1596                                 free_value(v->type, var_value(&context, v));
1597                                 if (v->depth == 0 && v->type->free == function_free)
1598                                         // This is a function constant
1599                                         free_exec(v->where_decl);
1600                         }
1601                         free(v);
1602                         v = next;
1603                 }
1604         }
1605
1606 #### Manipulating Bindings
1607
1608 When a name is conditionally visible, a new declaration discards the old
1609 binding - the condition lapses.  Similarly when we reach the end of a
1610 function (outermost non-global scope) any conditional scope must lapse.
1611 Conversely a usage of the name affirms the visibility and extends it to
1612 the end of the containing block - i.e.  the block that contains both the
1613 original declaration and the latest usage.  This is determined from
1614 `min_depth`.  When a conditionally visible variable gets affirmed like
1615 this, it is also merged with other conditionally visible variables with
1616 the same name.
1617
1618 When we parse a variable declaration we either report an error if the
1619 name is currently bound, or create a new variable at the current nest
1620 depth if the name is unbound or bound to a conditionally scoped or
1621 pending-scope variable.  If the previous variable was conditionally
1622 scoped, it and its homonyms becomes out-of-scope.
1623
1624 When we parse a variable reference (including non-declarative assignment
1625 "foo = bar") we report an error if the name is not bound or is bound to
1626 a pending-scope variable; update the scope if the name is bound to a
1627 conditionally scoped variable; or just proceed normally if the named
1628 variable is in scope.
1629
1630 When we exit a scope, any variables bound at this level are either
1631 marked out of scope or pending-scoped, depending on whether the scope
1632 was sequential or parallel.  Here a "parallel" scope means the "then"
1633 or "else" part of a conditional, or any "case" or "else" branch of a
1634 switch.  Other scopes are "sequential".
1635
1636 When exiting a parallel scope we check if there are any variables that
1637 were previously pending and are still visible. If there are, then
1638 they weren't redeclared in the most recent scope, so they cannot be
1639 merged and must become out-of-scope.  If it is not the first of
1640 parallel scopes (based on `child_count`), we check that there was a
1641 previous binding that is still pending-scope.  If there isn't, the new
1642 variable must now be out-of-scope.
1643
1644 When exiting a sequential scope that immediately enclosed parallel
1645 scopes, we need to resolve any pending-scope variables.  If there was
1646 no `else` clause, and we cannot determine that the `switch` was exhaustive,
1647 we need to mark all pending-scope variable as out-of-scope.  Otherwise
1648 all pending-scope variables become conditionally scoped.
1649
1650 ###### ast
1651         enum closetype { CloseSequential, CloseFunction, CloseParallel, CloseElse };
1652
1653 ###### ast functions
1654
1655         static struct variable *var_decl(struct parse_context *c, struct text s)
1656         {
1657                 struct binding *b = find_binding(c, s);
1658                 struct variable *v = b->var;
1659
1660                 switch (v ? v->scope : OutScope) {
1661                 case InScope:
1662                         /* Caller will report the error */
1663                         return NULL;
1664                 case CondScope:
1665                         for (;
1666                              v && v->scope == CondScope;
1667                              v = v->previous)
1668                                 v->scope = OutScope;
1669                         break;
1670                 default: break;
1671                 }
1672                 v = calloc(1, sizeof(*v));
1673                 v->previous = b->var;
1674                 b->var = v;
1675                 v->name = b;
1676                 v->merged = v;
1677                 v->min_depth = v->depth = c->scope_depth;
1678                 v->scope = InScope;
1679                 v->in_scope = c->in_scope;
1680                 v->scope_start = c->scope_count;
1681                 c->in_scope = v;
1682                 ## variable init
1683                 return v;
1684         }
1685
1686         static struct variable *var_ref(struct parse_context *c, struct text s)
1687         {
1688                 struct binding *b = find_binding(c, s);
1689                 struct variable *v = b->var;
1690                 struct variable *v2;
1691
1692                 switch (v ? v->scope : OutScope) {
1693                 case OutScope:
1694                 case PendingScope:
1695                         /* Caller will report the error */
1696                         return NULL;
1697                 case CondScope:
1698                         /* All CondScope variables of this name need to be merged
1699                          * and become InScope
1700                          */
1701                         v->depth = v->min_depth;
1702                         v->scope = InScope;
1703                         for (v2 = v->previous;
1704                              v2 && v2->scope == CondScope;
1705                              v2 = v2->previous)
1706                                 variable_merge(v, v2);
1707                         break;
1708                 case InScope:
1709                         break;
1710                 }
1711                 return v;
1712         }
1713
1714         static int var_refile(struct parse_context *c, struct variable *v)
1715         {
1716                 /* Variable just went out of scope.  Add it to the out_scope
1717                  * list, sorted by ->scope_start
1718                  */
1719                 struct variable **vp = &c->out_scope;
1720                 while ((*vp) && (*vp)->scope_start < v->scope_start)
1721                         vp = &(*vp)->in_scope;
1722                 v->in_scope = *vp;
1723                 *vp = v;
1724                 return 0;
1725         }
1726
1727         static void var_block_close(struct parse_context *c, enum closetype ct,
1728                                     struct exec *e)
1729         {
1730                 /* Close off all variables that are in_scope.
1731                  * Some variables in c->scope may already be not-in-scope,
1732                  * such as when a PendingScope variable is hidden by a new
1733                  * variable with the same name.
1734                  * So we check for v->name->var != v and drop them.
1735                  * If we choose to make a variable OutScope, we drop it
1736                  * immediately too.
1737                  */
1738                 struct variable *v, **vp, *v2;
1739
1740                 scope_pop(c);
1741                 for (vp = &c->in_scope;
1742                      (v = *vp) && v->min_depth > c->scope_depth;
1743                      (v->scope == OutScope || v->name->var != v)
1744                      ? (*vp =  v->in_scope, var_refile(c, v))
1745                      : ( vp = &v->in_scope, 0)) {
1746                         v->min_depth = c->scope_depth;
1747                         if (v->name->var != v)
1748                                 /* This is still in scope, but we haven't just
1749                                  * closed the scope.
1750                                  */
1751                                 continue;
1752                         v->min_depth = c->scope_depth;
1753                         if (v->scope == InScope)
1754                                 v->scope_end = c->scope_count;
1755                         if (v->scope == InScope && e && !v->global) {
1756                                 /* This variable gets cleaned up when 'e' finishes */
1757                                 variable_unlink_exec(v);
1758                                 v->cleanup_exec = e;
1759                                 v->next_free = e->to_free;
1760                                 e->to_free = v;
1761                         }
1762                         switch (ct) {
1763                         case CloseElse:
1764                         case CloseParallel: /* handle PendingScope */
1765                                 switch(v->scope) {
1766                                 case InScope:
1767                                 case CondScope:
1768                                         if (c->scope_stack->child_count == 1)
1769                                                 /* first among parallel branches */
1770                                                 v->scope = PendingScope;
1771                                         else if (v->previous &&
1772                                                  v->previous->scope == PendingScope)
1773                                                 /* all previous branches used name */
1774                                                 v->scope = PendingScope;
1775                                         else if (v->type == Tlabel)
1776                                                 /* Labels remain pending even when not used */
1777                                                 v->scope = PendingScope;        // UNTESTED
1778                                         else
1779                                                 v->scope = OutScope;
1780                                         if (ct == CloseElse) {
1781                                                 /* All Pending variables with this name
1782                                                  * are now Conditional */
1783                                                 for (v2 = v;
1784                                                      v2 && v2->scope == PendingScope;
1785                                                      v2 = v2->previous)
1786                                                         v2->scope = CondScope;
1787                                         }
1788                                         break;
1789                                 case PendingScope:
1790                                         /* Not possible as it would require
1791                                          * parallel scope to be nested immediately
1792                                          * in a parallel scope, and that never
1793                                          * happens.
1794                                          */                     // NOTEST
1795                                 case OutScope:
1796                                         /* Not possible as we already tested for
1797                                          * OutScope
1798                                          */
1799                                         abort();                // NOTEST
1800                                 }
1801                                 break;
1802                         case CloseFunction:
1803                                 if (v->scope == CondScope)
1804                                         /* Condition cannot continue past end of function */
1805                                         v->scope = InScope;
1806                                 /* fallthrough */
1807                         case CloseSequential:
1808                                 if (v->type == Tlabel)
1809                                         v->scope = PendingScope;
1810                                 switch (v->scope) {
1811                                 case InScope:
1812                                         v->scope = OutScope;
1813                                         break;
1814                                 case PendingScope:
1815                                         /* There was no 'else', so we can only become
1816                                          * conditional if we know the cases were exhaustive,
1817                                          * and that doesn't mean anything yet.
1818                                          * So only labels become conditional..
1819                                          */
1820                                         for (v2 = v;
1821                                              v2 && v2->scope == PendingScope;
1822                                              v2 = v2->previous)
1823                                                 if (v2->type == Tlabel)
1824                                                         v2->scope = CondScope;
1825                                                 else
1826                                                         v2->scope = OutScope;
1827                                         break;
1828                                 case CondScope:
1829                                 case OutScope: break;
1830                                 }
1831                                 break;
1832                         }
1833                 }
1834         }
1835
1836 #### Storing Values
1837
1838 The value of a variable is store separately from the variable, on an
1839 analogue of a stack frame.  There are (currently) two frames that can be
1840 active.  A global frame which currently only stores constants, and a
1841 stacked frame which stores local variables.  Each variable knows if it
1842 is global or not, and what its index into the frame is.
1843
1844 Values in the global frame are known immediately they are relevant, so
1845 the frame needs to be reallocated as it grows so it can store those
1846 values.  The local frame doesn't get values until the interpreted phase
1847 is started, so there is no need to allocate until the size is known.
1848
1849 We initialize the `frame_pos` to an impossible value, so that we can
1850 tell if it was set or not later.
1851
1852 ###### variable fields
1853         short frame_pos;
1854         short global;
1855
1856 ###### variable init
1857         v->frame_pos = -1;
1858
1859 ###### parse context
1860
1861         short global_size, global_alloc;
1862         short local_size;
1863         void *global, *local;
1864
1865 ###### forward decls
1866         static struct value *global_alloc(struct parse_context *c, struct type *t,
1867                                           struct variable *v, struct value *init);
1868
1869 ###### ast functions
1870
1871         static struct value *var_value(struct parse_context *c, struct variable *v)
1872         {
1873                 if (!v->global) {
1874                         if (!c->local || !v->type)
1875                                 return NULL;
1876                         if (v->frame_pos + v->type->size > c->local_size) {
1877                                 printf("INVALID frame_pos\n");  // NOTEST
1878                                 exit(2);                        // NOTEST
1879                         }
1880                         return c->local + v->frame_pos;
1881                 }
1882                 if (c->global_size > c->global_alloc) {
1883                         int old = c->global_alloc;
1884                         c->global_alloc = (c->global_size | 1023) + 1024;
1885                         c->global = realloc(c->global, c->global_alloc);
1886                         memset(c->global + old, 0, c->global_alloc - old);
1887                 }
1888                 return c->global + v->frame_pos;
1889         }
1890
1891         static struct value *global_alloc(struct parse_context *c, struct type *t,
1892                                           struct variable *v, struct value *init)
1893         {
1894                 struct value *ret;
1895                 struct variable scratch;
1896
1897                 if (t->prepare_type)
1898                         t->prepare_type(c, t, 1);       // NOTEST
1899
1900                 if (c->global_size & (t->align - 1))
1901                         c->global_size = (c->global_size + t->align) & ~(t->align-1);   // NOTEST
1902                 if (!v) {
1903                         v = &scratch;
1904                         v->type = t;
1905                 }
1906                 v->frame_pos = c->global_size;
1907                 v->global = 1;
1908                 c->global_size += v->type->size;
1909                 ret = var_value(c, v);
1910                 if (init)
1911                         memcpy(ret, init, t->size);
1912                 else
1913                         val_init(t, ret);
1914                 return ret;
1915         }
1916
1917 As global values are found -- struct field initializers, labels etc --
1918 `global_alloc()` is called to record the value in the global frame.
1919
1920 When the program is fully parsed, each function is analysed, we need to
1921 walk the list of variables local to that function and assign them an
1922 offset in the stack frame.  For this we have `scope_finalize()`.
1923
1924 We keep the stack from dense by re-using space for between variables
1925 that are not in scope at the same time.  The `out_scope` list is sorted
1926 by `scope_start` and as we process a varible, we move it to an FIFO
1927 stack.  For each variable we consider, we first discard any from the
1928 stack anything that went out of scope before the new variable came in.
1929 Then we place the new variable just after the one at the top of the
1930 stack.
1931
1932 ###### ast functions
1933
1934         static void scope_finalize(struct parse_context *c, struct type *ft)
1935         {
1936                 int size = ft->function.local_size;
1937                 struct variable *next = ft->function.scope;
1938                 struct variable *done = NULL;
1939
1940                 while (next) {
1941                         struct variable *v = next;
1942                         struct type *t = v->type;
1943                         int pos;
1944                         next = v->in_scope;
1945                         if (v->merged != v)
1946                                 continue;
1947                         if (!t)
1948                                 continue;
1949                         if (v->frame_pos >= 0)
1950                                 continue;
1951                         while (done && done->scope_end < v->scope_start)
1952                                 done = done->in_scope;
1953                         if (done)
1954                                 pos = done->frame_pos + done->type->size;
1955                         else
1956                                 pos = ft->function.local_size;
1957                         if (pos & (t->align - 1))
1958                                 pos = (pos + t->align) & ~(t->align-1);
1959                         v->frame_pos = pos;
1960                         if (size < pos + v->type->size)
1961                                 size = pos + v->type->size;
1962                         v->in_scope = done;
1963                         done = v;
1964                 }
1965                 c->out_scope = NULL;
1966                 ft->function.local_size = size;
1967         }
1968
1969 ###### free context storage
1970         free(context.global);
1971
1972 #### Variables as executables
1973
1974 Just as we used a `val` to wrap a value into an `exec`, we similarly
1975 need a `var` to wrap a `variable` into an exec.  While each `val`
1976 contained a copy of the value, each `var` holds a link to the variable
1977 because it really is the same variable no matter where it appears.
1978 When a variable is used, we need to remember to follow the `->merged`
1979 link to find the primary instance.
1980
1981 When a variable is declared, it may or may not be given an explicit
1982 type.  We need to record which so that we can report the parsed code
1983 correctly.
1984
1985 ###### exec type
1986         Xvar,
1987
1988 ###### ast
1989         struct var {
1990                 struct exec;
1991                 struct variable *var;
1992         };
1993
1994 ###### variable fields
1995         int explicit_type;
1996
1997 ###### Grammar
1998
1999         $TERM : ::
2000
2001         $*var
2002         VariableDecl -> IDENTIFIER : ${ {
2003                 struct variable *v = var_decl(c, $1.txt);
2004                 $0 = new_pos(var, $1);
2005                 $0->var = v;
2006                 if (v)
2007                         v->where_decl = $0;
2008                 else {
2009                         v = var_ref(c, $1.txt);
2010                         $0->var = v;
2011                         type_err(c, "error: variable '%v' redeclared",
2012                                  $0, NULL, 0, NULL);
2013                         type_err(c, "info: this is where '%v' was first declared",
2014                                  v->where_decl, NULL, 0, NULL);
2015                 }
2016         } }$
2017         | IDENTIFIER :: ${ {
2018                 struct variable *v = var_decl(c, $1.txt);
2019                 $0 = new_pos(var, $1);
2020                 $0->var = v;
2021                 if (v) {
2022                         v->where_decl = $0;
2023                         v->constant = 1;
2024                 } else {
2025                         v = var_ref(c, $1.txt);
2026                         $0->var = v;
2027                         type_err(c, "error: variable '%v' redeclared",
2028                                  $0, NULL, 0, NULL);
2029                         type_err(c, "info: this is where '%v' was first declared",
2030                                  v->where_decl, NULL, 0, NULL);
2031                 }
2032         } }$
2033         | IDENTIFIER : Type ${ {
2034                 struct variable *v = var_decl(c, $1.txt);
2035                 $0 = new_pos(var, $1);
2036                 $0->var = v;
2037                 if (v) {
2038                         v->where_decl = $0;
2039                         v->where_set = $0;
2040                         v->type = $<Type;
2041                         v->explicit_type = 1;
2042                 } else {
2043                         v = var_ref(c, $1.txt);
2044                         $0->var = v;
2045                         type_err(c, "error: variable '%v' redeclared",
2046                                  $0, NULL, 0, NULL);
2047                         type_err(c, "info: this is where '%v' was first declared",
2048                                  v->where_decl, NULL, 0, NULL);
2049                 }
2050         } }$
2051         | IDENTIFIER :: Type ${ {
2052                 struct variable *v = var_decl(c, $1.txt);
2053                 $0 = new_pos(var, $1);
2054                 $0->var = v;
2055                 if (v) {
2056                         v->where_decl = $0;
2057                         v->where_set = $0;
2058                         v->type = $<Type;
2059                         v->constant = 1;
2060                         v->explicit_type = 1;
2061                 } else {
2062                         v = var_ref(c, $1.txt);
2063                         $0->var = v;
2064                         type_err(c, "error: variable '%v' redeclared",
2065                                  $0, NULL, 0, NULL);
2066                         type_err(c, "info: this is where '%v' was first declared",
2067                                  v->where_decl, NULL, 0, NULL);
2068                 }
2069         } }$
2070
2071         $*exec
2072         Variable -> IDENTIFIER ${ {
2073                 struct variable *v = var_ref(c, $1.txt);
2074                 $0 = new_pos(var, $1);
2075                 if (v == NULL) {
2076                         /* This might be a label - allocate a var just in case */
2077                         v = var_decl(c, $1.txt);
2078                         if (v) {
2079                                 v->type = Tnone;
2080                                 v->where_decl = $0;
2081                                 v->where_set = $0;
2082                         }
2083                 }
2084                 cast(var, $0)->var = v;
2085         } }$
2086
2087 ###### print exec cases
2088         case Xvar:
2089         {
2090                 struct var *v = cast(var, e);
2091                 if (v->var) {
2092                         struct binding *b = v->var->name;
2093                         printf("%.*s", b->name.len, b->name.txt);
2094                 }
2095                 break;
2096         }
2097
2098 ###### format cases
2099         case 'v':
2100                 if (loc && loc->type == Xvar) {
2101                         struct var *v = cast(var, loc);
2102                         if (v->var) {
2103                                 struct binding *b = v->var->name;
2104                                 fprintf(stderr, "%.*s", b->name.len, b->name.txt);
2105                         } else
2106                                 fputs("???", stderr);   // NOTEST
2107                 } else
2108                         fputs("NOTVAR", stderr);
2109                 break;
2110
2111 ###### propagate exec cases
2112
2113         case Xvar:
2114         {
2115                 struct var *var = cast(var, prog);
2116                 struct variable *v = var->var;
2117                 if (!v) {
2118                         type_err(c, "%d:BUG: no variable!!", prog, NULL, 0, NULL); // NOTEST
2119                         return Tnone;                                   // NOTEST
2120                 }
2121                 v = v->merged;
2122                 if (v->constant && (rules & Rnoconstant)) {
2123                         type_err(c, "error: Cannot assign to a constant: %v",
2124                                  prog, NULL, 0, NULL);
2125                         type_err(c, "info: name was defined as a constant here",
2126                                  v->where_decl, NULL, 0, NULL);
2127                         return v->type;
2128                 }
2129                 if (v->type == Tnone && v->where_decl == prog)
2130                         type_err(c, "error: variable used but not declared: %v",
2131                                  prog, NULL, 0, NULL);
2132                 if (v->type == NULL) {
2133                         if (type && !(*perr & Efail)) {
2134                                 v->type = type;
2135                                 v->where_set = prog;
2136                                 *perr |= Eretry;
2137                         }
2138                         return type;
2139                 }
2140                 if (!type_compat(type, v->type, rules)) {
2141                         type_err(c, "error: expected %1%r but variable '%v' is %2", prog,
2142                                  type, rules, v->type);
2143                         type_err(c, "info: this is where '%v' was set to %1", v->where_set,
2144                                  v->type, rules, NULL);
2145                 }
2146                 if (!type)
2147                         return v->type;
2148                 return type;
2149         }
2150
2151 ###### interp exec cases
2152         case Xvar:
2153         {
2154                 struct var *var = cast(var, e);
2155                 struct variable *v = var->var;
2156
2157                 v = v->merged;
2158                 lrv = var_value(c, v);
2159                 rvtype = v->type;
2160                 break;
2161         }
2162
2163 ###### ast functions
2164
2165         static void free_var(struct var *v)
2166         {
2167                 free(v);
2168         }
2169
2170 ###### free exec cases
2171         case Xvar: free_var(cast(var, e)); break;
2172
2173
2174 ### Complex types
2175
2176 Now that we have the shape of the interpreter in place we can add some
2177 complex types and connected them in to the data structures and the
2178 different phases of parse, analyse, print, interpret.
2179
2180 Being "complex" the language will naturally have syntax to access
2181 specifics of objects of these types.  These will fit into the grammar as
2182 "Terms" which are the things that are combined with various operators to
2183 form "Expression".  Where a Term is formed by some operation on another
2184 Term, the subordinate Term will always come first, so for example a
2185 member of an array will be expressed as the Term for the array followed
2186 by an index in square brackets.  The strict rule of using postfix
2187 operations makes precedence irrelevant within terms.  To provide a place
2188 to put the grammar for each terms of each type, we will start out by
2189 introducing the "Term" grammar production, with contains at least a
2190 simple "Value" (to be explained later).
2191
2192 ###### Grammar
2193         $*exec
2194         Term ->  Value ${ $0 = $<1; }$
2195         | Variable ${ $0 = $<1; }$
2196         ## term grammar
2197
2198 Thus far the complex types we have are arrays and structs.
2199
2200 #### Arrays
2201
2202 Arrays can be declared by giving a size and a type, as `[size]type' so
2203 `freq:[26]number` declares `freq` to be an array of 26 numbers.  The
2204 size can be either a literal number, or a named constant.  Some day an
2205 arbitrary expression will be supported.
2206
2207 As a formal parameter to a function, the array can be declared with a
2208 new variable as the size: `name:[size::number]string`.  The `size`
2209 variable is set to the size of the array and must be a constant.  As
2210 `number` is the only supported type, it can be left out:
2211 `name:[size::]string`.
2212
2213 Arrays cannot be assigned.  When pointers are introduced we will also
2214 introduce array slices which can refer to part or all of an array -
2215 the assignment syntax will create a slice.  For now, an array can only
2216 ever be referenced by the name it is declared with.  It is likely that
2217 a "`copy`" primitive will eventually be define which can be used to
2218 make a copy of an array with controllable recursive depth.
2219
2220 For now we have two sorts of array, those with fixed size either because
2221 it is given as a literal number or because it is a struct member (which
2222 cannot have a runtime-changing size), and those with a size that is
2223 determined at runtime - local variables with a const size.  The former
2224 have their size calculated at parse time, the latter at run time.
2225
2226 For the latter type, the `size` field of the type is the size of a
2227 pointer, and the array is reallocated every time it comes into scope.
2228
2229 We differentiate struct fields with a const size from local variables
2230 with a const size by whether they are prepared at parse time or not.
2231
2232 ###### type union fields
2233
2234         struct {
2235                 int unspec;     // size is unspecified - vsize must be set.
2236                 short size;
2237                 short static_size;
2238                 struct variable *vsize;
2239                 struct type *member;
2240         } array;
2241
2242 ###### value union fields
2243         void *array;  // used if not static_size
2244
2245 ###### value functions
2246
2247         static void array_prepare_type(struct parse_context *c, struct type *type,
2248                                        int parse_time)
2249         {
2250                 struct value *vsize;
2251                 mpz_t q;
2252                 if (type->array.static_size)
2253                         return;
2254                 if (type->array.unspec && parse_time)
2255                         return;
2256
2257                 if (type->array.vsize) {
2258                         vsize = var_value(c, type->array.vsize);
2259                         if (!vsize)
2260                                 return;
2261                         mpz_init(q);
2262                         mpz_tdiv_q(q, mpq_numref(vsize->num), mpq_denref(vsize->num));
2263                         type->array.size = mpz_get_si(q);
2264                         mpz_clear(q);
2265                 }
2266
2267                 if (parse_time && type->array.member->size) {
2268                         type->array.static_size = 1;
2269                         type->size = type->array.size * type->array.member->size;
2270                         type->align = type->array.member->align;
2271                 }
2272         }
2273
2274         static void array_init(struct type *type, struct value *val)
2275         {
2276                 int i;
2277                 void *ptr = val->ptr;
2278
2279                 if (!val)
2280                         return;                         // NOTEST
2281                 if (!type->array.static_size) {
2282                         val->array = calloc(type->array.size,
2283                                             type->array.member->size);
2284                         ptr = val->array;
2285                 }
2286                 for (i = 0; i < type->array.size; i++) {
2287                         struct value *v;
2288                         v = (void*)ptr + i * type->array.member->size;
2289                         val_init(type->array.member, v);
2290                 }
2291         }
2292
2293         static void array_free(struct type *type, struct value *val)
2294         {
2295                 int i;
2296                 void *ptr = val->ptr;
2297
2298                 if (!type->array.static_size)
2299                         ptr = val->array;
2300                 for (i = 0; i < type->array.size; i++) {
2301                         struct value *v;
2302                         v = (void*)ptr + i * type->array.member->size;
2303                         free_value(type->array.member, v);
2304                 }
2305                 if (!type->array.static_size)
2306                         free(ptr);
2307         }
2308
2309         static int array_compat(struct type *require, struct type *have)
2310         {
2311                 if (have->compat != require->compat)
2312                         return 0;
2313                 /* Both are arrays, so we can look at details */
2314                 if (!type_compat(require->array.member, have->array.member, 0))
2315                         return 0;
2316                 if (have->array.unspec && require->array.unspec) {
2317                         if (have->array.vsize && require->array.vsize &&
2318                             have->array.vsize != require->array.vsize)  // UNTESTED
2319                                 /* sizes might not be the same */
2320                                 return 0;       // UNTESTED
2321                         return 1;
2322                 }
2323                 if (have->array.unspec || require->array.unspec)
2324                         return 1;       // UNTESTED
2325                 if (require->array.vsize == NULL && have->array.vsize == NULL)
2326                         return require->array.size == have->array.size;
2327
2328                 return require->array.vsize == have->array.vsize;       // UNTESTED
2329         }
2330
2331         static void array_print_type(struct type *type, FILE *f)
2332         {
2333                 fputs("[", f);
2334                 if (type->array.vsize) {
2335                         struct binding *b = type->array.vsize->name;
2336                         fprintf(f, "%.*s%s]", b->name.len, b->name.txt,
2337                                 type->array.unspec ? "::" : "");
2338                 } else if (type->array.size)
2339                         fprintf(f, "%d]", type->array.size);
2340                 else
2341                         fprintf(f, "]");
2342                 type_print(type->array.member, f);
2343         }
2344
2345         static struct type array_prototype = {
2346                 .init = array_init,
2347                 .prepare_type = array_prepare_type,
2348                 .print_type = array_print_type,
2349                 .compat = array_compat,
2350                 .free = array_free,
2351                 .size = sizeof(void*),
2352                 .align = sizeof(void*),
2353         };
2354
2355 ###### declare terminals
2356         $TERM [ ]
2357
2358 ###### type grammar
2359
2360         | [ NUMBER ] Type ${ {
2361                 char tail[3];
2362                 mpq_t num;
2363                 struct type *t;
2364                 int elements = 0;
2365
2366                 if (number_parse(num, tail, $2.txt) == 0)
2367                         tok_err(c, "error: unrecognised number", &$2);
2368                 else if (tail[0]) {
2369                         tok_err(c, "error: unsupported number suffix", &$2);
2370                         mpq_clear(num);
2371                 } else {
2372                         elements = mpz_get_ui(mpq_numref(num));
2373                         if (mpz_cmp_ui(mpq_denref(num), 1) != 0) {
2374                                 tok_err(c, "error: array size must be an integer",
2375                                         &$2);
2376                         } else if (mpz_cmp_ui(mpq_numref(num), 1UL << 30) >= 0)
2377                                 tok_err(c, "error: array size is too large",
2378                                         &$2);
2379                         mpq_clear(num);
2380                 }
2381
2382                 $0 = t = add_anon_type(c, &array_prototype, "array[%d]", elements );
2383                 t->array.size = elements;
2384                 t->array.member = $<4;
2385                 t->array.vsize = NULL;
2386         } }$
2387
2388         | [ IDENTIFIER ] Type ${ {
2389                 struct variable *v = var_ref(c, $2.txt);
2390
2391                 if (!v)
2392                         tok_err(c, "error: name undeclared", &$2);
2393                 else if (!v->constant)
2394                         tok_err(c, "error: array size must be a constant", &$2);
2395
2396                 $0 = add_anon_type(c, &array_prototype, "array[%.*s]", $2.txt.len, $2.txt.txt);
2397                 $0->array.member = $<4;
2398                 $0->array.size = 0;
2399                 $0->array.vsize = v;
2400         } }$
2401
2402 ###### Grammar
2403         $*type
2404         OptType -> Type ${ $0 = $<1; }$
2405                 | ${ $0 = NULL; }$
2406
2407 ###### formal type grammar
2408
2409         | [ IDENTIFIER :: OptType ] Type ${ {
2410                 struct variable *v = var_decl(c, $ID.txt);
2411
2412                 v->type = $<OT;
2413                 v->constant = 1;
2414                 if (!v->type)
2415                         v->type = Tnum;
2416                 $0 = add_anon_type(c, &array_prototype, "array[var]");
2417                 $0->array.member = $<6;
2418                 $0->array.size = 0;
2419                 $0->array.unspec = 1;
2420                 $0->array.vsize = v;
2421         } }$
2422
2423 ###### Binode types
2424         Index,
2425
2426 ###### term grammar
2427
2428         | Term [ Expression ] ${ {
2429                 struct binode *b = new(binode);
2430                 b->op = Index;
2431                 b->left = $<1;
2432                 b->right = $<3;
2433                 $0 = b;
2434         } }$
2435
2436 ###### print binode cases
2437         case Index:
2438                 print_exec(b->left, -1, bracket);
2439                 printf("[");
2440                 print_exec(b->right, -1, bracket);
2441                 printf("]");
2442                 break;
2443
2444 ###### propagate binode cases
2445         case Index:
2446                 /* left must be an array, right must be a number,
2447                  * result is the member type of the array
2448                  */
2449                 propagate_types(b->right, c, perr, Tnum, 0);
2450                 t = propagate_types(b->left, c, perr, NULL, rules & Rnoconstant);
2451                 if (!t || t->compat != array_compat) {
2452                         type_err(c, "error: %1 cannot be indexed", prog, t, 0, NULL);
2453                         return NULL;
2454                 } else {
2455                         if (!type_compat(type, t->array.member, rules)) {
2456                                 type_err(c, "error: have %1 but need %2", prog,
2457                                          t->array.member, rules, type);
2458                         }
2459                         return t->array.member;
2460                 }
2461                 break;
2462
2463 ###### interp binode cases
2464         case Index: {
2465                 mpz_t q;
2466                 long i;
2467                 void *ptr;
2468
2469                 lleft = linterp_exec(c, b->left, &ltype);
2470                 right = interp_exec(c, b->right, &rtype);
2471                 mpz_init(q);
2472                 mpz_tdiv_q(q, mpq_numref(right.num), mpq_denref(right.num));
2473                 i = mpz_get_si(q);
2474                 mpz_clear(q);
2475
2476                 if (ltype->array.static_size)
2477                         ptr = lleft;
2478                 else
2479                         ptr = *(void**)lleft;
2480                 rvtype = ltype->array.member;
2481                 if (i >= 0 && i < ltype->array.size)
2482                         lrv = ptr + i * rvtype->size;
2483                 else
2484                         val_init(ltype->array.member, &rv); // UNSAFE
2485                 ltype = NULL;
2486                 break;
2487         }
2488
2489 #### Structs
2490
2491 A `struct` is a data-type that contains one or more other data-types.
2492 It differs from an array in that each member can be of a different
2493 type, and they are accessed by name rather than by number.  Thus you
2494 cannot choose an element by calculation, you need to know what you
2495 want up-front.
2496
2497 The language makes no promises about how a given structure will be
2498 stored in memory - it is free to rearrange fields to suit whatever
2499 criteria seems important.
2500
2501 Structs are declared separately from program code - they cannot be
2502 declared in-line in a variable declaration like arrays can.  A struct
2503 is given a name and this name is used to identify the type - the name
2504 is not prefixed by the word `struct` as it would be in C.
2505
2506 Structs are only treated as the same if they have the same name.
2507 Simply having the same fields in the same order is not enough.  This
2508 might change once we can create structure initializers from a list of
2509 values.
2510
2511 Each component datum is identified much like a variable is declared,
2512 with a name, one or two colons, and a type.  The type cannot be omitted
2513 as there is no opportunity to deduce the type from usage.  An initial
2514 value can be given following an equals sign, so
2515
2516 ##### Example: a struct type
2517
2518         struct complex:
2519                 x:number = 0
2520                 y:number = 0
2521
2522 would declare a type called "complex" which has two number fields,
2523 each initialised to zero.
2524
2525 Struct will need to be declared separately from the code that uses
2526 them, so we will need to be able to print out the declaration of a
2527 struct when reprinting the whole program.  So a `print_type_decl` type
2528 function will be needed.
2529
2530 ###### type union fields
2531
2532         struct {
2533                 int nfields;
2534                 struct field {
2535                         struct text name;
2536                         struct type *type;
2537                         struct value *init;
2538                         int offset;
2539                 } *fields; // This is created when field_list is analysed.
2540                 struct fieldlist {
2541                         struct fieldlist *prev;
2542                         struct field f;
2543                         struct exec *init;
2544                 } *field_list; // This is created during parsing
2545         } structure;
2546
2547 ###### type functions
2548         void (*print_type_decl)(struct type *type, FILE *f);
2549
2550 ###### value functions
2551
2552         static void structure_init(struct type *type, struct value *val)
2553         {
2554                 int i;
2555
2556                 for (i = 0; i < type->structure.nfields; i++) {
2557                         struct value *v;
2558                         v = (void*) val->ptr + type->structure.fields[i].offset;
2559                         if (type->structure.fields[i].init)
2560                                 dup_value(type->structure.fields[i].type,
2561                                           type->structure.fields[i].init,
2562                                           v);
2563                         else
2564                                 val_init(type->structure.fields[i].type, v);
2565                 }
2566         }
2567
2568         static void structure_free(struct type *type, struct value *val)
2569         {
2570                 int i;
2571
2572                 for (i = 0; i < type->structure.nfields; i++) {
2573                         struct value *v;
2574                         v = (void*)val->ptr + type->structure.fields[i].offset;
2575                         free_value(type->structure.fields[i].type, v);
2576                 }
2577         }
2578
2579         static void free_fieldlist(struct fieldlist *f)
2580         {
2581                 if (!f)
2582                         return;
2583                 free_fieldlist(f->prev);
2584                 free_exec(f->init);
2585                 free(f);
2586         }
2587
2588         static void structure_free_type(struct type *t)
2589         {
2590                 int i;
2591                 for (i = 0; i < t->structure.nfields; i++)
2592                         if (t->structure.fields[i].init) {
2593                                 free_value(t->structure.fields[i].type,
2594                                            t->structure.fields[i].init);
2595                         }
2596                 free(t->structure.fields);
2597                 free_fieldlist(t->structure.field_list);
2598         }
2599
2600         static void structure_prepare_type(struct parse_context *c,
2601                                            struct type *t, int parse_time)
2602         {
2603                 int cnt = 0;
2604                 struct fieldlist *f;
2605
2606                 if (!parse_time || t->structure.fields)
2607                         return;
2608
2609                 for (f = t->structure.field_list; f; f=f->prev) {
2610                         enum prop_err perr;
2611                         cnt += 1;
2612
2613                         if (f->f.type->prepare_type)
2614                                 f->f.type->prepare_type(c, f->f.type, 1);
2615                         if (f->init == NULL)
2616                                 continue;
2617                         do {
2618                                 perr = 0;
2619                                 propagate_types(f->init, c, &perr, f->f.type, 0);
2620                         } while (perr & Eretry);
2621                         if (perr & Efail)
2622                                 c->parse_error = 1;     // NOTEST
2623                 }
2624
2625                 t->structure.nfields = cnt;
2626                 t->structure.fields = calloc(cnt, sizeof(struct field));
2627                 f = t->structure.field_list;
2628                 while (cnt > 0) {
2629                         int a = f->f.type->align;
2630                         cnt -= 1;
2631                         t->structure.fields[cnt] = f->f;
2632                         if (t->size & (a-1))
2633                                 t->size = (t->size | (a-1)) + 1;
2634                         t->structure.fields[cnt].offset = t->size;
2635                         t->size += ((f->f.type->size - 1) | (a-1)) + 1;
2636                         if (a > t->align)
2637                                 t->align = a;
2638
2639                         if (f->init && !c->parse_error) {
2640                                 struct value vl = interp_exec(c, f->init, NULL);
2641                                 t->structure.fields[cnt].init =
2642                                         global_alloc(c, f->f.type, NULL, &vl);
2643                         }
2644
2645                         f = f->prev;
2646                 }
2647         }
2648
2649         static struct type structure_prototype = {
2650                 .init = structure_init,
2651                 .free = structure_free,
2652                 .free_type = structure_free_type,
2653                 .print_type_decl = structure_print_type,
2654                 .prepare_type = structure_prepare_type,
2655         };
2656
2657 ###### exec type
2658         Xfieldref,
2659
2660 ###### ast
2661         struct fieldref {
2662                 struct exec;
2663                 struct exec *left;
2664                 int index;
2665                 struct text name;
2666         };
2667
2668 ###### free exec cases
2669         case Xfieldref:
2670                 free_exec(cast(fieldref, e)->left);
2671                 free(e);
2672                 break;
2673
2674 ###### declare terminals
2675         $TERM struct .
2676
2677 ###### term grammar
2678
2679         | Term . IDENTIFIER ${ {
2680                 struct fieldref *fr = new_pos(fieldref, $2);
2681                 fr->left = $<1;
2682                 fr->name = $3.txt;
2683                 fr->index = -2;
2684                 $0 = fr;
2685         } }$
2686
2687 ###### print exec cases
2688
2689         case Xfieldref:
2690         {
2691                 struct fieldref *f = cast(fieldref, e);
2692                 print_exec(f->left, -1, bracket);
2693                 printf(".%.*s", f->name.len, f->name.txt);
2694                 break;
2695         }
2696
2697 ###### ast functions
2698         static int find_struct_index(struct type *type, struct text field)
2699         {
2700                 int i;
2701                 for (i = 0; i < type->structure.nfields; i++)
2702                         if (text_cmp(type->structure.fields[i].name, field) == 0)
2703                                 return i;
2704                 return -1;
2705         }
2706
2707 ###### propagate exec cases
2708
2709         case Xfieldref:
2710         {
2711                 struct fieldref *f = cast(fieldref, prog);
2712                 struct type *st = propagate_types(f->left, c, perr, NULL, 0);
2713
2714                 if (!st)
2715                         type_err(c, "error: unknown type for field access", f->left,    // UNTESTED
2716                                  NULL, 0, NULL);
2717                 else if (st->init != structure_init)
2718                         type_err(c, "error: field reference attempted on %1, not a struct",
2719                                  f->left, st, 0, NULL);
2720                 else if (f->index == -2) {
2721                         f->index = find_struct_index(st, f->name);
2722                         if (f->index < 0)
2723                                 type_err(c, "error: cannot find requested field in %1",
2724                                          f->left, st, 0, NULL);
2725                 }
2726                 if (f->index >= 0) {
2727                         struct type *ft = st->structure.fields[f->index].type;
2728                         if (!type_compat(type, ft, rules))
2729                                 type_err(c, "error: have %1 but need %2", prog,
2730                                          ft, rules, type);
2731                         return ft;
2732                 }
2733                 break;
2734         }
2735
2736 ###### interp exec cases
2737         case Xfieldref:
2738         {
2739                 struct fieldref *f = cast(fieldref, e);
2740                 struct type *ltype;
2741                 struct value *lleft = linterp_exec(c, f->left, &ltype);
2742                 lrv = (void*)lleft->ptr + ltype->structure.fields[f->index].offset;
2743                 rvtype = ltype->structure.fields[f->index].type;
2744                 break;
2745         }
2746
2747 ###### top level grammar
2748         DeclareStruct -> struct IDENTIFIER FieldBlock Newlines ${ {
2749                 struct type *t =
2750                         add_type(c, $2.txt, &structure_prototype);
2751                 t->structure.field_list = $<FB;
2752         } }$
2753
2754         $*fieldlist
2755         FieldBlock -> { IN OptNL FieldLines OUT OptNL } ${ $0 = $<FL; }$
2756         | { SimpleFieldList } ${ $0 = $<SFL; }$
2757         | IN OptNL FieldLines OUT ${ $0 = $<FL; }$
2758         | SimpleFieldList EOL ${ $0 = $<SFL; }$
2759
2760         FieldLines -> SimpleFieldList Newlines ${ $0 = $<SFL; }$
2761         | FieldLines SimpleFieldList Newlines ${
2762                 $SFL->prev = $<FL;
2763                 $0 = $<SFL;
2764         }$
2765
2766         SimpleFieldList -> Field ${ $0 = $<F; }$
2767         | SimpleFieldList ; Field ${
2768                 $F->prev = $<SFL;
2769                 $0 = $<F;
2770         }$
2771         | SimpleFieldList ; ${
2772                 $0 = $<SFL;
2773         }$
2774         | ERROR ${ tok_err(c, "Syntax error in struct field", &$1); }$
2775
2776         Field -> IDENTIFIER : Type = Expression ${ {
2777                 $0 = calloc(1, sizeof(struct fieldlist));
2778                 $0->f.name = $ID.txt;
2779                 $0->f.type = $<Type;
2780                 $0->f.init = NULL;
2781                 $0->init = $<Expr;
2782         } }$
2783         | IDENTIFIER : Type ${
2784                 $0 = calloc(1, sizeof(struct fieldlist));
2785                 $0->f.name = $ID.txt;
2786                 $0->f.type = $<Type;
2787         }$
2788
2789 ###### forward decls
2790         static void structure_print_type(struct type *t, FILE *f);
2791
2792 ###### value functions
2793         static void structure_print_type(struct type *t, FILE *f)
2794         {
2795                 int i;
2796
2797                 fprintf(f, "struct %.*s\n", t->name.len, t->name.txt);
2798
2799                 for (i = 0; i < t->structure.nfields; i++) {
2800                         struct field *fl = t->structure.fields + i;
2801                         fprintf(f, "    %.*s : ", fl->name.len, fl->name.txt);
2802                         type_print(fl->type, f);
2803                         if (fl->type->print && fl->init) {
2804                                 fprintf(f, " = ");
2805                                 if (fl->type == Tstr)
2806                                         fprintf(f, "\"");       // UNTESTED
2807                                 print_value(fl->type, fl->init, f);
2808                                 if (fl->type == Tstr)
2809                                         fprintf(f, "\"");       // UNTESTED
2810                         }
2811                         fprintf(f, "\n");
2812                 }
2813         }
2814
2815 ###### print type decls
2816         {
2817                 struct type *t;
2818                 int target = -1;
2819
2820                 while (target != 0) {
2821                         int i = 0;
2822                         for (t = context.typelist; t ; t=t->next)
2823                                 if (!t->anon && t->print_type_decl &&
2824                                     !t->check_args) {
2825                                         i += 1;
2826                                         if (i == target)
2827                                                 break;
2828                                 }
2829
2830                         if (target == -1) {
2831                                 target = i;
2832                         } else {
2833                                 t->print_type_decl(t, stdout);
2834                                 target -= 1;
2835                         }
2836                 }
2837         }
2838
2839 #### Functions
2840
2841 A function is a chunk of code which can be passed parameters and can
2842 return results.  Each function has a type which includes the set of
2843 parameters and the return value.  As yet these types cannot be declared
2844 separately from the function itself.
2845
2846 The parameters can be specified either in parentheses as a ';' separated
2847 list, such as
2848
2849 ##### Example: function 1
2850
2851         func main(av:[ac::number]string; env:[envc::number]string)
2852                 code block
2853
2854 or as an indented list of one parameter per line (though each line can
2855 be a ';' separated list)
2856
2857 ##### Example: function 2
2858
2859         func main
2860                 argv:[argc::number]string
2861                 env:[envc::number]string
2862         do
2863                 code block
2864
2865 In the first case a return type can follow the parentheses after a colon,
2866 in the second it is given on a line starting with the word `return`.
2867
2868 ##### Example: functions that return
2869
2870         func add(a:number; b:number): number
2871                 code block
2872
2873         func catenate
2874                 a: string
2875                 b: string
2876         return string
2877         do
2878                 code block
2879
2880 Rather than returning a type, the function can specify a set of local
2881 variables to return as a struct.  The values of these variables when the
2882 function exits will be provided to the caller.  For this the return type
2883 is replaced with a block of result declarations, either in parentheses
2884 or bracketed by `return` and `do`.
2885
2886 ##### Example: functions returning multiple variables
2887
2888         func to_cartesian(rho:number; theta:number):(x:number; y:number)
2889                 x = .....
2890                 y = .....
2891
2892         func to_polar
2893                 x:number; y:number
2894         return
2895                 rho:number
2896                 theta:number
2897         do
2898                 rho = ....
2899                 theta = ....
2900
2901 For constructing the lists we use a `List` binode, which will be
2902 further detailed when Expression Lists are introduced.
2903
2904 ###### type union fields
2905
2906         struct {
2907                 struct binode *params;
2908                 struct type *return_type;
2909                 struct variable *scope;
2910                 int inline_result;      // return value is at start of 'local'
2911                 int local_size;
2912         } function;
2913
2914 ###### value union fields
2915         struct exec *function;
2916
2917 ###### type functions
2918         void (*check_args)(struct parse_context *c, enum prop_err *perr,
2919                            struct type *require, struct exec *args);
2920
2921 ###### value functions
2922
2923         static void function_free(struct type *type, struct value *val)
2924         {
2925                 free_exec(val->function);
2926                 val->function = NULL;
2927         }
2928
2929         static int function_compat(struct type *require, struct type *have)
2930         {
2931                 // FIXME can I do anything here yet?
2932                 return 0;
2933         }
2934
2935         static void function_check_args(struct parse_context *c, enum prop_err *perr,
2936                                         struct type *require, struct exec *args)
2937         {
2938                 /* This should be 'compat', but we don't have a 'tuple' type to
2939                  * hold the type of 'args'
2940                  */
2941                 struct binode *arg = cast(binode, args);
2942                 struct binode *param = require->function.params;
2943
2944                 while (param) {
2945                         struct var *pv = cast(var, param->left);
2946                         if (!arg) {
2947                                 type_err(c, "error: insufficient arguments to function.",
2948                                          args, NULL, 0, NULL);
2949                                 break;
2950                         }
2951                         *perr = 0;
2952                         propagate_types(arg->left, c, perr, pv->var->type, 0);
2953                         param = cast(binode, param->right);
2954                         arg = cast(binode, arg->right);
2955                 }
2956                 if (arg)
2957                         type_err(c, "error: too many arguments to function.",
2958                                  args, NULL, 0, NULL);
2959         }
2960
2961         static void function_print(struct type *type, struct value *val, FILE *f)
2962         {
2963                 print_exec(val->function, 1, 0);
2964         }
2965
2966         static void function_print_type_decl(struct type *type, FILE *f)
2967         {
2968                 struct binode *b;
2969                 fprintf(f, "(");
2970                 for (b = type->function.params; b; b = cast(binode, b->right)) {
2971                         struct variable *v = cast(var, b->left)->var;
2972                         fprintf(f, "%.*s%s", v->name->name.len, v->name->name.txt,
2973                                 v->constant ? "::" : ":");
2974                         type_print(v->type, f);
2975                         if (b->right)
2976                                 fprintf(f, "; ");
2977                 }
2978                 fprintf(f, ")");
2979                 if (type->function.return_type != Tnone) {
2980                         fprintf(f, ":");
2981                         if (type->function.inline_result) {
2982                                 int i;
2983                                 struct type *t = type->function.return_type;
2984                                 fprintf(f, " (");
2985                                 for (i = 0; i < t->structure.nfields; i++) {
2986                                         struct field *fl = t->structure.fields + i;
2987                                         if (i)
2988                                                 fprintf(f, "; ");
2989                                         fprintf(f, "%.*s:", fl->name.len, fl->name.txt);
2990                                         type_print(fl->type, f);
2991                                 }
2992                                 fprintf(f, ")");
2993                         } else
2994                                 type_print(type->function.return_type, f);
2995                 }
2996                 fprintf(f, "\n");
2997         }
2998
2999         static void function_free_type(struct type *t)
3000         {
3001                 free_exec(t->function.params);
3002         }
3003
3004         static struct type function_prototype = {
3005                 .size = sizeof(void*),
3006                 .align = sizeof(void*),
3007                 .free = function_free,
3008                 .compat = function_compat,
3009                 .check_args = function_check_args,
3010                 .print = function_print,
3011                 .print_type_decl = function_print_type_decl,
3012                 .free_type = function_free_type,
3013         };
3014
3015 ###### declare terminals
3016
3017         $TERM func
3018
3019 ###### Binode types
3020         List,
3021
3022 ###### Grammar
3023
3024         $*variable
3025         FuncName -> IDENTIFIER ${ {
3026                 struct variable *v = var_decl(c, $1.txt);
3027                 struct var *e = new_pos(var, $1);
3028                 e->var = v;
3029                 if (v) {
3030                         v->where_decl = e;
3031                         $0 = v;
3032                 } else {
3033                         v = var_ref(c, $1.txt);
3034                         e->var = v;
3035                         type_err(c, "error: function '%v' redeclared",
3036                                 e, NULL, 0, NULL);
3037                         type_err(c, "info: this is where '%v' was first declared",
3038                                 v->where_decl, NULL, 0, NULL);
3039                         free_exec(e);
3040                 }
3041         } }$
3042
3043         $*binode
3044         Args -> ArgsLine NEWLINE ${ $0 = $<AL; }$
3045         | Args ArgsLine NEWLINE ${ {
3046                 struct binode *b = $<AL;
3047                 struct binode **bp = &b;
3048                 while (*bp)
3049                         bp = (struct binode **)&(*bp)->left;
3050                 *bp = $<A;
3051                 $0 = b;
3052         } }$
3053
3054         ArgsLine -> ${ $0 = NULL; }$
3055         | Varlist ${ $0 = $<1; }$
3056         | Varlist ; ${ $0 = $<1; }$
3057
3058         Varlist -> Varlist ; ArgDecl ${
3059                 $0 = new(binode);
3060                 $0->op = List;
3061                 $0->left = $<Vl;
3062                 $0->right = $<AD;
3063         }$
3064         | ArgDecl ${
3065                 $0 = new(binode);
3066                 $0->op = List;
3067                 $0->left = NULL;
3068                 $0->right = $<AD;
3069         }$
3070
3071         $*var
3072         ArgDecl -> IDENTIFIER : FormalType ${ {
3073                 struct variable *v = var_decl(c, $1.txt);
3074                 $0 = new(var);
3075                 $0->var = v;
3076                 v->type = $<FT;
3077         } }$
3078
3079 ##### Function calls
3080
3081 A function call can appear either as an expression or as a statement.
3082 We use a new 'Funcall' binode type to link the function with a list of
3083 arguments, form with the 'List' nodes.
3084
3085 We have already seen the "Term" which is how a function call can appear
3086 in an expression.  To parse a function call into a statement we include
3087 it in the "SimpleStatement Grammar" which will be described later.
3088
3089 ###### Binode types
3090         Funcall,
3091
3092 ###### term grammar
3093         | Term ( ExpressionList ) ${ {
3094                 struct binode *b = new(binode);
3095                 b->op = Funcall;
3096                 b->left = $<T;
3097                 b->right = reorder_bilist($<EL);
3098                 $0 = b;
3099         } }$
3100         | Term ( ) ${ {
3101                 struct binode *b = new(binode);
3102                 b->op = Funcall;
3103                 b->left = $<T;
3104                 b->right = NULL;
3105                 $0 = b;
3106         } }$
3107
3108 ###### SimpleStatement Grammar
3109
3110         | Term ( ExpressionList ) ${ {
3111                 struct binode *b = new(binode);
3112                 b->op = Funcall;
3113                 b->left = $<T;
3114                 b->right = reorder_bilist($<EL);
3115                 $0 = b;
3116         } }$
3117
3118 ###### print binode cases
3119
3120         case Funcall:
3121                 do_indent(indent, "");
3122                 print_exec(b->left, -1, bracket);
3123                 printf("(");
3124                 for (b = cast(binode, b->right); b; b = cast(binode, b->right)) {
3125                         if (b->left) {
3126                                 printf(" ");
3127                                 print_exec(b->left, -1, bracket);
3128                                 if (b->right)
3129                                         printf(",");
3130                         }
3131                 }
3132                 printf(")");
3133                 if (indent >= 0)
3134                         printf("\n");
3135                 break;
3136
3137 ###### propagate binode cases
3138
3139         case Funcall: {
3140                 /* Every arg must match formal parameter, and result
3141                  * is return type of function
3142                  */
3143                 struct binode *args = cast(binode, b->right);
3144                 struct var *v = cast(var, b->left);
3145
3146                 if (!v->var->type || v->var->type->check_args == NULL) {
3147                         type_err(c, "error: attempt to call a non-function.",
3148                                  prog, NULL, 0, NULL);
3149                         return NULL;
3150                 }
3151                 v->var->type->check_args(c, perr, v->var->type, args);
3152                 return v->var->type->function.return_type;
3153         }
3154
3155 ###### interp binode cases
3156
3157         case Funcall: {
3158                 struct var *v = cast(var, b->left);
3159                 struct type *t = v->var->type;
3160                 void *oldlocal = c->local;
3161                 int old_size = c->local_size;
3162                 void *local = calloc(1, t->function.local_size);
3163                 struct value *fbody = var_value(c, v->var);
3164                 struct binode *arg = cast(binode, b->right);
3165                 struct binode *param = t->function.params;
3166
3167                 while (param) {
3168                         struct var *pv = cast(var, param->left);
3169                         struct type *vtype = NULL;
3170                         struct value val = interp_exec(c, arg->left, &vtype);
3171                         struct value *lval;
3172                         c->local = local; c->local_size = t->function.local_size;
3173                         lval = var_value(c, pv->var);
3174                         c->local = oldlocal; c->local_size = old_size;
3175                         memcpy(lval, &val, vtype->size);
3176                         param = cast(binode, param->right);
3177                         arg = cast(binode, arg->right);
3178                 }
3179                 c->local = local; c->local_size = t->function.local_size;
3180                 if (t->function.inline_result && dtype) {
3181                         _interp_exec(c, fbody->function, NULL, NULL);
3182                         memcpy(dest, local, dtype->size);
3183                         rvtype = ret.type = NULL;
3184                 } else
3185                         rv = interp_exec(c, fbody->function, &rvtype);
3186                 c->local = oldlocal; c->local_size = old_size;
3187                 free(local);
3188                 break;
3189         }
3190
3191 ## Complex executables: statements and expressions
3192
3193 Now that we have types and values and variables and most of the basic
3194 Terms which provide access to these, we can explore the more complex
3195 code that combine all of these to get useful work done.  Specifically
3196 statements and expressions.
3197
3198 Expressions are various combinations of Terms.  We will use operator
3199 precedence to ensure correct parsing.  The simplest Expression is just a
3200 Term - others will follow.
3201
3202 ###### Grammar
3203
3204         $*exec
3205         Expression -> Term ${ $0 = $<Term; }$
3206         ## expression grammar
3207
3208 ### Expressions: Conditional
3209
3210 Our first user of the `binode` will be conditional expressions, which
3211 is a bit odd as they actually have three components.  That will be
3212 handled by having 2 binodes for each expression.  The conditional
3213 expression is the lowest precedence operator which is why we define it
3214 first - to start the precedence list.
3215
3216 Conditional expressions are of the form "value `if` condition `else`
3217 other_value".  They associate to the right, so everything to the right
3218 of `else` is part of an else value, while only a higher-precedence to
3219 the left of `if` is the if values.  Between `if` and `else` there is no
3220 room for ambiguity, so a full conditional expression is allowed in
3221 there.
3222
3223 ###### Binode types
3224         CondExpr,
3225
3226 ###### declare terminals
3227
3228         $LEFT if $$ifelse
3229
3230 ###### expression grammar
3231
3232         | Expression if Expression else Expression $$ifelse ${ {
3233                 struct binode *b1 = new(binode);
3234                 struct binode *b2 = new(binode);
3235                 b1->op = CondExpr;
3236                 b1->left = $<3;
3237                 b1->right = b2;
3238                 b2->op = CondExpr;
3239                 b2->left = $<1;
3240                 b2->right = $<5;
3241                 $0 = b1;
3242         } }$
3243
3244 ###### print binode cases
3245
3246         case CondExpr:
3247                 b2 = cast(binode, b->right);
3248                 if (bracket) printf("(");
3249                 print_exec(b2->left, -1, bracket);
3250                 printf(" if ");
3251                 print_exec(b->left, -1, bracket);
3252                 printf(" else ");
3253                 print_exec(b2->right, -1, bracket);
3254                 if (bracket) printf(")");
3255                 break;
3256
3257 ###### propagate binode cases
3258
3259         case CondExpr: {
3260                 /* cond must be Tbool, others must match */
3261                 struct binode *b2 = cast(binode, b->right);
3262                 struct type *t2;
3263
3264                 propagate_types(b->left, c, perr, Tbool, 0);
3265                 t = propagate_types(b2->left, c, perr, type, Rnolabel);
3266                 t2 = propagate_types(b2->right, c, perr, type ?: t, Rnolabel);
3267                 return t ?: t2;
3268         }
3269
3270 ###### interp binode cases
3271
3272         case CondExpr: {
3273                 struct binode *b2 = cast(binode, b->right);
3274                 left = interp_exec(c, b->left, &ltype);
3275                 if (left.bool)
3276                         rv = interp_exec(c, b2->left, &rvtype); // UNTESTED
3277                 else
3278                         rv = interp_exec(c, b2->right, &rvtype);
3279                 }
3280                 break;
3281
3282 ### Expression list
3283
3284 We take a brief detour, now that we have expressions, to describe lists
3285 of expressions.  These will be needed for function parameters and
3286 possibly other situations.  They seem generic enough to introduce here
3287 to be used elsewhere.
3288
3289 And ExpressionList will use the `List` type of `binode`, building up at
3290 the end.  And place where they are used will probably call
3291 `reorder_bilist()` to get a more normal first/next arrangement.
3292
3293 ###### declare terminals
3294         $TERM ,
3295
3296 `List` execs have no implicit semantics, so they are never propagated or
3297 interpreted.  The can be printed as a comma separate list, which is how
3298 they are parsed.  Note they are also used for function formal parameter
3299 lists.  In that case a separate function is used to print them.
3300
3301 ###### print binode cases
3302         case List:
3303                 while (b) {
3304                         printf(" ");
3305                         print_exec(b->left, -1, bracket);
3306                         if (b->right)
3307                                 printf(",");
3308                         b = cast(binode, b->right);
3309                 }
3310                 break;
3311
3312 ###### propagate binode cases
3313         case List: abort(); // NOTEST
3314 ###### interp binode cases
3315         case List: abort(); // NOTEST
3316
3317 ###### Grammar
3318
3319         $*binode
3320         ExpressionList -> ExpressionList , Expression ${
3321                 $0 = new(binode);
3322                 $0->op = List;
3323                 $0->left = $<1;
3324                 $0->right = $<3;
3325         }$
3326         | Expression ${
3327                 $0 = new(binode);
3328                 $0->op = List;
3329                 $0->left = NULL;
3330                 $0->right = $<1;
3331         }$
3332
3333 ### Expressions: Boolean
3334
3335 The next class of expressions to use the `binode` will be Boolean
3336 expressions.  "`and then`" and "`or else`" are similar to `and` and `or`
3337 have same corresponding precendence.  The difference is that they don't
3338 evaluate the second expression if not necessary.
3339
3340 ###### Binode types
3341         And,
3342         AndThen,
3343         Or,
3344         OrElse,
3345         Not,
3346
3347 ###### declare terminals
3348         $LEFT or
3349         $LEFT and
3350         $LEFT not
3351
3352 ###### expression grammar
3353         | Expression or Expression ${ {
3354                 struct binode *b = new(binode);
3355                 b->op = Or;
3356                 b->left = $<1;
3357                 b->right = $<3;
3358                 $0 = b;
3359         } }$
3360         | Expression or else Expression ${ {
3361                 struct binode *b = new(binode);
3362                 b->op = OrElse;
3363                 b->left = $<1;
3364                 b->right = $<4;
3365                 $0 = b;
3366         } }$
3367
3368         | Expression and Expression ${ {
3369                 struct binode *b = new(binode);
3370                 b->op = And;
3371                 b->left = $<1;
3372                 b->right = $<3;
3373                 $0 = b;
3374         } }$
3375         | Expression and then Expression ${ {
3376                 struct binode *b = new(binode);
3377                 b->op = AndThen;
3378                 b->left = $<1;
3379                 b->right = $<4;
3380                 $0 = b;
3381         } }$
3382
3383         | not Expression ${ {
3384                 struct binode *b = new(binode);
3385                 b->op = Not;
3386                 b->right = $<2;
3387                 $0 = b;
3388         } }$
3389
3390 ###### print binode cases
3391         case And:
3392                 if (bracket) printf("(");
3393                 print_exec(b->left, -1, bracket);
3394                 printf(" and ");
3395                 print_exec(b->right, -1, bracket);
3396                 if (bracket) printf(")");
3397                 break;
3398         case AndThen:
3399                 if (bracket) printf("(");
3400                 print_exec(b->left, -1, bracket);
3401                 printf(" and then ");
3402                 print_exec(b->right, -1, bracket);
3403                 if (bracket) printf(")");
3404                 break;
3405         case Or:
3406                 if (bracket) printf("(");
3407                 print_exec(b->left, -1, bracket);
3408                 printf(" or ");
3409                 print_exec(b->right, -1, bracket);
3410                 if (bracket) printf(")");
3411                 break;
3412         case OrElse:
3413                 if (bracket) printf("(");
3414                 print_exec(b->left, -1, bracket);
3415                 printf(" or else ");
3416                 print_exec(b->right, -1, bracket);
3417                 if (bracket) printf(")");
3418                 break;
3419         case Not:
3420                 if (bracket) printf("(");
3421                 printf("not ");
3422                 print_exec(b->right, -1, bracket);
3423                 if (bracket) printf(")");
3424                 break;
3425
3426 ###### propagate binode cases
3427         case And:
3428         case AndThen:
3429         case Or:
3430         case OrElse:
3431         case Not:
3432                 /* both must be Tbool, result is Tbool */
3433                 propagate_types(b->left, c, perr, Tbool, 0);
3434                 propagate_types(b->right, c, perr, Tbool, 0);
3435                 if (type && type != Tbool)
3436                         type_err(c, "error: %1 operation found where %2 expected", prog,
3437                                    Tbool, 0, type);
3438                 return Tbool;
3439
3440 ###### interp binode cases
3441         case And:
3442                 rv = interp_exec(c, b->left, &rvtype);
3443                 right = interp_exec(c, b->right, &rtype);
3444                 rv.bool = rv.bool && right.bool;
3445                 break;
3446         case AndThen:
3447                 rv = interp_exec(c, b->left, &rvtype);
3448                 if (rv.bool)
3449                         rv = interp_exec(c, b->right, NULL);
3450                 break;
3451         case Or:
3452                 rv = interp_exec(c, b->left, &rvtype);
3453                 right = interp_exec(c, b->right, &rtype);
3454                 rv.bool = rv.bool || right.bool;
3455                 break;
3456         case OrElse:
3457                 rv = interp_exec(c, b->left, &rvtype);
3458                 if (!rv.bool)
3459                         rv = interp_exec(c, b->right, NULL);
3460                 break;
3461         case Not:
3462                 rv = interp_exec(c, b->right, &rvtype);
3463                 rv.bool = !rv.bool;
3464                 break;
3465
3466 ### Expressions: Comparison
3467
3468 Of slightly higher precedence that Boolean expressions are Comparisons.
3469 A comparison takes arguments of any comparable type, but the two types
3470 must be the same.
3471
3472 To simplify the parsing we introduce an `eop` which can record an
3473 expression operator, and the `CMPop` non-terminal will match one of them.
3474
3475 ###### ast
3476         struct eop {
3477                 enum Btype op;
3478         };
3479
3480 ###### ast functions
3481         static void free_eop(struct eop *e)
3482         {
3483                 if (e)
3484                         free(e);
3485         }
3486
3487 ###### Binode types
3488         Less,
3489         Gtr,
3490         LessEq,
3491         GtrEq,
3492         Eql,
3493         NEql,
3494
3495 ###### declare terminals
3496         $LEFT < > <= >= == != CMPop
3497
3498 ###### expression grammar
3499         | Expression CMPop Expression ${ {
3500                 struct binode *b = new(binode);
3501                 b->op = $2.op;
3502                 b->left = $<1;
3503                 b->right = $<3;
3504                 $0 = b;
3505         } }$
3506
3507 ###### Grammar
3508
3509         $eop
3510         CMPop ->  < ${ $0.op = Less; }$
3511         |         > ${ $0.op = Gtr; }$
3512         |         <= ${ $0.op = LessEq; }$
3513         |         >= ${ $0.op = GtrEq; }$
3514         |         == ${ $0.op = Eql; }$
3515         |         != ${ $0.op = NEql; }$
3516
3517 ###### print binode cases
3518
3519         case Less:
3520         case LessEq:
3521         case Gtr:
3522         case GtrEq:
3523         case Eql:
3524         case NEql:
3525                 if (bracket) printf("(");
3526                 print_exec(b->left, -1, bracket);
3527                 switch(b->op) {
3528                 case Less:   printf(" < "); break;
3529                 case LessEq: printf(" <= "); break;
3530                 case Gtr:    printf(" > "); break;
3531                 case GtrEq:  printf(" >= "); break;
3532                 case Eql:    printf(" == "); break;
3533                 case NEql:   printf(" != "); break;
3534                 default: abort();               // NOTEST
3535                 }
3536                 print_exec(b->right, -1, bracket);
3537                 if (bracket) printf(")");
3538                 break;
3539
3540 ###### propagate binode cases
3541         case Less:
3542         case LessEq:
3543         case Gtr:
3544         case GtrEq:
3545         case Eql:
3546         case NEql:
3547                 /* Both must match but not be labels, result is Tbool */
3548                 t = propagate_types(b->left, c, perr, NULL, Rnolabel);
3549                 if (t)
3550                         propagate_types(b->right, c, perr, t, 0);
3551                 else {
3552                         t = propagate_types(b->right, c, perr, NULL, Rnolabel); // UNTESTED
3553                         if (t)  // UNTESTED
3554                                 t = propagate_types(b->left, c, perr, t, 0);    // UNTESTED
3555                 }
3556                 if (!type_compat(type, Tbool, 0))
3557                         type_err(c, "error: Comparison returns %1 but %2 expected", prog,
3558                                     Tbool, rules, type);
3559                 return Tbool;
3560
3561 ###### interp binode cases
3562         case Less:
3563         case LessEq:
3564         case Gtr:
3565         case GtrEq:
3566         case Eql:
3567         case NEql:
3568         {
3569                 int cmp;
3570                 left = interp_exec(c, b->left, &ltype);
3571                 right = interp_exec(c, b->right, &rtype);
3572                 cmp = value_cmp(ltype, rtype, &left, &right);
3573                 rvtype = Tbool;
3574                 switch (b->op) {
3575                 case Less:      rv.bool = cmp <  0; break;
3576                 case LessEq:    rv.bool = cmp <= 0; break;
3577                 case Gtr:       rv.bool = cmp >  0; break;
3578                 case GtrEq:     rv.bool = cmp >= 0; break;
3579                 case Eql:       rv.bool = cmp == 0; break;
3580                 case NEql:      rv.bool = cmp != 0; break;
3581                 default:        rv.bool = 0; break;     // NOTEST
3582                 }
3583                 break;
3584         }
3585
3586 ### Expressions: Arithmetic etc.
3587
3588 The remaining expressions with the highest precedence are arithmetic,
3589 string concatenation, and string conversion.  String concatenation
3590 (`++`) has the same precedence as multiplication and division, but lower
3591 than the uniary.
3592
3593 String conversion is a temporary feature until I get a better type
3594 system.  `$` is a prefix operator which expects a string and returns
3595 a number.
3596
3597 `+` and `-` are both infix and prefix operations (where they are
3598 absolute value and negation).  These have different operator names.
3599
3600 We also have a 'Bracket' operator which records where parentheses were
3601 found.  This makes it easy to reproduce these when printing.  Possibly I
3602 should only insert brackets were needed for precedence.  Putting
3603 parentheses around an expression converts it into a Term,
3604
3605 ###### Binode types
3606         Plus, Minus,
3607         Times, Divide, Rem,
3608         Concat,
3609         Absolute, Negate,
3610         StringConv,
3611         Bracket,
3612
3613 ###### declare terminals
3614         $LEFT + - Eop
3615         $LEFT * / % ++ Top
3616         $LEFT Uop $
3617         $TERM ( )
3618
3619 ###### expression grammar
3620         | Expression Eop Expression ${ {
3621                 struct binode *b = new(binode);
3622                 b->op = $2.op;
3623                 b->left = $<1;
3624                 b->right = $<3;
3625                 $0 = b;
3626         } }$
3627
3628         | Expression Top Expression ${ {
3629                 struct binode *b = new(binode);
3630                 b->op = $2.op;
3631                 b->left = $<1;
3632                 b->right = $<3;
3633                 $0 = b;
3634         } }$
3635
3636         | Uop Expression ${ {
3637                 struct binode *b = new(binode);
3638                 b->op = $1.op;
3639                 b->right = $<2;
3640                 $0 = b;
3641         } }$
3642
3643 ###### term grammar
3644
3645         | ( Expression ) ${ {
3646                 struct binode *b = new_pos(binode, $1);
3647                 b->op = Bracket;
3648                 b->right = $<2;
3649                 $0 = b;
3650         } }$
3651
3652 ###### Grammar
3653
3654         $eop
3655         Eop ->   + ${ $0.op = Plus; }$
3656         |        - ${ $0.op = Minus; }$
3657
3658         Uop ->   + ${ $0.op = Absolute; }$
3659         |        - ${ $0.op = Negate; }$
3660         |        $ ${ $0.op = StringConv; }$
3661
3662         Top ->   * ${ $0.op = Times; }$
3663         |        / ${ $0.op = Divide; }$
3664         |        % ${ $0.op = Rem; }$
3665         |        ++ ${ $0.op = Concat; }$
3666
3667 ###### print binode cases
3668         case Plus:
3669         case Minus:
3670         case Times:
3671         case Divide:
3672         case Concat:
3673         case Rem:
3674                 if (bracket) printf("(");
3675                 print_exec(b->left, indent, bracket);
3676                 switch(b->op) {
3677                 case Plus:   fputs(" + ", stdout); break;
3678                 case Minus:  fputs(" - ", stdout); break;
3679                 case Times:  fputs(" * ", stdout); break;
3680                 case Divide: fputs(" / ", stdout); break;
3681                 case Rem:    fputs(" % ", stdout); break;
3682                 case Concat: fputs(" ++ ", stdout); break;
3683                 default: abort();       // NOTEST
3684                 }                       // NOTEST
3685                 print_exec(b->right, indent, bracket);
3686                 if (bracket) printf(")");
3687                 break;
3688         case Absolute:
3689         case Negate:
3690         case StringConv:
3691                 if (bracket) printf("(");
3692                 switch (b->op) {
3693                 case Absolute:   fputs("+", stdout); break;
3694                 case Negate:     fputs("-", stdout); break;
3695                 case StringConv: fputs("$", stdout); break;
3696                 default: abort();       // NOTEST
3697                 }                       // NOTEST
3698                 print_exec(b->right, indent, bracket);
3699                 if (bracket) printf(")");
3700                 break;
3701         case Bracket:
3702                 printf("(");
3703                 print_exec(b->right, indent, bracket);
3704                 printf(")");
3705                 break;
3706
3707 ###### propagate binode cases
3708         case Plus:
3709         case Minus:
3710         case Times:
3711         case Rem:
3712         case Divide:
3713                 /* both must be numbers, result is Tnum */
3714         case Absolute:
3715         case Negate:
3716                 /* as propagate_types ignores a NULL,
3717                  * unary ops fit here too */
3718                 propagate_types(b->left, c, perr, Tnum, 0);
3719                 propagate_types(b->right, c, perr, Tnum, 0);
3720                 if (!type_compat(type, Tnum, 0))
3721                         type_err(c, "error: Arithmetic returns %1 but %2 expected", prog,
3722                                    Tnum, rules, type);
3723                 return Tnum;
3724
3725         case Concat:
3726                 /* both must be Tstr, result is Tstr */
3727                 propagate_types(b->left, c, perr, Tstr, 0);
3728                 propagate_types(b->right, c, perr, Tstr, 0);
3729                 if (!type_compat(type, Tstr, 0))
3730                         type_err(c, "error: Concat returns %1 but %2 expected", prog,
3731                                    Tstr, rules, type);
3732                 return Tstr;
3733
3734         case StringConv:
3735                 /* op must be string, result is number */
3736                 propagate_types(b->left, c, perr, Tstr, 0);
3737                 if (!type_compat(type, Tnum, 0))
3738                         type_err(c,     // UNTESTED
3739                           "error: Can only convert string to number, not %1",
3740                                 prog, type, 0, NULL);
3741                 return Tnum;
3742
3743         case Bracket:
3744                 return propagate_types(b->right, c, perr, type, 0);
3745
3746 ###### interp binode cases
3747
3748         case Plus:
3749                 rv = interp_exec(c, b->left, &rvtype);
3750                 right = interp_exec(c, b->right, &rtype);
3751                 mpq_add(rv.num, rv.num, right.num);
3752                 break;
3753         case Minus:
3754                 rv = interp_exec(c, b->left, &rvtype);
3755                 right = interp_exec(c, b->right, &rtype);
3756                 mpq_sub(rv.num, rv.num, right.num);
3757                 break;
3758         case Times:
3759                 rv = interp_exec(c, b->left, &rvtype);
3760                 right = interp_exec(c, b->right, &rtype);
3761                 mpq_mul(rv.num, rv.num, right.num);
3762                 break;
3763         case Divide:
3764                 rv = interp_exec(c, b->left, &rvtype);
3765                 right = interp_exec(c, b->right, &rtype);
3766                 mpq_div(rv.num, rv.num, right.num);
3767                 break;
3768         case Rem: {
3769                 mpz_t l, r, rem;
3770
3771                 left = interp_exec(c, b->left, &ltype);
3772                 right = interp_exec(c, b->right, &rtype);
3773                 mpz_init(l); mpz_init(r); mpz_init(rem);
3774                 mpz_tdiv_q(l, mpq_numref(left.num), mpq_denref(left.num));
3775                 mpz_tdiv_q(r, mpq_numref(right.num), mpq_denref(right.num));
3776                 mpz_tdiv_r(rem, l, r);
3777                 val_init(Tnum, &rv);
3778                 mpq_set_z(rv.num, rem);
3779                 mpz_clear(r); mpz_clear(l); mpz_clear(rem);
3780                 rvtype = ltype;
3781                 break;
3782         }
3783         case Negate:
3784                 rv = interp_exec(c, b->right, &rvtype);
3785                 mpq_neg(rv.num, rv.num);
3786                 break;
3787         case Absolute:
3788                 rv = interp_exec(c, b->right, &rvtype);
3789                 mpq_abs(rv.num, rv.num);
3790                 break;
3791         case Bracket:
3792                 rv = interp_exec(c, b->right, &rvtype);
3793                 break;
3794         case Concat:
3795                 left = interp_exec(c, b->left, &ltype);
3796                 right = interp_exec(c, b->right, &rtype);
3797                 rvtype = Tstr;
3798                 rv.str = text_join(left.str, right.str);
3799                 break;
3800         case StringConv:
3801                 right = interp_exec(c, b->right, &rvtype);
3802                 rtype = Tstr;
3803                 rvtype = Tnum;
3804
3805                 struct text tx = right.str;
3806                 char tail[3];
3807                 int neg = 0;
3808                 if (tx.txt[0] == '-') {
3809                         neg = 1;        // UNTESTED
3810                         tx.txt++;       // UNTESTED
3811                         tx.len--;       // UNTESTED
3812                 }
3813                 if (number_parse(rv.num, tail, tx) == 0)
3814                         mpq_init(rv.num);       // UNTESTED
3815                 else if (neg)
3816                         mpq_neg(rv.num, rv.num);        // UNTESTED
3817                 if (tail[0])
3818                         printf("Unsupported suffix: %.*s\n", tx.len, tx.txt);   // UNTESTED
3819
3820                 break;
3821
3822 ###### value functions
3823
3824         static struct text text_join(struct text a, struct text b)
3825         {
3826                 struct text rv;
3827                 rv.len = a.len + b.len;
3828                 rv.txt = malloc(rv.len);
3829                 memcpy(rv.txt, a.txt, a.len);
3830                 memcpy(rv.txt+a.len, b.txt, b.len);
3831                 return rv;
3832         }
3833
3834 ### Blocks, Statements, and Statement lists.
3835
3836 Now that we have expressions out of the way we need to turn to
3837 statements.  There are simple statements and more complex statements.
3838 Simple statements do not contain (syntactic) newlines, complex statements do.
3839
3840 Statements often come in sequences and we have corresponding simple
3841 statement lists and complex statement lists.
3842 The former comprise only simple statements separated by semicolons.
3843 The later comprise complex statements and simple statement lists.  They are
3844 separated by newlines.  Thus the semicolon is only used to separate
3845 simple statements on the one line.  This may be overly restrictive,
3846 but I'm not sure I ever want a complex statement to share a line with
3847 anything else.
3848
3849 Note that a simple statement list can still use multiple lines if
3850 subsequent lines are indented, so
3851
3852 ###### Example: wrapped simple statement list
3853
3854         a = b; c = d;
3855            e = f; print g
3856
3857 is a single simple statement list.  This might allow room for
3858 confusion, so I'm not set on it yet.
3859
3860 A simple statement list needs no extra syntax.  A complex statement
3861 list has two syntactic forms.  It can be enclosed in braces (much like
3862 C blocks), or it can be introduced by an indent and continue until an
3863 unindented newline (much like Python blocks).  With this extra syntax
3864 it is referred to as a block.
3865
3866 Note that a block does not have to include any newlines if it only
3867 contains simple statements.  So both of:
3868
3869         if condition: a=b; d=f
3870
3871         if condition { a=b; print f }
3872
3873 are valid.
3874
3875 In either case the list is constructed from a `binode` list with
3876 `Block` as the operator.  When parsing the list it is most convenient
3877 to append to the end, so a list is a list and a statement.  When using
3878 the list it is more convenient to consider a list to be a statement
3879 and a list.  So we need a function to re-order a list.
3880 `reorder_bilist` serves this purpose.
3881
3882 The only stand-alone statement we introduce at this stage is `pass`
3883 which does nothing and is represented as a `NULL` pointer in a `Block`
3884 list.  Other stand-alone statements will follow once the infrastructure
3885 is in-place.
3886
3887 As many statements will use binodes, we declare a binode pointer 'b' in
3888 the common header for all reductions to use.
3889
3890 ###### Parser: reduce
3891         struct binode *b;
3892
3893 ###### Binode types
3894         Block,
3895
3896 ###### Grammar
3897
3898         $TERM { } ;
3899
3900         $*binode
3901         Block -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3902         |        { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3903         |        SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3904         |        SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3905         |        IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
3906
3907         OpenBlock -> OpenScope { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3908         |        OpenScope { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3909         |        OpenScope SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3910         |        OpenScope SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3911         |        IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
3912
3913         UseBlock -> { OpenScope IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3914         |        { OpenScope SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3915         |        IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
3916
3917         ColonBlock -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3918         |        { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3919         |        : SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3920         |        : SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3921         |        : IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
3922
3923         Statementlist -> ComplexStatements ${ $0 = reorder_bilist($<CS); }$
3924
3925         ComplexStatements -> ComplexStatements ComplexStatement ${
3926                 if ($2 == NULL) {
3927                         $0 = $<1;
3928                 } else {
3929                         $0 = new(binode);
3930                         $0->op = Block;
3931                         $0->left = $<1;
3932                         $0->right = $<2;
3933                 }
3934         }$
3935         | ComplexStatement ${
3936                 if ($1 == NULL) {
3937                         $0 = NULL;
3938                 } else {
3939                         $0 = new(binode);
3940                         $0->op = Block;
3941                         $0->left = NULL;
3942                         $0->right = $<1;
3943                 }
3944         }$
3945
3946         $*exec
3947         ComplexStatement -> SimpleStatements Newlines ${
3948                 $0 = reorder_bilist($<SS);
3949         }$
3950         |  SimpleStatements ; Newlines ${
3951                 $0 = reorder_bilist($<SS);
3952         }$
3953         ## ComplexStatement Grammar
3954
3955         $*binode
3956         SimpleStatements -> SimpleStatements ; SimpleStatement ${
3957                 $0 = new(binode);
3958                 $0->op = Block;
3959                 $0->left = $<1;
3960                 $0->right = $<3;
3961         }$
3962         | SimpleStatement ${
3963                 $0 = new(binode);
3964                 $0->op = Block;
3965                 $0->left = NULL;
3966                 $0->right = $<1;
3967         }$
3968
3969         $TERM pass
3970         $*exec
3971         SimpleStatement -> pass ${ $0 = NULL; }$
3972         | ERROR ${ tok_err(c, "Syntax error in statement", &$1); }$
3973         ## SimpleStatement Grammar
3974
3975 ###### print binode cases
3976         case Block:
3977                 if (indent < 0) {
3978                         // simple statement
3979                         if (b->left == NULL)    // UNTESTED
3980                                 printf("pass"); // UNTESTED
3981                         else
3982                                 print_exec(b->left, indent, bracket);   // UNTESTED
3983                         if (b->right) { // UNTESTED
3984                                 printf("; ");   // UNTESTED
3985                                 print_exec(b->right, indent, bracket);  // UNTESTED
3986                         }
3987                 } else {
3988                         // block, one per line
3989                         if (b->left == NULL)
3990                                 do_indent(indent, "pass\n");
3991                         else
3992                                 print_exec(b->left, indent, bracket);
3993                         if (b->right)
3994                                 print_exec(b->right, indent, bracket);
3995                 }
3996                 break;
3997
3998 ###### propagate binode cases
3999         case Block:
4000         {
4001                 /* If any statement returns something other than Tnone
4002                  * or Tbool then all such must return same type.
4003                  * As each statement may be Tnone or something else,
4004                  * we must always pass NULL (unknown) down, otherwise an incorrect
4005                  * error might occur.  We never return Tnone unless it is
4006                  * passed in.
4007                  */
4008                 struct binode *e;
4009
4010                 for (e = b; e; e = cast(binode, e->right)) {
4011                         t = propagate_types(e->left, c, perr, NULL, rules);
4012                         if ((rules & Rboolok) && (t == Tbool || t == Tnone))
4013                                 t = NULL;
4014                         if (t == Tnone && e->right)
4015                                 /* Only the final statement *must* return a value
4016                                  * when not Rboolok
4017                                  */
4018                                 t = NULL;
4019                         if (t) {
4020                                 if (!type)
4021                                         type = t;
4022                                 else if (t != type)
4023                                         type_err(c, "error: expected %1%r, found %2",
4024                                                  e->left, type, rules, t);
4025                         }
4026                 }
4027                 return type;
4028         }
4029
4030 ###### interp binode cases
4031         case Block:
4032                 while (rvtype == Tnone &&
4033                        b) {
4034                         if (b->left)
4035                                 rv = interp_exec(c, b->left, &rvtype);
4036                         b = cast(binode, b->right);
4037                 }
4038                 break;
4039
4040 ### The Print statement
4041
4042 `print` is a simple statement that takes a comma-separated list of
4043 expressions and prints the values separated by spaces and terminated
4044 by a newline.  No control of formatting is possible.
4045
4046 `print` uses `ExpressionList` to collect the expressions and stores them
4047 on the left side of a `Print` binode unlessthere is a trailing comma
4048 when the list is stored on the `right` side and no trailing newline is
4049 printed.
4050
4051 ###### Binode types
4052         Print,
4053
4054 ##### declare terminals
4055         $TERM print
4056
4057 ###### SimpleStatement Grammar
4058
4059         | print ExpressionList ${
4060                 $0 = b = new(binode);
4061                 b->op = Print;
4062                 b->right = NULL;
4063                 b->left = reorder_bilist($<EL);
4064         }$
4065         | print ExpressionList , ${ {
4066                 $0 = b = new(binode);
4067                 b->op = Print;
4068                 b->right = reorder_bilist($<EL);
4069                 b->left = NULL;
4070         } }$
4071         | print ${
4072                 $0 = b = new(binode);
4073                 b->op = Print;
4074                 b->left = NULL;
4075                 b->right = NULL;
4076         }$
4077
4078 ###### print binode cases
4079
4080         case Print:
4081                 do_indent(indent, "print");
4082                 if (b->right) {
4083                         print_exec(b->right, -1, bracket);
4084                         printf(",");
4085                 } else
4086                         print_exec(b->left, -1, bracket);
4087                 if (indent >= 0)
4088                         printf("\n");
4089                 break;
4090
4091 ###### propagate binode cases
4092
4093         case Print:
4094                 /* don't care but all must be consistent */
4095                 if (b->left)
4096                         b = cast(binode, b->left);
4097                 else
4098                         b = cast(binode, b->right);
4099                 while (b) {
4100                         propagate_types(b->left, c, perr, NULL, Rnolabel);
4101                         b = cast(binode, b->right);
4102                 }
4103                 break;
4104
4105 ###### interp binode cases
4106
4107         case Print:
4108         {
4109                 struct binode *b2 = cast(binode, b->left);
4110                 if (!b2)
4111                         b2 = cast(binode, b->right);
4112                 for (; b2; b2 = cast(binode, b2->right)) {
4113                         left = interp_exec(c, b2->left, &ltype);
4114                         print_value(ltype, &left, stdout);
4115                         free_value(ltype, &left);
4116                         if (b2->right)
4117                                 putchar(' ');
4118                 }
4119                 if (b->right == NULL)
4120                         printf("\n");
4121                 ltype = Tnone;
4122                 break;
4123         }
4124
4125 ###### Assignment statement
4126
4127 An assignment will assign a value to a variable, providing it hasn't
4128 been declared as a constant.  The analysis phase ensures that the type
4129 will be correct so the interpreter just needs to perform the
4130 calculation.  There is a form of assignment which declares a new
4131 variable as well as assigning a value.  If a name is assigned before
4132 it is declared, and error will be raised as the name is created as
4133 `Tlabel` and it is illegal to assign to such names.
4134
4135 ###### Binode types
4136         Assign,
4137         Declare,
4138
4139 ###### declare terminals
4140         $TERM =
4141
4142 ###### SimpleStatement Grammar
4143         | Term = Expression ${
4144                 $0 = b= new(binode);
4145                 b->op = Assign;
4146                 b->left = $<1;
4147                 b->right = $<3;
4148         }$
4149         | VariableDecl = Expression ${
4150                 $0 = b= new(binode);
4151                 b->op = Declare;
4152                 b->left = $<1;
4153                 b->right =$<3;
4154         }$
4155
4156         | VariableDecl ${
4157                 if ($1->var->where_set == NULL) {
4158                         type_err(c,
4159                                  "Variable declared with no type or value: %v",
4160                                  $1, NULL, 0, NULL);
4161                         free_var($1);
4162                 } else {
4163                         $0 = b = new(binode);
4164                         b->op = Declare;
4165                         b->left = $<1;
4166                         b->right = NULL;
4167                 }
4168         }$
4169
4170 ###### print binode cases
4171
4172         case Assign:
4173                 do_indent(indent, "");
4174                 print_exec(b->left, indent, bracket);
4175                 printf(" = ");
4176                 print_exec(b->right, indent, bracket);
4177                 if (indent >= 0)
4178                         printf("\n");
4179                 break;
4180
4181         case Declare:
4182                 {
4183                 struct variable *v = cast(var, b->left)->var;
4184                 do_indent(indent, "");
4185                 print_exec(b->left, indent, bracket);
4186                 if (cast(var, b->left)->var->constant) {
4187                         printf("::");
4188                         if (v->explicit_type) {
4189                                 type_print(v->type, stdout);
4190                                 printf(" ");
4191                         }
4192                 } else {
4193                         printf(":");
4194                         if (v->explicit_type) {
4195                                 type_print(v->type, stdout);
4196                                 printf(" ");
4197                         }
4198                 }
4199                 if (b->right) {
4200                         printf("= ");
4201                         print_exec(b->right, indent, bracket);
4202                 }
4203                 if (indent >= 0)
4204                         printf("\n");
4205                 }
4206                 break;
4207
4208 ###### propagate binode cases
4209
4210         case Assign:
4211         case Declare:
4212                 /* Both must match and not be labels,
4213                  * Type must support 'dup',
4214                  * For Assign, left must not be constant.
4215                  * result is Tnone
4216                  */
4217                 t = propagate_types(b->left, c, perr, NULL,
4218                                     Rnolabel | (b->op == Assign ? Rnoconstant : 0));
4219                 if (!b->right)
4220                         return Tnone;
4221
4222                 if (t) {
4223                         if (propagate_types(b->right, c, perr, t, 0) != t)
4224                                 if (b->left->type == Xvar)
4225                                         type_err(c, "info: variable '%v' was set as %1 here.",
4226                                                  cast(var, b->left)->var->where_set, t, rules, NULL);
4227                 } else {
4228                         t = propagate_types(b->right, c, perr, NULL, Rnolabel);
4229                         if (t)
4230                                 propagate_types(b->left, c, perr, t,
4231                                                 (b->op == Assign ? Rnoconstant : 0));
4232                 }
4233                 if (t && t->dup == NULL && t->name.txt[0] != ' ') // HACK
4234                         type_err(c, "error: cannot assign value of type %1", b, t, 0, NULL);
4235                 return Tnone;
4236
4237                 break;
4238
4239 ###### interp binode cases
4240
4241         case Assign:
4242                 lleft = linterp_exec(c, b->left, &ltype);
4243                 if (lleft)
4244                         dinterp_exec(c, b->right, lleft, ltype, 1);
4245                 ltype = Tnone;
4246                 break;
4247
4248         case Declare:
4249         {
4250                 struct variable *v = cast(var, b->left)->var;
4251                 struct value *val;
4252                 v = v->merged;
4253                 val = var_value(c, v);
4254                 if (v->type->prepare_type)
4255                         v->type->prepare_type(c, v->type, 0);
4256                 if (b->right)
4257                         dinterp_exec(c, b->right, val, v->type, 0);
4258                 else
4259                         val_init(v->type, val);
4260                 break;
4261         }
4262
4263 ### The `use` statement
4264
4265 The `use` statement is the last "simple" statement.  It is needed when a
4266 statement block can return a value.  This includes the body of a
4267 function which has a return type, and the "condition" code blocks in
4268 `if`, `while`, and `switch` statements.
4269
4270 ###### Binode types
4271         Use,
4272
4273 ###### declare terminals
4274         $TERM use
4275
4276 ###### SimpleStatement Grammar
4277         | use Expression ${
4278                 $0 = b = new_pos(binode, $1);
4279                 b->op = Use;
4280                 b->right = $<2;
4281                 if (b->right->type == Xvar) {
4282                         struct var *v = cast(var, b->right);
4283                         if (v->var->type == Tnone) {
4284                                 /* Convert this to a label */
4285                                 struct value *val;
4286
4287                                 v->var->type = Tlabel;
4288                                 val = global_alloc(c, Tlabel, v->var, NULL);
4289                                 val->label = val;
4290                         }
4291                 }
4292         }$
4293
4294 ###### print binode cases
4295
4296         case Use:
4297                 do_indent(indent, "use ");
4298                 print_exec(b->right, -1, bracket);
4299                 if (indent >= 0)
4300                         printf("\n");
4301                 break;
4302
4303 ###### propagate binode cases
4304
4305         case Use:
4306                 /* result matches value */
4307                 return propagate_types(b->right, c, perr, type, 0);
4308
4309 ###### interp binode cases
4310
4311         case Use:
4312                 rv = interp_exec(c, b->right, &rvtype);
4313                 break;
4314
4315 ### The Conditional Statement
4316
4317 This is the biggy and currently the only complex statement.  This
4318 subsumes `if`, `while`, `do/while`, `switch`, and some parts of `for`.
4319 It is comprised of a number of parts, all of which are optional though
4320 set combinations apply.  Each part is (usually) a key word (`then` is
4321 sometimes optional) followed by either an expression or a code block,
4322 except the `casepart` which is a "key word and an expression" followed
4323 by a code block.  The code-block option is valid for all parts and,
4324 where an expression is also allowed, the code block can use the `use`
4325 statement to report a value.  If the code block does not report a value
4326 the effect is similar to reporting `True`.
4327
4328 The `else` and `case` parts, as well as `then` when combined with
4329 `if`, can contain a `use` statement which will apply to some
4330 containing conditional statement. `for` parts, `do` parts and `then`
4331 parts used with `for` can never contain a `use`, except in some
4332 subordinate conditional statement.
4333
4334 If there is a `forpart`, it is executed first, only once.
4335 If there is a `dopart`, then it is executed repeatedly providing
4336 always that the `condpart` or `cond`, if present, does not return a non-True
4337 value.  `condpart` can fail to return any value if it simply executes
4338 to completion.  This is treated the same as returning `True`.
4339
4340 If there is a `thenpart` it will be executed whenever the `condpart`
4341 or `cond` returns True (or does not return any value), but this will happen
4342 *after* `dopart` (when present).
4343
4344 If `elsepart` is present it will be executed at most once when the
4345 condition returns `False` or some value that isn't `True` and isn't
4346 matched by any `casepart`.  If there are any `casepart`s, they will be
4347 executed when the condition returns a matching value.
4348
4349 The particular sorts of values allowed in case parts has not yet been
4350 determined in the language design, so nothing is prohibited.
4351
4352 The various blocks in this complex statement potentially provide scope
4353 for variables as described earlier.  Each such block must include the
4354 "OpenScope" nonterminal before parsing the block, and must call
4355 `var_block_close()` when closing the block.
4356
4357 The code following "`if`", "`switch`" and "`for`" does not get its own
4358 scope, but is in a scope covering the whole statement, so names
4359 declared there cannot be redeclared elsewhere.  Similarly the
4360 condition following "`while`" is in a scope the covers the body
4361 ("`do`" part) of the loop, and which does not allow conditional scope
4362 extension.  Code following "`then`" (both looping and non-looping),
4363 "`else`" and "`case`" each get their own local scope.
4364
4365 The type requirements on the code block in a `whilepart` are quite
4366 unusal.  It is allowed to return a value of some identifiable type, in
4367 which case the loop aborts and an appropriate `casepart` is run, or it
4368 can return a Boolean, in which case the loop either continues to the
4369 `dopart` (on `True`) or aborts and runs the `elsepart` (on `False`).
4370 This is different both from the `ifpart` code block which is expected to
4371 return a Boolean, or the `switchpart` code block which is expected to
4372 return the same type as the casepart values.  The correct analysis of
4373 the type of the `whilepart` code block is the reason for the
4374 `Rboolok` flag which is passed to `propagate_types()`.
4375
4376 The `cond_statement` cannot fit into a `binode` so a new `exec` is
4377 defined.  As there are two scopes which cover multiple parts - one for
4378 the whole statement and one for "while" and "do" - and as we will use
4379 the 'struct exec' to track scopes, we actually need two new types of
4380 exec.  One is a `binode` for the looping part, the rest is the
4381 `cond_statement`.  The `cond_statement` will use an auxilliary `struct
4382 casepart` to track a list of case parts.
4383
4384 ###### Binode types
4385         Loop
4386
4387 ###### exec type
4388         Xcond_statement,
4389
4390 ###### ast
4391         struct casepart {
4392                 struct exec *value;
4393                 struct exec *action;
4394                 struct casepart *next;
4395         };
4396         struct cond_statement {
4397                 struct exec;
4398                 struct exec *forpart, *condpart, *thenpart, *elsepart;
4399                 struct binode *looppart;
4400                 struct casepart *casepart;
4401         };
4402
4403 ###### ast functions
4404
4405         static void free_casepart(struct casepart *cp)
4406         {
4407                 while (cp) {
4408                         struct casepart *t;
4409                         free_exec(cp->value);
4410                         free_exec(cp->action);
4411                         t = cp->next;
4412                         free(cp);
4413                         cp = t;
4414                 }
4415         }
4416
4417         static void free_cond_statement(struct cond_statement *s)
4418         {
4419                 if (!s)
4420                         return;
4421                 free_exec(s->forpart);
4422                 free_exec(s->condpart);
4423                 free_exec(s->looppart);
4424                 free_exec(s->thenpart);
4425                 free_exec(s->elsepart);
4426                 free_casepart(s->casepart);
4427                 free(s);
4428         }
4429
4430 ###### free exec cases
4431         case Xcond_statement: free_cond_statement(cast(cond_statement, e)); break;
4432
4433 ###### ComplexStatement Grammar
4434         | CondStatement ${ $0 = $<1; }$
4435
4436 ###### declare terminals
4437         $TERM for then while do
4438         $TERM else
4439         $TERM switch case
4440
4441 ###### Grammar
4442
4443         $*cond_statement
4444         // A CondStatement must end with EOL, as does CondSuffix and
4445         // IfSuffix.
4446         // ForPart, ThenPart, SwitchPart, CasePart are non-empty and
4447         // may or may not end with EOL
4448         // WhilePart and IfPart include an appropriate Suffix
4449
4450         // ForPart, SwitchPart, and IfPart open scopes, o we have to close
4451         // them.  WhilePart opens and closes its own scope.
4452         CondStatement -> ForPart OptNL ThenPart OptNL WhilePart CondSuffix ${
4453                 $0 = $<CS;
4454                 $0->forpart = $<FP;
4455                 $0->thenpart = $<TP;
4456                 $0->looppart = $<WP;
4457                 var_block_close(c, CloseSequential, $0);
4458         }$
4459         | ForPart OptNL WhilePart CondSuffix ${
4460                 $0 = $<CS;
4461                 $0->forpart = $<FP;
4462                 $0->looppart = $<WP;
4463                 var_block_close(c, CloseSequential, $0);
4464         }$
4465         | WhilePart CondSuffix ${
4466                 $0 = $<CS;
4467                 $0->looppart = $<WP;
4468         }$
4469         | SwitchPart OptNL CasePart CondSuffix ${
4470                 $0 = $<CS;
4471                 $0->condpart = $<SP;
4472                 $CP->next = $0->casepart;
4473                 $0->casepart = $<CP;
4474                 var_block_close(c, CloseSequential, $0);
4475         }$
4476         | SwitchPart : IN OptNL CasePart CondSuffix OUT Newlines ${
4477                 $0 = $<CS;
4478                 $0->condpart = $<SP;
4479                 $CP->next = $0->casepart;
4480                 $0->casepart = $<CP;
4481                 var_block_close(c, CloseSequential, $0);
4482         }$
4483         | IfPart IfSuffix ${
4484                 $0 = $<IS;
4485                 $0->condpart = $IP.condpart; $IP.condpart = NULL;
4486                 $0->thenpart = $IP.thenpart; $IP.thenpart = NULL;
4487                 // This is where we close an "if" statement
4488                 var_block_close(c, CloseSequential, $0);
4489         }$
4490
4491         CondSuffix -> IfSuffix ${
4492                 $0 = $<1;
4493         }$
4494         | Newlines CasePart CondSuffix ${
4495                 $0 = $<CS;
4496                 $CP->next = $0->casepart;
4497                 $0->casepart = $<CP;
4498         }$
4499         | CasePart CondSuffix ${
4500                 $0 = $<CS;
4501                 $CP->next = $0->casepart;
4502                 $0->casepart = $<CP;
4503         }$
4504
4505         IfSuffix -> Newlines ${ $0 = new(cond_statement); }$
4506         | Newlines ElsePart ${ $0 = $<EP; }$
4507         | ElsePart ${$0 = $<EP; }$
4508
4509         ElsePart -> else OpenBlock Newlines ${
4510                 $0 = new(cond_statement);
4511                 $0->elsepart = $<OB;
4512                 var_block_close(c, CloseElse, $0->elsepart);
4513         }$
4514         | else OpenScope CondStatement ${
4515                 $0 = new(cond_statement);
4516                 $0->elsepart = $<CS;
4517                 var_block_close(c, CloseElse, $0->elsepart);
4518         }$
4519
4520         $*casepart
4521         CasePart -> case Expression OpenScope ColonBlock ${
4522                 $0 = calloc(1,sizeof(struct casepart));
4523                 $0->value = $<Ex;
4524                 $0->action = $<Bl;
4525                 var_block_close(c, CloseParallel, $0->action);
4526         }$
4527
4528         $*exec
4529         // These scopes are closed in CondStatement
4530         ForPart -> for OpenBlock ${
4531                 $0 = $<Bl;
4532         }$
4533
4534         ThenPart -> then OpenBlock ${
4535                 $0 = $<OB;
4536                 var_block_close(c, CloseSequential, $0);
4537         }$
4538
4539         $*binode
4540         // This scope is closed in CondStatement
4541         WhilePart -> while UseBlock OptNL do OpenBlock ${
4542                 $0 = new(binode);
4543                 $0->op = Loop;
4544                 $0->left = $<UB;
4545                 $0->right = $<OB;
4546                 var_block_close(c, CloseSequential, $0->right);
4547                 var_block_close(c, CloseSequential, $0);
4548         }$
4549         | while OpenScope Expression OpenScope ColonBlock ${
4550                 $0 = new(binode);
4551                 $0->op = Loop;
4552                 $0->left = $<Exp;
4553                 $0->right = $<CB;
4554                 var_block_close(c, CloseSequential, $0->right);
4555                 var_block_close(c, CloseSequential, $0);
4556         }$
4557
4558         $cond_statement
4559         IfPart -> if UseBlock OptNL then OpenBlock ${
4560                 $0.condpart = $<UB;
4561                 $0.thenpart = $<OB;
4562                 var_block_close(c, CloseParallel, $0.thenpart);
4563         }$
4564         | if OpenScope Expression OpenScope ColonBlock ${
4565                 $0.condpart = $<Ex;
4566                 $0.thenpart = $<CB;
4567                 var_block_close(c, CloseParallel, $0.thenpart);
4568         }$
4569         | if OpenScope Expression OpenScope OptNL then Block ${
4570                 $0.condpart = $<Ex;
4571                 $0.thenpart = $<Bl;
4572                 var_block_close(c, CloseParallel, $0.thenpart);
4573         }$
4574
4575         $*exec
4576         // This scope is closed in CondStatement
4577         SwitchPart -> switch OpenScope Expression ${
4578                 $0 = $<Ex;
4579         }$
4580         | switch UseBlock ${
4581                 $0 = $<Bl;
4582         }$
4583
4584 ###### print binode cases
4585         case Loop:
4586                 if (b->left && b->left->type == Xbinode &&
4587                     cast(binode, b->left)->op == Block) {
4588                         if (bracket)
4589                                 do_indent(indent, "while {\n");
4590                         else
4591                                 do_indent(indent, "while\n");
4592                         print_exec(b->left, indent+1, bracket);
4593                         if (bracket)
4594                                 do_indent(indent, "} do {\n");
4595                         else
4596                                 do_indent(indent, "do\n");
4597                         print_exec(b->right, indent+1, bracket);
4598                         if (bracket)
4599                                 do_indent(indent, "}\n");
4600                 } else {
4601                         do_indent(indent, "while ");
4602                         print_exec(b->left, 0, bracket);
4603                         if (bracket)
4604                                 printf(" {\n");
4605                         else
4606                                 printf(":\n");
4607                         print_exec(b->right, indent+1, bracket);
4608                         if (bracket)
4609                                 do_indent(indent, "}\n");
4610                 }
4611                 break;
4612
4613 ###### print exec cases
4614
4615         case Xcond_statement:
4616         {
4617                 struct cond_statement *cs = cast(cond_statement, e);
4618                 struct casepart *cp;
4619                 if (cs->forpart) {
4620                         do_indent(indent, "for");
4621                         if (bracket) printf(" {\n"); else printf("\n");
4622                         print_exec(cs->forpart, indent+1, bracket);
4623                         if (cs->thenpart) {
4624                                 if (bracket)
4625                                         do_indent(indent, "} then {\n");
4626                                 else
4627                                         do_indent(indent, "then\n");
4628                                 print_exec(cs->thenpart, indent+1, bracket);
4629                         }
4630                         if (bracket) do_indent(indent, "}\n");
4631                 }
4632                 if (cs->looppart) {
4633                         print_exec(cs->looppart, indent, bracket);
4634                 } else {
4635                         // a condition
4636                         if (cs->casepart)
4637                                 do_indent(indent, "switch");
4638                         else
4639                                 do_indent(indent, "if");
4640                         if (cs->condpart && cs->condpart->type == Xbinode &&
4641                             cast(binode, cs->condpart)->op == Block) {
4642                                 if (bracket)
4643                                         printf(" {\n");
4644                                 else
4645                                         printf("\n");
4646                                 print_exec(cs->condpart, indent+1, bracket);
4647                                 if (bracket)
4648                                         do_indent(indent, "}\n");
4649                                 if (cs->thenpart) {
4650                                         do_indent(indent, "then\n");
4651                                         print_exec(cs->thenpart, indent+1, bracket);
4652                                 }
4653                         } else {
4654                                 printf(" ");
4655                                 print_exec(cs->condpart, 0, bracket);
4656                                 if (cs->thenpart) {
4657                                         if (bracket)
4658                                                 printf(" {\n");
4659                                         else
4660                                                 printf(":\n");
4661                                         print_exec(cs->thenpart, indent+1, bracket);
4662                                         if (bracket)
4663                                                 do_indent(indent, "}\n");
4664                                 } else
4665                                         printf("\n");
4666                         }
4667                 }
4668                 for (cp = cs->casepart; cp; cp = cp->next) {
4669                         do_indent(indent, "case ");
4670                         print_exec(cp->value, -1, 0);
4671                         if (bracket)
4672                                 printf(" {\n");
4673                         else
4674                                 printf(":\n");
4675                         print_exec(cp->action, indent+1, bracket);
4676                         if (bracket)
4677                                 do_indent(indent, "}\n");
4678                 }
4679                 if (cs->elsepart) {
4680                         do_indent(indent, "else");
4681                         if (bracket)
4682                                 printf(" {\n");
4683                         else
4684                                 printf("\n");
4685                         print_exec(cs->elsepart, indent+1, bracket);
4686                         if (bracket)
4687                                 do_indent(indent, "}\n");
4688                 }
4689                 break;
4690         }
4691
4692 ###### propagate binode cases
4693         case Loop:
4694                 t = propagate_types(b->right, c, perr, Tnone, 0);
4695                 if (!type_compat(Tnone, t, 0))
4696                         *perr |= Efail; // UNTESTED
4697                 return propagate_types(b->left, c, perr, type, rules);
4698
4699 ###### propagate exec cases
4700         case Xcond_statement:
4701         {
4702                 // forpart and looppart->right must return Tnone
4703                 // thenpart must return Tnone if there is a loopart,
4704                 // otherwise it is like elsepart.
4705                 // condpart must:
4706                 //    be bool if there is no casepart
4707                 //    match casepart->values if there is a switchpart
4708                 //    either be bool or match casepart->value if there
4709                 //             is a whilepart
4710                 // elsepart and casepart->action must match the return type
4711                 //   expected of this statement.
4712                 struct cond_statement *cs = cast(cond_statement, prog);
4713                 struct casepart *cp;
4714
4715                 t = propagate_types(cs->forpart, c, perr, Tnone, 0);
4716                 if (!type_compat(Tnone, t, 0))
4717                         *perr |= Efail; // UNTESTED
4718
4719                 if (cs->looppart) {
4720                         t = propagate_types(cs->thenpart, c, perr, Tnone, 0);
4721                         if (!type_compat(Tnone, t, 0))
4722                                 *perr |= Efail; // UNTESTED
4723                 }
4724                 if (cs->casepart == NULL) {
4725                         propagate_types(cs->condpart, c, perr, Tbool, 0);
4726                         propagate_types(cs->looppart, c, perr, Tbool, 0);
4727                 } else {
4728                         /* Condpart must match case values, with bool permitted */
4729                         t = NULL;
4730                         for (cp = cs->casepart;
4731                              cp && !t; cp = cp->next)
4732                                 t = propagate_types(cp->value, c, perr, NULL, 0);
4733                         if (!t && cs->condpart)
4734                                 t = propagate_types(cs->condpart, c, perr, NULL, Rboolok);      // UNTESTED
4735                         if (!t && cs->looppart)
4736                                 t = propagate_types(cs->looppart, c, perr, NULL, Rboolok);      // UNTESTED
4737                         // Now we have a type (I hope) push it down
4738                         if (t) {
4739                                 for (cp = cs->casepart; cp; cp = cp->next)
4740                                         propagate_types(cp->value, c, perr, t, 0);
4741                                 propagate_types(cs->condpart, c, perr, t, Rboolok);
4742                                 propagate_types(cs->looppart, c, perr, t, Rboolok);
4743                         }
4744                 }
4745                 // (if)then, else, and case parts must return expected type.
4746                 if (!cs->looppart && !type)
4747                         type = propagate_types(cs->thenpart, c, perr, NULL, rules);
4748                 if (!type)
4749                         type = propagate_types(cs->elsepart, c, perr, NULL, rules);
4750                 for (cp = cs->casepart;
4751                      cp && !type;
4752                      cp = cp->next)     // UNTESTED
4753                         type = propagate_types(cp->action, c, perr, NULL, rules);       // UNTESTED
4754                 if (type) {
4755                         if (!cs->looppart)
4756                                 propagate_types(cs->thenpart, c, perr, type, rules);
4757                         propagate_types(cs->elsepart, c, perr, type, rules);
4758                         for (cp = cs->casepart; cp ; cp = cp->next)
4759                                 propagate_types(cp->action, c, perr, type, rules);
4760                         return type;
4761                 } else
4762                         return NULL;
4763         }
4764
4765 ###### interp binode cases
4766         case Loop:
4767                 // This just performs one iterration of the loop
4768                 rv = interp_exec(c, b->left, &rvtype);
4769                 if (rvtype == Tnone ||
4770                     (rvtype == Tbool && rv.bool != 0))
4771                         // rvtype is Tnone or Tbool, doesn't need to be freed
4772                         interp_exec(c, b->right, NULL);
4773                 break;
4774
4775 ###### interp exec cases
4776         case Xcond_statement:
4777         {
4778                 struct value v, cnd;
4779                 struct type *vtype, *cndtype;
4780                 struct casepart *cp;
4781                 struct cond_statement *cs = cast(cond_statement, e);
4782
4783                 if (cs->forpart)
4784                         interp_exec(c, cs->forpart, NULL);
4785                 if (cs->looppart) {
4786                         while ((cnd = interp_exec(c, cs->looppart, &cndtype)),
4787                                cndtype == Tnone || (cndtype == Tbool && cnd.bool != 0))
4788                                 interp_exec(c, cs->thenpart, NULL);
4789                 } else {
4790                         cnd = interp_exec(c, cs->condpart, &cndtype);
4791                         if ((cndtype == Tnone ||
4792                             (cndtype == Tbool && cnd.bool != 0))) {
4793                                 // cnd is Tnone or Tbool, doesn't need to be freed
4794                                 rv = interp_exec(c, cs->thenpart, &rvtype);
4795                                 // skip else (and cases)
4796                                 goto Xcond_done;
4797                         }
4798                 }
4799                 for (cp = cs->casepart; cp; cp = cp->next) {
4800                         v = interp_exec(c, cp->value, &vtype);
4801                         if (value_cmp(cndtype, vtype, &v, &cnd) == 0) {
4802                                 free_value(vtype, &v);
4803                                 free_value(cndtype, &cnd);
4804                                 rv = interp_exec(c, cp->action, &rvtype);
4805                                 goto Xcond_done;
4806                         }
4807                         free_value(vtype, &v);
4808                 }
4809                 free_value(cndtype, &cnd);
4810                 if (cs->elsepart)
4811                         rv = interp_exec(c, cs->elsepart, &rvtype);
4812                 else
4813                         rvtype = Tnone;
4814         Xcond_done:
4815                 break;
4816         }
4817
4818 ### Top level structure
4819
4820 All the language elements so far can be used in various places.  Now
4821 it is time to clarify what those places are.
4822
4823 At the top level of a file there will be a number of declarations.
4824 Many of the things that can be declared haven't been described yet,
4825 such as functions, procedures, imports, and probably more.
4826 For now there are two sorts of things that can appear at the top
4827 level.  They are predefined constants, `struct` types, and the `main`
4828 function.  While the syntax will allow the `main` function to appear
4829 multiple times, that will trigger an error if it is actually attempted.
4830
4831 The various declarations do not return anything.  They store the
4832 various declarations in the parse context.
4833
4834 ###### Parser: grammar
4835
4836         $void
4837         Ocean -> OptNL DeclarationList
4838
4839         ## declare terminals
4840
4841         OptNL ->
4842         | OptNL NEWLINE
4843
4844         Newlines -> NEWLINE
4845         | Newlines NEWLINE
4846
4847         DeclarationList -> Declaration
4848         | DeclarationList Declaration
4849
4850         Declaration -> ERROR Newlines ${
4851                 tok_err(c,      // UNTESTED
4852                         "error: unhandled parse error", &$1);
4853         }$
4854         | DeclareConstant
4855         | DeclareFunction
4856         | DeclareStruct
4857
4858         ## top level grammar
4859
4860         ## Grammar
4861
4862 ### The `const` section
4863
4864 As well as being defined in with the code that uses them, constants can
4865 be declared at the top level.  These have full-file scope, so they are
4866 always `InScope`, even before(!) they have been declared.  The value of
4867 a top level constant can be given as an expression, and this is
4868 evaluated after parsing and before execution.
4869
4870 A function call can be used to evaluate a constant, but it will not have
4871 access to any program state, once such statement becomes meaningful.
4872 e.g.  arguments and filesystem will not be visible.
4873
4874 Constants are defined in a section that starts with the reserved word
4875 `const` and then has a block with a list of assignment statements.
4876 For syntactic consistency, these must use the double-colon syntax to
4877 make it clear that they are constants.  Type can also be given: if
4878 not, the type will be determined during analysis, as with other
4879 constants.
4880
4881 ###### parse context
4882         struct binode *constlist;
4883
4884 ###### top level grammar
4885
4886         $TERM const
4887
4888         DeclareConstant -> const { IN OptNL ConstList OUT OptNL } Newlines
4889         | const { SimpleConstList } Newlines
4890         | const IN OptNL ConstList OUT Newlines
4891         | const SimpleConstList Newlines
4892
4893         ConstList -> ConstList SimpleConstLine
4894         | SimpleConstLine
4895
4896         SimpleConstList -> SimpleConstList ; Const
4897         | Const
4898         | SimpleConstList ;
4899
4900         SimpleConstLine -> SimpleConstList Newlines
4901         | ERROR Newlines ${ tok_err(c, "Syntax error in constant", &$1); }$
4902
4903         $*type
4904         CType -> Type   ${ $0 = $<1; }$
4905         |               ${ $0 = NULL; }$
4906
4907         $void
4908         Const -> IDENTIFIER :: CType = Expression ${ {
4909                 struct variable *v;
4910                 struct binode *bl, *bv;
4911                 struct var *var = new_pos(var, $ID);
4912
4913                 v = var_decl(c, $ID.txt);
4914                 if (v) {
4915                         v->where_decl = var;
4916                         v->where_set = var;
4917                         v->type = $<CT;
4918                         v->constant = 1;
4919                         v->global = 1;
4920                 } else {
4921                         v = var_ref(c, $1.txt);
4922                         tok_err(c, "error: name already declared", &$1);
4923                         type_err(c, "info: this is where '%v' was first declared",
4924                                  v->where_decl, NULL, 0, NULL);
4925                 }
4926                 var->var = v;
4927
4928                 bv = new(binode);
4929                 bv->op = Declare;
4930                 bv->left = var;
4931                 bv->right= $<Exp;
4932
4933                 bl = new(binode);
4934                 bl->op = List;
4935                 bl->left = c->constlist;
4936                 bl->right = bv;
4937                 c->constlist = bl;
4938         } }$
4939
4940 ###### core functions
4941         static void resolve_consts(struct parse_context *c)
4942         {
4943                 struct binode *b;
4944                 c->constlist = reorder_bilist(c->constlist);
4945                 for (b = cast(binode, c->constlist); b;
4946                      b = cast(binode, b->right)) {
4947                         enum prop_err perr;
4948                         struct binode *vb = cast(binode, b->left);
4949                         struct var *v = cast(var, vb->left);
4950                         do {
4951                                 perr = 0;
4952                                 propagate_types(vb->right, c, &perr,
4953                                                 v->var->type, 0);
4954                         } while (perr & Eretry);
4955                         if (perr & Efail)
4956                                 c->parse_error = 1;
4957                         else {
4958                                 struct value res = interp_exec(
4959                                         c, vb->right, &v->var->type);
4960                                 global_alloc(c, v->var->type, v->var, &res);
4961                         }
4962                 }
4963         }
4964
4965 ###### print const decls
4966         {
4967                 struct binode *b;
4968                 int first = 1;
4969
4970                 for (b = cast(binode, context.constlist); b;
4971                      b = cast(binode, b->right)) {
4972                         struct binode *vb = cast(binode, b->left);
4973                         struct var *vr = cast(var, vb->left);
4974                         struct variable *v = vr->var;
4975
4976                         if (first)
4977                                 printf("const\n");
4978                         first = 0;
4979
4980                         printf("    %.*s :: ", v->name->name.len, v->name->name.txt);
4981                         type_print(v->type, stdout);
4982                         printf(" = ");
4983                         print_exec(vb->right, -1, 0);
4984                         printf("\n");
4985                 }
4986         }
4987
4988 ###### free const decls
4989         free_binode(context.constlist);
4990
4991 ### Function declarations
4992
4993 The code in an Ocean program is all stored in function declarations.
4994 One of the functions must be named `main` and it must accept an array of
4995 strings as a parameter - the command line arguments.
4996
4997 As this is the top level, several things are handled a bit differently.
4998 The function is not interpreted by `interp_exec` as that isn't passed
4999 the argument list which the program requires.  Similarly type analysis
5000 is a bit more interesting at this level.
5001
5002 ###### ast functions
5003
5004         static struct type *handle_results(struct parse_context *c,
5005                                            struct binode *results)
5006         {
5007                 /* Create a 'struct' type from the results list, which
5008                  * is a list for 'struct var'
5009                  */
5010                 struct type *t = add_anon_type(c, &structure_prototype,
5011                                                " function result");
5012                 int cnt = 0;
5013                 struct binode *b;
5014
5015                 for (b = results; b; b = cast(binode, b->right))
5016                         cnt += 1;
5017                 t->structure.nfields = cnt;
5018                 t->structure.fields = calloc(cnt, sizeof(struct field));
5019                 cnt = 0;
5020                 for (b = results; b; b = cast(binode, b->right)) {
5021                         struct var *v = cast(var, b->left);
5022                         struct field *f = &t->structure.fields[cnt++];
5023                         int a = v->var->type->align;
5024                         f->name = v->var->name->name;
5025                         f->type = v->var->type;
5026                         f->init = NULL;
5027                         f->offset = t->size;
5028                         v->var->frame_pos = f->offset;
5029                         t->size += ((f->type->size - 1) | (a-1)) + 1;
5030                         if (a > t->align)
5031                                 t->align = a;
5032                         variable_unlink_exec(v->var);
5033                 }
5034                 free_binode(results);
5035                 return t;
5036         }
5037
5038         static struct variable *declare_function(struct parse_context *c,
5039                                                 struct variable *name,
5040                                                 struct binode *args,
5041                                                 struct type *ret,
5042                                                 struct binode *results,
5043                                                 struct exec *code)
5044         {
5045                 if (name) {
5046                         struct value fn = {.function = code};
5047                         struct type *t;
5048                         var_block_close(c, CloseFunction, code);
5049                         t = add_anon_type(c, &function_prototype,
5050                                           "func %.*s", name->name->name.len,
5051                                           name->name->name.txt);
5052                         name->type = t;
5053                         t->function.params = reorder_bilist(args);
5054                         if (!ret) {
5055                                 ret = handle_results(c, reorder_bilist(results));
5056                                 t->function.inline_result = 1;
5057                                 t->function.local_size = ret->size;
5058                         }
5059                         t->function.return_type = ret;
5060                         global_alloc(c, t, name, &fn);
5061                         name->type->function.scope = c->out_scope;
5062                 } else {
5063                         free_binode(args);
5064                         free_type(ret);
5065                         free_exec(code);
5066                         var_block_close(c, CloseFunction, NULL);
5067                 }
5068                 c->out_scope = NULL;
5069                 return name;
5070         }
5071
5072 ###### declare terminals
5073         $TERM return
5074
5075 ###### top level grammar
5076
5077         $*variable
5078         DeclareFunction -> func FuncName ( OpenScope ArgsLine ) Block Newlines ${
5079                 $0 = declare_function(c, $<FN, $<Ar, Tnone, NULL, $<Bl);
5080         }$
5081         | func FuncName IN OpenScope Args OUT OptNL do Block Newlines ${
5082                 $0 = declare_function(c, $<FN, $<Ar, Tnone, NULL, $<Bl);
5083         }$
5084         | func FuncName NEWLINE OpenScope OptNL do Block Newlines ${
5085                 $0 = declare_function(c, $<FN, NULL, Tnone, NULL, $<Bl);
5086         }$
5087         | func FuncName ( OpenScope ArgsLine ) : Type Block Newlines ${
5088                 $0 = declare_function(c, $<FN, $<Ar, $<Ty, NULL, $<Bl);
5089         }$
5090         | func FuncName ( OpenScope ArgsLine ) : ( ArgsLine ) Block Newlines ${
5091                 $0 = declare_function(c, $<FN, $<AL, NULL, $<AL2, $<Bl);
5092         }$
5093         | func FuncName IN OpenScope Args OUT OptNL return Type Newlines do Block Newlines ${
5094                 $0 = declare_function(c, $<FN, $<Ar, $<Ty, NULL, $<Bl);
5095         }$
5096         | func FuncName NEWLINE OpenScope return Type Newlines do Block Newlines ${
5097                 $0 = declare_function(c, $<FN, NULL, $<Ty, NULL, $<Bl);
5098         }$
5099         | func FuncName IN OpenScope Args OUT OptNL return IN Args OUT OptNL do Block Newlines ${
5100                 $0 = declare_function(c, $<FN, $<Ar, NULL, $<Ar2, $<Bl);
5101         }$
5102         | func FuncName NEWLINE OpenScope return IN Args OUT OptNL do Block Newlines ${
5103                 $0 = declare_function(c, $<FN, NULL, NULL, $<Ar, $<Bl);
5104         }$
5105
5106 ###### print func decls
5107         {
5108                 struct variable *v;
5109                 int target = -1;
5110
5111                 while (target != 0) {
5112                         int i = 0;
5113                         for (v = context.in_scope; v; v=v->in_scope)
5114                                 if (v->depth == 0 && v->type && v->type->check_args) {
5115                                         i += 1;
5116                                         if (i == target)
5117                                                 break;
5118                                 }
5119
5120                         if (target == -1) {
5121                                 target = i;
5122                         } else {
5123                                 struct value *val = var_value(&context, v);
5124                                 printf("func %.*s", v->name->name.len, v->name->name.txt);
5125                                 v->type->print_type_decl(v->type, stdout);
5126                                 if (brackets)
5127                                         print_exec(val->function, 0, brackets);
5128                                 else
5129                                         print_value(v->type, val, stdout);
5130                                 printf("/* frame size %d */\n", v->type->function.local_size);
5131                                 target -= 1;
5132                         }
5133                 }
5134         }
5135
5136 ###### core functions
5137
5138         static int analyse_funcs(struct parse_context *c)
5139         {
5140                 struct variable *v;
5141                 int all_ok = 1;
5142                 for (v = c->in_scope; v; v = v->in_scope) {
5143                         struct value *val;
5144                         struct type *ret;
5145                         enum prop_err perr;
5146                         if (v->depth != 0 || !v->type || !v->type->check_args)
5147                                 continue;
5148                         ret = v->type->function.inline_result ?
5149                                 Tnone : v->type->function.return_type;
5150                         val = var_value(c, v);
5151                         do {
5152                                 perr = 0;
5153                                 propagate_types(val->function, c, &perr, ret, 0);
5154                         } while (!(perr & Efail) && (perr & Eretry));
5155                         if (!(perr & Efail))
5156                                 /* Make sure everything is still consistent */
5157                                 propagate_types(val->function, c, &perr, ret, 0);
5158                         if (perr & Efail)
5159                                 all_ok = 0;
5160                         if (!v->type->function.inline_result &&
5161                             !v->type->function.return_type->dup) {
5162                                 type_err(c, "error: function cannot return value of type %1",
5163                                          v->where_decl, v->type->function.return_type, 0, NULL);
5164                         }
5165
5166                         scope_finalize(c, v->type);
5167                 }
5168                 return all_ok;
5169         }
5170
5171         static int analyse_main(struct type *type, struct parse_context *c)
5172         {
5173                 struct binode *bp = type->function.params;
5174                 struct binode *b;
5175                 enum prop_err perr;
5176                 int arg = 0;
5177                 struct type *argv_type;
5178
5179                 argv_type = add_anon_type(c, &array_prototype, "argv");
5180                 argv_type->array.member = Tstr;
5181                 argv_type->array.unspec = 1;
5182
5183                 for (b = bp; b; b = cast(binode, b->right)) {
5184                         perr = 0;
5185                         switch (arg++) {
5186                         case 0: /* argv */
5187                                 propagate_types(b->left, c, &perr, argv_type, 0);
5188                                 break;
5189                         default: /* invalid */  // NOTEST
5190                                 propagate_types(b->left, c, &perr, Tnone, 0);   // NOTEST
5191                         }
5192                         if (perr & Efail)
5193                                 c->parse_error = 1;
5194                 }
5195
5196                 return !c->parse_error;
5197         }
5198
5199         static void interp_main(struct parse_context *c, int argc, char **argv)
5200         {
5201                 struct value *progp = NULL;
5202                 struct text main_name = { "main", 4 };
5203                 struct variable *mainv;
5204                 struct binode *al;
5205                 int anum = 0;
5206                 struct value v;
5207                 struct type *vtype;
5208
5209                 mainv = var_ref(c, main_name);
5210                 if (mainv)
5211                         progp = var_value(c, mainv);
5212                 if (!progp || !progp->function) {
5213                         fprintf(stderr, "oceani: no main function found.\n");
5214                         c->parse_error = 1;
5215                         return;
5216                 }
5217                 if (!analyse_main(mainv->type, c)) {
5218                         fprintf(stderr, "oceani: main has wrong type.\n");
5219                         c->parse_error = 1;
5220                         return;
5221                 }
5222                 al = mainv->type->function.params;
5223
5224                 c->local_size = mainv->type->function.local_size;
5225                 c->local = calloc(1, c->local_size);
5226                 while (al) {
5227                         struct var *v = cast(var, al->left);
5228                         struct value *vl = var_value(c, v->var);
5229                         struct value arg;
5230                         struct type *t;
5231                         mpq_t argcq;
5232                         int i;
5233
5234                         switch (anum++) {
5235                         case 0: /* argv */
5236                                 t = v->var->type;
5237                                 mpq_init(argcq);
5238                                 mpq_set_ui(argcq, argc, 1);
5239                                 memcpy(var_value(c, t->array.vsize), &argcq, sizeof(argcq));
5240                                 t->prepare_type(c, t, 0);
5241                                 array_init(v->var->type, vl);
5242                                 for (i = 0; i < argc; i++) {
5243                                         struct value *vl2 = vl->array + i * v->var->type->array.member->size;
5244
5245                                         arg.str.txt = argv[i];
5246                                         arg.str.len = strlen(argv[i]);
5247                                         free_value(Tstr, vl2);
5248                                         dup_value(Tstr, &arg, vl2);
5249                                 }
5250                                 break;
5251                         }
5252                         al = cast(binode, al->right);
5253                 }
5254                 v = interp_exec(c, progp->function, &vtype);
5255                 free_value(vtype, &v);
5256                 free(c->local);
5257                 c->local = NULL;
5258         }
5259
5260 ###### ast functions
5261         void free_variable(struct variable *v)
5262         {
5263         }
5264
5265 ## And now to test it out.
5266
5267 Having a language requires having a "hello world" program.  I'll
5268 provide a little more than that: a program that prints "Hello world"
5269 finds the GCD of two numbers, prints the first few elements of
5270 Fibonacci, performs a binary search for a number, and a few other
5271 things which will likely grow as the languages grows.
5272
5273 ###### File: oceani.mk
5274         demos :: sayhello
5275         sayhello : oceani
5276                 @echo "===== DEMO ====="
5277                 ./oceani --section "demo: hello" oceani.mdc 55 33
5278
5279 ###### demo: hello
5280
5281         const
5282                 pi ::= 3.141_592_6
5283                 four ::= 2 + 2 ; five ::= 10/2
5284         const pie ::= "I like Pie";
5285                 cake ::= "The cake is"
5286                   ++ " a lie"
5287
5288         struct fred
5289                 size:[four]number
5290                 name:string
5291                 alive:Boolean
5292
5293         func main(argv:[argc::]string)
5294                 print "Hello World, what lovely oceans you have!"
5295                 print "Are there", five, "?"
5296                 print pi, pie, "but", cake
5297
5298                 A := $argv[1]; B := $argv[2]
5299
5300                 /* When a variable is defined in both branches of an 'if',
5301                  * and used afterwards, the variables are merged.
5302                  */
5303                 if A > B:
5304                         bigger := "yes"
5305                 else
5306                         bigger := "no"
5307                 print "Is", A, "bigger than", B,"? ", bigger
5308                 /* If a variable is not used after the 'if', no
5309                  * merge happens, so types can be different
5310                  */
5311                 if A > B * 2:
5312                         double:string = "yes"
5313                         print A, "is more than twice", B, "?", double
5314                 else
5315                         double := B*2
5316                         print "double", B, "is", double
5317
5318                 a : number
5319                 a = A;
5320                 b:number = B
5321                 if a > 0 and then b > 0:
5322                         while a != b:
5323                                 if a < b:
5324                                         b = b - a
5325                                 else
5326                                         a = a - b
5327                         print "GCD of", A, "and", B,"is", a
5328                 else if a <= 0:
5329                         print a, "is not positive, cannot calculate GCD"
5330                 else
5331                         print b, "is not positive, cannot calculate GCD"
5332
5333                 for
5334                         togo := 10
5335                         f1 := 1; f2 := 1
5336                         print "Fibonacci:", f1,f2,
5337                 then togo = togo - 1
5338                 while togo > 0:
5339                         f3 := f1 + f2
5340                         print "", f3,
5341                         f1 = f2
5342                         f2 = f3
5343                 print ""
5344
5345                 /* Binary search... */
5346                 for
5347                         lo:= 0; hi := 100
5348                         target := 77
5349                 while
5350                         mid := (lo + hi) / 2
5351                         if mid == target:
5352                                 use Found
5353                         if mid < target:
5354                                 lo = mid
5355                         else
5356                                 hi = mid
5357                         if hi - lo < 1:
5358                                 lo = mid
5359                                 use GiveUp
5360                         use True
5361                 do pass
5362                 case Found:
5363                         print "Yay, I found", target
5364                 case GiveUp:
5365                         print "Closest I found was", lo
5366
5367                 size::= 10
5368                 list:[size]number
5369                 list[0] = 1234
5370                 // "middle square" PRNG.  Not particularly good, but one my
5371                 // Dad taught me - the first one I ever heard of.
5372                 for i:=1; then i = i + 1; while i < size:
5373                         n := list[i-1] * list[i-1]
5374                         list[i] = (n / 100) % 10 000
5375
5376                 print "Before sort:",
5377                 for i:=0; then i = i + 1; while i < size:
5378                         print "", list[i],
5379                 print
5380
5381                 for i := 1; then i=i+1; while i < size:
5382                         for j:=i-1; then j=j-1; while j >= 0:
5383                                 if list[j] > list[j+1]:
5384                                         t:= list[j]
5385                                         list[j] = list[j+1]
5386                                         list[j+1] = t
5387                 print " After sort:",
5388                 for i:=0; then i = i + 1; while i < size:
5389                         print "", list[i],
5390                 print
5391
5392                 if 1 == 2 then print "yes"; else print "no"
5393
5394                 bob:fred
5395                 bob.name = "Hello"
5396                 bob.alive = (bob.name == "Hello")
5397                 print "bob", "is" if  bob.alive else "isn't", "alive"