]> ocean-lang.org Git - ocean/blob - csrc/oceani.mdc
oceani: fix a couple of issues
[ocean] / csrc / oceani.mdc
1 # Ocean Interpreter - Jamison Creek version
2
3 Ocean is intended to be a compiled language, so this interpreter is
4 not targeted at being the final product.  It is, rather, an intermediate
5 stage and fills that role in two distinct ways.
6
7 Firstly, it exists as a platform to experiment with the early language
8 design.  An interpreter is easy to write and easy to get working, so
9 the barrier for entry is lower if I aim to start with an interpreter.
10
11 Secondly, the plan for the Ocean compiler is to write it in the
12 [Ocean language](http://ocean-lang.org).  To achieve this we naturally
13 need some sort of boot-strap process and this interpreter - written in
14 portable C - will fill that role.  It will be used to bootstrap the
15 Ocean compiler.
16
17 Two features that are not needed to fill either of these roles are
18 performance and completeness.  The interpreter only needs to be fast
19 enough to run small test programs and occasionally to run the compiler
20 on itself.  It only needs to be complete enough to test aspects of the
21 design which are developed before the compiler is working, and to run
22 the compiler on itself.  Any features not used by the compiler when
23 compiling itself are superfluous.  They may be included anyway, but
24 they may not.
25
26 Nonetheless, the interpreter should end up being reasonably complete,
27 and any performance bottlenecks which appear and are easily fixed, will
28 be.
29
30 ## Current version
31
32 This third version of the interpreter exists to test out some initial
33 ideas relating to types.  Particularly it adds arrays (indexed from
34 zero) and simple structures.  Basic control flow and variable scoping
35 are already fairly well established, as are basic numerical and
36 boolean operators.
37
38 Some operators that have only recently been added, and so have not
39 generated all that much experience yet are "and then" and "or else" as
40 short-circuit Boolean operators, and the "if ... else" trinary
41 operator which can select between two expressions based on a third
42 (which appears syntactically in the middle).
43
44 Elements that are present purely to make a usable language, and
45 without any expectation that they will remain, are the "program'
46 clause, which provides a list of variables to received command-line
47 arguments, and the "print" statement which performs simple output.
48
49 The current scalar types are "number", "Boolean", and "string".
50 Boolean will likely stay in its current form, the other two might, but
51 could just as easily be changed.
52
53 ## Naming
54
55 Versions of the interpreter which obviously do not support a complete
56 language will be named after creeks and streams.  This one is Jamison
57 Creek.
58
59 Once we have something reasonably resembling a complete language, the
60 names of rivers will be used.
61 Early versions of the compiler will be named after seas.  Major
62 releases of the compiler will be named after oceans.  Hopefully I will
63 be finished once I get to the Pacific Ocean release.
64
65 ## Outline
66
67 As well as parsing and executing a program, the interpreter can print
68 out the program from the parsed internal structure.  This is useful
69 for validating the parsing.
70 So the main requirements of the interpreter are:
71
72 - Parse the program, possibly with tracing,
73 - Analyse the parsed program to ensure consistency,
74 - Print the program,
75 - Execute the program, if no parsing or consistency errors were found.
76
77 This is all performed by a single C program extracted with
78 `parsergen`.
79
80 There will be two formats for printing the program: a default and one
81 that uses bracketing.  So a `--bracket` command line option is needed
82 for that.  Normally the first code section found is used, however an
83 alternate section can be requested so that a file (such as this one)
84 can contain multiple programs.  This is effected with the `--section`
85 option.
86
87 This code must be compiled with `-fplan9-extensions` so that anonymous
88 structures can be used.
89
90 ###### File: oceani.mk
91
92         myCFLAGS := -Wall -g -fplan9-extensions
93         CFLAGS := $(filter-out $(myCFLAGS),$(CFLAGS)) $(myCFLAGS)
94         myLDLIBS:= libparser.o libscanner.o libmdcode.o -licuuc
95         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
96         ## libs
97         all :: $(LDLIBS) oceani
98         oceani.c oceani.h : oceani.mdc parsergen
99                 ./parsergen -o oceani --LALR --tag Parser oceani.mdc
100         oceani.mk: oceani.mdc md2c
101                 ./md2c oceani.mdc
102
103         oceani: oceani.o $(LDLIBS)
104                 $(CC) $(CFLAGS) -o oceani oceani.o $(LDLIBS)
105
106 ###### Parser: header
107         ## macros
108         ## ast
109         struct parse_context {
110                 struct token_config config;
111                 char *file_name;
112                 int parse_error;
113                 struct exec *prog;
114                 ## parse context
115         };
116
117 ###### macros
118
119         #define container_of(ptr, type, member) ({                      \
120                 const typeof( ((type *)0)->member ) *__mptr = (ptr);    \
121                 (type *)( (char *)__mptr - offsetof(type,member) );})
122
123         #define config2context(_conf) container_of(_conf, struct parse_context, \
124                 config)
125
126 ###### Parser: reduce
127         struct parse_context *c = config2context(config);
128
129 ###### Parser: code
130
131         #include <unistd.h>
132         #include <stdlib.h>
133         #include <fcntl.h>
134         #include <errno.h>
135         #include <sys/mman.h>
136         #include <string.h>
137         #include <stdio.h>
138         #include <locale.h>
139         #include <malloc.h>
140         #include "mdcode.h"
141         #include "scanner.h"
142         #include "parser.h"
143
144         ## includes
145
146         #include "oceani.h"
147
148         ## forward decls
149         ## value functions
150         ## ast functions
151         ## core functions
152
153         #include <getopt.h>
154         static char Usage[] =
155                 "Usage: oceani --trace --print --noexec --brackets --section=SectionName prog.ocn\n";
156         static const struct option long_options[] = {
157                 {"trace",     0, NULL, 't'},
158                 {"print",     0, NULL, 'p'},
159                 {"noexec",    0, NULL, 'n'},
160                 {"brackets",  0, NULL, 'b'},
161                 {"section",   1, NULL, 's'},
162                 {NULL,        0, NULL, 0},
163         };
164         const char *options = "tpnbs";
165         int main(int argc, char *argv[])
166         {
167                 int fd;
168                 int len;
169                 char *file;
170                 struct section *s, *ss;
171                 char *section = NULL;
172                 struct parse_context context = {
173                         .config = {
174                                 .ignored = (1 << TK_mark),
175                                 .number_chars = ".,_+- ",
176                                 .word_start = "_",
177                                 .word_cont = "_",
178                         },
179                 };
180                 int doprint=0, dotrace=0, doexec=1, brackets=0;
181                 int opt;
182                 while ((opt = getopt_long(argc, argv, options, long_options, NULL))
183                        != -1) {
184                         switch(opt) {
185                         case 't': dotrace=1; break;
186                         case 'p': doprint=1; break;
187                         case 'n': doexec=0; break;
188                         case 'b': brackets=1; break;
189                         case 's': section = optarg; break;
190                         default: fprintf(stderr, Usage);
191                                 exit(1);
192                         }
193                 }
194                 if (optind >= argc) {
195                         fprintf(stderr, "oceani: no input file given\n");
196                         exit(1);
197                 }
198                 fd = open(argv[optind], O_RDONLY);
199                 if (fd < 0) {
200                         fprintf(stderr, "oceani: cannot open %s\n", argv[optind]);
201                         exit(1);
202                 }
203                 context.file_name = argv[optind];
204                 len = lseek(fd, 0, 2);
205                 file = mmap(NULL, len, PROT_READ, MAP_SHARED, fd, 0);
206                 s = code_extract(file, file+len, NULL);
207                 if (!s) {
208                         fprintf(stderr, "oceani: could not find any code in %s\n",
209                                 argv[optind]);
210                         exit(1);
211                 }
212
213                 ## context initialization
214
215                 if (section) {
216                         for (ss = s; ss; ss = ss->next) {
217                                 struct text sec = ss->section;
218                                 if (sec.len == strlen(section) &&
219                                     strncmp(sec.txt, section, sec.len) == 0)
220                                         break;
221                         }
222                         if (!ss) {
223                                 fprintf(stderr, "oceani: cannot find section %s\n",
224                                         section);
225                                 exit(1);
226                         }
227                 } else
228                         ss = s;
229                 parse_oceani(ss->code, &context.config, dotrace ? stderr : NULL);
230
231                 if (!context.prog) {
232                         fprintf(stderr, "oceani: no program found.\n");
233                         context.parse_error = 1;
234                 }
235                 if (context.prog && doprint) {
236                         ## print const decls
237                         ## print type decls
238                         print_exec(context.prog, 0, brackets);
239                 }
240                 if (context.prog && doexec && !context.parse_error) {
241                         if (!analyse_prog(context.prog, &context)) {
242                                 fprintf(stderr, "oceani: type error in program - not running.\n");
243                                 exit(1);
244                         }
245                         interp_prog(context.prog, argv+optind+1);
246                 }
247                 free_exec(context.prog);
248
249                 while (s) {
250                         struct section *t = s->next;
251                         code_free(s->code);
252                         free(s);
253                         s = t;
254                 }
255                 ## free context vars
256                 ## free context types
257                 exit(context.parse_error ? 1 : 0);
258         }
259
260 ### Analysis
261
262 The four requirements of parse, analyse, print, interpret apply to
263 each language element individually so that is how most of the code
264 will be structured.
265
266 Three of the four are fairly self explanatory.  The one that requires
267 a little explanation is the analysis step.
268
269 The current language design does not require the types of variables to
270 be declared, but they must still have a single type.  Different
271 operations impose different requirements on the variables, for example
272 addition requires both arguments to be numeric, and assignment
273 requires the variable on the left to have the same type as the
274 expression on the right.
275
276 Analysis involves propagating these type requirements around and
277 consequently setting the type of each variable.  If any requirements
278 are violated (e.g. a string is compared with a number) or if a
279 variable needs to have two different types, then an error is raised
280 and the program will not run.
281
282 If the same variable is declared in both branchs of an 'if/else', or
283 in all cases of a 'switch' then the multiple instances may be merged
284 into just one variable if the variable is referenced after the
285 conditional statement.  When this happens, the types must naturally be
286 consistent across all the branches.  When the variable is not used
287 outside the if, the variables in the different branches are distinct
288 and can be of different types.
289
290 Undeclared names may only appear in "use" statements and "case" expressions.
291 These names are given a type of "label" and a unique value.
292 This allows them to fill the role of a name in an enumerated type, which
293 is useful for testing the `switch` statement.
294
295 As we will see, the condition part of a `while` statement can return
296 either a Boolean or some other type.  This requires that the expected
297 type that gets passed around comprises a type and a flag to indicate
298 that `Tbool` is also permitted.
299
300 As there are, as yet, no distinct types that are compatible, there
301 isn't much subtlety in the analysis.  When we have distinct number
302 types, this will become more interesting.
303
304 #### Error reporting
305
306 When analysis discovers an inconsistency it needs to report an error;
307 just refusing to run the code ensures that the error doesn't cascade,
308 but by itself it isn't very useful.  A clear understanding of the sort
309 of error message that are useful will help guide the process of
310 analysis.
311
312 At a simplistic level, the only sort of error that type analysis can
313 report is that the type of some construct doesn't match a contextual
314 requirement.  For example, in `4 + "hello"` the addition provides a
315 contextual requirement for numbers, but `"hello"` is not a number.  In
316 this particular example no further information is needed as the types
317 are obvious from local information.  When a variable is involved that
318 isn't the case.  It may be helpful to explain why the variable has a
319 particular type, by indicating the location where the type was set,
320 whether by declaration or usage.
321
322 Using a recursive-descent analysis we can easily detect a problem at
323 multiple locations. In "`hello:= "there"; 4 + hello`" the addition
324 will detect that one argument is not a number and the usage of `hello`
325 will detect that a number was wanted, but not provided.  In this
326 (early) version of the language, we will generate error reports at
327 multiple locations, so the use of `hello` will report an error and
328 explain were the value was set, and the addition will report an error
329 and say why numbers are needed.  To be able to report locations for
330 errors, each language element will need to record a file location
331 (line and column) and each variable will need to record the language
332 element where its type was set.  For now we will assume that each line
333 of an error message indicates one location in the file, and up to 2
334 types.  So we provide a `printf`-like function which takes a format, a
335 location (a `struct exec` which has not yet been introduced), and 2
336 types. "`%1`" reports the first type, "`%2`" reports the second.  We
337 will need a function to print the location, once we know how that is
338 stored. e As will be explained later, there are sometimes extra rules for
339 type matching and they might affect error messages, we need to pass those
340 in too.
341
342 As well as type errors, we sometimes need to report problems with
343 tokens, which might be unexpected or might name a type that has not
344 been defined.  For these we have `tok_err()` which reports an error
345 with a given token.  Each of the error functions sets the flag in the
346 context so indicate that parsing failed.
347
348 ###### forward decls
349
350         static void fput_loc(struct exec *loc, FILE *f);
351
352 ###### core functions
353
354         static void type_err(struct parse_context *c,
355                              char *fmt, struct exec *loc,
356                              struct type *t1, int rules, struct type *t2)
357         {
358                 fprintf(stderr, "%s:", c->file_name);
359                 fput_loc(loc, stderr);
360                 for (; *fmt ; fmt++) {
361                         if (*fmt != '%') {
362                                 fputc(*fmt, stderr);
363                                 continue;
364                         }
365                         fmt++;
366                         switch (*fmt) {
367                         case '%': fputc(*fmt, stderr); break;   // NOTEST
368                         default: fputc('?', stderr); break;     // NOTEST
369                         case '1':
370                                 type_print(t1, stderr);
371                                 break;
372                         case '2':
373                                 type_print(t2, stderr);
374                                 break;
375                         ## format cases
376                         }
377                 }
378                 fputs("\n", stderr);
379                 c->parse_error = 1;
380         }
381
382         static void tok_err(struct parse_context *c, char *fmt, struct token *t)
383         {
384                 fprintf(stderr, "%s:%d:%d: %s: %.*s\n", c->file_name, t->line, t->col, fmt,
385                         t->txt.len, t->txt.txt);
386                 c->parse_error = 1;
387         }
388
389 ## Entities: declared and predeclared.
390
391 There are various "things" that the language and/or the interpreter
392 needs to know about to parse and execute a program.  These include
393 types, variables, values, and executable code.  These are all lumped
394 together under the term "entities" (calling them "objects" would be
395 confusing) and introduced here.  The following section will present the
396 different specific code elements which comprise or manipulate these
397 various entities.
398
399 ### Types
400
401 Values come in a wide range of types, with more likely to be added.
402 Each type needs to be able to print its own values (for convenience at
403 least) as well as to compare two values, at least for equality and
404 possibly for order.  For now, values might need to be duplicated and
405 freed, though eventually such manipulations will be better integrated
406 into the language.
407
408 Rather than requiring every numeric type to support all numeric
409 operations (add, multiple, etc), we allow types to be able to present
410 as one of a few standard types: integer, float, and fraction.  The
411 existence of these conversion functions eventually enable types to
412 determine if they are compatible with other types, though such types
413 have not yet been implemented.
414
415 Named type are stored in a simple linked list.  Objects of each type are
416 "values" which are often passed around by value.
417
418 ###### ast
419
420         struct value {
421                 union {
422                         char ptr[1];
423                         ## value union fields
424                 };
425         };
426
427         struct type {
428                 struct text name;
429                 struct type *next;
430                 int size, align;
431                 void (*init)(struct type *type, struct value *val);
432                 void (*print)(struct type *type, struct value *val);
433                 void (*print_type)(struct type *type, FILE *f);
434                 int (*cmp_order)(struct type *t1, struct type *t2,
435                                  struct value *v1, struct value *v2);
436                 int (*cmp_eq)(struct type *t1, struct type *t2,
437                               struct value *v1, struct value *v2);
438                 void (*dup)(struct type *type, struct value *vold, struct value *vnew);
439                 void (*free)(struct type *type, struct value *val);
440                 void (*free_type)(struct type *t);
441                 long long (*to_int)(struct value *v);
442                 double (*to_float)(struct value *v);
443                 int (*to_mpq)(mpq_t *q, struct value *v);
444                 ## type functions
445                 union {
446                         ## type union fields
447                 };
448         };
449
450 ###### parse context
451
452         struct type *typelist;
453
454 ###### ast functions
455
456         static struct type *find_type(struct parse_context *c, struct text s)
457         {
458                 struct type *l = c->typelist;
459
460                 while (l &&
461                        text_cmp(l->name, s) != 0)
462                                 l = l->next;
463                 return l;
464         }
465
466         static struct type *add_type(struct parse_context *c, struct text s,
467                                      struct type *proto)
468         {
469                 struct type *n;
470
471                 n = calloc(1, sizeof(*n));
472                 *n = *proto;
473                 n->name = s;
474                 n->next = c->typelist;
475                 c->typelist = n;
476                 return n;
477         }
478
479         static void free_type(struct type *t)
480         {
481                 /* The type is always a reference to something in the
482                  * context, so we don't need to free anything.
483                  */
484         }
485
486         static void free_value(struct type *type, struct value *v)
487         {
488                 if (type && v)
489                         type->free(type, v);
490         }
491
492         static void type_print(struct type *type, FILE *f)
493         {
494                 if (!type)
495                         fputs("*unknown*type*", f);
496                 else if (type->name.len)
497                         fprintf(f, "%.*s", type->name.len, type->name.txt);
498                 else if (type->print_type)
499                         type->print_type(type, f);
500                 else
501                         fputs("*invalid*type*", f);     // NOTEST
502         }
503
504         static void val_init(struct type *type, struct value *val)
505         {
506                 if (type && type->init)
507                         type->init(type, val);
508         }
509
510         static void dup_value(struct type *type, 
511                               struct value *vold, struct value *vnew)
512         {
513                 if (type && type->dup)
514                         type->dup(type, vold, vnew);
515         }
516
517         static int value_cmp(struct type *tl, struct type *tr,
518                              struct value *left, struct value *right)
519         {
520                 if (tl && tl->cmp_order)
521                         return tl->cmp_order(tl, tr, left, right);
522                 if (tl && tl->cmp_eq)
523                         return tl->cmp_eq(tl, tr, left, right);
524                 return -1;
525         }
526
527         static void print_value(struct type *type, struct value *v)
528         {
529                 if (type && type->print)
530                         type->print(type, v);
531                 else
532                         printf("*Unknown*");            // NOTEST
533         }
534
535         static struct value *val_alloc(struct type *t, struct value *init)
536         {
537                 struct value *ret;
538
539                 if (!t->size)
540                         val_init(t, NULL);
541                 ret = calloc(1, t->size);
542                 if (init)
543                         memcpy(ret, init, t->size);
544                 else
545                         val_init(t, ret);
546                 return ret;
547         }
548
549 ###### forward decls
550
551         static void free_value(struct type *type, struct value *v);
552         static int type_compat(struct type *require, struct type *have, int rules);
553         static void type_print(struct type *type, FILE *f);
554         static void val_init(struct type *type, struct value *v);
555         static void dup_value(struct type *type,
556                               struct value *vold, struct value *vnew);
557         static int value_cmp(struct type *tl, struct type *tr,
558                              struct value *left, struct value *right);
559         static void print_value(struct type *type, struct value *v);
560
561 ###### free context types
562
563         while (context.typelist) {
564                 struct type *t = context.typelist;
565
566                 context.typelist = t->next;
567                 if (t->free_type)
568                         t->free_type(t);
569                 free(t);
570         }
571
572 #### Base Types
573
574 Values of the base types can be numbers, which we represent as
575 multi-precision fractions, strings, Booleans and labels.  When
576 analysing the program we also need to allow for places where no value
577 is meaningful (type `Tnone`) and where we don't know what type to
578 expect yet (type is `NULL`).
579
580 Values are never shared, they are always copied when used, and freed
581 when no longer needed.
582
583 When propagating type information around the program, we need to
584 determine if two types are compatible, where type `NULL` is compatible
585 with anything.  There are two special cases with type compatibility,
586 both related to the Conditional Statement which will be described
587 later.  In some cases a Boolean can be accepted as well as some other
588 primary type, and in others any type is acceptable except a label (`Vlabel`).
589 A separate function encoding these cases will simplify some code later.
590
591 ## type functions
592
593         int (*compat)(struct type *this, struct type *other);
594
595 ## ast functions
596
597         static int type_compat(struct type *require, struct type *have, int rules)
598         {
599                 if ((rules & Rboolok) && have == Tbool)
600                         return 1;
601                 if ((rules & Rnolabel) && have == Tlabel)
602                         return 0;
603                 if (!require || !have)
604                         return 1;
605
606                 if (require->compat)
607                         return require->compat(require, have);
608
609                 return require == have;
610         }
611
612 ###### includes
613         #include <gmp.h>
614         #include "parse_string.h"
615         #include "parse_number.h"
616
617 ###### libs
618         myLDLIBS := libnumber.o libstring.o -lgmp
619         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
620
621 ###### type union fields
622         enum vtype {Vnone, Vstr, Vnum, Vbool, Vlabel} vtype;
623
624 ###### value union fields
625         struct text str;
626         mpq_t num;
627         unsigned char bool;
628         void *label;
629
630 ###### ast functions
631         static void _free_value(struct type *type, struct value *v)
632         {
633                 if (!v)
634                         return;
635                 switch (type->vtype) {
636                 case Vnone: break;
637                 case Vstr: free(v->str.txt); break;
638                 case Vnum: mpq_clear(v->num); break;
639                 case Vlabel:
640                 case Vbool: break;
641                 }
642         }
643
644 ###### value functions
645
646         static void _val_init(struct type *type, struct value *val)
647         {
648                 switch(type->vtype) {
649                 case Vnone:             // NOTEST
650                         break;          // NOTEST
651                 case Vnum:
652                         mpq_init(val->num); break;
653                 case Vstr:
654                         val->str.txt = malloc(1);
655                         val->str.len = 0;
656                         break;
657                 case Vbool:
658                         val->bool = 0;
659                         break;
660                 case Vlabel:                    // NOTEST
661                         val->label = NULL;      // NOTEST
662                         break;                  // NOTEST
663                 }
664         }
665
666         static void _dup_value(struct type *type, 
667                                struct value *vold, struct value *vnew)
668         {
669                 switch (type->vtype) {
670                 case Vnone:             // NOTEST
671                         break;          // NOTEST
672                 case Vlabel:
673                         vnew->label = vold->label;
674                         break;
675                 case Vbool:
676                         vnew->bool = vold->bool;
677                         break;
678                 case Vnum:
679                         mpq_init(vnew->num);
680                         mpq_set(vnew->num, vold->num);
681                         break;
682                 case Vstr:
683                         vnew->str.len = vold->str.len;
684                         vnew->str.txt = malloc(vnew->str.len);
685                         memcpy(vnew->str.txt, vold->str.txt, vnew->str.len);
686                         break;
687                 }
688         }
689
690         static int _value_cmp(struct type *tl, struct type *tr,
691                               struct value *left, struct value *right)
692         {
693                 int cmp;
694                 if (tl != tr)
695                         return tl - tr; // NOTEST
696                 switch (tl->vtype) {
697                 case Vlabel: cmp = left->label == right->label ? 0 : 1; break;
698                 case Vnum: cmp = mpq_cmp(left->num, right->num); break;
699                 case Vstr: cmp = text_cmp(left->str, right->str); break;
700                 case Vbool: cmp = left->bool - right->bool; break;
701                 case Vnone: cmp = 0;                    // NOTEST
702                 }
703                 return cmp;
704         }
705
706         static void _print_value(struct type *type, struct value *v)
707         {
708                 switch (type->vtype) {
709                 case Vnone:                             // NOTEST
710                         printf("*no-value*"); break;    // NOTEST
711                 case Vlabel:                            // NOTEST
712                         printf("*label-%p*", v->label); break; // NOTEST
713                 case Vstr:
714                         printf("%.*s", v->str.len, v->str.txt); break;
715                 case Vbool:
716                         printf("%s", v->bool ? "True":"False"); break;
717                 case Vnum:
718                         {
719                         mpf_t fl;
720                         mpf_init2(fl, 20);
721                         mpf_set_q(fl, v->num);
722                         gmp_printf("%Fg", fl);
723                         mpf_clear(fl);
724                         break;
725                         }
726                 }
727         }
728
729         static void _free_value(struct type *type, struct value *v);
730
731         static struct type base_prototype = {
732                 .init = _val_init,
733                 .print = _print_value,
734                 .cmp_order = _value_cmp,
735                 .cmp_eq = _value_cmp,
736                 .dup = _dup_value,
737                 .free = _free_value,
738         };
739
740         static struct type *Tbool, *Tstr, *Tnum, *Tnone, *Tlabel;
741
742 ###### ast functions
743         static struct type *add_base_type(struct parse_context *c, char *n,
744                                           enum vtype vt, int size)
745         {
746                 struct text txt = { n, strlen(n) };
747                 struct type *t;
748
749                 t = add_type(c, txt, &base_prototype);
750                 t->vtype = vt;
751                 t->size = size;
752                 t->align = size > sizeof(void*) ? sizeof(void*) : size;
753                 if (t->size & (t->align - 1))
754                         t->size = (t->size | (t->align - 1)) + 1;
755                 return t;
756         }
757
758 ###### context initialization
759
760         Tbool  = add_base_type(&context, "Boolean", Vbool, sizeof(char));
761         Tstr   = add_base_type(&context, "string", Vstr, sizeof(struct text));
762         Tnum   = add_base_type(&context, "number", Vnum, sizeof(mpq_t));
763         Tnone  = add_base_type(&context, "none", Vnone, 0);
764         Tlabel = add_base_type(&context, "label", Vlabel, sizeof(void*));
765
766 ### Variables
767
768 Variables are scoped named values.  We store the names in a linked list
769 of "bindings" sorted in lexical order, and use sequential search and
770 insertion sort.
771
772 ###### ast
773
774         struct binding {
775                 struct text name;
776                 struct binding *next;   // in lexical order
777                 ## binding fields
778         };
779
780 This linked list is stored in the parse context so that "reduce"
781 functions can find or add variables, and so the analysis phase can
782 ensure that every variable gets a type.
783
784 ###### parse context
785
786         struct binding *varlist;  // In lexical order
787
788 ###### ast functions
789
790         static struct binding *find_binding(struct parse_context *c, struct text s)
791         {
792                 struct binding **l = &c->varlist;
793                 struct binding *n;
794                 int cmp = 1;
795
796                 while (*l &&
797                         (cmp = text_cmp((*l)->name, s)) < 0)
798                                 l = & (*l)->next;
799                 if (cmp == 0)
800                         return *l;
801                 n = calloc(1, sizeof(*n));
802                 n->name = s;
803                 n->next = *l;
804                 *l = n;
805                 return n;
806         }
807
808 Each name can be linked to multiple variables defined in different
809 scopes.  Each scope starts where the name is declared and continues
810 until the end of the containing code block.  Scopes of a given name
811 cannot nest, so a declaration while a name is in-scope is an error.
812
813 ###### binding fields
814         struct variable *var;
815
816 ###### ast
817         struct variable {
818                 struct variable *previous;
819                 struct type *type;
820                 struct value *val;
821                 struct binding *name;
822                 struct exec *where_decl;// where name was declared
823                 struct exec *where_set; // where type was set
824                 ## variable fields
825         };
826
827 While the naming seems strange, we include local constants in the
828 definition of variables.  A name declared `var := value` can
829 subsequently be changed, but a name declared `var ::= value` cannot -
830 it is constant
831
832 ###### variable fields
833         int constant;
834
835 Scopes in parallel branches can be partially merged.  More
836 specifically, if a given name is declared in both branches of an
837 if/else then its scope is a candidate for merging.  Similarly if
838 every branch of an exhaustive switch (e.g. has an "else" clause)
839 declares a given name, then the scopes from the branches are
840 candidates for merging.
841
842 Note that names declared inside a loop (which is only parallel to
843 itself) are never visible after the loop.  Similarly names defined in
844 scopes which are not parallel, such as those started by `for` and
845 `switch`, are never visible after the scope.  Only variables defined in
846 both `then` and `else` (including the implicit then after an `if`, and
847 excluding `then` used with `for`) and in all `case`s and `else` of a
848 `switch` or `while` can be visible beyond the `if`/`switch`/`while`.
849
850 Labels, which are a bit like variables, follow different rules.
851 Labels are not explicitly declared, but if an undeclared name appears
852 in a context where a label is legal, that effectively declares the
853 name as a label.  The declaration remains in force (or in scope) at
854 least to the end of the immediately containing block and conditionally
855 in any larger containing block which does not declare the name in some
856 other way.  Importantly, the conditional scope extension happens even
857 if the label is only used in one parallel branch of a conditional --
858 when used in one branch it is treated as having been declared in all
859 branches.
860
861 Merge candidates are tentatively visible beyond the end of the
862 branching statement which creates them.  If the name is used, the
863 merge is affirmed and they become a single variable visible at the
864 outer layer.  If not - if it is redeclared first - the merge lapses.
865
866 To track scopes we have an extra stack, implemented as a linked list,
867 which roughly parallels the parse stack and which is used exclusively
868 for scoping.  When a new scope is opened, a new frame is pushed and
869 the child-count of the parent frame is incremented.  This child-count
870 is used to distinguish between the first of a set of parallel scopes,
871 in which declared variables must not be in scope, and subsequent
872 branches, whether they may already be conditionally scoped.
873
874 To push a new frame *before* any code in the frame is parsed, we need a
875 grammar reduction.  This is most easily achieved with a grammar
876 element which derives the empty string, and creates the new scope when
877 it is recognised.  This can be placed, for example, between a keyword
878 like "if" and the code following it.
879
880 ###### ast
881         struct scope {
882                 struct scope *parent;
883                 int child_count;
884         };
885
886 ###### parse context
887         int scope_depth;
888         struct scope *scope_stack;
889
890 ###### ast functions
891         static void scope_pop(struct parse_context *c)
892         {
893                 struct scope *s = c->scope_stack;
894
895                 c->scope_stack = s->parent;
896                 free(s);
897                 c->scope_depth -= 1;
898         }
899
900         static void scope_push(struct parse_context *c)
901         {
902                 struct scope *s = calloc(1, sizeof(*s));
903                 if (c->scope_stack)
904                         c->scope_stack->child_count += 1;
905                 s->parent = c->scope_stack;
906                 c->scope_stack = s;
907                 c->scope_depth += 1;
908         }
909
910 ###### Grammar
911
912         $void
913         OpenScope -> ${ scope_push(c); }$
914         ClosePara -> ${ var_block_close(c, CloseParallel); }$
915
916 Each variable records a scope depth and is in one of four states:
917
918 - "in scope".  This is the case between the declaration of the
919   variable and the end of the containing block, and also between
920   the usage with affirms a merge and the end of that block.
921
922   The scope depth is not greater than the current parse context scope
923   nest depth.  When the block of that depth closes, the state will
924   change.  To achieve this, all "in scope" variables are linked
925   together as a stack in nesting order.
926
927 - "pending".  The "in scope" block has closed, but other parallel
928   scopes are still being processed.  So far, every parallel block at
929   the same level that has closed has declared the name.
930
931   The scope depth is the depth of the last parallel block that
932   enclosed the declaration, and that has closed.
933
934 - "conditionally in scope".  The "in scope" block and all parallel
935   scopes have closed, and no further mention of the name has been
936   seen.  This state includes a secondary nest depth which records the
937   outermost scope seen since the variable became conditionally in
938   scope.  If a use of the name is found, the variable becomes "in
939   scope" and that secondary depth becomes the recorded scope depth.
940   If the name is declared as a new variable, the old variable becomes
941   "out of scope" and the recorded scope depth stays unchanged.
942
943 - "out of scope".  The variable is neither in scope nor conditionally
944   in scope.  It is permanently out of scope now and can be removed from
945   the "in scope" stack.
946
947 ###### variable fields
948         int depth, min_depth;
949         enum { OutScope, PendingScope, CondScope, InScope } scope;
950         struct variable *in_scope;
951
952 ###### parse context
953
954         struct variable *in_scope;
955
956 All variables with the same name are linked together using the
957 'previous' link.  Those variable that have been affirmatively merged all
958 have a 'merged' pointer that points to one primary variable - the most
959 recently declared instance.  When merging variables, we need to also
960 adjust the 'merged' pointer on any other variables that had previously
961 been merged with the one that will no longer be primary.
962
963 A variable that is no longer the most recent instance of a name may
964 still have "pending" scope, if it might still be merged with most
965 recent instance.  These variables don't really belong in the
966 "in_scope" list, but are not immediately removed when a new instance
967 is found.  Instead, they are detected and ignored when considering the
968 list of in_scope names.
969
970 ###### variable fields
971         struct variable *merged;
972
973 ###### ast functions
974
975         static void variable_merge(struct variable *primary, struct variable *secondary)
976         {
977                 struct variable *v;
978
979                 if (primary->merged)
980                         // shouldn't happen
981                         primary = primary->merged;
982
983                 for (v = primary->previous; v; v=v->previous)
984                         if (v == secondary || v == secondary->merged ||
985                             v->merged == secondary ||
986                             (v->merged && v->merged == secondary->merged)) {
987                                 v->scope = OutScope;
988                                 v->merged = primary;
989                         }
990         }
991
992 ###### free context vars
993
994         while (context.varlist) {
995                 struct binding *b = context.varlist;
996                 struct variable *v = b->var;
997                 context.varlist = b->next;
998                 free(b);
999                 while (v) {
1000                         struct variable *t = v;
1001
1002                         v = t->previous;
1003                         free_value(t->type, t->val);
1004                         free(t->val);
1005                         if (t->depth == 0)
1006                                 // This is a global constant
1007                                 free_exec(t->where_decl);
1008                         free(t);
1009                 }
1010         }
1011
1012 #### Manipulating Bindings
1013
1014 When a name is conditionally visible, a new declaration discards the
1015 old binding - the condition lapses.  Conversely a usage of the name
1016 affirms the visibility and extends it to the end of the containing
1017 block - i.e. the block that contains both the original declaration and
1018 the latest usage.  This is determined from `min_depth`.  When a
1019 conditionally visible variable gets affirmed like this, it is also
1020 merged with other conditionally visible variables with the same name.
1021
1022 When we parse a variable declaration we either report an error if the
1023 name is currently bound, or create a new variable at the current nest
1024 depth if the name is unbound or bound to a conditionally scoped or
1025 pending-scope variable.  If the previous variable was conditionally
1026 scoped, it and its homonyms becomes out-of-scope.
1027
1028 When we parse a variable reference (including non-declarative assignment
1029 "foo = bar") we report an error if the name is not bound or is bound to
1030 a pending-scope variable; update the scope if the name is bound to a
1031 conditionally scoped variable; or just proceed normally if the named
1032 variable is in scope.
1033
1034 When we exit a scope, any variables bound at this level are either
1035 marked out of scope or pending-scoped, depending on whether the scope
1036 was sequential or parallel.  Here a "parallel" scope means the "then"
1037 or "else" part of a conditional, or any "case" or "else" branch of a
1038 switch.  Other scopes are "sequential".
1039
1040 When exiting a parallel scope we check if there are any variables that
1041 were previously pending and are still visible. If there are, then
1042 there weren't redeclared in the most recent scope, so they cannot be
1043 merged and must become out-of-scope.  If it is not the first of
1044 parallel scopes (based on `child_count`), we check that there was a
1045 previous binding that is still pending-scope.  If there isn't, the new
1046 variable must now be out-of-scope.
1047
1048 When exiting a sequential scope that immediately enclosed parallel
1049 scopes, we need to resolve any pending-scope variables.  If there was
1050 no `else` clause, and we cannot determine that the `switch` was exhaustive,
1051 we need to mark all pending-scope variable as out-of-scope.  Otherwise
1052 all pending-scope variables become conditionally scoped.
1053
1054 ###### ast
1055         enum closetype { CloseSequential, CloseParallel, CloseElse };
1056
1057 ###### ast functions
1058
1059         static struct variable *var_decl(struct parse_context *c, struct text s)
1060         {
1061                 struct binding *b = find_binding(c, s);
1062                 struct variable *v = b->var;
1063
1064                 switch (v ? v->scope : OutScope) {
1065                 case InScope:
1066                         /* Caller will report the error */
1067                         return NULL;
1068                 case CondScope:
1069                         for (;
1070                              v && v->scope == CondScope;
1071                              v = v->previous)
1072                                 v->scope = OutScope;
1073                         break;
1074                 default: break;
1075                 }
1076                 v = calloc(1, sizeof(*v));
1077                 v->previous = b->var;
1078                 b->var = v;
1079                 v->name = b;
1080                 v->min_depth = v->depth = c->scope_depth;
1081                 v->scope = InScope;
1082                 v->in_scope = c->in_scope;
1083                 c->in_scope = v;
1084                 v->val = NULL;
1085                 return v;
1086         }
1087
1088         static struct variable *var_ref(struct parse_context *c, struct text s)
1089         {
1090                 struct binding *b = find_binding(c, s);
1091                 struct variable *v = b->var;
1092                 struct variable *v2;
1093
1094                 switch (v ? v->scope : OutScope) {
1095                 case OutScope:
1096                 case PendingScope:
1097                         /* Caller will report the error */
1098                         return NULL;
1099                 case CondScope:
1100                         /* All CondScope variables of this name need to be merged
1101                          * and become InScope
1102                          */
1103                         v->depth = v->min_depth;
1104                         v->scope = InScope;
1105                         for (v2 = v->previous;
1106                              v2 && v2->scope == CondScope;
1107                              v2 = v2->previous)
1108                                 variable_merge(v, v2);
1109                         break;
1110                 case InScope:
1111                         break;
1112                 }
1113                 return v;
1114         }
1115
1116         static void var_block_close(struct parse_context *c, enum closetype ct)
1117         {
1118                 /* Close off all variables that are in_scope */
1119                 struct variable *v, **vp, *v2;
1120
1121                 scope_pop(c);
1122                 for (vp = &c->in_scope;
1123                      v = *vp, v && v->depth > c->scope_depth && v->min_depth > c->scope_depth;
1124                      ) {
1125                         if (v->name->var == v) switch (ct) {
1126                         case CloseElse:
1127                         case CloseParallel: /* handle PendingScope */
1128                                 switch(v->scope) {
1129                                 case InScope:
1130                                 case CondScope:
1131                                         if (c->scope_stack->child_count == 1)
1132                                                 v->scope = PendingScope;
1133                                         else if (v->previous &&
1134                                                  v->previous->scope == PendingScope)
1135                                                 v->scope = PendingScope;
1136                                         else if (v->type == Tlabel)
1137                                                 v->scope = PendingScope;
1138                                         else if (v->name->var == v)
1139                                                 v->scope = OutScope;
1140                                         if (ct == CloseElse) {
1141                                                 /* All Pending variables with this name
1142                                                  * are now Conditional */
1143                                                 for (v2 = v;
1144                                                      v2 && v2->scope == PendingScope;
1145                                                      v2 = v2->previous)
1146                                                         v2->scope = CondScope;
1147                                         }
1148                                         break;
1149                                 case PendingScope:
1150                                         for (v2 = v;
1151                                              v2 && v2->scope == PendingScope;
1152                                              v2 = v2->previous)
1153                                                 if (v2->type != Tlabel)
1154                                                         v2->scope = OutScope;
1155                                         break;
1156                                 case OutScope: break;
1157                                 }
1158                                 break;
1159                         case CloseSequential:
1160                                 if (v->type == Tlabel)
1161                                         v->scope = PendingScope;
1162                                 switch (v->scope) {
1163                                 case InScope:
1164                                         v->scope = OutScope;
1165                                         break;
1166                                 case PendingScope:
1167                                         /* There was no 'else', so we can only become
1168                                          * conditional if we know the cases were exhaustive,
1169                                          * and that doesn't mean anything yet.
1170                                          * So only labels become conditional..
1171                                          */
1172                                         for (v2 = v;
1173                                              v2 && v2->scope == PendingScope;
1174                                              v2 = v2->previous)
1175                                                 if (v2->type == Tlabel) {
1176                                                         v2->scope = CondScope;
1177                                                         v2->min_depth = c->scope_depth;
1178                                                 } else
1179                                                         v2->scope = OutScope;
1180                                         break;
1181                                 case CondScope:
1182                                 case OutScope: break;
1183                                 }
1184                                 break;
1185                         }
1186                         if (v->scope == OutScope || v->name->var != v)
1187                                 *vp = v->in_scope;
1188                         else
1189                                 vp = &v->in_scope;
1190                 }
1191         }
1192
1193 ### Executables
1194
1195 Executables can be lots of different things.  In many cases an
1196 executable is just an operation combined with one or two other
1197 executables.  This allows for expressions and lists etc.  Other times an
1198 executable is something quite specific like a constant or variable name.
1199 So we define a `struct exec` to be a general executable with a type, and
1200 a `struct binode` which is a subclass of `exec`, forms a node in a
1201 binary tree, and holds an operation.  There will be other subclasses,
1202 and to access these we need to be able to `cast` the `exec` into the
1203 various other types.  The first field in any `struct exec` is the type
1204 from the `exec_types` enum.
1205
1206 ###### macros
1207         #define cast(structname, pointer) ({            \
1208                 const typeof( ((struct structname *)0)->type) *__mptr = &(pointer)->type; \
1209                 if (__mptr && *__mptr != X##structname) abort();                \
1210                 (struct structname *)( (char *)__mptr);})
1211
1212         #define new(structname) ({                                              \
1213                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
1214                 __ptr->type = X##structname;                                            \
1215                 __ptr->line = -1; __ptr->column = -1;                                   \
1216                 __ptr;})
1217
1218         #define new_pos(structname, token) ({                                           \
1219                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
1220                 __ptr->type = X##structname;                                            \
1221                 __ptr->line = token.line; __ptr->column = token.col;                    \
1222                 __ptr;})
1223
1224 ###### ast
1225         enum exec_types {
1226                 Xbinode,
1227                 ## exec type
1228         };
1229         struct exec {
1230                 enum exec_types type;
1231                 int line, column;
1232         };
1233         struct binode {
1234                 struct exec;
1235                 enum Btype {
1236                         ## Binode types
1237                 } op;
1238                 struct exec *left, *right;
1239         };
1240
1241 ###### ast functions
1242
1243         static int __fput_loc(struct exec *loc, FILE *f)
1244         {
1245                 if (!loc)
1246                         return 0;               // NOTEST
1247                 if (loc->line >= 0) {
1248                         fprintf(f, "%d:%d: ", loc->line, loc->column);
1249                         return 1;
1250                 }
1251                 if (loc->type == Xbinode)
1252                         return __fput_loc(cast(binode,loc)->left, f) ||
1253                                __fput_loc(cast(binode,loc)->right, f);
1254                 return 0;
1255         }
1256         static void fput_loc(struct exec *loc, FILE *f)
1257         {
1258                 if (!__fput_loc(loc, f))
1259                         fprintf(f, "??:??: ");  // NOTEST
1260         }
1261
1262 Each different type of `exec` node needs a number of functions defined,
1263 a bit like methods.  We must be able to free it, print it, analyse it
1264 and execute it.  Once we have specific `exec` types we will need to
1265 parse them too.  Let's take this a bit more slowly.
1266
1267 #### Freeing
1268
1269 The parser generator requires a `free_foo` function for each struct
1270 that stores attributes and they will often be `exec`s and subtypes
1271 there-of.  So we need `free_exec` which can handle all the subtypes,
1272 and we need `free_binode`.
1273
1274 ###### ast functions
1275
1276         static void free_binode(struct binode *b)
1277         {
1278                 if (!b)
1279                         return;
1280                 free_exec(b->left);
1281                 free_exec(b->right);
1282                 free(b);
1283         }
1284
1285 ###### core functions
1286         static void free_exec(struct exec *e)
1287         {
1288                 if (!e)
1289                         return;
1290                 switch(e->type) {
1291                         ## free exec cases
1292                 }
1293         }
1294
1295 ###### forward decls
1296
1297         static void free_exec(struct exec *e);
1298
1299 ###### free exec cases
1300         case Xbinode: free_binode(cast(binode, e)); break;
1301
1302 #### Printing
1303
1304 Printing an `exec` requires that we know the current indent level for
1305 printing line-oriented components.  As will become clear later, we
1306 also want to know what sort of bracketing to use.
1307
1308 ###### ast functions
1309
1310         static void do_indent(int i, char *str)
1311         {
1312                 while (i--)
1313                         printf("    ");
1314                 printf("%s", str);
1315         }
1316
1317 ###### core functions
1318         static void print_binode(struct binode *b, int indent, int bracket)
1319         {
1320                 struct binode *b2;
1321                 switch(b->op) {
1322                 ## print binode cases
1323                 }
1324         }
1325
1326         static void print_exec(struct exec *e, int indent, int bracket)
1327         {
1328                 if (!e)
1329                         return;         // NOTEST
1330                 switch (e->type) {
1331                 case Xbinode:
1332                         print_binode(cast(binode, e), indent, bracket); break;
1333                 ## print exec cases
1334                 }
1335         }
1336
1337 ###### forward decls
1338
1339         static void print_exec(struct exec *e, int indent, int bracket);
1340
1341 #### Analysing
1342
1343 As discussed, analysis involves propagating type requirements around the
1344 program and looking for errors.
1345
1346 So `propagate_types` is passed an expected type (being a `struct type`
1347 pointer together with some `val_rules` flags) that the `exec` is
1348 expected to return, and returns the type that it does return, either
1349 of which can be `NULL` signifying "unknown".  An `ok` flag is passed
1350 by reference. It is set to `0` when an error is found, and `2` when
1351 any change is made.  If it remains unchanged at `1`, then no more
1352 propagation is needed.
1353
1354 ###### ast
1355
1356         enum val_rules {Rnolabel = 1<<0, Rboolok = 1<<1, Rnoconstant = 2<<1};
1357
1358 ###### format cases
1359         case 'r':
1360                 if (rules & Rnolabel)
1361                         fputs(" (labels not permitted)", stderr);
1362                 break;
1363
1364 ###### core functions
1365
1366         static struct type *propagate_types(struct exec *prog, struct parse_context *c, int *ok,
1367                                             struct type *type, int rules);
1368         static struct type *__propagate_types(struct exec *prog, struct parse_context *c, int *ok,
1369                                               struct type *type, int rules)
1370         {
1371                 struct type *t;
1372
1373                 if (!prog)
1374                         return Tnone;
1375
1376                 switch (prog->type) {
1377                 case Xbinode:
1378                 {
1379                         struct binode *b = cast(binode, prog);
1380                         switch (b->op) {
1381                         ## propagate binode cases
1382                         }
1383                         break;
1384                 }
1385                 ## propagate exec cases
1386                 }
1387                 return Tnone;
1388         }
1389
1390         static struct type *propagate_types(struct exec *prog, struct parse_context *c, int *ok,
1391                                             struct type *type, int rules)
1392         {
1393                 struct type *ret = __propagate_types(prog, c, ok, type, rules);
1394
1395                 if (c->parse_error)
1396                         *ok = 0;
1397                 return ret;
1398         }
1399
1400 #### Interpreting
1401
1402 Interpreting an `exec` doesn't require anything but the `exec`.  State
1403 is stored in variables and each variable will be directly linked from
1404 within the `exec` tree.  The exception to this is the whole `program`
1405 which needs to look at command line arguments.  The `program` will be
1406 interpreted separately.
1407
1408 Each `exec` can return a value combined with a type in `struct lrval`.
1409 The type may be `Tnone` but must be non-NULL.  Some `exec`s will return
1410 the location of a value, which can be updated, in `lval`.  Others will
1411 set `lval` to NULL indicating that there is a value of appropriate type
1412 in `rval`.
1413
1414
1415 ###### core functions
1416
1417         struct lrval {
1418                 struct type *type;
1419                 struct value rval, *lval;
1420         };
1421
1422         static struct lrval _interp_exec(struct exec *e);
1423
1424         static struct value interp_exec(struct exec *e, struct type **typeret)
1425         {
1426                 struct lrval ret = _interp_exec(e);
1427
1428                 if (!ret.type) abort();
1429                 if (typeret)
1430                         *typeret = ret.type;
1431                 if (ret.lval)
1432                         dup_value(ret.type, ret.lval, &ret.rval);
1433                 return ret.rval;
1434         }
1435
1436         static struct value *linterp_exec(struct exec *e, struct type **typeret)
1437         {
1438                 struct lrval ret = _interp_exec(e);
1439
1440                 if (ret.lval)
1441                         *typeret = ret.type;
1442                 else
1443                         free_value(ret.type, &ret.rval);
1444                 return ret.lval;
1445         }
1446
1447         static struct lrval _interp_exec(struct exec *e)
1448         {
1449                 struct lrval ret;
1450                 struct value rv = {}, *lrv = NULL;
1451                 struct type *rvtype;
1452
1453                 rvtype = ret.type = Tnone;
1454                 if (!e) {
1455                         ret.lval = lrv;
1456                         ret.rval = rv;
1457                         return ret;
1458                 }
1459
1460                 switch(e->type) {
1461                 case Xbinode:
1462                 {
1463                         struct binode *b = cast(binode, e);
1464                         struct value left, right, *lleft;
1465                         struct type *ltype, *rtype;
1466                         ltype = rtype = Tnone;
1467                         switch (b->op) {
1468                         ## interp binode cases
1469                         }
1470                         free_value(ltype, &left);
1471                         free_value(rtype, &right);
1472                         break;
1473                 }
1474                 ## interp exec cases
1475                 }
1476                 ret.lval = lrv;
1477                 ret.rval = rv;
1478                 ret.type = rvtype;
1479                 return ret;
1480         }
1481
1482 ### Complex types
1483
1484 Now that we have the shape of the interpreter in place we can add some
1485 complex types and connected them in to the data structures and the
1486 different phases of parse, analyse, print, interpret.
1487
1488 Thus far we have arrays and structs.
1489
1490 #### Arrays
1491
1492 Arrays can be declared by giving a size and a type, as `[size]type' so
1493 `freq:[26]number` declares `freq` to be an array of 26 numbers.  The
1494 size can be either a literal number, or a named constant.  Some day an
1495 arbitrary expression will be supported.
1496
1497 Arrays cannot be assigned.  When pointers are introduced we will also
1498 introduce array slices which can refer to part or all of an array -
1499 the assignment syntax will create a slice.  For now, an array can only
1500 ever be referenced by the name it is declared with.  It is likely that
1501 a "`copy`" primitive will eventually be define which can be used to
1502 make a copy of an array with controllable recursive depth.
1503
1504 ###### type union fields
1505
1506         struct {
1507                 int size;
1508                 struct variable *vsize;
1509                 struct type *member;
1510         } array;
1511
1512 ###### value functions
1513
1514         static void array_init(struct type *type, struct value *val)
1515         {
1516                 int i;
1517
1518                 if (type->array.vsize) {
1519                         mpz_t q;
1520                         mpz_init(q);
1521                         mpz_tdiv_q(q, mpq_numref(type->array.vsize->val->num),
1522                                    mpq_denref(type->array.vsize->val->num));
1523                         type->array.size = mpz_get_si(q);
1524                         mpz_clear(q);
1525                 }
1526                 type->size = type->array.size * type->array.member->size;
1527                 type->align = type->array.member->align;
1528
1529                 if (!val)
1530                         return;         
1531                 for (i = 0; i < type->array.size; i++) {
1532                         struct value *v;
1533                         v = (void*)val->ptr + i * type->array.member->size;
1534                         val_init(type->array.member, v);
1535                 }
1536         }
1537
1538         static void array_free(struct type *type, struct value *val)
1539         {
1540                 int i;
1541
1542                 for (i = 0; i < type->array.size; i++) {
1543                         struct value *v;
1544                         v = (void*)val->ptr + i * type->array.member->size;
1545                         free_value(type->array.member, v);
1546                 }
1547         }
1548
1549         static int array_compat(struct type *require, struct type *have)
1550         {
1551                 if (have->compat != require->compat)
1552                         return 0;
1553                 /* Both are arrays, so we can look at details */
1554                 if (!type_compat(require->array.member, have->array.member, 0))
1555                         return 0;
1556                 if (require->array.vsize == NULL && have->array.vsize == NULL)
1557                         return require->array.size == have->array.size;
1558
1559                 return require->array.vsize == have->array.vsize;
1560         }
1561
1562         static void array_print_type(struct type *type, FILE *f)
1563         {
1564                 fputs("[", f);
1565                 if (type->array.vsize) {
1566                         struct binding *b = type->array.vsize->name;
1567                         fprintf(f, "%.*s]", b->name.len, b->name.txt);
1568                 } else
1569                         fprintf(f, "%d]", type->array.size);
1570                 type_print(type->array.member, f);
1571         }
1572
1573         static struct type array_prototype = {
1574                 .init = array_init,
1575                 .print_type = array_print_type,
1576                 .compat = array_compat,
1577                 .free = array_free,
1578         };
1579
1580 ###### declare terminals
1581         $TERM [ ]
1582
1583 ###### type grammar
1584
1585         | [ NUMBER ] Type ${ {
1586                 char tail[3];
1587                 mpq_t num;
1588                 struct text noname = { "", 0 };
1589
1590                 $0 = add_type(c, noname, &array_prototype);
1591                 $0->array.member = $<4;
1592                 $0->array.vsize = NULL;
1593                 if (number_parse(num, tail, $2.txt) == 0)
1594                         tok_err(c, "error: unrecognised number", &$2);
1595                 else if (tail[0])
1596                         tok_err(c, "error: unsupported number suffix", &$2);
1597                 else {
1598                         $0->array.size = mpz_get_ui(mpq_numref(num));
1599                         if (mpz_cmp_ui(mpq_denref(num), 1) != 0) {
1600                                 tok_err(c, "error: array size must be an integer",
1601                                         &$2);
1602                         } else if (mpz_cmp_ui(mpq_numref(num), 1UL << 30) >= 0)
1603                                 tok_err(c, "error: array size is too large",
1604                                         &$2);
1605                         mpq_clear(num);
1606                 }
1607         } }$
1608
1609         | [ IDENTIFIER ] Type ${ {
1610                 struct variable *v = var_ref(c, $2.txt);
1611                 struct text noname = { "", 0 };
1612
1613                 if (!v)
1614                         tok_err(c, "error: name undeclared", &$2);
1615                 else if (!v->constant)
1616                         tok_err(c, "error: array size must be a constant", &$2);
1617
1618                 $0 = add_type(c, noname, &array_prototype);
1619                 $0->array.member = $<4;
1620                 $0->array.size = 0;
1621                 $0->array.vsize = v;
1622         } }$
1623
1624 ###### Binode types
1625         Index,
1626
1627 ###### variable grammar
1628
1629         | Variable [ Expression ] ${ {
1630                 struct binode *b = new(binode);
1631                 b->op = Index;
1632                 b->left = $<1;
1633                 b->right = $<3;
1634                 $0 = b;
1635         } }$
1636
1637 ###### print binode cases
1638         case Index:
1639                 print_exec(b->left, -1, bracket);
1640                 printf("[");
1641                 print_exec(b->right, -1, bracket);
1642                 printf("]");
1643                 break;
1644
1645 ###### propagate binode cases
1646         case Index:
1647                 /* left must be an array, right must be a number,
1648                  * result is the member type of the array
1649                  */
1650                 propagate_types(b->right, c, ok, Tnum, 0);
1651                 t = propagate_types(b->left, c, ok, NULL, rules & Rnoconstant);
1652                 if (!t || t->compat != array_compat) {
1653                         type_err(c, "error: %1 cannot be indexed", prog, t, 0, NULL);
1654                         return NULL;
1655                 } else {
1656                         if (!type_compat(type, t->array.member, rules)) {
1657                                 type_err(c, "error: have %1 but need %2", prog,
1658                                          t->array.member, rules, type);
1659                         }
1660                         return t->array.member;
1661                 }
1662                 break;
1663
1664 ###### interp binode cases
1665         case Index: {
1666                 mpz_t q;
1667                 long i;
1668
1669                 lleft = linterp_exec(b->left, &ltype);
1670                 right = interp_exec(b->right, &rtype);
1671                 mpz_init(q);
1672                 mpz_tdiv_q(q, mpq_numref(right.num), mpq_denref(right.num));
1673                 i = mpz_get_si(q);
1674                 mpz_clear(q);
1675
1676                 rvtype = ltype->array.member;
1677                 if (i >= 0 && i < ltype->array.size)
1678                         lrv = (void*)lleft + i * rvtype->size;
1679                 else
1680                         val_init(ltype->array.member, &rv);
1681                 ltype = NULL;
1682                 break;
1683         }
1684
1685 #### Structs
1686
1687 A `struct` is a data-type that contains one or more other data-types.
1688 It differs from an array in that each member can be of a different
1689 type, and they are accessed by name rather than by number.  Thus you
1690 cannot choose an element by calculation, you need to know what you
1691 want up-front.
1692
1693 The language makes no promises about how a given structure will be
1694 stored in memory - it is free to rearrange fields to suit whatever
1695 criteria seems important.
1696
1697 Structs are declared separately from program code - they cannot be
1698 declared in-line in a variable declaration like arrays can.  A struct
1699 is given a name and this name is used to identify the type - the name
1700 is not prefixed by the word `struct` as it would be in C.
1701
1702 Structs are only treated as the same if they have the same name.
1703 Simply having the same fields in the same order is not enough.  This
1704 might change once we can create structure initializers from a list of
1705 values.
1706
1707 Each component datum is identified much like a variable is declared,
1708 with a name, one or two colons, and a type.  The type cannot be omitted
1709 as there is no opportunity to deduce the type from usage.  An initial
1710 value can be given following an equals sign, so
1711
1712 ##### Example: a struct type
1713
1714         struct complex:
1715                 x:number = 0
1716                 y:number = 0
1717
1718 would declare a type called "complex" which has two number fields,
1719 each initialised to zero.
1720
1721 Struct will need to be declared separately from the code that uses
1722 them, so we will need to be able to print out the declaration of a
1723 struct when reprinting the whole program.  So a `print_type_decl` type
1724 function will be needed.
1725
1726 ###### type union fields
1727
1728         struct {
1729                 int nfields;
1730                 struct field {
1731                         struct text name;
1732                         struct type *type;
1733                         struct value *init;
1734                         int offset;
1735                 } *fields;
1736         } structure;
1737
1738 ###### type functions
1739         void (*print_type_decl)(struct type *type, FILE *f);
1740
1741 ###### value functions
1742
1743         static void structure_init(struct type *type, struct value *val)
1744         {
1745                 int i;
1746
1747                 for (i = 0; i < type->structure.nfields; i++) {
1748                         struct value *v;
1749                         v = (void*) val->ptr + type->structure.fields[i].offset;
1750                         val_init(type->structure.fields[i].type, v);
1751                 }
1752         }
1753
1754         static void structure_free(struct type *type, struct value *val)
1755         {
1756                 int i;
1757
1758                 for (i = 0; i < type->structure.nfields; i++) {
1759                         struct value *v;
1760                         v = (void*)val->ptr + type->structure.fields[i].offset;
1761                         free_value(type->structure.fields[i].type, v);
1762                 }
1763         }
1764
1765         static void structure_free_type(struct type *t)
1766         {
1767                 int i;
1768                 for (i = 0; i < t->structure.nfields; i++)
1769                         if (t->structure.fields[i].init) {
1770                                 free_value(t->structure.fields[i].type,
1771                                            t->structure.fields[i].init);
1772                                 free(t->structure.fields[i].init);
1773                         }
1774                 free(t->structure.fields);
1775         }
1776
1777         static struct type structure_prototype = {
1778                 .init = structure_init,
1779                 .free = structure_free,
1780                 .free_type = structure_free_type,
1781                 .print_type_decl = structure_print_type,
1782         };
1783
1784 ###### exec type
1785         Xfieldref,
1786
1787 ###### ast
1788         struct fieldref {
1789                 struct exec;
1790                 struct exec *left;
1791                 int index;
1792                 struct text name;
1793         };
1794
1795 ###### free exec cases
1796         case Xfieldref:
1797                 free_exec(cast(fieldref, e)->left);
1798                 free(e);
1799                 break;
1800
1801 ###### declare terminals
1802         $TERM struct .
1803
1804 ###### variable grammar
1805
1806         | Variable . IDENTIFIER ${ {
1807                 struct fieldref *fr = new_pos(fieldref, $2);
1808                 fr->left = $<1;
1809                 fr->name = $3.txt;
1810                 fr->index = -2;
1811                 $0 = fr;
1812         } }$
1813
1814 ###### print exec cases
1815
1816         case Xfieldref:
1817         {
1818                 struct fieldref *f = cast(fieldref, e);
1819                 print_exec(f->left, -1, bracket);
1820                 printf(".%.*s", f->name.len, f->name.txt);
1821                 break;
1822         }
1823
1824 ###### ast functions
1825         static int find_struct_index(struct type *type, struct text field)
1826         {
1827                 int i;
1828                 for (i = 0; i < type->structure.nfields; i++)
1829                         if (text_cmp(type->structure.fields[i].name, field) == 0)
1830                                 return i;
1831                 return -1;
1832         }
1833
1834 ###### propagate exec cases
1835
1836         case Xfieldref:
1837         {
1838                 struct fieldref *f = cast(fieldref, prog);
1839                 struct type *st = propagate_types(f->left, c, ok, NULL, 0);
1840
1841                 if (!st)
1842                         type_err(c, "error: unknown type for field access", f->left,
1843                                  NULL, 0, NULL);
1844                 else if (st->init != structure_init)
1845                         type_err(c, "error: field reference attempted on %1, not a struct",
1846                                  f->left, st, 0, NULL);
1847                 else if (f->index == -2) {
1848                         f->index = find_struct_index(st, f->name);
1849                         if (f->index < 0)
1850                                 type_err(c, "error: cannot find requested field in %1",
1851                                          f->left, st, 0, NULL);
1852                 }
1853                 if (f->index >= 0) {
1854                         struct type *ft = st->structure.fields[f->index].type;
1855                         if (!type_compat(type, ft, rules))
1856                                 type_err(c, "error: have %1 but need %2", prog,
1857                                          ft, rules, type);
1858                         return ft;
1859                 }
1860                 break;
1861         }
1862
1863 ###### interp exec cases
1864         case Xfieldref:
1865         {
1866                 struct fieldref *f = cast(fieldref, e);
1867                 struct type *ltype;
1868                 struct value *lleft = linterp_exec(f->left, &ltype);
1869                 lrv = (void*)lleft->ptr + ltype->structure.fields[f->index].offset;
1870                 rvtype = ltype->structure.fields[f->index].type;
1871                 break;
1872         }
1873
1874 ###### ast
1875         struct fieldlist {
1876                 struct fieldlist *prev;
1877                 struct field f;
1878         };
1879
1880 ###### ast functions
1881         static void free_fieldlist(struct fieldlist *f)
1882         {
1883                 if (!f)
1884                         return;
1885                 free_fieldlist(f->prev);
1886                 if (f->f.init) {
1887                         free_value(f->f.type, f->f.init);
1888                         free(f->f.init);
1889                 }
1890                 free(f);
1891         }
1892
1893 ###### top level grammar
1894         DeclareStruct -> struct IDENTIFIER FieldBlock Newlines ${ {
1895                         struct type *t =
1896                                 add_type(c, $2.txt, &structure_prototype);
1897                         int cnt = 0;
1898                         struct fieldlist *f;
1899
1900                         for (f = $3; f; f=f->prev)
1901                                 cnt += 1;
1902
1903                         t->structure.nfields = cnt;
1904                         t->structure.fields = calloc(cnt, sizeof(struct field));
1905                         f = $3;
1906                         while (cnt > 0) {
1907                                 int a = f->f.type->align;
1908                                 cnt -= 1;
1909                                 t->structure.fields[cnt] = f->f;
1910                                 if (t->size & (a-1))
1911                                         t->size = (t->size | (a-1)) + 1;
1912                                 t->structure.fields[cnt].offset = t->size;
1913                                 t->size += ((f->f.type->size - 1) | (a-1)) + 1;
1914                                 if (a > t->align)
1915                                         t->align = a;
1916                                 f->f.init = NULL;
1917                                 f = f->prev;
1918                         }
1919                 } }$
1920
1921         $*fieldlist
1922         FieldBlock -> { IN OptNL FieldLines OUT OptNL } ${ $0 = $<FL; }$
1923                 | { SimpleFieldList } ${ $0 = $<SFL; }$
1924                 | IN OptNL FieldLines OUT ${ $0 = $<FL; }$
1925                 | SimpleFieldList EOL ${ $0 = $<SFL; }$
1926
1927         FieldLines -> SimpleFieldList Newlines ${ $0 = $<SFL; }$
1928                 | FieldLines SimpleFieldList Newlines ${
1929                         $SFL->prev = $<FL;
1930                         $0 = $<SFL;
1931                 }$
1932
1933         SimpleFieldList -> Field ${ $0 = $<F; }$
1934                 | SimpleFieldList ; Field ${
1935                         $F->prev = $<SFL;
1936                         $0 = $<F;
1937                 }$
1938                 | SimpleFieldList ; ${
1939                         $0 = $<SFL;
1940                 }$
1941                 | ERROR ${ tok_err(c, "Syntax error in struct field", &$1); }$
1942
1943         Field -> IDENTIFIER : Type = Expression ${ {
1944                         int ok;
1945
1946                         $0 = calloc(1, sizeof(struct fieldlist));
1947                         $0->f.name = $1.txt;
1948                         $0->f.type = $<3;
1949                         $0->f.init = NULL;
1950                         do {
1951                                 ok = 1;
1952                                 propagate_types($<5, c, &ok, $3, 0);
1953                         } while (ok == 2);
1954                         if (!ok)
1955                                 c->parse_error = 1;
1956                         else {
1957                                 struct value vl = interp_exec($5, NULL);
1958                                 $0->f.init = val_alloc($0->f.type, &vl);
1959                         }
1960                 } }$
1961                 | IDENTIFIER : Type ${
1962                         $0 = calloc(1, sizeof(struct fieldlist));
1963                         $0->f.name = $1.txt;
1964                         $0->f.type = $<3;
1965                         $0->f.init = val_alloc($0->f.type, NULL);
1966                 }$
1967
1968 ###### forward decls
1969         static void structure_print_type(struct type *t, FILE *f);
1970
1971 ###### value functions
1972         static void structure_print_type(struct type *t, FILE *f)
1973         {
1974                 int i;
1975
1976                 fprintf(f, "struct %.*s\n", t->name.len, t->name.txt);
1977
1978                 for (i = 0; i < t->structure.nfields; i++) {
1979                         struct field *fl = t->structure.fields + i;
1980                         fprintf(f, "    %.*s : ", fl->name.len, fl->name.txt);
1981                         type_print(fl->type, f);
1982                         if (fl->type->print && fl->init) {
1983                                 fprintf(f, " = ");
1984                                 if (fl->type == Tstr)
1985                                         fprintf(f, "\"");
1986                                 print_value(fl->type, fl->init);
1987                                 if (fl->type == Tstr)
1988                                         fprintf(f, "\"");
1989                         }
1990                         printf("\n");
1991                 }
1992         }
1993
1994 ###### print type decls
1995         {
1996                 struct type *t;
1997                 int target = -1;
1998
1999                 while (target != 0) {
2000                         int i = 0;
2001                         for (t = context.typelist; t ; t=t->next)
2002                                 if (t->print_type_decl) {
2003                                         i += 1;
2004                                         if (i == target)
2005                                                 break;
2006                                 }
2007
2008                         if (target == -1) {
2009                                 target = i;
2010                         } else {
2011                                 t->print_type_decl(t, stdout);
2012                                 target -= 1;
2013                         }
2014                 }
2015         }
2016
2017 ## Executables: the elements of code
2018
2019 Each code element needs to be parsed, printed, analysed,
2020 interpreted, and freed.  There are several, so let's just start with
2021 the easy ones and work our way up.
2022
2023 ### Values
2024
2025 We have already met values as separate objects.  When manifest
2026 constants appear in the program text, that must result in an executable
2027 which has a constant value.  So the `val` structure embeds a value in
2028 an executable.
2029
2030 ###### exec type
2031         Xval,
2032
2033 ###### ast
2034         struct val {
2035                 struct exec;
2036                 struct type *vtype;
2037                 struct value val;
2038         };
2039
2040 ###### ast functions
2041         struct val *new_val(struct type *T, struct token tk)
2042         {
2043                 struct val *v = new_pos(val, tk);
2044                 v->vtype = T;
2045                 return v;
2046         }
2047
2048 ###### Grammar
2049
2050         $TERM True False
2051
2052         $*val
2053         Value ->  True ${
2054                         $0 = new_val(Tbool, $1);
2055                         $0->val.bool = 1;
2056                         }$
2057                 | False ${
2058                         $0 = new_val(Tbool, $1);
2059                         $0->val.bool = 0;
2060                         }$
2061                 | NUMBER ${
2062                         $0 = new_val(Tnum, $1);
2063                         {
2064                         char tail[3];
2065                         if (number_parse($0->val.num, tail, $1.txt) == 0)
2066                                 mpq_init($0->val.num);
2067                                 if (tail[0])
2068                                         tok_err(c, "error: unsupported number suffix",
2069                                                 &$1);
2070                         }
2071                         }$
2072                 | STRING ${
2073                         $0 = new_val(Tstr, $1);
2074                         {
2075                         char tail[3];
2076                         string_parse(&$1, '\\', &$0->val.str, tail);
2077                         if (tail[0])
2078                                 tok_err(c, "error: unsupported string suffix",
2079                                         &$1);
2080                         }
2081                         }$
2082                 | MULTI_STRING ${
2083                         $0 = new_val(Tstr, $1);
2084                         {
2085                         char tail[3];
2086                         string_parse(&$1, '\\', &$0->val.str, tail);
2087                         if (tail[0])
2088                                 tok_err(c, "error: unsupported string suffix",
2089                                         &$1);
2090                         }
2091                         }$
2092
2093 ###### print exec cases
2094         case Xval:
2095         {
2096                 struct val *v = cast(val, e);
2097                 if (v->vtype == Tstr)
2098                         printf("\"");
2099                 print_value(v->vtype, &v->val);
2100                 if (v->vtype == Tstr)
2101                         printf("\"");
2102                 break;
2103         }
2104
2105 ###### propagate exec cases
2106         case Xval:
2107         {
2108                 struct val *val = cast(val, prog);
2109                 if (!type_compat(type, val->vtype, rules))
2110                         type_err(c, "error: expected %1%r found %2",
2111                                    prog, type, rules, val->vtype);
2112                 return val->vtype;
2113         }
2114
2115 ###### interp exec cases
2116         case Xval:
2117                 rvtype = cast(val, e)->vtype;
2118                 dup_value(rvtype, &cast(val, e)->val, &rv);
2119                 break;
2120
2121 ###### ast functions
2122         static void free_val(struct val *v)
2123         {
2124                 if (v)
2125                         free_value(v->vtype, &v->val);
2126                 free(v);
2127         }
2128
2129 ###### free exec cases
2130         case Xval: free_val(cast(val, e)); break;
2131
2132 ###### ast functions
2133         // Move all nodes from 'b' to 'rv', reversing their order.
2134         // In 'b' 'left' is a list, and 'right' is the last node.
2135         // In 'rv', left' is the first node and 'right' is a list.
2136         static struct binode *reorder_bilist(struct binode *b)
2137         {
2138                 struct binode *rv = NULL;
2139
2140                 while (b) {
2141                         struct exec *t = b->right;
2142                         b->right = rv;
2143                         rv = b;
2144                         if (b->left)
2145                                 b = cast(binode, b->left);
2146                         else
2147                                 b = NULL;
2148                         rv->left = t;
2149                 }
2150                 return rv;
2151         }
2152
2153 ### Variables
2154
2155 Just as we used a `val` to wrap a value into an `exec`, we similarly
2156 need a `var` to wrap a `variable` into an exec.  While each `val`
2157 contained a copy of the value, each `var` holds a link to the variable
2158 because it really is the same variable no matter where it appears.
2159 When a variable is used, we need to remember to follow the `->merged`
2160 link to find the primary instance.
2161
2162 ###### exec type
2163         Xvar,
2164
2165 ###### ast
2166         struct var {
2167                 struct exec;
2168                 struct variable *var;
2169         };
2170
2171 ###### Grammar
2172
2173         $TERM : ::
2174
2175         $*var
2176         VariableDecl -> IDENTIFIER : ${ {
2177                 struct variable *v = var_decl(c, $1.txt);
2178                 $0 = new_pos(var, $1);
2179                 $0->var = v;
2180                 if (v)
2181                         v->where_decl = $0;
2182                 else {
2183                         v = var_ref(c, $1.txt);
2184                         $0->var = v;
2185                         type_err(c, "error: variable '%v' redeclared",
2186                                  $0, NULL, 0, NULL);
2187                         type_err(c, "info: this is where '%v' was first declared",
2188                                  v->where_decl, NULL, 0, NULL);
2189                 }
2190         } }$
2191             | IDENTIFIER :: ${ {
2192                 struct variable *v = var_decl(c, $1.txt);
2193                 $0 = new_pos(var, $1);
2194                 $0->var = v;
2195                 if (v) {
2196                         v->where_decl = $0;
2197                         v->constant = 1;
2198                 } else {
2199                         v = var_ref(c, $1.txt);
2200                         $0->var = v;
2201                         type_err(c, "error: variable '%v' redeclared",
2202                                  $0, NULL, 0, NULL);
2203                         type_err(c, "info: this is where '%v' was first declared",
2204                                  v->where_decl, NULL, 0, NULL);
2205                 }
2206         } }$
2207             | IDENTIFIER : Type ${ {
2208                 struct variable *v = var_decl(c, $1.txt);
2209                 $0 = new_pos(var, $1);
2210                 $0->var = v;
2211                 if (v) {
2212                         v->where_decl = $0;
2213                         v->where_set = $0;
2214                         v->type = $<Type;
2215                         v->val = NULL;
2216                 } else {
2217                         v = var_ref(c, $1.txt);
2218                         $0->var = v;
2219                         type_err(c, "error: variable '%v' redeclared",
2220                                  $0, NULL, 0, NULL);
2221                         type_err(c, "info: this is where '%v' was first declared",
2222                                  v->where_decl, NULL, 0, NULL);
2223                 }
2224         } }$
2225             | IDENTIFIER :: Type ${ {
2226                 struct variable *v = var_decl(c, $1.txt);
2227                 $0 = new_pos(var, $1);
2228                 $0->var = v;
2229                 if (v) {
2230                         v->where_decl = $0;
2231                         v->where_set = $0;
2232                         v->type = $<Type;
2233                         v->val = NULL;
2234                         v->constant = 1;
2235                 } else {
2236                         v = var_ref(c, $1.txt);
2237                         $0->var = v;
2238                         type_err(c, "error: variable '%v' redeclared",
2239                                  $0, NULL, 0, NULL);
2240                         type_err(c, "info: this is where '%v' was first declared",
2241                                  v->where_decl, NULL, 0, NULL);
2242                 }
2243         } }$
2244
2245         $*exec
2246         Variable -> IDENTIFIER ${ {
2247                 struct variable *v = var_ref(c, $1.txt);
2248                 $0 = new_pos(var, $1);
2249                 if (v == NULL) {
2250                         /* This might be a label - allocate a var just in case */
2251                         v = var_decl(c, $1.txt);
2252                         if (v) {
2253                                 v->val = NULL;
2254                                 v->type = Tnone;
2255                                 v->where_decl = $0;
2256                                 v->where_set = $0;
2257                         }
2258                 }
2259                 cast(var, $0)->var = v;
2260         } }$
2261         ## variable grammar
2262
2263         $*type
2264         Type -> IDENTIFIER ${
2265                 $0 = find_type(c, $1.txt);
2266                 if (!$0) {
2267                         tok_err(c,
2268                                 "error: undefined type", &$1);
2269
2270                         $0 = Tnone;
2271                 }
2272         }$
2273         ## type grammar
2274
2275 ###### print exec cases
2276         case Xvar:
2277         {
2278                 struct var *v = cast(var, e);
2279                 if (v->var) {
2280                         struct binding *b = v->var->name;
2281                         printf("%.*s", b->name.len, b->name.txt);
2282                 }
2283                 break;
2284         }
2285
2286 ###### format cases
2287         case 'v':
2288                 if (loc->type == Xvar) {
2289                         struct var *v = cast(var, loc);
2290                         if (v->var) {
2291                                 struct binding *b = v->var->name;
2292                                 fprintf(stderr, "%.*s", b->name.len, b->name.txt);
2293                         } else
2294                                 fputs("???", stderr);   // NOTEST
2295                 } else
2296                         fputs("NOTVAR", stderr);        // NOTEST
2297                 break;
2298
2299 ###### propagate exec cases
2300
2301         case Xvar:
2302         {
2303                 struct var *var = cast(var, prog);
2304                 struct variable *v = var->var;
2305                 if (!v) {
2306                         type_err(c, "%d:BUG: no variable!!", prog, NULL, 0, NULL); // NOTEST
2307                         return Tnone;                                   // NOTEST
2308                 }
2309                 if (v->merged)
2310                         v = v->merged;
2311                 if (v->constant && (rules & Rnoconstant)) {
2312                         type_err(c, "error: Cannot assign to a constant: %v",
2313                                  prog, NULL, 0, NULL);
2314                         type_err(c, "info: name was defined as a constant here",
2315                                  v->where_decl, NULL, 0, NULL);
2316                         return v->type;
2317                 }
2318                 if (v->type == Tnone && v->where_decl == prog)
2319                         type_err(c, "error: variable used but not declared: %v",
2320                                  prog, NULL, 0, NULL);
2321                 if (v->type == NULL) {
2322                         if (type && *ok != 0) {
2323                                 v->type = type;
2324                                 v->val = NULL;
2325                                 v->where_set = prog;
2326                                 *ok = 2;
2327                         }
2328                         return type;
2329                 }
2330                 if (!type_compat(type, v->type, rules)) {
2331                         type_err(c, "error: expected %1%r but variable '%v' is %2", prog,
2332                                  type, rules, v->type);
2333                         type_err(c, "info: this is where '%v' was set to %1", v->where_set,
2334                                  v->type, rules, NULL);
2335                 }
2336                 if (!type)
2337                         return v->type;
2338                 return type;
2339         }
2340
2341 ###### interp exec cases
2342         case Xvar:
2343         {
2344                 struct var *var = cast(var, e);
2345                 struct variable *v = var->var;
2346
2347                 if (v->merged)
2348                         v = v->merged;
2349                 lrv = v->val;
2350                 rvtype = v->type;
2351                 break;
2352         }
2353
2354 ###### ast functions
2355
2356         static void free_var(struct var *v)
2357         {
2358                 free(v);
2359         }
2360
2361 ###### free exec cases
2362         case Xvar: free_var(cast(var, e)); break;
2363
2364 ### Expressions: Conditional
2365
2366 Our first user of the `binode` will be conditional expressions, which
2367 is a bit odd as they actually have three components.  That will be
2368 handled by having 2 binodes for each expression.  The conditional
2369 expression is the lowest precedence operator which is why we define it
2370 first - to start the precedence list.
2371
2372 Conditional expressions are of the form "value `if` condition `else`
2373 other_value".  They associate to the right, so everything to the right
2374 of `else` is part of an else value, while only a higher-precedence to
2375 the left of `if` is the if values.  Between `if` and `else` there is no
2376 room for ambiguity, so a full conditional expression is allowed in
2377 there.
2378
2379 ###### Binode types
2380         CondExpr,
2381
2382 ###### Grammar
2383
2384         $LEFT if $$ifelse
2385         ## expr precedence
2386
2387         $*exec
2388         Expression -> Expression if Expression else Expression $$ifelse ${ {
2389                         struct binode *b1 = new(binode);
2390                         struct binode *b2 = new(binode);
2391                         b1->op = CondExpr;
2392                         b1->left = $<3;
2393                         b1->right = b2;
2394                         b2->op = CondExpr;
2395                         b2->left = $<1;
2396                         b2->right = $<5;
2397                         $0 = b1;
2398                 } }$
2399                 ## expression grammar
2400
2401 ###### print binode cases
2402
2403         case CondExpr:
2404                 b2 = cast(binode, b->right);
2405                 if (bracket) printf("(");
2406                 print_exec(b2->left, -1, bracket);
2407                 printf(" if ");
2408                 print_exec(b->left, -1, bracket);
2409                 printf(" else ");
2410                 print_exec(b2->right, -1, bracket);
2411                 if (bracket) printf(")");
2412                 break;
2413
2414 ###### propagate binode cases
2415
2416         case CondExpr: {
2417                 /* cond must be Tbool, others must match */
2418                 struct binode *b2 = cast(binode, b->right);
2419                 struct type *t2;
2420
2421                 propagate_types(b->left, c, ok, Tbool, 0);
2422                 t = propagate_types(b2->left, c, ok, type, Rnolabel);
2423                 t2 = propagate_types(b2->right, c, ok, type ?: t, Rnolabel);
2424                 return t ?: t2;
2425         }
2426
2427 ###### interp binode cases
2428
2429         case CondExpr: {
2430                 struct binode *b2 = cast(binode, b->right);
2431                 left = interp_exec(b->left, &ltype);
2432                 if (left.bool)
2433                         rv = interp_exec(b2->left, &rvtype);
2434                 else
2435                         rv = interp_exec(b2->right, &rvtype);
2436                 }
2437                 break;
2438
2439 ### Expressions: Boolean
2440
2441 The next class of expressions to use the `binode` will be Boolean
2442 expressions.  "`and then`" and "`or else`" are similar to `and` and `or`
2443 have same corresponding precendence.  The difference is that they don't
2444 evaluate the second expression if not necessary.
2445
2446 ###### Binode types
2447         And,
2448         AndThen,
2449         Or,
2450         OrElse,
2451         Not,
2452
2453 ###### expr precedence
2454         $LEFT or
2455         $LEFT and
2456         $LEFT not
2457
2458 ###### expression grammar
2459                 | Expression or Expression ${ {
2460                         struct binode *b = new(binode);
2461                         b->op = Or;
2462                         b->left = $<1;
2463                         b->right = $<3;
2464                         $0 = b;
2465                 } }$
2466                 | Expression or else Expression ${ {
2467                         struct binode *b = new(binode);
2468                         b->op = OrElse;
2469                         b->left = $<1;
2470                         b->right = $<4;
2471                         $0 = b;
2472                 } }$
2473
2474                 | Expression and Expression ${ {
2475                         struct binode *b = new(binode);
2476                         b->op = And;
2477                         b->left = $<1;
2478                         b->right = $<3;
2479                         $0 = b;
2480                 } }$
2481                 | Expression and then Expression ${ {
2482                         struct binode *b = new(binode);
2483                         b->op = AndThen;
2484                         b->left = $<1;
2485                         b->right = $<4;
2486                         $0 = b;
2487                 } }$
2488
2489                 | not Expression ${ {
2490                         struct binode *b = new(binode);
2491                         b->op = Not;
2492                         b->right = $<2;
2493                         $0 = b;
2494                 } }$
2495
2496 ###### print binode cases
2497         case And:
2498                 if (bracket) printf("(");
2499                 print_exec(b->left, -1, bracket);
2500                 printf(" and ");
2501                 print_exec(b->right, -1, bracket);
2502                 if (bracket) printf(")");
2503                 break;
2504         case AndThen:
2505                 if (bracket) printf("(");
2506                 print_exec(b->left, -1, bracket);
2507                 printf(" and then ");
2508                 print_exec(b->right, -1, bracket);
2509                 if (bracket) printf(")");
2510                 break;
2511         case Or:
2512                 if (bracket) printf("(");
2513                 print_exec(b->left, -1, bracket);
2514                 printf(" or ");
2515                 print_exec(b->right, -1, bracket);
2516                 if (bracket) printf(")");
2517                 break;
2518         case OrElse:
2519                 if (bracket) printf("(");
2520                 print_exec(b->left, -1, bracket);
2521                 printf(" or else ");
2522                 print_exec(b->right, -1, bracket);
2523                 if (bracket) printf(")");
2524                 break;
2525         case Not:
2526                 if (bracket) printf("(");
2527                 printf("not ");
2528                 print_exec(b->right, -1, bracket);
2529                 if (bracket) printf(")");
2530                 break;
2531
2532 ###### propagate binode cases
2533         case And:
2534         case AndThen:
2535         case Or:
2536         case OrElse:
2537         case Not:
2538                 /* both must be Tbool, result is Tbool */
2539                 propagate_types(b->left, c, ok, Tbool, 0);
2540                 propagate_types(b->right, c, ok, Tbool, 0);
2541                 if (type && type != Tbool)
2542                         type_err(c, "error: %1 operation found where %2 expected", prog,
2543                                    Tbool, 0, type);
2544                 return Tbool;
2545
2546 ###### interp binode cases
2547         case And:
2548                 rv = interp_exec(b->left, &rvtype);
2549                 right = interp_exec(b->right, &rtype);
2550                 rv.bool = rv.bool && right.bool;
2551                 break;
2552         case AndThen:
2553                 rv = interp_exec(b->left, &rvtype);
2554                 if (rv.bool)
2555                         rv = interp_exec(b->right, NULL);
2556                 break;
2557         case Or:
2558                 rv = interp_exec(b->left, &rvtype);
2559                 right = interp_exec(b->right, &rtype);
2560                 rv.bool = rv.bool || right.bool;
2561                 break;
2562         case OrElse:
2563                 rv = interp_exec(b->left, &rvtype);
2564                 if (!rv.bool)
2565                         rv = interp_exec(b->right, NULL);
2566                 break;
2567         case Not:
2568                 rv = interp_exec(b->right, &rvtype);
2569                 rv.bool = !rv.bool;
2570                 break;
2571
2572 ### Expressions: Comparison
2573
2574 Of slightly higher precedence that Boolean expressions are Comparisons.
2575 A comparison takes arguments of any comparable type, but the two types
2576 must be the same.
2577
2578 To simplify the parsing we introduce an `eop` which can record an
2579 expression operator, and the `CMPop` non-terminal will match one of them.
2580
2581 ###### ast
2582         struct eop {
2583                 enum Btype op;
2584         };
2585
2586 ###### ast functions
2587         static void free_eop(struct eop *e)
2588         {
2589                 if (e)
2590                         free(e);
2591         }
2592
2593 ###### Binode types
2594         Less,
2595         Gtr,
2596         LessEq,
2597         GtrEq,
2598         Eql,
2599         NEql,
2600
2601 ###### expr precedence
2602         $LEFT < > <= >= == != CMPop
2603
2604 ###### expression grammar
2605         | Expression CMPop Expression ${ {
2606                 struct binode *b = new(binode);
2607                 b->op = $2.op;
2608                 b->left = $<1;
2609                 b->right = $<3;
2610                 $0 = b;
2611         } }$
2612
2613 ###### Grammar
2614
2615         $eop
2616         CMPop ->   < ${ $0.op = Less; }$
2617                 |  > ${ $0.op = Gtr; }$
2618                 |  <= ${ $0.op = LessEq; }$
2619                 |  >= ${ $0.op = GtrEq; }$
2620                 |  == ${ $0.op = Eql; }$
2621                 |  != ${ $0.op = NEql; }$
2622
2623 ###### print binode cases
2624
2625         case Less:
2626         case LessEq:
2627         case Gtr:
2628         case GtrEq:
2629         case Eql:
2630         case NEql:
2631                 if (bracket) printf("(");
2632                 print_exec(b->left, -1, bracket);
2633                 switch(b->op) {
2634                 case Less:   printf(" < "); break;
2635                 case LessEq: printf(" <= "); break;
2636                 case Gtr:    printf(" > "); break;
2637                 case GtrEq:  printf(" >= "); break;
2638                 case Eql:    printf(" == "); break;
2639                 case NEql:   printf(" != "); break;
2640                 default: abort();               // NOTEST
2641                 }
2642                 print_exec(b->right, -1, bracket);
2643                 if (bracket) printf(")");
2644                 break;
2645
2646 ###### propagate binode cases
2647         case Less:
2648         case LessEq:
2649         case Gtr:
2650         case GtrEq:
2651         case Eql:
2652         case NEql:
2653                 /* Both must match but not be labels, result is Tbool */
2654                 t = propagate_types(b->left, c, ok, NULL, Rnolabel);
2655                 if (t)
2656                         propagate_types(b->right, c, ok, t, 0);
2657                 else {
2658                         t = propagate_types(b->right, c, ok, NULL, Rnolabel);
2659                         if (t)
2660                                 t = propagate_types(b->left, c, ok, t, 0);
2661                 }
2662                 if (!type_compat(type, Tbool, 0))
2663                         type_err(c, "error: Comparison returns %1 but %2 expected", prog,
2664                                     Tbool, rules, type);
2665                 return Tbool;
2666
2667 ###### interp binode cases
2668         case Less:
2669         case LessEq:
2670         case Gtr:
2671         case GtrEq:
2672         case Eql:
2673         case NEql:
2674         {
2675                 int cmp;
2676                 left = interp_exec(b->left, &ltype);
2677                 right = interp_exec(b->right, &rtype);
2678                 cmp = value_cmp(ltype, rtype, &left, &right);
2679                 rvtype = Tbool;
2680                 switch (b->op) {
2681                 case Less:      rv.bool = cmp <  0; break;
2682                 case LessEq:    rv.bool = cmp <= 0; break;
2683                 case Gtr:       rv.bool = cmp >  0; break;
2684                 case GtrEq:     rv.bool = cmp >= 0; break;
2685                 case Eql:       rv.bool = cmp == 0; break;
2686                 case NEql:      rv.bool = cmp != 0; break;
2687                 default:        rv.bool = 0; break;     // NOTEST
2688                 }
2689                 break;
2690         }
2691
2692 ### Expressions: The rest
2693
2694 The remaining expressions with the highest precedence are arithmetic,
2695 string concatenation, and string conversion.  String concatenation
2696 (`++`) has the same precedence as multiplication and division, but lower
2697 than the uniary.
2698
2699 String conversion is a temporary feature until I get a better type
2700 system.  `$` is a prefix operator which expects a string and returns
2701 a number.
2702
2703 `+` and `-` are both infix and prefix operations (where they are
2704 absolute value and negation).  These have different operator names.
2705
2706 We also have a 'Bracket' operator which records where parentheses were
2707 found.  This makes it easy to reproduce these when printing.  Possibly I
2708 should only insert brackets were needed for precedence.
2709
2710 ###### Binode types
2711         Plus, Minus,
2712         Times, Divide, Rem,
2713         Concat,
2714         Absolute, Negate,
2715         StringConv,
2716         Bracket,
2717
2718 ###### expr precedence
2719         $LEFT + - Eop
2720         $LEFT * / % ++ Top
2721         $LEFT Uop $
2722         $TERM ( )
2723
2724 ###### expression grammar
2725                 | Expression Eop Expression ${ {
2726                         struct binode *b = new(binode);
2727                         b->op = $2.op;
2728                         b->left = $<1;
2729                         b->right = $<3;
2730                         $0 = b;
2731                 } }$
2732
2733                 | Expression Top Expression ${ {
2734                         struct binode *b = new(binode);
2735                         b->op = $2.op;
2736                         b->left = $<1;
2737                         b->right = $<3;
2738                         $0 = b;
2739                 } }$
2740
2741                 | ( Expression ) ${ {
2742                         struct binode *b = new_pos(binode, $1);
2743                         b->op = Bracket;
2744                         b->right = $<2;
2745                         $0 = b;
2746                 } }$
2747                 | Uop Expression ${ {
2748                         struct binode *b = new(binode);
2749                         b->op = $1.op;
2750                         b->right = $<2;
2751                         $0 = b;
2752                 } }$
2753                 | Value ${ $0 = $<1; }$
2754                 | Variable ${ $0 = $<1; }$
2755
2756         $eop
2757         Eop ->    + ${ $0.op = Plus; }$
2758                 | - ${ $0.op = Minus; }$
2759
2760         Uop ->    + ${ $0.op = Absolute; }$
2761                 | - ${ $0.op = Negate; }$
2762                 | $ ${ $0.op = StringConv; }$
2763
2764         Top ->    * ${ $0.op = Times; }$
2765                 | / ${ $0.op = Divide; }$
2766                 | % ${ $0.op = Rem; }$
2767                 | ++ ${ $0.op = Concat; }$
2768
2769 ###### print binode cases
2770         case Plus:
2771         case Minus:
2772         case Times:
2773         case Divide:
2774         case Concat:
2775         case Rem:
2776                 if (bracket) printf("(");
2777                 print_exec(b->left, indent, bracket);
2778                 switch(b->op) {
2779                 case Plus:   fputs(" + ", stdout); break;
2780                 case Minus:  fputs(" - ", stdout); break;
2781                 case Times:  fputs(" * ", stdout); break;
2782                 case Divide: fputs(" / ", stdout); break;
2783                 case Rem:    fputs(" % ", stdout); break;
2784                 case Concat: fputs(" ++ ", stdout); break;
2785                 default: abort();       // NOTEST
2786                 }                       // NOTEST
2787                 print_exec(b->right, indent, bracket);
2788                 if (bracket) printf(")");
2789                 break;
2790         case Absolute:
2791         case Negate:
2792         case StringConv:
2793                 if (bracket) printf("(");
2794                 switch (b->op) {
2795                 case Absolute:   fputs("+", stdout); break;
2796                 case Negate:     fputs("-", stdout); break;
2797                 case StringConv: fputs("$", stdout); break;
2798                 default: abort();       // NOTEST
2799                 }                       // NOTEST
2800                 print_exec(b->right, indent, bracket);
2801                 if (bracket) printf(")");
2802                 break;
2803         case Bracket:
2804                 printf("(");
2805                 print_exec(b->right, indent, bracket);
2806                 printf(")");
2807                 break;
2808
2809 ###### propagate binode cases
2810         case Plus:
2811         case Minus:
2812         case Times:
2813         case Rem:
2814         case Divide:
2815                 /* both must be numbers, result is Tnum */
2816         case Absolute:
2817         case Negate:
2818                 /* as propagate_types ignores a NULL,
2819                  * unary ops fit here too */
2820                 propagate_types(b->left, c, ok, Tnum, 0);
2821                 propagate_types(b->right, c, ok, Tnum, 0);
2822                 if (!type_compat(type, Tnum, 0))
2823                         type_err(c, "error: Arithmetic returns %1 but %2 expected", prog,
2824                                    Tnum, rules, type);
2825                 return Tnum;
2826
2827         case Concat:
2828                 /* both must be Tstr, result is Tstr */
2829                 propagate_types(b->left, c, ok, Tstr, 0);
2830                 propagate_types(b->right, c, ok, Tstr, 0);
2831                 if (!type_compat(type, Tstr, 0))
2832                         type_err(c, "error: Concat returns %1 but %2 expected", prog,
2833                                    Tstr, rules, type);
2834                 return Tstr;
2835
2836         case StringConv:
2837                 /* op must be string, result is number */
2838                 propagate_types(b->left, c, ok, Tstr, 0);
2839                 if (!type_compat(type, Tnum, 0))
2840                         type_err(c,
2841                           "error: Can only convert string to number, not %1",
2842                                 prog, type, 0, NULL);
2843                 return Tnum;
2844
2845         case Bracket:
2846                 return propagate_types(b->right, c, ok, type, 0);
2847
2848 ###### interp binode cases
2849
2850         case Plus:
2851                 rv = interp_exec(b->left, &rvtype);
2852                 right = interp_exec(b->right, &rtype);
2853                 mpq_add(rv.num, rv.num, right.num);
2854                 break;
2855         case Minus:
2856                 rv = interp_exec(b->left, &rvtype);
2857                 right = interp_exec(b->right, &rtype);
2858                 mpq_sub(rv.num, rv.num, right.num);
2859                 break;
2860         case Times:
2861                 rv = interp_exec(b->left, &rvtype);
2862                 right = interp_exec(b->right, &rtype);
2863                 mpq_mul(rv.num, rv.num, right.num);
2864                 break;
2865         case Divide:
2866                 rv = interp_exec(b->left, &rvtype);
2867                 right = interp_exec(b->right, &rtype);
2868                 mpq_div(rv.num, rv.num, right.num);
2869                 break;
2870         case Rem: {
2871                 mpz_t l, r, rem;
2872
2873                 left = interp_exec(b->left, &ltype);
2874                 right = interp_exec(b->right, &rtype);
2875                 mpz_init(l); mpz_init(r); mpz_init(rem);
2876                 mpz_tdiv_q(l, mpq_numref(left.num), mpq_denref(left.num));
2877                 mpz_tdiv_q(r, mpq_numref(right.num), mpq_denref(right.num));
2878                 mpz_tdiv_r(rem, l, r);
2879                 val_init(Tnum, &rv);
2880                 mpq_set_z(rv.num, rem);
2881                 mpz_clear(r); mpz_clear(l); mpz_clear(rem);
2882                 rvtype = ltype;
2883                 break;
2884         }
2885         case Negate:
2886                 rv = interp_exec(b->right, &rvtype);
2887                 mpq_neg(rv.num, rv.num);
2888                 break;
2889         case Absolute:
2890                 rv = interp_exec(b->right, &rvtype);
2891                 mpq_abs(rv.num, rv.num);
2892                 break;
2893         case Bracket:
2894                 rv = interp_exec(b->right, &rvtype);
2895                 break;
2896         case Concat:
2897                 left = interp_exec(b->left, &ltype);
2898                 right = interp_exec(b->right, &rtype);
2899                 rvtype = Tstr;
2900                 rv.str = text_join(left.str, right.str);
2901                 break;
2902         case StringConv:
2903                 right = interp_exec(b->right, &rvtype);
2904                 rtype = Tstr;
2905                 rvtype = Tnum;
2906
2907                 struct text tx = right.str;
2908                 char tail[3];
2909                 int neg = 0;
2910                 if (tx.txt[0] == '-') {
2911                         neg = 1;
2912                         tx.txt++;
2913                         tx.len--;
2914                 }
2915                 if (number_parse(rv.num, tail, tx) == 0)
2916                         mpq_init(rv.num);
2917                 else if (neg)
2918                         mpq_neg(rv.num, rv.num);
2919                 if (tail[0])
2920                         printf("Unsupported suffix: %.*s\n", tx.len, tx.txt);
2921
2922                 break;
2923
2924 ###### value functions
2925
2926         static struct text text_join(struct text a, struct text b)
2927         {
2928                 struct text rv;
2929                 rv.len = a.len + b.len;
2930                 rv.txt = malloc(rv.len);
2931                 memcpy(rv.txt, a.txt, a.len);
2932                 memcpy(rv.txt+a.len, b.txt, b.len);
2933                 return rv;
2934         }
2935
2936 ### Blocks, Statements, and Statement lists.
2937
2938 Now that we have expressions out of the way we need to turn to
2939 statements.  There are simple statements and more complex statements.
2940 Simple statements do not contain (syntactic) newlines, complex statements do.
2941
2942 Statements often come in sequences and we have corresponding simple
2943 statement lists and complex statement lists.
2944 The former comprise only simple statements separated by semicolons.
2945 The later comprise complex statements and simple statement lists.  They are
2946 separated by newlines.  Thus the semicolon is only used to separate
2947 simple statements on the one line.  This may be overly restrictive,
2948 but I'm not sure I ever want a complex statement to share a line with
2949 anything else.
2950
2951 Note that a simple statement list can still use multiple lines if
2952 subsequent lines are indented, so
2953
2954 ###### Example: wrapped simple statement list
2955
2956         a = b; c = d;
2957            e = f; print g
2958
2959 is a single simple statement list.  This might allow room for
2960 confusion, so I'm not set on it yet.
2961
2962 A simple statement list needs no extra syntax.  A complex statement
2963 list has two syntactic forms.  It can be enclosed in braces (much like
2964 C blocks), or it can be introduced by an indent and continue until an
2965 unindented newline (much like Python blocks).  With this extra syntax
2966 it is referred to as a block.
2967
2968 Note that a block does not have to include any newlines if it only
2969 contains simple statements.  So both of:
2970
2971         if condition: a=b; d=f
2972
2973         if condition { a=b; print f }
2974
2975 are valid.
2976
2977 In either case the list is constructed from a `binode` list with
2978 `Block` as the operator.  When parsing the list it is most convenient
2979 to append to the end, so a list is a list and a statement.  When using
2980 the list it is more convenient to consider a list to be a statement
2981 and a list.  So we need a function to re-order a list.
2982 `reorder_bilist` serves this purpose.
2983
2984 The only stand-alone statement we introduce at this stage is `pass`
2985 which does nothing and is represented as a `NULL` pointer in a `Block`
2986 list.  Other stand-alone statements will follow once the infrastructure
2987 is in-place.
2988
2989 ###### Binode types
2990         Block,
2991
2992 ###### Grammar
2993
2994         $TERM { } ;
2995
2996         $*binode
2997         Block -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
2998                 | { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
2999                 | SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3000                 | SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3001                 | IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
3002
3003         OpenBlock -> OpenScope { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3004                 | OpenScope { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3005                 | OpenScope SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3006                 | OpenScope SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3007                 | IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
3008
3009         UseBlock -> { OpenScope IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3010                 | { OpenScope SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3011                 | IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
3012
3013         ColonBlock -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3014                 | { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3015                 | : SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3016                 | : SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3017                 | : IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
3018
3019         Statementlist -> ComplexStatements ${ $0 = reorder_bilist($<CS); }$
3020
3021         ComplexStatements -> ComplexStatements ComplexStatement ${
3022                         if ($2 == NULL) {
3023                                 $0 = $<1;
3024                         } else {
3025                                 $0 = new(binode);
3026                                 $0->op = Block;
3027                                 $0->left = $<1;
3028                                 $0->right = $<2;
3029                         }
3030                 }$
3031                 | ComplexStatement ${
3032                         if ($1 == NULL) {
3033                                 $0 = NULL;
3034                         } else {
3035                                 $0 = new(binode);
3036                                 $0->op = Block;
3037                                 $0->left = NULL;
3038                                 $0->right = $<1;
3039                         }
3040                 }$
3041
3042         $*exec
3043         ComplexStatement -> SimpleStatements Newlines ${
3044                         $0 = reorder_bilist($<SS);
3045                         }$
3046                 |  SimpleStatements ; Newlines ${
3047                         $0 = reorder_bilist($<SS);
3048                         }$
3049                 ## ComplexStatement Grammar
3050
3051         $*binode
3052         SimpleStatements -> SimpleStatements ; SimpleStatement ${
3053                         $0 = new(binode);
3054                         $0->op = Block;
3055                         $0->left = $<1;
3056                         $0->right = $<3;
3057                         }$
3058                 | SimpleStatement ${
3059                         $0 = new(binode);
3060                         $0->op = Block;
3061                         $0->left = NULL;
3062                         $0->right = $<1;
3063                         }$
3064
3065         $TERM pass
3066         SimpleStatement -> pass ${ $0 = NULL; }$
3067                 | ERROR ${ tok_err(c, "Syntax error in statement", &$1); }$
3068                 ## SimpleStatement Grammar
3069
3070 ###### print binode cases
3071         case Block:
3072                 if (indent < 0) {
3073                         // simple statement
3074                         if (b->left == NULL)
3075                                 printf("pass");
3076                         else
3077                                 print_exec(b->left, indent, bracket);
3078                         if (b->right) {
3079                                 printf("; ");
3080                                 print_exec(b->right, indent, bracket);
3081                         }
3082                 } else {
3083                         // block, one per line
3084                         if (b->left == NULL)
3085                                 do_indent(indent, "pass\n");
3086                         else
3087                                 print_exec(b->left, indent, bracket);
3088                         if (b->right)
3089                                 print_exec(b->right, indent, bracket);
3090                 }
3091                 break;
3092
3093 ###### propagate binode cases
3094         case Block:
3095         {
3096                 /* If any statement returns something other than Tnone
3097                  * or Tbool then all such must return same type.
3098                  * As each statement may be Tnone or something else,
3099                  * we must always pass NULL (unknown) down, otherwise an incorrect
3100                  * error might occur.  We never return Tnone unless it is
3101                  * passed in.
3102                  */
3103                 struct binode *e;
3104
3105                 for (e = b; e; e = cast(binode, e->right)) {
3106                         t = propagate_types(e->left, c, ok, NULL, rules);
3107                         if ((rules & Rboolok) && t == Tbool)
3108                                 t = NULL;
3109                         if (t && t != Tnone && t != Tbool) {
3110                                 if (!type)
3111                                         type = t;
3112                                 else if (t != type)
3113                                         type_err(c, "error: expected %1%r, found %2",
3114                                                  e->left, type, rules, t);
3115                         }
3116                 }
3117                 return type;
3118         }
3119
3120 ###### interp binode cases
3121         case Block:
3122                 while (rvtype == Tnone &&
3123                        b) {
3124                         if (b->left)
3125                                 rv = interp_exec(b->left, &rvtype);
3126                         b = cast(binode, b->right);
3127                 }
3128                 break;
3129
3130 ### The Print statement
3131
3132 `print` is a simple statement that takes a comma-separated list of
3133 expressions and prints the values separated by spaces and terminated
3134 by a newline.  No control of formatting is possible.
3135
3136 `print` faces the same list-ordering issue as blocks, and uses the
3137 same solution.
3138
3139 ###### Binode types
3140         Print,
3141
3142 ##### expr precedence
3143         $TERM print ,
3144
3145 ###### SimpleStatement Grammar
3146
3147         | print ExpressionList ${
3148                 $0 = reorder_bilist($<2);
3149         }$
3150         | print ExpressionList , ${
3151                 $0 = new(binode);
3152                 $0->op = Print;
3153                 $0->right = NULL;
3154                 $0->left = $<2;
3155                 $0 = reorder_bilist($0);
3156         }$
3157         | print ${
3158                 $0 = new(binode);
3159                 $0->op = Print;
3160                 $0->right = NULL;
3161         }$
3162
3163 ###### Grammar
3164
3165         $*binode
3166         ExpressionList -> ExpressionList , Expression ${
3167                 $0 = new(binode);
3168                 $0->op = Print;
3169                 $0->left = $<1;
3170                 $0->right = $<3;
3171                 }$
3172                 | Expression ${
3173                         $0 = new(binode);
3174                         $0->op = Print;
3175                         $0->left = NULL;
3176                         $0->right = $<1;
3177                 }$
3178
3179 ###### print binode cases
3180
3181         case Print:
3182                 do_indent(indent, "print");
3183                 while (b) {
3184                         if (b->left) {
3185                                 printf(" ");
3186                                 print_exec(b->left, -1, bracket);
3187                                 if (b->right)
3188                                         printf(",");
3189                         }
3190                         b = cast(binode, b->right);
3191                 }
3192                 if (indent >= 0)
3193                         printf("\n");
3194                 break;
3195
3196 ###### propagate binode cases
3197
3198         case Print:
3199                 /* don't care but all must be consistent */
3200                 propagate_types(b->left, c, ok, NULL, Rnolabel);
3201                 propagate_types(b->right, c, ok, NULL, Rnolabel);
3202                 break;
3203
3204 ###### interp binode cases
3205
3206         case Print:
3207         {
3208                 char sep = 0;
3209                 int eol = 1;
3210                 for ( ; b; b = cast(binode, b->right))
3211                         if (b->left) {
3212                                 if (sep)
3213                                         putchar(sep);
3214                                 left = interp_exec(b->left, &ltype);
3215                                 print_value(ltype, &left);
3216                                 free_value(ltype, &left);
3217                                 if (b->right)
3218                                         sep = ' ';
3219                         } else if (sep)
3220                                 eol = 0;
3221                 ltype = Tnone;
3222                 if (eol)
3223                         printf("\n");
3224                 break;
3225         }
3226
3227 ###### Assignment statement
3228
3229 An assignment will assign a value to a variable, providing it hasn't
3230 been declared as a constant.  The analysis phase ensures that the type
3231 will be correct so the interpreter just needs to perform the
3232 calculation.  There is a form of assignment which declares a new
3233 variable as well as assigning a value.  If a name is assigned before
3234 it is declared, and error will be raised as the name is created as
3235 `Tlabel` and it is illegal to assign to such names.
3236
3237 ###### Binode types
3238         Assign,
3239         Declare,
3240
3241 ###### declare terminals
3242         $TERM =
3243
3244 ###### SimpleStatement Grammar
3245         | Variable = Expression ${
3246                         $0 = new(binode);
3247                         $0->op = Assign;
3248                         $0->left = $<1;
3249                         $0->right = $<3;
3250                 }$
3251         | VariableDecl = Expression ${
3252                         $0 = new(binode);
3253                         $0->op = Declare;
3254                         $0->left = $<1;
3255                         $0->right =$<3;
3256                 }$
3257
3258         | VariableDecl ${
3259                         if ($1->var->where_set == NULL) {
3260                                 type_err(c,
3261                                          "Variable declared with no type or value: %v",
3262                                          $1, NULL, 0, NULL);
3263                         } else {
3264                                 $0 = new(binode);
3265                                 $0->op = Declare;
3266                                 $0->left = $<1;
3267                                 $0->right = NULL;
3268                         }
3269                 }$
3270
3271 ###### print binode cases
3272
3273         case Assign:
3274                 do_indent(indent, "");
3275                 print_exec(b->left, indent, bracket);
3276                 printf(" = ");
3277                 print_exec(b->right, indent, bracket);
3278                 if (indent >= 0)
3279                         printf("\n");
3280                 break;
3281
3282         case Declare:
3283                 {
3284                 struct variable *v = cast(var, b->left)->var;
3285                 do_indent(indent, "");
3286                 print_exec(b->left, indent, bracket);
3287                 if (cast(var, b->left)->var->constant) {
3288                         if (v->where_decl == v->where_set) {
3289                                 printf("::");
3290                                 type_print(v->type, stdout);
3291                                 printf(" ");
3292                         } else
3293                                 printf(" ::");
3294                 } else {
3295                         if (v->where_decl == v->where_set) {
3296                                 printf(":");
3297                                 type_print(v->type, stdout);
3298                                 printf(" ");
3299                         } else
3300                                 printf(" :");
3301                 }
3302                 if (b->right) {
3303                         printf("= ");
3304                         print_exec(b->right, indent, bracket);
3305                 }
3306                 if (indent >= 0)
3307                         printf("\n");
3308                 }
3309                 break;
3310
3311 ###### propagate binode cases
3312
3313         case Assign:
3314         case Declare:
3315                 /* Both must match and not be labels,
3316                  * Type must support 'dup',
3317                  * For Assign, left must not be constant.
3318                  * result is Tnone
3319                  */
3320                 t = propagate_types(b->left, c, ok, NULL,
3321                                     Rnolabel | (b->op == Assign ? Rnoconstant : 0));
3322                 if (!b->right)
3323                         return Tnone;
3324
3325                 if (t) {
3326                         if (propagate_types(b->right, c, ok, t, 0) != t)
3327                                 if (b->left->type == Xvar)
3328                                         type_err(c, "info: variable '%v' was set as %1 here.",
3329                                                  cast(var, b->left)->var->where_set, t, rules, NULL);
3330                 } else {
3331                         t = propagate_types(b->right, c, ok, NULL, Rnolabel);
3332                         if (t)
3333                                 propagate_types(b->left, c, ok, t,
3334                                                 (b->op == Assign ? Rnoconstant : 0));
3335                 }
3336                 if (t && t->dup == NULL)
3337                         type_err(c, "error: cannot assign value of type %1", b, t, 0, NULL);
3338                 return Tnone;
3339
3340                 break;
3341
3342 ###### interp binode cases
3343
3344         case Assign:
3345                 lleft = linterp_exec(b->left, &ltype);
3346                 right = interp_exec(b->right, &rtype);
3347                 if (lleft) {
3348                         free_value(ltype, lleft);
3349                         dup_value(ltype, &right, lleft);
3350                         ltype = NULL;
3351                 }
3352                 break;
3353
3354         case Declare:
3355         {
3356                 struct variable *v = cast(var, b->left)->var;
3357                 if (v->merged)
3358                         v = v->merged;
3359                 if (b->right) {
3360                         right = interp_exec(b->right, &rtype);
3361                         free_value(v->type, v->val);
3362                         free(v->val);
3363                         v->val = val_alloc(v->type, &right);
3364                         rtype = Tnone;
3365                 } else {
3366                         free_value(v->type, v->val);
3367                         free(v->val);
3368                         v->val = val_alloc(v->type, NULL);
3369                 }
3370                 break;
3371         }
3372
3373 ### The `use` statement
3374
3375 The `use` statement is the last "simple" statement.  It is needed when
3376 the condition in a conditional statement is a block.  `use` works much
3377 like `return` in C, but only completes the `condition`, not the whole
3378 function.
3379
3380 ###### Binode types
3381         Use,
3382
3383 ###### expr precedence
3384         $TERM use       
3385
3386 ###### SimpleStatement Grammar
3387         | use Expression ${
3388                 $0 = new_pos(binode, $1);
3389                 $0->op = Use;
3390                 $0->right = $<2;
3391                 if ($0->right->type == Xvar) {
3392                         struct var *v = cast(var, $0->right);
3393                         if (v->var->type == Tnone) {
3394                                 /* Convert this to a label */
3395                                 v->var->type = Tlabel;
3396                                 v->var->val = val_alloc(Tlabel, NULL);
3397                                 v->var->val->label = v->var->val;
3398                         }
3399                 }
3400         }$
3401
3402 ###### print binode cases
3403
3404         case Use:
3405                 do_indent(indent, "use ");
3406                 print_exec(b->right, -1, bracket);
3407                 if (indent >= 0)
3408                         printf("\n");
3409                 break;
3410
3411 ###### propagate binode cases
3412
3413         case Use:
3414                 /* result matches value */
3415                 return propagate_types(b->right, c, ok, type, 0);
3416
3417 ###### interp binode cases
3418
3419         case Use:
3420                 rv = interp_exec(b->right, &rvtype);
3421                 break;
3422
3423 ### The Conditional Statement
3424
3425 This is the biggy and currently the only complex statement.  This
3426 subsumes `if`, `while`, `do/while`, `switch`, and some parts of `for`.
3427 It is comprised of a number of parts, all of which are optional though
3428 set combinations apply.  Each part is (usually) a key word (`then` is
3429 sometimes optional) followed by either an expression or a code block,
3430 except the `casepart` which is a "key word and an expression" followed
3431 by a code block.  The code-block option is valid for all parts and,
3432 where an expression is also allowed, the code block can use the `use`
3433 statement to report a value.  If the code block does not report a value
3434 the effect is similar to reporting `True`.
3435
3436 The `else` and `case` parts, as well as `then` when combined with
3437 `if`, can contain a `use` statement which will apply to some
3438 containing conditional statement. `for` parts, `do` parts and `then`
3439 parts used with `for` can never contain a `use`, except in some
3440 subordinate conditional statement.
3441
3442 If there is a `forpart`, it is executed first, only once.
3443 If there is a `dopart`, then it is executed repeatedly providing
3444 always that the `condpart` or `cond`, if present, does not return a non-True
3445 value.  `condpart` can fail to return any value if it simply executes
3446 to completion.  This is treated the same as returning `True`.
3447
3448 If there is a `thenpart` it will be executed whenever the `condpart`
3449 or `cond` returns True (or does not return any value), but this will happen
3450 *after* `dopart` (when present).
3451
3452 If `elsepart` is present it will be executed at most once when the
3453 condition returns `False` or some value that isn't `True` and isn't
3454 matched by any `casepart`.  If there are any `casepart`s, they will be
3455 executed when the condition returns a matching value.
3456
3457 The particular sorts of values allowed in case parts has not yet been
3458 determined in the language design, so nothing is prohibited.
3459
3460 The various blocks in this complex statement potentially provide scope
3461 for variables as described earlier.  Each such block must include the
3462 "OpenScope" nonterminal before parsing the block, and must call
3463 `var_block_close()` when closing the block.
3464
3465 The code following "`if`", "`switch`" and "`for`" does not get its own
3466 scope, but is in a scope covering the whole statement, so names
3467 declared there cannot be redeclared elsewhere.  Similarly the
3468 condition following "`while`" is in a scope the covers the body
3469 ("`do`" part) of the loop, and which does not allow conditional scope
3470 extension.  Code following "`then`" (both looping and non-looping),
3471 "`else`" and "`case`" each get their own local scope.
3472
3473 The type requirements on the code block in a `whilepart` are quite
3474 unusal.  It is allowed to return a value of some identifiable type, in
3475 which case the loop aborts and an appropriate `casepart` is run, or it
3476 can return a Boolean, in which case the loop either continues to the
3477 `dopart` (on `True`) or aborts and runs the `elsepart` (on `False`).
3478 This is different both from the `ifpart` code block which is expected to
3479 return a Boolean, or the `switchpart` code block which is expected to
3480 return the same type as the casepart values.  The correct analysis of
3481 the type of the `whilepart` code block is the reason for the
3482 `Rboolok` flag which is passed to `propagate_types()`.
3483
3484 The `cond_statement` cannot fit into a `binode` so a new `exec` is
3485 defined.
3486
3487 ###### exec type
3488         Xcond_statement,
3489
3490 ###### ast
3491         struct casepart {
3492                 struct exec *value;
3493                 struct exec *action;
3494                 struct casepart *next;
3495         };
3496         struct cond_statement {
3497                 struct exec;
3498                 struct exec *forpart, *condpart, *dopart, *thenpart, *elsepart;
3499                 struct casepart *casepart;
3500         };
3501
3502 ###### ast functions
3503
3504         static void free_casepart(struct casepart *cp)
3505         {
3506                 while (cp) {
3507                         struct casepart *t;
3508                         free_exec(cp->value);
3509                         free_exec(cp->action);
3510                         t = cp->next;
3511                         free(cp);
3512                         cp = t;
3513                 }
3514         }
3515
3516         static void free_cond_statement(struct cond_statement *s)
3517         {
3518                 if (!s)
3519                         return;
3520                 free_exec(s->forpart);
3521                 free_exec(s->condpart);
3522                 free_exec(s->dopart);
3523                 free_exec(s->thenpart);
3524                 free_exec(s->elsepart);
3525                 free_casepart(s->casepart);
3526                 free(s);
3527         }
3528
3529 ###### free exec cases
3530         case Xcond_statement: free_cond_statement(cast(cond_statement, e)); break;
3531
3532 ###### ComplexStatement Grammar
3533         | CondStatement ${ $0 = $<1; }$
3534
3535 ###### expr precedence
3536         $TERM for then while do
3537         $TERM else
3538         $TERM switch case
3539
3540 ###### Grammar
3541
3542         $*cond_statement
3543         // A CondStatement must end with EOL, as does CondSuffix and
3544         // IfSuffix.
3545         // ForPart, ThenPart, SwitchPart, CasePart are non-empty and
3546         // may or may not end with EOL
3547         // WhilePart and IfPart include an appropriate Suffix
3548
3549
3550         // Both ForPart and Whilepart open scopes, and CondSuffix only
3551         // closes one - so in the first branch here we have another to close.
3552         CondStatement -> ForPart OptNL ThenPart OptNL WhilePart CondSuffix ${
3553                         $0 = $<CS;
3554                         $0->forpart = $<FP;
3555                         $0->thenpart = $<TP;
3556                         $0->condpart = $WP.condpart; $WP.condpart = NULL;
3557                         $0->dopart = $WP.dopart; $WP.dopart = NULL;
3558                         var_block_close(c, CloseSequential);
3559                         }$
3560                 | ForPart OptNL WhilePart CondSuffix ${
3561                         $0 = $<CS;
3562                         $0->forpart = $<FP;
3563                         $0->condpart = $WP.condpart; $WP.condpart = NULL;
3564                         $0->dopart = $WP.dopart; $WP.dopart = NULL;
3565                         var_block_close(c, CloseSequential);
3566                         }$
3567                 | WhilePart CondSuffix ${
3568                         $0 = $<CS;
3569                         $0->condpart = $WP.condpart; $WP.condpart = NULL;
3570                         $0->dopart = $WP.dopart; $WP.dopart = NULL;
3571                         }$
3572                 | SwitchPart OptNL CasePart CondSuffix ${
3573                         $0 = $<CS;
3574                         $0->condpart = $<SP;
3575                         $CP->next = $0->casepart;
3576                         $0->casepart = $<CP;
3577                         }$
3578                 | SwitchPart : IN OptNL CasePart CondSuffix OUT Newlines ${
3579                         $0 = $<CS;
3580                         $0->condpart = $<SP;
3581                         $CP->next = $0->casepart;
3582                         $0->casepart = $<CP;
3583                         }$
3584                 | IfPart IfSuffix ${
3585                         $0 = $<IS;
3586                         $0->condpart = $IP.condpart; $IP.condpart = NULL;
3587                         $0->thenpart = $IP.thenpart; $IP.thenpart = NULL;
3588                         // This is where we close an "if" statement
3589                         var_block_close(c, CloseSequential);
3590                         }$
3591
3592         CondSuffix -> IfSuffix ${
3593                         $0 = $<1;
3594                         // This is where we close scope of the whole
3595                         // "for" or "while" statement
3596                         var_block_close(c, CloseSequential);
3597                 }$
3598                 | Newlines CasePart CondSuffix ${
3599                         $0 = $<CS;
3600                         $CP->next = $0->casepart;
3601                         $0->casepart = $<CP;
3602                 }$
3603                 | CasePart CondSuffix ${
3604                         $0 = $<CS;
3605                         $CP->next = $0->casepart;
3606                         $0->casepart = $<CP;
3607                 }$
3608
3609         IfSuffix -> Newlines ${ $0 = new(cond_statement); }$
3610                 | Newlines ElsePart ${ $0 = $<EP; }$
3611                 | ElsePart ${$0 = $<EP; }$
3612
3613         ElsePart -> else OpenBlock Newlines ${
3614                         $0 = new(cond_statement);
3615                         $0->elsepart = $<OB;
3616                         var_block_close(c, CloseElse);
3617                 }$
3618                 | else OpenScope CondStatement ${
3619                         $0 = new(cond_statement);
3620                         $0->elsepart = $<CS;
3621                         var_block_close(c, CloseElse);
3622                 }$
3623
3624         $*casepart
3625         CasePart -> case Expression OpenScope ColonBlock ${
3626                         $0 = calloc(1,sizeof(struct casepart));
3627                         $0->value = $<Ex;
3628                         $0->action = $<Bl;
3629                         var_block_close(c, CloseParallel);
3630                 }$
3631
3632         $*exec
3633         // These scopes are closed in CondSuffix
3634         ForPart -> for OpenBlock ${
3635                         $0 = $<Bl;
3636                 }$
3637
3638         ThenPart -> then OpenBlock ${
3639                         $0 = $<OB;
3640                         var_block_close(c, CloseSequential);
3641                 }$
3642
3643         $cond_statement
3644         // This scope is closed in CondSuffix
3645         WhilePart -> while UseBlock OptNL do Block ${
3646                         $0.condpart = $<UB;
3647                         $0.dopart = $<Bl;
3648                 }$
3649                 | while OpenScope Expression ColonBlock ${
3650                         $0.condpart = $<Exp;
3651                         $0.dopart = $<Bl;
3652                 }$
3653
3654         IfPart -> if UseBlock OptNL then OpenBlock ClosePara ${
3655                         $0.condpart = $<UB;
3656                         $0.thenpart = $<Bl;
3657                 }$
3658                 | if OpenScope Expression OpenScope ColonBlock ClosePara ${
3659                         $0.condpart = $<Ex;
3660                         $0.thenpart = $<Bl;
3661                 }$
3662                 | if OpenScope Expression OpenScope OptNL then Block ClosePara ${
3663                         $0.condpart = $<Ex;
3664                         $0.thenpart = $<Bl;
3665                 }$
3666
3667         $*exec
3668         // This scope is closed in CondSuffix
3669         SwitchPart -> switch OpenScope Expression ${
3670                         $0 = $<Ex;
3671                 }$
3672                 | switch UseBlock ${
3673                         $0 = $<Bl;
3674                 }$
3675
3676 ###### print exec cases
3677
3678         case Xcond_statement:
3679         {
3680                 struct cond_statement *cs = cast(cond_statement, e);
3681                 struct casepart *cp;
3682                 if (cs->forpart) {
3683                         do_indent(indent, "for");
3684                         if (bracket) printf(" {\n"); else printf("\n");
3685                         print_exec(cs->forpart, indent+1, bracket);
3686                         if (cs->thenpart) {
3687                                 if (bracket)
3688                                         do_indent(indent, "} then {\n");
3689                                 else
3690                                         do_indent(indent, "then\n");
3691                                 print_exec(cs->thenpart, indent+1, bracket);
3692                         }
3693                         if (bracket) do_indent(indent, "}\n");
3694                 }
3695                 if (cs->dopart) {
3696                         // a loop
3697                         if (cs->condpart && cs->condpart->type == Xbinode &&
3698                             cast(binode, cs->condpart)->op == Block) {
3699                                 if (bracket)
3700                                         do_indent(indent, "while {\n");
3701                                 else
3702                                         do_indent(indent, "while\n");
3703                                 print_exec(cs->condpart, indent+1, bracket);
3704                                 if (bracket)
3705                                         do_indent(indent, "} do {\n");
3706                                 else
3707                                         do_indent(indent, "do\n");
3708                                 print_exec(cs->dopart, indent+1, bracket);
3709                                 if (bracket)
3710                                         do_indent(indent, "}\n");
3711                         } else {
3712                                 do_indent(indent, "while ");
3713                                 print_exec(cs->condpart, 0, bracket);
3714                                 if (bracket)
3715                                         printf(" {\n");
3716                                 else
3717                                         printf(":\n");
3718                                 print_exec(cs->dopart, indent+1, bracket);
3719                                 if (bracket)
3720                                         do_indent(indent, "}\n");
3721                         }
3722                 } else {
3723                         // a condition
3724                         if (cs->casepart)
3725                                 do_indent(indent, "switch");
3726                         else
3727                                 do_indent(indent, "if");
3728                         if (cs->condpart && cs->condpart->type == Xbinode &&
3729                             cast(binode, cs->condpart)->op == Block) {
3730                                 if (bracket)
3731                                         printf(" {\n");
3732                                 else
3733                                         printf(":\n");
3734                                 print_exec(cs->condpart, indent+1, bracket);
3735                                 if (bracket)
3736                                         do_indent(indent, "}\n");
3737                                 if (cs->thenpart) {
3738                                         do_indent(indent, "then:\n");
3739                                         print_exec(cs->thenpart, indent+1, bracket);
3740                                 }
3741                         } else {
3742                                 printf(" ");
3743                                 print_exec(cs->condpart, 0, bracket);
3744                                 if (cs->thenpart) {
3745                                         if (bracket)
3746                                                 printf(" {\n");
3747                                         else
3748                                                 printf(":\n");
3749                                         print_exec(cs->thenpart, indent+1, bracket);
3750                                         if (bracket)
3751                                                 do_indent(indent, "}\n");
3752                                 } else
3753                                         printf("\n");
3754                         }
3755                 }
3756                 for (cp = cs->casepart; cp; cp = cp->next) {
3757                         do_indent(indent, "case ");
3758                         print_exec(cp->value, -1, 0);
3759                         if (bracket)
3760                                 printf(" {\n");
3761                         else
3762                                 printf(":\n");
3763                         print_exec(cp->action, indent+1, bracket);
3764                         if (bracket)
3765                                 do_indent(indent, "}\n");
3766                 }
3767                 if (cs->elsepart) {
3768                         do_indent(indent, "else");
3769                         if (bracket)
3770                                 printf(" {\n");
3771                         else
3772                                 printf("\n");
3773                         print_exec(cs->elsepart, indent+1, bracket);
3774                         if (bracket)
3775                                 do_indent(indent, "}\n");
3776                 }
3777                 break;
3778         }
3779
3780 ###### propagate exec cases
3781         case Xcond_statement:
3782         {
3783                 // forpart and dopart must return Tnone
3784                 // thenpart must return Tnone if there is a dopart,
3785                 // otherwise it is like elsepart.
3786                 // condpart must:
3787                 //    be bool if there is no casepart
3788                 //    match casepart->values if there is a switchpart
3789                 //    either be bool or match casepart->value if there
3790                 //             is a whilepart
3791                 // elsepart and casepart->action must match the return type
3792                 //   expected of this statement.
3793                 struct cond_statement *cs = cast(cond_statement, prog);
3794                 struct casepart *cp;
3795
3796                 t = propagate_types(cs->forpart, c, ok, Tnone, 0);
3797                 if (!type_compat(Tnone, t, 0))
3798                         *ok = 0;
3799                 t = propagate_types(cs->dopart, c, ok, Tnone, 0);
3800                 if (!type_compat(Tnone, t, 0))
3801                         *ok = 0;
3802                 if (cs->dopart) {
3803                         t = propagate_types(cs->thenpart, c, ok, Tnone, 0);
3804                         if (!type_compat(Tnone, t, 0))
3805                                 *ok = 0;
3806                 }
3807                 if (cs->casepart == NULL)
3808                         propagate_types(cs->condpart, c, ok, Tbool, 0);
3809                 else {
3810                         /* Condpart must match case values, with bool permitted */
3811                         t = NULL;
3812                         for (cp = cs->casepart;
3813                              cp && !t; cp = cp->next)
3814                                 t = propagate_types(cp->value, c, ok, NULL, 0);
3815                         if (!t && cs->condpart)
3816                                 t = propagate_types(cs->condpart, c, ok, NULL, Rboolok);
3817                         // Now we have a type (I hope) push it down
3818                         if (t) {
3819                                 for (cp = cs->casepart; cp; cp = cp->next)
3820                                         propagate_types(cp->value, c, ok, t, 0);
3821                                 propagate_types(cs->condpart, c, ok, t, Rboolok);
3822                         }
3823                 }
3824                 // (if)then, else, and case parts must return expected type.
3825                 if (!cs->dopart && !type)
3826                         type = propagate_types(cs->thenpart, c, ok, NULL, rules);
3827                 if (!type)
3828                         type = propagate_types(cs->elsepart, c, ok, NULL, rules);
3829                 for (cp = cs->casepart;
3830                      cp && !type;
3831                      cp = cp->next)
3832                         type = propagate_types(cp->action, c, ok, NULL, rules);
3833                 if (type) {
3834                         if (!cs->dopart)
3835                                 propagate_types(cs->thenpart, c, ok, type, rules);
3836                         propagate_types(cs->elsepart, c, ok, type, rules);
3837                         for (cp = cs->casepart; cp ; cp = cp->next)
3838                                 propagate_types(cp->action, c, ok, type, rules);
3839                         return type;
3840                 } else
3841                         return NULL;
3842         }
3843
3844 ###### interp exec cases
3845         case Xcond_statement:
3846         {
3847                 struct value v, cnd;
3848                 struct type *vtype, *cndtype;
3849                 struct casepart *cp;
3850                 struct cond_statement *c = cast(cond_statement, e);
3851
3852                 if (c->forpart)
3853                         interp_exec(c->forpart, NULL);
3854                 do {
3855                         if (c->condpart)
3856                                 cnd = interp_exec(c->condpart, &cndtype);
3857                         else
3858                                 cndtype = Tnone;
3859                         if (!(cndtype == Tnone ||
3860                               (cndtype == Tbool && cnd.bool != 0)))
3861                                 break;
3862                         // cnd is Tnone or Tbool, doesn't need to be freed
3863                         if (c->dopart)
3864                                 interp_exec(c->dopart, NULL);
3865
3866                         if (c->thenpart) {
3867                                 rv = interp_exec(c->thenpart, &rvtype);
3868                                 if (rvtype != Tnone || !c->dopart)
3869                                         goto Xcond_done;
3870                                 free_value(rvtype, &rv);
3871                                 rvtype = Tnone;
3872                         }
3873                 } while (c->dopart);
3874
3875                 for (cp = c->casepart; cp; cp = cp->next) {
3876                         v = interp_exec(cp->value, &vtype);
3877                         if (value_cmp(cndtype, vtype, &v, &cnd) == 0) {
3878                                 free_value(vtype, &v);
3879                                 free_value(cndtype, &cnd);
3880                                 rv = interp_exec(cp->action, &rvtype);
3881                                 goto Xcond_done;
3882                         }
3883                         free_value(vtype, &v);
3884                 }
3885                 free_value(cndtype, &cnd);
3886                 if (c->elsepart)
3887                         rv = interp_exec(c->elsepart, &rvtype);
3888                 else
3889                         rvtype = Tnone;
3890         Xcond_done:
3891                 break;
3892         }
3893
3894 ### Top level structure
3895
3896 All the language elements so far can be used in various places.  Now
3897 it is time to clarify what those places are.
3898
3899 At the top level of a file there will be a number of declarations.
3900 Many of the things that can be declared haven't been described yet,
3901 such as functions, procedures, imports, and probably more.
3902 For now there are two sorts of things that can appear at the top
3903 level.  They are predefined constants, `struct` types, and the main
3904 program.  While the syntax will allow the main program to appear
3905 multiple times, that will trigger an error if it is actually attempted.
3906
3907 The various declarations do not return anything.  They store the
3908 various declarations in the parse context.
3909
3910 ###### Parser: grammar
3911
3912         $void
3913         Ocean -> OptNL DeclarationList
3914
3915         ## declare terminals
3916
3917         OptNL ->
3918                 | OptNL NEWLINE
3919         Newlines -> NEWLINE
3920                 | Newlines NEWLINE
3921
3922         DeclarationList -> Declaration
3923                 | DeclarationList Declaration
3924
3925         Declaration -> ERROR Newlines ${
3926                         tok_err(c,
3927                                 "error: unhandled parse error", &$1);
3928                 }$
3929                 | DeclareConstant
3930                 | DeclareProgram
3931                 | DeclareStruct
3932
3933         ## top level grammar
3934
3935 ### The `const` section
3936
3937 As well as being defined in with the code that uses them, constants
3938 can be declared at the top level.  These have full-file scope, so they
3939 are always `InScope`.  The value of a top level constant can be given
3940 as an expression, and this is evaluated immediately rather than in the
3941 later interpretation stage.  Once we add functions to the language, we
3942 will need rules concern which, if any, can be used to define a top
3943 level constant.
3944
3945 Constants are defined in a section that starts with the reserved word
3946 `const` and then has a block with a list of assignment statements.
3947 For syntactic consistency, these must use the double-colon syntax to
3948 make it clear that they are constants.  Type can also be given: if
3949 not, the type will be determined during analysis, as with other
3950 constants.
3951
3952 As the types constants are inserted at the head of a list, printing
3953 them in the same order that they were read is not straight forward.
3954 We take a quadratic approach here and count the number of constants
3955 (variables of depth 0), then count down from there, each time
3956 searching through for the Nth constant for decreasing N.
3957
3958 ###### top level grammar
3959
3960         $TERM const
3961
3962         DeclareConstant -> const { IN OptNL ConstList OUT OptNL } Newlines
3963                 | const { SimpleConstList } Newlines
3964                 | const IN OptNL ConstList OUT Newlines
3965                 | const SimpleConstList Newlines
3966
3967         ConstList -> ConstList SimpleConstLine
3968                 | SimpleConstLine
3969         SimpleConstList -> SimpleConstList ; Const
3970                 | Const
3971                 | SimpleConstList ;
3972         SimpleConstLine -> SimpleConstList Newlines
3973                 | ERROR Newlines ${ tok_err(c, "Syntax error in constant", &$1); }$
3974
3975         $*type
3976         CType -> Type   ${ $0 = $<1; }$
3977                 |       ${ $0 = NULL; }$
3978         $void
3979         Const -> IDENTIFIER :: CType = Expression ${ {
3980                 int ok;
3981                 struct variable *v;
3982
3983                 v = var_decl(c, $1.txt);
3984                 if (v) {
3985                         struct var *var = new_pos(var, $1);
3986                         v->where_decl = var;
3987                         v->where_set = var;
3988                         var->var = v;
3989                         v->constant = 1;
3990                 } else {
3991                         v = var_ref(c, $1.txt);
3992                         tok_err(c, "error: name already declared", &$1);
3993                         type_err(c, "info: this is where '%v' was first declared",
3994                                  v->where_decl, NULL, 0, NULL);
3995                 }
3996                 do {
3997                         ok = 1;
3998                         propagate_types($5, c, &ok, $3, 0);
3999                 } while (ok == 2);
4000                 if (!ok)
4001                         c->parse_error = 1;
4002                 else if (v) {
4003                         struct value res = interp_exec($5, &v->type);
4004                         v->val = val_alloc(v->type, &res);
4005                 }
4006         } }$
4007
4008 ###### print const decls
4009         {
4010                 struct variable *v;
4011                 int target = -1;
4012
4013                 while (target != 0) {
4014                         int i = 0;
4015                         for (v = context.in_scope; v; v=v->in_scope)
4016                                 if (v->depth == 0) {
4017                                         i += 1;
4018                                         if (i == target)
4019                                                 break;
4020                                 }
4021
4022                         if (target == -1) {
4023                                 if (i)
4024                                         printf("const\n");
4025                                 target = i;
4026                         } else {
4027                                 printf("    %.*s :: ", v->name->name.len, v->name->name.txt);
4028                                 type_print(v->type, stdout);
4029                                 printf(" = ");
4030                                 if (v->type == Tstr)
4031                                         printf("\"");
4032                                 print_value(v->type, v->val);
4033                                 if (v->type == Tstr)
4034                                         printf("\"");
4035                                 printf("\n");
4036                                 target -= 1;
4037                         }
4038                 }
4039         }
4040
4041 ### Finally the whole program.
4042
4043 Somewhat reminiscent of Pascal a (current) Ocean program starts with
4044 the keyword "program" and a list of variable names which are assigned
4045 values from command line arguments.  Following this is a `block` which
4046 is the code to execute.  Unlike Pascal, constants and other
4047 declarations come *before* the program.
4048
4049 As this is the top level, several things are handled a bit
4050 differently.
4051 The whole program is not interpreted by `interp_exec` as that isn't
4052 passed the argument list which the program requires.  Similarly type
4053 analysis is a bit more interesting at this level.
4054
4055 ###### Binode types
4056         Program,
4057
4058 ###### top level grammar
4059
4060         DeclareProgram -> Program ${ {
4061                 if (c->prog)
4062                         type_err(c, "Program defined a second time",
4063                                  $1, NULL, 0, NULL);
4064                 else
4065                         c->prog = $<1;
4066         } }$
4067
4068         $TERM program
4069
4070         $*binode
4071         Program -> program OpenScope Varlist ColonBlock Newlines ${
4072                 $0 = new(binode);
4073                 $0->op = Program;
4074                 $0->left = reorder_bilist($<Vl);
4075                 $0->right = $<Bl;
4076                 var_block_close(c, CloseSequential);
4077                 if (c->scope_stack && !c->parse_error) abort();
4078                 }$
4079
4080         Varlist -> Varlist ArgDecl ${
4081                         $0 = new(binode);
4082                         $0->op = Program;
4083                         $0->left = $<1;
4084                         $0->right = $<2;
4085                 }$
4086                 | ${ $0 = NULL; }$
4087
4088         $*var
4089         ArgDecl -> IDENTIFIER ${ {
4090                 struct variable *v = var_decl(c, $1.txt);
4091                 $0 = new(var);
4092                 $0->var = v;
4093         } }$
4094
4095         ## Grammar
4096
4097 ###### print binode cases
4098         case Program:
4099                 do_indent(indent, "program");
4100                 for (b2 = cast(binode, b->left); b2; b2 = cast(binode, b2->right)) {
4101                         printf(" ");
4102                         print_exec(b2->left, 0, 0);
4103                 }
4104                 if (bracket)
4105                         printf(" {\n");
4106                 else
4107                         printf(":\n");
4108                 print_exec(b->right, indent+1, bracket);
4109                 if (bracket)
4110                         do_indent(indent, "}\n");
4111                 break;
4112
4113 ###### propagate binode cases
4114         case Program: abort();          // NOTEST
4115
4116 ###### core functions
4117
4118         static int analyse_prog(struct exec *prog, struct parse_context *c)
4119         {
4120                 struct binode *b = cast(binode, prog);
4121                 int ok = 1;
4122
4123                 if (!b)
4124                         return 0;       // NOTEST
4125                 do {
4126                         ok = 1;
4127                         propagate_types(b->right, c, &ok, Tnone, 0);
4128                 } while (ok == 2);
4129                 if (!ok)
4130                         return 0;
4131
4132                 for (b = cast(binode, b->left); b; b = cast(binode, b->right)) {
4133                         struct var *v = cast(var, b->left);
4134                         if (!v->var->type) {
4135                                 v->var->where_set = b;
4136                                 v->var->type = Tstr;
4137                                 v->var->val = NULL;
4138                         }
4139                 }
4140                 b = cast(binode, prog);
4141                 do {
4142                         ok = 1;
4143                         propagate_types(b->right, c, &ok, Tnone, 0);
4144                 } while (ok == 2);
4145                 if (!ok)
4146                         return 0;
4147
4148                 /* Make sure everything is still consistent */
4149                 propagate_types(b->right, c, &ok, Tnone, 0);
4150                 return !!ok;
4151         }
4152
4153         static void interp_prog(struct exec *prog, char **argv)
4154         {
4155                 struct binode *p = cast(binode, prog);
4156                 struct binode *al;
4157                 struct value v;
4158                 struct type *vtype;
4159
4160                 if (!prog)
4161                         return;         // NOTEST
4162                 al = cast(binode, p->left);
4163                 while (al) {
4164                         struct var *v = cast(var, al->left);
4165                         struct value *vl = v->var->val;
4166
4167                         if (argv[0] == NULL) {
4168                                 printf("Not enough args\n");
4169                                 exit(1);
4170                         }
4171                         al = cast(binode, al->right);
4172                         if (vl)
4173                                 free_value(v->var->type, vl);
4174                         if (!vl) {
4175                                 vl = val_alloc(v->var->type, NULL);
4176                                 v->var->val = vl;
4177                         }
4178                         free_value(v->var->type, vl);
4179                         vl->str.len = strlen(argv[0]);
4180                         vl->str.txt = malloc(vl->str.len);
4181                         memcpy(vl->str.txt, argv[0], vl->str.len);
4182                         argv++;
4183                 }
4184                 v = interp_exec(p->right, &vtype);
4185                 free_value(vtype, &v);
4186         }
4187
4188 ###### interp binode cases
4189         case Program: abort();  // NOTEST
4190
4191 ## And now to test it out.
4192
4193 Having a language requires having a "hello world" program.  I'll
4194 provide a little more than that: a program that prints "Hello world"
4195 finds the GCD of two numbers, prints the first few elements of
4196 Fibonacci, performs a binary search for a number, and a few other
4197 things which will likely grow as the languages grows.
4198
4199 ###### File: oceani.mk
4200         demos :: sayhello
4201         sayhello : oceani
4202                 @echo "===== DEMO ====="
4203                 ./oceani --section "demo: hello" oceani.mdc 55 33
4204
4205 ###### demo: hello
4206
4207         const
4208                 pi ::= 3.141_592_6
4209                 four ::= 2 + 2 ; five ::= 10/2
4210         const pie ::= "I like Pie";
4211                 cake ::= "The cake is"
4212                   ++ " a lie"
4213
4214         struct fred
4215                 size:[four]number
4216                 name:string
4217                 alive:Boolean
4218
4219         program Astr Bstr:
4220                 print "Hello World, what lovely oceans you have!"
4221                 print "Are there", five, "?"
4222                 print pi, pie, "but", cake
4223
4224                 A := $Astr; B := $Bstr
4225
4226                 /* When a variable is defined in both branches of an 'if',
4227                  * and used afterwards, the variables are merged.
4228                  */
4229                 if A > B:
4230                         bigger := "yes"
4231                 else
4232                         bigger := "no"
4233                 print "Is", A, "bigger than", B,"? ", bigger
4234                 /* If a variable is not used after the 'if', no
4235                  * merge happens, so types can be different
4236                  */
4237                 if A > B * 2:
4238                         double:string = "yes"
4239                         print A, "is more than twice", B, "?", double
4240                 else
4241                         double := B*2
4242                         print "double", B, "is", double
4243
4244                 a : number
4245                 a = A;
4246                 b:number = B
4247                 if a > 0 and then b > 0:
4248                         while a != b:
4249                                 if a < b:
4250                                         b = b - a
4251                                 else
4252                                         a = a - b
4253                         print "GCD of", A, "and", B,"is", a
4254                 else if a <= 0:
4255                         print a, "is not positive, cannot calculate GCD"
4256                 else
4257                         print b, "is not positive, cannot calculate GCD"
4258
4259                 for
4260                         togo := 10
4261                         f1 := 1; f2 := 1
4262                         print "Fibonacci:", f1,f2,
4263                 then togo = togo - 1
4264                 while togo > 0:
4265                         f3 := f1 + f2
4266                         print "", f3,
4267                         f1 = f2
4268                         f2 = f3
4269                 print ""
4270
4271                 /* Binary search... */
4272                 for
4273                         lo:= 0; hi := 100
4274                         target := 77
4275                 while
4276                         mid := (lo + hi) / 2
4277                         if mid == target:
4278                                 use Found
4279                         if mid < target:
4280                                 lo = mid
4281                         else
4282                                 hi = mid
4283                         if hi - lo < 1:
4284                                 use GiveUp
4285                         use True
4286                 do pass
4287                 case Found:
4288                         print "Yay, I found", target
4289                 case GiveUp:
4290                         print "Closest I found was", mid
4291
4292                 size::= 10
4293                 list:[size]number
4294                 list[0] = 1234
4295                 // "middle square" PRNG.  Not particularly good, but one my
4296                 // Dad taught me - the first one I ever heard of.
4297                 for i:=1; then i = i + 1; while i < size:
4298                         n := list[i-1] * list[i-1]
4299                         list[i] = (n / 100) % 10 000
4300
4301                 print "Before sort:",
4302                 for i:=0; then i = i + 1; while i < size:
4303                         print "", list[i],
4304                 print
4305
4306                 for i := 1; then i=i+1; while i < size:
4307                         for j:=i-1; then j=j-1; while j >= 0:
4308                                 if list[j] > list[j+1]:
4309                                         t:= list[j]
4310                                         list[j] = list[j+1]
4311                                         list[j+1] = t
4312                 print " After sort:",
4313                 for i:=0; then i = i + 1; while i < size:
4314                         print "", list[i],
4315                 print
4316
4317                 if 1 == 2 then print "yes"; else print "no"
4318
4319                 bob:fred
4320                 bob.name = "Hello"
4321                 bob.alive = (bob.name == "Hello")
4322                 print "bob", "is" if  bob.alive else "isn't", "alive"