]> ocean-lang.org Git - ocean/blob - csrc/oceani.mdc
oceani: don't allocate init value for non-initialized fields.
[ocean] / csrc / oceani.mdc
1 # Ocean Interpreter - Jamison Creek version
2
3 Ocean is intended to be a compiled language, so this interpreter is
4 not targeted at being the final product.  It is, rather, an intermediate
5 stage and fills that role in two distinct ways.
6
7 Firstly, it exists as a platform to experiment with the early language
8 design.  An interpreter is easy to write and easy to get working, so
9 the barrier for entry is lower if I aim to start with an interpreter.
10
11 Secondly, the plan for the Ocean compiler is to write it in the
12 [Ocean language](http://ocean-lang.org).  To achieve this we naturally
13 need some sort of boot-strap process and this interpreter - written in
14 portable C - will fill that role.  It will be used to bootstrap the
15 Ocean compiler.
16
17 Two features that are not needed to fill either of these roles are
18 performance and completeness.  The interpreter only needs to be fast
19 enough to run small test programs and occasionally to run the compiler
20 on itself.  It only needs to be complete enough to test aspects of the
21 design which are developed before the compiler is working, and to run
22 the compiler on itself.  Any features not used by the compiler when
23 compiling itself are superfluous.  They may be included anyway, but
24 they may not.
25
26 Nonetheless, the interpreter should end up being reasonably complete,
27 and any performance bottlenecks which appear and are easily fixed, will
28 be.
29
30 ## Current version
31
32 This third version of the interpreter exists to test out some initial
33 ideas relating to types.  Particularly it adds arrays (indexed from
34 zero) and simple structures.  Basic control flow and variable scoping
35 are already fairly well established, as are basic numerical and
36 boolean operators.
37
38 Some operators that have only recently been added, and so have not
39 generated all that much experience yet are "and then" and "or else" as
40 short-circuit Boolean operators, and the "if ... else" trinary
41 operator which can select between two expressions based on a third
42 (which appears syntactically in the middle).
43
44 Elements that are present purely to make a usable language, and
45 without any expectation that they will remain, are the "program'
46 clause, which provides a list of variables to received command-line
47 arguments, and the "print" statement which performs simple output.
48
49 The current scalar types are "number", "Boolean", and "string".
50 Boolean will likely stay in its current form, the other two might, but
51 could just as easily be changed.
52
53 ## Naming
54
55 Versions of the interpreter which obviously do not support a complete
56 language will be named after creeks and streams.  This one is Jamison
57 Creek.
58
59 Once we have something reasonably resembling a complete language, the
60 names of rivers will be used.
61 Early versions of the compiler will be named after seas.  Major
62 releases of the compiler will be named after oceans.  Hopefully I will
63 be finished once I get to the Pacific Ocean release.
64
65 ## Outline
66
67 As well as parsing and executing a program, the interpreter can print
68 out the program from the parsed internal structure.  This is useful
69 for validating the parsing.
70 So the main requirements of the interpreter are:
71
72 - Parse the program, possibly with tracing,
73 - Analyse the parsed program to ensure consistency,
74 - Print the program,
75 - Execute the program, if no parsing or consistency errors were found.
76
77 This is all performed by a single C program extracted with
78 `parsergen`.
79
80 There will be two formats for printing the program: a default and one
81 that uses bracketing.  So a `--bracket` command line option is needed
82 for that.  Normally the first code section found is used, however an
83 alternate section can be requested so that a file (such as this one)
84 can contain multiple programs.  This is effected with the `--section`
85 option.
86
87 This code must be compiled with `-fplan9-extensions` so that anonymous
88 structures can be used.
89
90 ###### File: oceani.mk
91
92         myCFLAGS := -Wall -g -fplan9-extensions
93         CFLAGS := $(filter-out $(myCFLAGS),$(CFLAGS)) $(myCFLAGS)
94         myLDLIBS:= libparser.o libscanner.o libmdcode.o -licuuc
95         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
96         ## libs
97         all :: $(LDLIBS) oceani
98         oceani.c oceani.h : oceani.mdc parsergen
99                 ./parsergen -o oceani --LALR --tag Parser oceani.mdc
100         oceani.mk: oceani.mdc md2c
101                 ./md2c oceani.mdc
102
103         oceani: oceani.o $(LDLIBS)
104                 $(CC) $(CFLAGS) -o oceani oceani.o $(LDLIBS)
105
106 ###### Parser: header
107         ## macros
108         ## ast
109         struct parse_context {
110                 struct token_config config;
111                 char *file_name;
112                 int parse_error;
113                 struct exec *prog;
114                 ## parse context
115         };
116
117 ###### macros
118
119         #define container_of(ptr, type, member) ({                      \
120                 const typeof( ((type *)0)->member ) *__mptr = (ptr);    \
121                 (type *)( (char *)__mptr - offsetof(type,member) );})
122
123         #define config2context(_conf) container_of(_conf, struct parse_context, \
124                 config)
125
126 ###### Parser: reduce
127         struct parse_context *c = config2context(config);
128
129 ###### Parser: code
130
131         #include <unistd.h>
132         #include <stdlib.h>
133         #include <fcntl.h>
134         #include <errno.h>
135         #include <sys/mman.h>
136         #include <string.h>
137         #include <stdio.h>
138         #include <locale.h>
139         #include <malloc.h>
140         #include "mdcode.h"
141         #include "scanner.h"
142         #include "parser.h"
143
144         ## includes
145
146         #include "oceani.h"
147
148         ## forward decls
149         ## value functions
150         ## ast functions
151         ## core functions
152
153         #include <getopt.h>
154         static char Usage[] =
155                 "Usage: oceani --trace --print --noexec --brackets --section=SectionName prog.ocn\n";
156         static const struct option long_options[] = {
157                 {"trace",     0, NULL, 't'},
158                 {"print",     0, NULL, 'p'},
159                 {"noexec",    0, NULL, 'n'},
160                 {"brackets",  0, NULL, 'b'},
161                 {"section",   1, NULL, 's'},
162                 {NULL,        0, NULL, 0},
163         };
164         const char *options = "tpnbs";
165         int main(int argc, char *argv[])
166         {
167                 int fd;
168                 int len;
169                 char *file;
170                 struct section *s, *ss;
171                 char *section = NULL;
172                 struct parse_context context = {
173                         .config = {
174                                 .ignored = (1 << TK_mark),
175                                 .number_chars = ".,_+- ",
176                                 .word_start = "_",
177                                 .word_cont = "_",
178                         },
179                 };
180                 int doprint=0, dotrace=0, doexec=1, brackets=0;
181                 int opt;
182                 while ((opt = getopt_long(argc, argv, options, long_options, NULL))
183                        != -1) {
184                         switch(opt) {
185                         case 't': dotrace=1; break;
186                         case 'p': doprint=1; break;
187                         case 'n': doexec=0; break;
188                         case 'b': brackets=1; break;
189                         case 's': section = optarg; break;
190                         default: fprintf(stderr, Usage);
191                                 exit(1);
192                         }
193                 }
194                 if (optind >= argc) {
195                         fprintf(stderr, "oceani: no input file given\n");
196                         exit(1);
197                 }
198                 fd = open(argv[optind], O_RDONLY);
199                 if (fd < 0) {
200                         fprintf(stderr, "oceani: cannot open %s\n", argv[optind]);
201                         exit(1);
202                 }
203                 context.file_name = argv[optind];
204                 len = lseek(fd, 0, 2);
205                 file = mmap(NULL, len, PROT_READ, MAP_SHARED, fd, 0);
206                 s = code_extract(file, file+len, NULL);
207                 if (!s) {
208                         fprintf(stderr, "oceani: could not find any code in %s\n",
209                                 argv[optind]);
210                         exit(1);
211                 }
212
213                 ## context initialization
214
215                 if (section) {
216                         for (ss = s; ss; ss = ss->next) {
217                                 struct text sec = ss->section;
218                                 if (sec.len == strlen(section) &&
219                                     strncmp(sec.txt, section, sec.len) == 0)
220                                         break;
221                         }
222                         if (!ss) {
223                                 fprintf(stderr, "oceani: cannot find section %s\n",
224                                         section);
225                                 exit(1);
226                         }
227                 } else
228                         ss = s;
229                 parse_oceani(ss->code, &context.config, dotrace ? stderr : NULL);
230
231                 if (!context.prog) {
232                         fprintf(stderr, "oceani: no program found.\n");
233                         context.parse_error = 1;
234                 }
235                 if (context.prog && doprint) {
236                         ## print const decls
237                         ## print type decls
238                         print_exec(context.prog, 0, brackets);
239                 }
240                 if (context.prog && doexec && !context.parse_error) {
241                         if (!analyse_prog(context.prog, &context)) {
242                                 fprintf(stderr, "oceani: type error in program - not running.\n");
243                                 exit(1);
244                         }
245                         interp_prog(context.prog, argv+optind+1);
246                 }
247                 free_exec(context.prog);
248
249                 while (s) {
250                         struct section *t = s->next;
251                         code_free(s->code);
252                         free(s);
253                         s = t;
254                 }
255                 ## free context vars
256                 ## free context types
257                 exit(context.parse_error ? 1 : 0);
258         }
259
260 ### Analysis
261
262 The four requirements of parse, analyse, print, interpret apply to
263 each language element individually so that is how most of the code
264 will be structured.
265
266 Three of the four are fairly self explanatory.  The one that requires
267 a little explanation is the analysis step.
268
269 The current language design does not require the types of variables to
270 be declared, but they must still have a single type.  Different
271 operations impose different requirements on the variables, for example
272 addition requires both arguments to be numeric, and assignment
273 requires the variable on the left to have the same type as the
274 expression on the right.
275
276 Analysis involves propagating these type requirements around and
277 consequently setting the type of each variable.  If any requirements
278 are violated (e.g. a string is compared with a number) or if a
279 variable needs to have two different types, then an error is raised
280 and the program will not run.
281
282 If the same variable is declared in both branchs of an 'if/else', or
283 in all cases of a 'switch' then the multiple instances may be merged
284 into just one variable if the variable is referenced after the
285 conditional statement.  When this happens, the types must naturally be
286 consistent across all the branches.  When the variable is not used
287 outside the if, the variables in the different branches are distinct
288 and can be of different types.
289
290 Undeclared names may only appear in "use" statements and "case" expressions.
291 These names are given a type of "label" and a unique value.
292 This allows them to fill the role of a name in an enumerated type, which
293 is useful for testing the `switch` statement.
294
295 As we will see, the condition part of a `while` statement can return
296 either a Boolean or some other type.  This requires that the expected
297 type that gets passed around comprises a type and a flag to indicate
298 that `Tbool` is also permitted.
299
300 As there are, as yet, no distinct types that are compatible, there
301 isn't much subtlety in the analysis.  When we have distinct number
302 types, this will become more interesting.
303
304 #### Error reporting
305
306 When analysis discovers an inconsistency it needs to report an error;
307 just refusing to run the code ensures that the error doesn't cascade,
308 but by itself it isn't very useful.  A clear understanding of the sort
309 of error message that are useful will help guide the process of
310 analysis.
311
312 At a simplistic level, the only sort of error that type analysis can
313 report is that the type of some construct doesn't match a contextual
314 requirement.  For example, in `4 + "hello"` the addition provides a
315 contextual requirement for numbers, but `"hello"` is not a number.  In
316 this particular example no further information is needed as the types
317 are obvious from local information.  When a variable is involved that
318 isn't the case.  It may be helpful to explain why the variable has a
319 particular type, by indicating the location where the type was set,
320 whether by declaration or usage.
321
322 Using a recursive-descent analysis we can easily detect a problem at
323 multiple locations. In "`hello:= "there"; 4 + hello`" the addition
324 will detect that one argument is not a number and the usage of `hello`
325 will detect that a number was wanted, but not provided.  In this
326 (early) version of the language, we will generate error reports at
327 multiple locations, so the use of `hello` will report an error and
328 explain were the value was set, and the addition will report an error
329 and say why numbers are needed.  To be able to report locations for
330 errors, each language element will need to record a file location
331 (line and column) and each variable will need to record the language
332 element where its type was set.  For now we will assume that each line
333 of an error message indicates one location in the file, and up to 2
334 types.  So we provide a `printf`-like function which takes a format, a
335 location (a `struct exec` which has not yet been introduced), and 2
336 types. "`%1`" reports the first type, "`%2`" reports the second.  We
337 will need a function to print the location, once we know how that is
338 stored. e As will be explained later, there are sometimes extra rules for
339 type matching and they might affect error messages, we need to pass those
340 in too.
341
342 As well as type errors, we sometimes need to report problems with
343 tokens, which might be unexpected or might name a type that has not
344 been defined.  For these we have `tok_err()` which reports an error
345 with a given token.  Each of the error functions sets the flag in the
346 context so indicate that parsing failed.
347
348 ###### forward decls
349
350         static void fput_loc(struct exec *loc, FILE *f);
351
352 ###### core functions
353
354         static void type_err(struct parse_context *c,
355                              char *fmt, struct exec *loc,
356                              struct type *t1, int rules, struct type *t2)
357         {
358                 fprintf(stderr, "%s:", c->file_name);
359                 fput_loc(loc, stderr);
360                 for (; *fmt ; fmt++) {
361                         if (*fmt != '%') {
362                                 fputc(*fmt, stderr);
363                                 continue;
364                         }
365                         fmt++;
366                         switch (*fmt) {
367                         case '%': fputc(*fmt, stderr); break;   // NOTEST
368                         default: fputc('?', stderr); break;     // NOTEST
369                         case '1':
370                                 type_print(t1, stderr);
371                                 break;
372                         case '2':
373                                 type_print(t2, stderr);
374                                 break;
375                         ## format cases
376                         }
377                 }
378                 fputs("\n", stderr);
379                 c->parse_error = 1;
380         }
381
382         static void tok_err(struct parse_context *c, char *fmt, struct token *t)
383         {
384                 fprintf(stderr, "%s:%d:%d: %s: %.*s\n", c->file_name, t->line, t->col, fmt,
385                         t->txt.len, t->txt.txt);
386                 c->parse_error = 1;
387         }
388
389 ## Entities: declared and predeclared.
390
391 There are various "things" that the language and/or the interpreter
392 needs to know about to parse and execute a program.  These include
393 types, variables, values, and executable code.  These are all lumped
394 together under the term "entities" (calling them "objects" would be
395 confusing) and introduced here.  The following section will present the
396 different specific code elements which comprise or manipulate these
397 various entities.
398
399 ### Types
400
401 Values come in a wide range of types, with more likely to be added.
402 Each type needs to be able to print its own values (for convenience at
403 least) as well as to compare two values, at least for equality and
404 possibly for order.  For now, values might need to be duplicated and
405 freed, though eventually such manipulations will be better integrated
406 into the language.
407
408 Rather than requiring every numeric type to support all numeric
409 operations (add, multiple, etc), we allow types to be able to present
410 as one of a few standard types: integer, float, and fraction.  The
411 existence of these conversion functions eventually enable types to
412 determine if they are compatible with other types, though such types
413 have not yet been implemented.
414
415 Named type are stored in a simple linked list.  Objects of each type are
416 "values" which are often passed around by value.
417
418 ###### ast
419
420         struct value {
421                 union {
422                         char ptr[1];
423                         ## value union fields
424                 };
425         };
426
427         struct type {
428                 struct text name;
429                 struct type *next;
430                 int size, align;
431                 void (*init)(struct type *type, struct value *val);
432                 void (*prepare_type)(struct type *type);
433                 void (*print)(struct type *type, struct value *val);
434                 void (*print_type)(struct type *type, FILE *f);
435                 int (*cmp_order)(struct type *t1, struct type *t2,
436                                  struct value *v1, struct value *v2);
437                 int (*cmp_eq)(struct type *t1, struct type *t2,
438                               struct value *v1, struct value *v2);
439                 void (*dup)(struct type *type, struct value *vold, struct value *vnew);
440                 void (*free)(struct type *type, struct value *val);
441                 void (*free_type)(struct type *t);
442                 long long (*to_int)(struct value *v);
443                 double (*to_float)(struct value *v);
444                 int (*to_mpq)(mpq_t *q, struct value *v);
445                 ## type functions
446                 union {
447                         ## type union fields
448                 };
449         };
450
451 ###### parse context
452
453         struct type *typelist;
454
455 ###### ast functions
456
457         static struct type *find_type(struct parse_context *c, struct text s)
458         {
459                 struct type *l = c->typelist;
460
461                 while (l &&
462                        text_cmp(l->name, s) != 0)
463                                 l = l->next;
464                 return l;
465         }
466
467         static struct type *add_type(struct parse_context *c, struct text s,
468                                      struct type *proto)
469         {
470                 struct type *n;
471
472                 n = calloc(1, sizeof(*n));
473                 *n = *proto;
474                 n->name = s;
475                 n->next = c->typelist;
476                 c->typelist = n;
477                 return n;
478         }
479
480         static void free_type(struct type *t)
481         {
482                 /* The type is always a reference to something in the
483                  * context, so we don't need to free anything.
484                  */
485         }
486
487         static void free_value(struct type *type, struct value *v)
488         {
489                 if (type && v)
490                         type->free(type, v);
491         }
492
493         static void type_print(struct type *type, FILE *f)
494         {
495                 if (!type)
496                         fputs("*unknown*type*", f);
497                 else if (type->name.len)
498                         fprintf(f, "%.*s", type->name.len, type->name.txt);
499                 else if (type->print_type)
500                         type->print_type(type, f);
501                 else
502                         fputs("*invalid*type*", f);     // NOTEST
503         }
504
505         static void val_init(struct type *type, struct value *val)
506         {
507                 if (type && type->init)
508                         type->init(type, val);
509         }
510
511         static void dup_value(struct type *type, 
512                               struct value *vold, struct value *vnew)
513         {
514                 if (type && type->dup)
515                         type->dup(type, vold, vnew);
516         }
517
518         static int value_cmp(struct type *tl, struct type *tr,
519                              struct value *left, struct value *right)
520         {
521                 if (tl && tl->cmp_order)
522                         return tl->cmp_order(tl, tr, left, right);
523                 if (tl && tl->cmp_eq)
524                         return tl->cmp_eq(tl, tr, left, right);
525                 return -1;
526         }
527
528         static void print_value(struct type *type, struct value *v)
529         {
530                 if (type && type->print)
531                         type->print(type, v);
532                 else
533                         printf("*Unknown*");            // NOTEST
534         }
535
536         static struct value *val_alloc(struct type *t, struct value *init)
537         {
538                 struct value *ret;
539
540                 if (t->prepare_type)
541                         t->prepare_type(t);
542
543                 ret = calloc(1, t->size);
544                 if (init)
545                         memcpy(ret, init, t->size);
546                 else
547                         val_init(t, ret);
548                 return ret;
549         }
550
551 ###### forward decls
552
553         static void free_value(struct type *type, struct value *v);
554         static int type_compat(struct type *require, struct type *have, int rules);
555         static void type_print(struct type *type, FILE *f);
556         static void val_init(struct type *type, struct value *v);
557         static void dup_value(struct type *type,
558                               struct value *vold, struct value *vnew);
559         static int value_cmp(struct type *tl, struct type *tr,
560                              struct value *left, struct value *right);
561         static void print_value(struct type *type, struct value *v);
562
563 ###### free context types
564
565         while (context.typelist) {
566                 struct type *t = context.typelist;
567
568                 context.typelist = t->next;
569                 if (t->free_type)
570                         t->free_type(t);
571                 free(t);
572         }
573
574 #### Base Types
575
576 Values of the base types can be numbers, which we represent as
577 multi-precision fractions, strings, Booleans and labels.  When
578 analysing the program we also need to allow for places where no value
579 is meaningful (type `Tnone`) and where we don't know what type to
580 expect yet (type is `NULL`).
581
582 Values are never shared, they are always copied when used, and freed
583 when no longer needed.
584
585 When propagating type information around the program, we need to
586 determine if two types are compatible, where type `NULL` is compatible
587 with anything.  There are two special cases with type compatibility,
588 both related to the Conditional Statement which will be described
589 later.  In some cases a Boolean can be accepted as well as some other
590 primary type, and in others any type is acceptable except a label (`Vlabel`).
591 A separate function encoding these cases will simplify some code later.
592
593 ## type functions
594
595         int (*compat)(struct type *this, struct type *other);
596
597 ## ast functions
598
599         static int type_compat(struct type *require, struct type *have, int rules)
600         {
601                 if ((rules & Rboolok) && have == Tbool)
602                         return 1;
603                 if ((rules & Rnolabel) && have == Tlabel)
604                         return 0;
605                 if (!require || !have)
606                         return 1;
607
608                 if (require->compat)
609                         return require->compat(require, have);
610
611                 return require == have;
612         }
613
614 ###### includes
615         #include <gmp.h>
616         #include "parse_string.h"
617         #include "parse_number.h"
618
619 ###### libs
620         myLDLIBS := libnumber.o libstring.o -lgmp
621         LDLIBS := $(filter-out $(myLDLIBS),$(LDLIBS)) $(myLDLIBS)
622
623 ###### type union fields
624         enum vtype {Vnone, Vstr, Vnum, Vbool, Vlabel} vtype;
625
626 ###### value union fields
627         struct text str;
628         mpq_t num;
629         unsigned char bool;
630         void *label;
631
632 ###### ast functions
633         static void _free_value(struct type *type, struct value *v)
634         {
635                 if (!v)
636                         return;
637                 switch (type->vtype) {
638                 case Vnone: break;
639                 case Vstr: free(v->str.txt); break;
640                 case Vnum: mpq_clear(v->num); break;
641                 case Vlabel:
642                 case Vbool: break;
643                 }
644         }
645
646 ###### value functions
647
648         static void _val_init(struct type *type, struct value *val)
649         {
650                 switch(type->vtype) {
651                 case Vnone:             // NOTEST
652                         break;          // NOTEST
653                 case Vnum:
654                         mpq_init(val->num); break;
655                 case Vstr:
656                         val->str.txt = malloc(1);
657                         val->str.len = 0;
658                         break;
659                 case Vbool:
660                         val->bool = 0;
661                         break;
662                 case Vlabel:                    // NOTEST
663                         val->label = NULL;      // NOTEST
664                         break;                  // NOTEST
665                 }
666         }
667
668         static void _dup_value(struct type *type, 
669                                struct value *vold, struct value *vnew)
670         {
671                 switch (type->vtype) {
672                 case Vnone:             // NOTEST
673                         break;          // NOTEST
674                 case Vlabel:
675                         vnew->label = vold->label;
676                         break;
677                 case Vbool:
678                         vnew->bool = vold->bool;
679                         break;
680                 case Vnum:
681                         mpq_init(vnew->num);
682                         mpq_set(vnew->num, vold->num);
683                         break;
684                 case Vstr:
685                         vnew->str.len = vold->str.len;
686                         vnew->str.txt = malloc(vnew->str.len);
687                         memcpy(vnew->str.txt, vold->str.txt, vnew->str.len);
688                         break;
689                 }
690         }
691
692         static int _value_cmp(struct type *tl, struct type *tr,
693                               struct value *left, struct value *right)
694         {
695                 int cmp;
696                 if (tl != tr)
697                         return tl - tr; // NOTEST
698                 switch (tl->vtype) {
699                 case Vlabel: cmp = left->label == right->label ? 0 : 1; break;
700                 case Vnum: cmp = mpq_cmp(left->num, right->num); break;
701                 case Vstr: cmp = text_cmp(left->str, right->str); break;
702                 case Vbool: cmp = left->bool - right->bool; break;
703                 case Vnone: cmp = 0;                    // NOTEST
704                 }
705                 return cmp;
706         }
707
708         static void _print_value(struct type *type, struct value *v)
709         {
710                 switch (type->vtype) {
711                 case Vnone:                             // NOTEST
712                         printf("*no-value*"); break;    // NOTEST
713                 case Vlabel:                            // NOTEST
714                         printf("*label-%p*", v->label); break; // NOTEST
715                 case Vstr:
716                         printf("%.*s", v->str.len, v->str.txt); break;
717                 case Vbool:
718                         printf("%s", v->bool ? "True":"False"); break;
719                 case Vnum:
720                         {
721                         mpf_t fl;
722                         mpf_init2(fl, 20);
723                         mpf_set_q(fl, v->num);
724                         gmp_printf("%Fg", fl);
725                         mpf_clear(fl);
726                         break;
727                         }
728                 }
729         }
730
731         static void _free_value(struct type *type, struct value *v);
732
733         static struct type base_prototype = {
734                 .init = _val_init,
735                 .print = _print_value,
736                 .cmp_order = _value_cmp,
737                 .cmp_eq = _value_cmp,
738                 .dup = _dup_value,
739                 .free = _free_value,
740         };
741
742         static struct type *Tbool, *Tstr, *Tnum, *Tnone, *Tlabel;
743
744 ###### ast functions
745         static struct type *add_base_type(struct parse_context *c, char *n,
746                                           enum vtype vt, int size)
747         {
748                 struct text txt = { n, strlen(n) };
749                 struct type *t;
750
751                 t = add_type(c, txt, &base_prototype);
752                 t->vtype = vt;
753                 t->size = size;
754                 t->align = size > sizeof(void*) ? sizeof(void*) : size;
755                 if (t->size & (t->align - 1))
756                         t->size = (t->size | (t->align - 1)) + 1;
757                 return t;
758         }
759
760 ###### context initialization
761
762         Tbool  = add_base_type(&context, "Boolean", Vbool, sizeof(char));
763         Tstr   = add_base_type(&context, "string", Vstr, sizeof(struct text));
764         Tnum   = add_base_type(&context, "number", Vnum, sizeof(mpq_t));
765         Tnone  = add_base_type(&context, "none", Vnone, 0);
766         Tlabel = add_base_type(&context, "label", Vlabel, sizeof(void*));
767
768 ### Variables
769
770 Variables are scoped named values.  We store the names in a linked list
771 of "bindings" sorted in lexical order, and use sequential search and
772 insertion sort.
773
774 ###### ast
775
776         struct binding {
777                 struct text name;
778                 struct binding *next;   // in lexical order
779                 ## binding fields
780         };
781
782 This linked list is stored in the parse context so that "reduce"
783 functions can find or add variables, and so the analysis phase can
784 ensure that every variable gets a type.
785
786 ###### parse context
787
788         struct binding *varlist;  // In lexical order
789
790 ###### ast functions
791
792         static struct binding *find_binding(struct parse_context *c, struct text s)
793         {
794                 struct binding **l = &c->varlist;
795                 struct binding *n;
796                 int cmp = 1;
797
798                 while (*l &&
799                         (cmp = text_cmp((*l)->name, s)) < 0)
800                                 l = & (*l)->next;
801                 if (cmp == 0)
802                         return *l;
803                 n = calloc(1, sizeof(*n));
804                 n->name = s;
805                 n->next = *l;
806                 *l = n;
807                 return n;
808         }
809
810 Each name can be linked to multiple variables defined in different
811 scopes.  Each scope starts where the name is declared and continues
812 until the end of the containing code block.  Scopes of a given name
813 cannot nest, so a declaration while a name is in-scope is an error.
814
815 ###### binding fields
816         struct variable *var;
817
818 ###### ast
819         struct variable {
820                 struct variable *previous;
821                 struct type *type;
822                 struct value *val;
823                 struct binding *name;
824                 struct exec *where_decl;// where name was declared
825                 struct exec *where_set; // where type was set
826                 ## variable fields
827         };
828
829 While the naming seems strange, we include local constants in the
830 definition of variables.  A name declared `var := value` can
831 subsequently be changed, but a name declared `var ::= value` cannot -
832 it is constant
833
834 ###### variable fields
835         int constant;
836
837 Scopes in parallel branches can be partially merged.  More
838 specifically, if a given name is declared in both branches of an
839 if/else then its scope is a candidate for merging.  Similarly if
840 every branch of an exhaustive switch (e.g. has an "else" clause)
841 declares a given name, then the scopes from the branches are
842 candidates for merging.
843
844 Note that names declared inside a loop (which is only parallel to
845 itself) are never visible after the loop.  Similarly names defined in
846 scopes which are not parallel, such as those started by `for` and
847 `switch`, are never visible after the scope.  Only variables defined in
848 both `then` and `else` (including the implicit then after an `if`, and
849 excluding `then` used with `for`) and in all `case`s and `else` of a
850 `switch` or `while` can be visible beyond the `if`/`switch`/`while`.
851
852 Labels, which are a bit like variables, follow different rules.
853 Labels are not explicitly declared, but if an undeclared name appears
854 in a context where a label is legal, that effectively declares the
855 name as a label.  The declaration remains in force (or in scope) at
856 least to the end of the immediately containing block and conditionally
857 in any larger containing block which does not declare the name in some
858 other way.  Importantly, the conditional scope extension happens even
859 if the label is only used in one parallel branch of a conditional --
860 when used in one branch it is treated as having been declared in all
861 branches.
862
863 Merge candidates are tentatively visible beyond the end of the
864 branching statement which creates them.  If the name is used, the
865 merge is affirmed and they become a single variable visible at the
866 outer layer.  If not - if it is redeclared first - the merge lapses.
867
868 To track scopes we have an extra stack, implemented as a linked list,
869 which roughly parallels the parse stack and which is used exclusively
870 for scoping.  When a new scope is opened, a new frame is pushed and
871 the child-count of the parent frame is incremented.  This child-count
872 is used to distinguish between the first of a set of parallel scopes,
873 in which declared variables must not be in scope, and subsequent
874 branches, whether they may already be conditionally scoped.
875
876 To push a new frame *before* any code in the frame is parsed, we need a
877 grammar reduction.  This is most easily achieved with a grammar
878 element which derives the empty string, and creates the new scope when
879 it is recognised.  This can be placed, for example, between a keyword
880 like "if" and the code following it.
881
882 ###### ast
883         struct scope {
884                 struct scope *parent;
885                 int child_count;
886         };
887
888 ###### parse context
889         int scope_depth;
890         struct scope *scope_stack;
891
892 ###### ast functions
893         static void scope_pop(struct parse_context *c)
894         {
895                 struct scope *s = c->scope_stack;
896
897                 c->scope_stack = s->parent;
898                 free(s);
899                 c->scope_depth -= 1;
900         }
901
902         static void scope_push(struct parse_context *c)
903         {
904                 struct scope *s = calloc(1, sizeof(*s));
905                 if (c->scope_stack)
906                         c->scope_stack->child_count += 1;
907                 s->parent = c->scope_stack;
908                 c->scope_stack = s;
909                 c->scope_depth += 1;
910         }
911
912 ###### Grammar
913
914         $void
915         OpenScope -> ${ scope_push(c); }$
916         ClosePara -> ${ var_block_close(c, CloseParallel); }$
917
918 Each variable records a scope depth and is in one of four states:
919
920 - "in scope".  This is the case between the declaration of the
921   variable and the end of the containing block, and also between
922   the usage with affirms a merge and the end of that block.
923
924   The scope depth is not greater than the current parse context scope
925   nest depth.  When the block of that depth closes, the state will
926   change.  To achieve this, all "in scope" variables are linked
927   together as a stack in nesting order.
928
929 - "pending".  The "in scope" block has closed, but other parallel
930   scopes are still being processed.  So far, every parallel block at
931   the same level that has closed has declared the name.
932
933   The scope depth is the depth of the last parallel block that
934   enclosed the declaration, and that has closed.
935
936 - "conditionally in scope".  The "in scope" block and all parallel
937   scopes have closed, and no further mention of the name has been
938   seen.  This state includes a secondary nest depth which records the
939   outermost scope seen since the variable became conditionally in
940   scope.  If a use of the name is found, the variable becomes "in
941   scope" and that secondary depth becomes the recorded scope depth.
942   If the name is declared as a new variable, the old variable becomes
943   "out of scope" and the recorded scope depth stays unchanged.
944
945 - "out of scope".  The variable is neither in scope nor conditionally
946   in scope.  It is permanently out of scope now and can be removed from
947   the "in scope" stack.
948
949 ###### variable fields
950         int depth, min_depth;
951         enum { OutScope, PendingScope, CondScope, InScope } scope;
952         struct variable *in_scope;
953
954 ###### parse context
955
956         struct variable *in_scope;
957
958 All variables with the same name are linked together using the
959 'previous' link.  Those variable that have been affirmatively merged all
960 have a 'merged' pointer that points to one primary variable - the most
961 recently declared instance.  When merging variables, we need to also
962 adjust the 'merged' pointer on any other variables that had previously
963 been merged with the one that will no longer be primary.
964
965 A variable that is no longer the most recent instance of a name may
966 still have "pending" scope, if it might still be merged with most
967 recent instance.  These variables don't really belong in the
968 "in_scope" list, but are not immediately removed when a new instance
969 is found.  Instead, they are detected and ignored when considering the
970 list of in_scope names.
971
972 ###### variable fields
973         struct variable *merged;
974
975 ###### ast functions
976
977         static void variable_merge(struct variable *primary, struct variable *secondary)
978         {
979                 struct variable *v;
980
981                 if (primary->merged)
982                         // shouldn't happen
983                         primary = primary->merged;
984
985                 for (v = primary->previous; v; v=v->previous)
986                         if (v == secondary || v == secondary->merged ||
987                             v->merged == secondary ||
988                             (v->merged && v->merged == secondary->merged)) {
989                                 v->scope = OutScope;
990                                 v->merged = primary;
991                         }
992         }
993
994 ###### free context vars
995
996         while (context.varlist) {
997                 struct binding *b = context.varlist;
998                 struct variable *v = b->var;
999                 context.varlist = b->next;
1000                 free(b);
1001                 while (v) {
1002                         struct variable *t = v;
1003
1004                         v = t->previous;
1005                         free_value(t->type, t->val);
1006                         free(t->val);
1007                         if (t->depth == 0)
1008                                 // This is a global constant
1009                                 free_exec(t->where_decl);
1010                         free(t);
1011                 }
1012         }
1013
1014 #### Manipulating Bindings
1015
1016 When a name is conditionally visible, a new declaration discards the
1017 old binding - the condition lapses.  Conversely a usage of the name
1018 affirms the visibility and extends it to the end of the containing
1019 block - i.e. the block that contains both the original declaration and
1020 the latest usage.  This is determined from `min_depth`.  When a
1021 conditionally visible variable gets affirmed like this, it is also
1022 merged with other conditionally visible variables with the same name.
1023
1024 When we parse a variable declaration we either report an error if the
1025 name is currently bound, or create a new variable at the current nest
1026 depth if the name is unbound or bound to a conditionally scoped or
1027 pending-scope variable.  If the previous variable was conditionally
1028 scoped, it and its homonyms becomes out-of-scope.
1029
1030 When we parse a variable reference (including non-declarative assignment
1031 "foo = bar") we report an error if the name is not bound or is bound to
1032 a pending-scope variable; update the scope if the name is bound to a
1033 conditionally scoped variable; or just proceed normally if the named
1034 variable is in scope.
1035
1036 When we exit a scope, any variables bound at this level are either
1037 marked out of scope or pending-scoped, depending on whether the scope
1038 was sequential or parallel.  Here a "parallel" scope means the "then"
1039 or "else" part of a conditional, or any "case" or "else" branch of a
1040 switch.  Other scopes are "sequential".
1041
1042 When exiting a parallel scope we check if there are any variables that
1043 were previously pending and are still visible. If there are, then
1044 there weren't redeclared in the most recent scope, so they cannot be
1045 merged and must become out-of-scope.  If it is not the first of
1046 parallel scopes (based on `child_count`), we check that there was a
1047 previous binding that is still pending-scope.  If there isn't, the new
1048 variable must now be out-of-scope.
1049
1050 When exiting a sequential scope that immediately enclosed parallel
1051 scopes, we need to resolve any pending-scope variables.  If there was
1052 no `else` clause, and we cannot determine that the `switch` was exhaustive,
1053 we need to mark all pending-scope variable as out-of-scope.  Otherwise
1054 all pending-scope variables become conditionally scoped.
1055
1056 ###### ast
1057         enum closetype { CloseSequential, CloseParallel, CloseElse };
1058
1059 ###### ast functions
1060
1061         static struct variable *var_decl(struct parse_context *c, struct text s)
1062         {
1063                 struct binding *b = find_binding(c, s);
1064                 struct variable *v = b->var;
1065
1066                 switch (v ? v->scope : OutScope) {
1067                 case InScope:
1068                         /* Caller will report the error */
1069                         return NULL;
1070                 case CondScope:
1071                         for (;
1072                              v && v->scope == CondScope;
1073                              v = v->previous)
1074                                 v->scope = OutScope;
1075                         break;
1076                 default: break;
1077                 }
1078                 v = calloc(1, sizeof(*v));
1079                 v->previous = b->var;
1080                 b->var = v;
1081                 v->name = b;
1082                 v->min_depth = v->depth = c->scope_depth;
1083                 v->scope = InScope;
1084                 v->in_scope = c->in_scope;
1085                 c->in_scope = v;
1086                 v->val = NULL;
1087                 return v;
1088         }
1089
1090         static struct variable *var_ref(struct parse_context *c, struct text s)
1091         {
1092                 struct binding *b = find_binding(c, s);
1093                 struct variable *v = b->var;
1094                 struct variable *v2;
1095
1096                 switch (v ? v->scope : OutScope) {
1097                 case OutScope:
1098                 case PendingScope:
1099                         /* Caller will report the error */
1100                         return NULL;
1101                 case CondScope:
1102                         /* All CondScope variables of this name need to be merged
1103                          * and become InScope
1104                          */
1105                         v->depth = v->min_depth;
1106                         v->scope = InScope;
1107                         for (v2 = v->previous;
1108                              v2 && v2->scope == CondScope;
1109                              v2 = v2->previous)
1110                                 variable_merge(v, v2);
1111                         break;
1112                 case InScope:
1113                         break;
1114                 }
1115                 return v;
1116         }
1117
1118         static void var_block_close(struct parse_context *c, enum closetype ct)
1119         {
1120                 /* Close off all variables that are in_scope */
1121                 struct variable *v, **vp, *v2;
1122
1123                 scope_pop(c);
1124                 for (vp = &c->in_scope;
1125                      v = *vp, v && v->depth > c->scope_depth && v->min_depth > c->scope_depth;
1126                      ) {
1127                         if (v->name->var == v) switch (ct) {
1128                         case CloseElse:
1129                         case CloseParallel: /* handle PendingScope */
1130                                 switch(v->scope) {
1131                                 case InScope:
1132                                 case CondScope:
1133                                         if (c->scope_stack->child_count == 1)
1134                                                 v->scope = PendingScope;
1135                                         else if (v->previous &&
1136                                                  v->previous->scope == PendingScope)
1137                                                 v->scope = PendingScope;
1138                                         else if (v->type == Tlabel)
1139                                                 v->scope = PendingScope;
1140                                         else if (v->name->var == v)
1141                                                 v->scope = OutScope;
1142                                         if (ct == CloseElse) {
1143                                                 /* All Pending variables with this name
1144                                                  * are now Conditional */
1145                                                 for (v2 = v;
1146                                                      v2 && v2->scope == PendingScope;
1147                                                      v2 = v2->previous)
1148                                                         v2->scope = CondScope;
1149                                         }
1150                                         break;
1151                                 case PendingScope:
1152                                         for (v2 = v;
1153                                              v2 && v2->scope == PendingScope;
1154                                              v2 = v2->previous)
1155                                                 if (v2->type != Tlabel)
1156                                                         v2->scope = OutScope;
1157                                         break;
1158                                 case OutScope: break;
1159                                 }
1160                                 break;
1161                         case CloseSequential:
1162                                 if (v->type == Tlabel)
1163                                         v->scope = PendingScope;
1164                                 switch (v->scope) {
1165                                 case InScope:
1166                                         v->scope = OutScope;
1167                                         break;
1168                                 case PendingScope:
1169                                         /* There was no 'else', so we can only become
1170                                          * conditional if we know the cases were exhaustive,
1171                                          * and that doesn't mean anything yet.
1172                                          * So only labels become conditional..
1173                                          */
1174                                         for (v2 = v;
1175                                              v2 && v2->scope == PendingScope;
1176                                              v2 = v2->previous)
1177                                                 if (v2->type == Tlabel) {
1178                                                         v2->scope = CondScope;
1179                                                         v2->min_depth = c->scope_depth;
1180                                                 } else
1181                                                         v2->scope = OutScope;
1182                                         break;
1183                                 case CondScope:
1184                                 case OutScope: break;
1185                                 }
1186                                 break;
1187                         }
1188                         if (v->scope == OutScope || v->name->var != v)
1189                                 *vp = v->in_scope;
1190                         else
1191                                 vp = &v->in_scope;
1192                 }
1193         }
1194
1195 ### Executables
1196
1197 Executables can be lots of different things.  In many cases an
1198 executable is just an operation combined with one or two other
1199 executables.  This allows for expressions and lists etc.  Other times an
1200 executable is something quite specific like a constant or variable name.
1201 So we define a `struct exec` to be a general executable with a type, and
1202 a `struct binode` which is a subclass of `exec`, forms a node in a
1203 binary tree, and holds an operation.  There will be other subclasses,
1204 and to access these we need to be able to `cast` the `exec` into the
1205 various other types.  The first field in any `struct exec` is the type
1206 from the `exec_types` enum.
1207
1208 ###### macros
1209         #define cast(structname, pointer) ({            \
1210                 const typeof( ((struct structname *)0)->type) *__mptr = &(pointer)->type; \
1211                 if (__mptr && *__mptr != X##structname) abort();                \
1212                 (struct structname *)( (char *)__mptr);})
1213
1214         #define new(structname) ({                                              \
1215                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
1216                 __ptr->type = X##structname;                                            \
1217                 __ptr->line = -1; __ptr->column = -1;                                   \
1218                 __ptr;})
1219
1220         #define new_pos(structname, token) ({                                           \
1221                 struct structname *__ptr = ((struct structname *)calloc(1,sizeof(struct structname))); \
1222                 __ptr->type = X##structname;                                            \
1223                 __ptr->line = token.line; __ptr->column = token.col;                    \
1224                 __ptr;})
1225
1226 ###### ast
1227         enum exec_types {
1228                 Xbinode,
1229                 ## exec type
1230         };
1231         struct exec {
1232                 enum exec_types type;
1233                 int line, column;
1234         };
1235         struct binode {
1236                 struct exec;
1237                 enum Btype {
1238                         ## Binode types
1239                 } op;
1240                 struct exec *left, *right;
1241         };
1242
1243 ###### ast functions
1244
1245         static int __fput_loc(struct exec *loc, FILE *f)
1246         {
1247                 if (!loc)
1248                         return 0;               // NOTEST
1249                 if (loc->line >= 0) {
1250                         fprintf(f, "%d:%d: ", loc->line, loc->column);
1251                         return 1;
1252                 }
1253                 if (loc->type == Xbinode)
1254                         return __fput_loc(cast(binode,loc)->left, f) ||
1255                                __fput_loc(cast(binode,loc)->right, f);
1256                 return 0;
1257         }
1258         static void fput_loc(struct exec *loc, FILE *f)
1259         {
1260                 if (!__fput_loc(loc, f))
1261                         fprintf(f, "??:??: ");  // NOTEST
1262         }
1263
1264 Each different type of `exec` node needs a number of functions defined,
1265 a bit like methods.  We must be able to free it, print it, analyse it
1266 and execute it.  Once we have specific `exec` types we will need to
1267 parse them too.  Let's take this a bit more slowly.
1268
1269 #### Freeing
1270
1271 The parser generator requires a `free_foo` function for each struct
1272 that stores attributes and they will often be `exec`s and subtypes
1273 there-of.  So we need `free_exec` which can handle all the subtypes,
1274 and we need `free_binode`.
1275
1276 ###### ast functions
1277
1278         static void free_binode(struct binode *b)
1279         {
1280                 if (!b)
1281                         return;
1282                 free_exec(b->left);
1283                 free_exec(b->right);
1284                 free(b);
1285         }
1286
1287 ###### core functions
1288         static void free_exec(struct exec *e)
1289         {
1290                 if (!e)
1291                         return;
1292                 switch(e->type) {
1293                         ## free exec cases
1294                 }
1295         }
1296
1297 ###### forward decls
1298
1299         static void free_exec(struct exec *e);
1300
1301 ###### free exec cases
1302         case Xbinode: free_binode(cast(binode, e)); break;
1303
1304 #### Printing
1305
1306 Printing an `exec` requires that we know the current indent level for
1307 printing line-oriented components.  As will become clear later, we
1308 also want to know what sort of bracketing to use.
1309
1310 ###### ast functions
1311
1312         static void do_indent(int i, char *str)
1313         {
1314                 while (i--)
1315                         printf("    ");
1316                 printf("%s", str);
1317         }
1318
1319 ###### core functions
1320         static void print_binode(struct binode *b, int indent, int bracket)
1321         {
1322                 struct binode *b2;
1323                 switch(b->op) {
1324                 ## print binode cases
1325                 }
1326         }
1327
1328         static void print_exec(struct exec *e, int indent, int bracket)
1329         {
1330                 if (!e)
1331                         return;         // NOTEST
1332                 switch (e->type) {
1333                 case Xbinode:
1334                         print_binode(cast(binode, e), indent, bracket); break;
1335                 ## print exec cases
1336                 }
1337         }
1338
1339 ###### forward decls
1340
1341         static void print_exec(struct exec *e, int indent, int bracket);
1342
1343 #### Analysing
1344
1345 As discussed, analysis involves propagating type requirements around the
1346 program and looking for errors.
1347
1348 So `propagate_types` is passed an expected type (being a `struct type`
1349 pointer together with some `val_rules` flags) that the `exec` is
1350 expected to return, and returns the type that it does return, either
1351 of which can be `NULL` signifying "unknown".  An `ok` flag is passed
1352 by reference. It is set to `0` when an error is found, and `2` when
1353 any change is made.  If it remains unchanged at `1`, then no more
1354 propagation is needed.
1355
1356 ###### ast
1357
1358         enum val_rules {Rnolabel = 1<<0, Rboolok = 1<<1, Rnoconstant = 2<<1};
1359
1360 ###### format cases
1361         case 'r':
1362                 if (rules & Rnolabel)
1363                         fputs(" (labels not permitted)", stderr);
1364                 break;
1365
1366 ###### core functions
1367
1368         static struct type *propagate_types(struct exec *prog, struct parse_context *c, int *ok,
1369                                             struct type *type, int rules);
1370         static struct type *__propagate_types(struct exec *prog, struct parse_context *c, int *ok,
1371                                               struct type *type, int rules)
1372         {
1373                 struct type *t;
1374
1375                 if (!prog)
1376                         return Tnone;
1377
1378                 switch (prog->type) {
1379                 case Xbinode:
1380                 {
1381                         struct binode *b = cast(binode, prog);
1382                         switch (b->op) {
1383                         ## propagate binode cases
1384                         }
1385                         break;
1386                 }
1387                 ## propagate exec cases
1388                 }
1389                 return Tnone;
1390         }
1391
1392         static struct type *propagate_types(struct exec *prog, struct parse_context *c, int *ok,
1393                                             struct type *type, int rules)
1394         {
1395                 struct type *ret = __propagate_types(prog, c, ok, type, rules);
1396
1397                 if (c->parse_error)
1398                         *ok = 0;
1399                 return ret;
1400         }
1401
1402 #### Interpreting
1403
1404 Interpreting an `exec` doesn't require anything but the `exec`.  State
1405 is stored in variables and each variable will be directly linked from
1406 within the `exec` tree.  The exception to this is the whole `program`
1407 which needs to look at command line arguments.  The `program` will be
1408 interpreted separately.
1409
1410 Each `exec` can return a value combined with a type in `struct lrval`.
1411 The type may be `Tnone` but must be non-NULL.  Some `exec`s will return
1412 the location of a value, which can be updated, in `lval`.  Others will
1413 set `lval` to NULL indicating that there is a value of appropriate type
1414 in `rval`.
1415
1416
1417 ###### core functions
1418
1419         struct lrval {
1420                 struct type *type;
1421                 struct value rval, *lval;
1422         };
1423
1424         static struct lrval _interp_exec(struct exec *e);
1425
1426         static struct value interp_exec(struct exec *e, struct type **typeret)
1427         {
1428                 struct lrval ret = _interp_exec(e);
1429
1430                 if (!ret.type) abort();
1431                 if (typeret)
1432                         *typeret = ret.type;
1433                 if (ret.lval)
1434                         dup_value(ret.type, ret.lval, &ret.rval);
1435                 return ret.rval;
1436         }
1437
1438         static struct value *linterp_exec(struct exec *e, struct type **typeret)
1439         {
1440                 struct lrval ret = _interp_exec(e);
1441
1442                 if (ret.lval)
1443                         *typeret = ret.type;
1444                 else
1445                         free_value(ret.type, &ret.rval);
1446                 return ret.lval;
1447         }
1448
1449         static struct lrval _interp_exec(struct exec *e)
1450         {
1451                 struct lrval ret;
1452                 struct value rv = {}, *lrv = NULL;
1453                 struct type *rvtype;
1454
1455                 rvtype = ret.type = Tnone;
1456                 if (!e) {
1457                         ret.lval = lrv;
1458                         ret.rval = rv;
1459                         return ret;
1460                 }
1461
1462                 switch(e->type) {
1463                 case Xbinode:
1464                 {
1465                         struct binode *b = cast(binode, e);
1466                         struct value left, right, *lleft;
1467                         struct type *ltype, *rtype;
1468                         ltype = rtype = Tnone;
1469                         switch (b->op) {
1470                         ## interp binode cases
1471                         }
1472                         free_value(ltype, &left);
1473                         free_value(rtype, &right);
1474                         break;
1475                 }
1476                 ## interp exec cases
1477                 }
1478                 ret.lval = lrv;
1479                 ret.rval = rv;
1480                 ret.type = rvtype;
1481                 return ret;
1482         }
1483
1484 ### Complex types
1485
1486 Now that we have the shape of the interpreter in place we can add some
1487 complex types and connected them in to the data structures and the
1488 different phases of parse, analyse, print, interpret.
1489
1490 Thus far we have arrays and structs.
1491
1492 #### Arrays
1493
1494 Arrays can be declared by giving a size and a type, as `[size]type' so
1495 `freq:[26]number` declares `freq` to be an array of 26 numbers.  The
1496 size can be either a literal number, or a named constant.  Some day an
1497 arbitrary expression will be supported.
1498
1499 Arrays cannot be assigned.  When pointers are introduced we will also
1500 introduce array slices which can refer to part or all of an array -
1501 the assignment syntax will create a slice.  For now, an array can only
1502 ever be referenced by the name it is declared with.  It is likely that
1503 a "`copy`" primitive will eventually be define which can be used to
1504 make a copy of an array with controllable recursive depth.
1505
1506 ###### type union fields
1507
1508         struct {
1509                 int size;
1510                 struct variable *vsize;
1511                 struct type *member;
1512         } array;
1513
1514 ###### value functions
1515
1516         static void array_prepare_type(struct type *type)
1517         {
1518                 mpz_t q;
1519                 if (!type->array.vsize)
1520                         return;
1521
1522                 mpz_init(q);
1523                 mpz_tdiv_q(q, mpq_numref(type->array.vsize->val->num),
1524                            mpq_denref(type->array.vsize->val->num));
1525                 type->array.size = mpz_get_si(q);
1526                 mpz_clear(q);
1527
1528                 type->size = type->array.size * type->array.member->size;
1529                 type->align = type->array.member->align;
1530         }
1531
1532         static void array_init(struct type *type, struct value *val)
1533         {
1534                 int i;
1535
1536                 if (!val)
1537                         return;         
1538                 for (i = 0; i < type->array.size; i++) {
1539                         struct value *v;
1540                         v = (void*)val->ptr + i * type->array.member->size;
1541                         val_init(type->array.member, v);
1542                 }
1543         }
1544
1545         static void array_free(struct type *type, struct value *val)
1546         {
1547                 int i;
1548
1549                 for (i = 0; i < type->array.size; i++) {
1550                         struct value *v;
1551                         v = (void*)val->ptr + i * type->array.member->size;
1552                         free_value(type->array.member, v);
1553                 }
1554         }
1555
1556         static int array_compat(struct type *require, struct type *have)
1557         {
1558                 if (have->compat != require->compat)
1559                         return 0;
1560                 /* Both are arrays, so we can look at details */
1561                 if (!type_compat(require->array.member, have->array.member, 0))
1562                         return 0;
1563                 if (require->array.vsize == NULL && have->array.vsize == NULL)
1564                         return require->array.size == have->array.size;
1565
1566                 return require->array.vsize == have->array.vsize;
1567         }
1568
1569         static void array_print_type(struct type *type, FILE *f)
1570         {
1571                 fputs("[", f);
1572                 if (type->array.vsize) {
1573                         struct binding *b = type->array.vsize->name;
1574                         fprintf(f, "%.*s]", b->name.len, b->name.txt);
1575                 } else
1576                         fprintf(f, "%d]", type->array.size);
1577                 type_print(type->array.member, f);
1578         }
1579
1580         static struct type array_prototype = {
1581                 .init = array_init,
1582                 .prepare_type = array_prepare_type,
1583                 .print_type = array_print_type,
1584                 .compat = array_compat,
1585                 .free = array_free,
1586         };
1587
1588 ###### declare terminals
1589         $TERM [ ]
1590
1591 ###### type grammar
1592
1593         | [ NUMBER ] Type ${ {
1594                 char tail[3];
1595                 mpq_t num;
1596                 struct text noname = { "", 0 };
1597                 struct type *t;
1598
1599                 $0 = t = add_type(c, noname, &array_prototype);
1600                 t->array.member = $<4;
1601                 t->array.vsize = NULL;
1602                 if (number_parse(num, tail, $2.txt) == 0)
1603                         tok_err(c, "error: unrecognised number", &$2);
1604                 else if (tail[0])
1605                         tok_err(c, "error: unsupported number suffix", &$2);
1606                 else {
1607                         t->array.size = mpz_get_ui(mpq_numref(num));
1608                         if (mpz_cmp_ui(mpq_denref(num), 1) != 0) {
1609                                 tok_err(c, "error: array size must be an integer",
1610                                         &$2);
1611                         } else if (mpz_cmp_ui(mpq_numref(num), 1UL << 30) >= 0)
1612                                 tok_err(c, "error: array size is too large",
1613                                         &$2);
1614                         mpq_clear(num);
1615                 }
1616                 t->size = t->array.size * t->array.member->size;
1617                 t->align = t->array.member->align;
1618         } }$
1619
1620         | [ IDENTIFIER ] Type ${ {
1621                 struct variable *v = var_ref(c, $2.txt);
1622                 struct text noname = { "", 0 };
1623
1624                 if (!v)
1625                         tok_err(c, "error: name undeclared", &$2);
1626                 else if (!v->constant)
1627                         tok_err(c, "error: array size must be a constant", &$2);
1628
1629                 $0 = add_type(c, noname, &array_prototype);
1630                 $0->array.member = $<4;
1631                 $0->array.size = 0;
1632                 $0->array.vsize = v;
1633         } }$
1634
1635 ###### Binode types
1636         Index,
1637
1638 ###### variable grammar
1639
1640         | Variable [ Expression ] ${ {
1641                 struct binode *b = new(binode);
1642                 b->op = Index;
1643                 b->left = $<1;
1644                 b->right = $<3;
1645                 $0 = b;
1646         } }$
1647
1648 ###### print binode cases
1649         case Index:
1650                 print_exec(b->left, -1, bracket);
1651                 printf("[");
1652                 print_exec(b->right, -1, bracket);
1653                 printf("]");
1654                 break;
1655
1656 ###### propagate binode cases
1657         case Index:
1658                 /* left must be an array, right must be a number,
1659                  * result is the member type of the array
1660                  */
1661                 propagate_types(b->right, c, ok, Tnum, 0);
1662                 t = propagate_types(b->left, c, ok, NULL, rules & Rnoconstant);
1663                 if (!t || t->compat != array_compat) {
1664                         type_err(c, "error: %1 cannot be indexed", prog, t, 0, NULL);
1665                         return NULL;
1666                 } else {
1667                         if (!type_compat(type, t->array.member, rules)) {
1668                                 type_err(c, "error: have %1 but need %2", prog,
1669                                          t->array.member, rules, type);
1670                         }
1671                         return t->array.member;
1672                 }
1673                 break;
1674
1675 ###### interp binode cases
1676         case Index: {
1677                 mpz_t q;
1678                 long i;
1679
1680                 lleft = linterp_exec(b->left, &ltype);
1681                 right = interp_exec(b->right, &rtype);
1682                 mpz_init(q);
1683                 mpz_tdiv_q(q, mpq_numref(right.num), mpq_denref(right.num));
1684                 i = mpz_get_si(q);
1685                 mpz_clear(q);
1686
1687                 rvtype = ltype->array.member;
1688                 if (i >= 0 && i < ltype->array.size)
1689                         lrv = (void*)lleft + i * rvtype->size;
1690                 else
1691                         val_init(ltype->array.member, &rv);
1692                 ltype = NULL;
1693                 break;
1694         }
1695
1696 #### Structs
1697
1698 A `struct` is a data-type that contains one or more other data-types.
1699 It differs from an array in that each member can be of a different
1700 type, and they are accessed by name rather than by number.  Thus you
1701 cannot choose an element by calculation, you need to know what you
1702 want up-front.
1703
1704 The language makes no promises about how a given structure will be
1705 stored in memory - it is free to rearrange fields to suit whatever
1706 criteria seems important.
1707
1708 Structs are declared separately from program code - they cannot be
1709 declared in-line in a variable declaration like arrays can.  A struct
1710 is given a name and this name is used to identify the type - the name
1711 is not prefixed by the word `struct` as it would be in C.
1712
1713 Structs are only treated as the same if they have the same name.
1714 Simply having the same fields in the same order is not enough.  This
1715 might change once we can create structure initializers from a list of
1716 values.
1717
1718 Each component datum is identified much like a variable is declared,
1719 with a name, one or two colons, and a type.  The type cannot be omitted
1720 as there is no opportunity to deduce the type from usage.  An initial
1721 value can be given following an equals sign, so
1722
1723 ##### Example: a struct type
1724
1725         struct complex:
1726                 x:number = 0
1727                 y:number = 0
1728
1729 would declare a type called "complex" which has two number fields,
1730 each initialised to zero.
1731
1732 Struct will need to be declared separately from the code that uses
1733 them, so we will need to be able to print out the declaration of a
1734 struct when reprinting the whole program.  So a `print_type_decl` type
1735 function will be needed.
1736
1737 ###### type union fields
1738
1739         struct {
1740                 int nfields;
1741                 struct field {
1742                         struct text name;
1743                         struct type *type;
1744                         struct value *init;
1745                         int offset;
1746                 } *fields;
1747         } structure;
1748
1749 ###### type functions
1750         void (*print_type_decl)(struct type *type, FILE *f);
1751
1752 ###### value functions
1753
1754         static void structure_init(struct type *type, struct value *val)
1755         {
1756                 int i;
1757
1758                 for (i = 0; i < type->structure.nfields; i++) {
1759                         struct value *v;
1760                         v = (void*) val->ptr + type->structure.fields[i].offset;
1761                         if (type->structure.fields[i].init)
1762                                 dup_value(type->structure.fields[i].type, 
1763                                           type->structure.fields[i].init,
1764                                           v);
1765                         else
1766                                 val_init(type->structure.fields[i].type, v);
1767                 }
1768         }
1769
1770         static void structure_free(struct type *type, struct value *val)
1771         {
1772                 int i;
1773
1774                 for (i = 0; i < type->structure.nfields; i++) {
1775                         struct value *v;
1776                         v = (void*)val->ptr + type->structure.fields[i].offset;
1777                         free_value(type->structure.fields[i].type, v);
1778                 }
1779         }
1780
1781         static void structure_free_type(struct type *t)
1782         {
1783                 int i;
1784                 for (i = 0; i < t->structure.nfields; i++)
1785                         if (t->structure.fields[i].init) {
1786                                 free_value(t->structure.fields[i].type,
1787                                            t->structure.fields[i].init);
1788                                 free(t->structure.fields[i].init);
1789                         }
1790                 free(t->structure.fields);
1791         }
1792
1793         static struct type structure_prototype = {
1794                 .init = structure_init,
1795                 .free = structure_free,
1796                 .free_type = structure_free_type,
1797                 .print_type_decl = structure_print_type,
1798         };
1799
1800 ###### exec type
1801         Xfieldref,
1802
1803 ###### ast
1804         struct fieldref {
1805                 struct exec;
1806                 struct exec *left;
1807                 int index;
1808                 struct text name;
1809         };
1810
1811 ###### free exec cases
1812         case Xfieldref:
1813                 free_exec(cast(fieldref, e)->left);
1814                 free(e);
1815                 break;
1816
1817 ###### declare terminals
1818         $TERM struct .
1819
1820 ###### variable grammar
1821
1822         | Variable . IDENTIFIER ${ {
1823                 struct fieldref *fr = new_pos(fieldref, $2);
1824                 fr->left = $<1;
1825                 fr->name = $3.txt;
1826                 fr->index = -2;
1827                 $0 = fr;
1828         } }$
1829
1830 ###### print exec cases
1831
1832         case Xfieldref:
1833         {
1834                 struct fieldref *f = cast(fieldref, e);
1835                 print_exec(f->left, -1, bracket);
1836                 printf(".%.*s", f->name.len, f->name.txt);
1837                 break;
1838         }
1839
1840 ###### ast functions
1841         static int find_struct_index(struct type *type, struct text field)
1842         {
1843                 int i;
1844                 for (i = 0; i < type->structure.nfields; i++)
1845                         if (text_cmp(type->structure.fields[i].name, field) == 0)
1846                                 return i;
1847                 return -1;
1848         }
1849
1850 ###### propagate exec cases
1851
1852         case Xfieldref:
1853         {
1854                 struct fieldref *f = cast(fieldref, prog);
1855                 struct type *st = propagate_types(f->left, c, ok, NULL, 0);
1856
1857                 if (!st)
1858                         type_err(c, "error: unknown type for field access", f->left,
1859                                  NULL, 0, NULL);
1860                 else if (st->init != structure_init)
1861                         type_err(c, "error: field reference attempted on %1, not a struct",
1862                                  f->left, st, 0, NULL);
1863                 else if (f->index == -2) {
1864                         f->index = find_struct_index(st, f->name);
1865                         if (f->index < 0)
1866                                 type_err(c, "error: cannot find requested field in %1",
1867                                          f->left, st, 0, NULL);
1868                 }
1869                 if (f->index >= 0) {
1870                         struct type *ft = st->structure.fields[f->index].type;
1871                         if (!type_compat(type, ft, rules))
1872                                 type_err(c, "error: have %1 but need %2", prog,
1873                                          ft, rules, type);
1874                         return ft;
1875                 }
1876                 break;
1877         }
1878
1879 ###### interp exec cases
1880         case Xfieldref:
1881         {
1882                 struct fieldref *f = cast(fieldref, e);
1883                 struct type *ltype;
1884                 struct value *lleft = linterp_exec(f->left, &ltype);
1885                 lrv = (void*)lleft->ptr + ltype->structure.fields[f->index].offset;
1886                 rvtype = ltype->structure.fields[f->index].type;
1887                 break;
1888         }
1889
1890 ###### ast
1891         struct fieldlist {
1892                 struct fieldlist *prev;
1893                 struct field f;
1894         };
1895
1896 ###### ast functions
1897         static void free_fieldlist(struct fieldlist *f)
1898         {
1899                 if (!f)
1900                         return;
1901                 free_fieldlist(f->prev);
1902                 if (f->f.init) {
1903                         free_value(f->f.type, f->f.init);
1904                         free(f->f.init);
1905                 }
1906                 free(f);
1907         }
1908
1909 ###### top level grammar
1910         DeclareStruct -> struct IDENTIFIER FieldBlock Newlines ${ {
1911                         struct type *t =
1912                                 add_type(c, $2.txt, &structure_prototype);
1913                         int cnt = 0;
1914                         struct fieldlist *f;
1915
1916                         for (f = $3; f; f=f->prev)
1917                                 cnt += 1;
1918
1919                         t->structure.nfields = cnt;
1920                         t->structure.fields = calloc(cnt, sizeof(struct field));
1921                         f = $3;
1922                         while (cnt > 0) {
1923                                 int a = f->f.type->align;
1924                                 cnt -= 1;
1925                                 t->structure.fields[cnt] = f->f;
1926                                 if (t->size & (a-1))
1927                                         t->size = (t->size | (a-1)) + 1;
1928                                 t->structure.fields[cnt].offset = t->size;
1929                                 t->size += ((f->f.type->size - 1) | (a-1)) + 1;
1930                                 if (a > t->align)
1931                                         t->align = a;
1932                                 f->f.init = NULL;
1933                                 f = f->prev;
1934                         }
1935                 } }$
1936
1937         $*fieldlist
1938         FieldBlock -> { IN OptNL FieldLines OUT OptNL } ${ $0 = $<FL; }$
1939                 | { SimpleFieldList } ${ $0 = $<SFL; }$
1940                 | IN OptNL FieldLines OUT ${ $0 = $<FL; }$
1941                 | SimpleFieldList EOL ${ $0 = $<SFL; }$
1942
1943         FieldLines -> SimpleFieldList Newlines ${ $0 = $<SFL; }$
1944                 | FieldLines SimpleFieldList Newlines ${
1945                         $SFL->prev = $<FL;
1946                         $0 = $<SFL;
1947                 }$
1948
1949         SimpleFieldList -> Field ${ $0 = $<F; }$
1950                 | SimpleFieldList ; Field ${
1951                         $F->prev = $<SFL;
1952                         $0 = $<F;
1953                 }$
1954                 | SimpleFieldList ; ${
1955                         $0 = $<SFL;
1956                 }$
1957                 | ERROR ${ tok_err(c, "Syntax error in struct field", &$1); }$
1958
1959         Field -> IDENTIFIER : Type = Expression ${ {
1960                         int ok;
1961
1962                         $0 = calloc(1, sizeof(struct fieldlist));
1963                         $0->f.name = $1.txt;
1964                         $0->f.type = $<3;
1965                         $0->f.init = NULL;
1966                         do {
1967                                 ok = 1;
1968                                 propagate_types($<5, c, &ok, $3, 0);
1969                         } while (ok == 2);
1970                         if (!ok)
1971                                 c->parse_error = 1;
1972                         else {
1973                                 struct value vl = interp_exec($5, NULL);
1974                                 $0->f.init = val_alloc($0->f.type, &vl);
1975                         }
1976                 } }$
1977                 | IDENTIFIER : Type ${
1978                         $0 = calloc(1, sizeof(struct fieldlist));
1979                         $0->f.name = $1.txt;
1980                         $0->f.type = $<3;
1981                         if ($0->f.type->prepare_type)
1982                                 $0->f.type->prepare_type($0->f.type);
1983                 }$
1984
1985 ###### forward decls
1986         static void structure_print_type(struct type *t, FILE *f);
1987
1988 ###### value functions
1989         static void structure_print_type(struct type *t, FILE *f)
1990         {
1991                 int i;
1992
1993                 fprintf(f, "struct %.*s\n", t->name.len, t->name.txt);
1994
1995                 for (i = 0; i < t->structure.nfields; i++) {
1996                         struct field *fl = t->structure.fields + i;
1997                         fprintf(f, "    %.*s : ", fl->name.len, fl->name.txt);
1998                         type_print(fl->type, f);
1999                         if (fl->type->print && fl->init) {
2000                                 fprintf(f, " = ");
2001                                 if (fl->type == Tstr)
2002                                         fprintf(f, "\"");
2003                                 print_value(fl->type, fl->init);
2004                                 if (fl->type == Tstr)
2005                                         fprintf(f, "\"");
2006                         }
2007                         printf("\n");
2008                 }
2009         }
2010
2011 ###### print type decls
2012         {
2013                 struct type *t;
2014                 int target = -1;
2015
2016                 while (target != 0) {
2017                         int i = 0;
2018                         for (t = context.typelist; t ; t=t->next)
2019                                 if (t->print_type_decl) {
2020                                         i += 1;
2021                                         if (i == target)
2022                                                 break;
2023                                 }
2024
2025                         if (target == -1) {
2026                                 target = i;
2027                         } else {
2028                                 t->print_type_decl(t, stdout);
2029                                 target -= 1;
2030                         }
2031                 }
2032         }
2033
2034 ## Executables: the elements of code
2035
2036 Each code element needs to be parsed, printed, analysed,
2037 interpreted, and freed.  There are several, so let's just start with
2038 the easy ones and work our way up.
2039
2040 ### Values
2041
2042 We have already met values as separate objects.  When manifest
2043 constants appear in the program text, that must result in an executable
2044 which has a constant value.  So the `val` structure embeds a value in
2045 an executable.
2046
2047 ###### exec type
2048         Xval,
2049
2050 ###### ast
2051         struct val {
2052                 struct exec;
2053                 struct type *vtype;
2054                 struct value val;
2055         };
2056
2057 ###### ast functions
2058         struct val *new_val(struct type *T, struct token tk)
2059         {
2060                 struct val *v = new_pos(val, tk);
2061                 v->vtype = T;
2062                 return v;
2063         }
2064
2065 ###### Grammar
2066
2067         $TERM True False
2068
2069         $*val
2070         Value ->  True ${
2071                         $0 = new_val(Tbool, $1);
2072                         $0->val.bool = 1;
2073                         }$
2074                 | False ${
2075                         $0 = new_val(Tbool, $1);
2076                         $0->val.bool = 0;
2077                         }$
2078                 | NUMBER ${
2079                         $0 = new_val(Tnum, $1);
2080                         {
2081                         char tail[3];
2082                         if (number_parse($0->val.num, tail, $1.txt) == 0)
2083                                 mpq_init($0->val.num);
2084                                 if (tail[0])
2085                                         tok_err(c, "error: unsupported number suffix",
2086                                                 &$1);
2087                         }
2088                         }$
2089                 | STRING ${
2090                         $0 = new_val(Tstr, $1);
2091                         {
2092                         char tail[3];
2093                         string_parse(&$1, '\\', &$0->val.str, tail);
2094                         if (tail[0])
2095                                 tok_err(c, "error: unsupported string suffix",
2096                                         &$1);
2097                         }
2098                         }$
2099                 | MULTI_STRING ${
2100                         $0 = new_val(Tstr, $1);
2101                         {
2102                         char tail[3];
2103                         string_parse(&$1, '\\', &$0->val.str, tail);
2104                         if (tail[0])
2105                                 tok_err(c, "error: unsupported string suffix",
2106                                         &$1);
2107                         }
2108                         }$
2109
2110 ###### print exec cases
2111         case Xval:
2112         {
2113                 struct val *v = cast(val, e);
2114                 if (v->vtype == Tstr)
2115                         printf("\"");
2116                 print_value(v->vtype, &v->val);
2117                 if (v->vtype == Tstr)
2118                         printf("\"");
2119                 break;
2120         }
2121
2122 ###### propagate exec cases
2123         case Xval:
2124         {
2125                 struct val *val = cast(val, prog);
2126                 if (!type_compat(type, val->vtype, rules))
2127                         type_err(c, "error: expected %1%r found %2",
2128                                    prog, type, rules, val->vtype);
2129                 return val->vtype;
2130         }
2131
2132 ###### interp exec cases
2133         case Xval:
2134                 rvtype = cast(val, e)->vtype;
2135                 dup_value(rvtype, &cast(val, e)->val, &rv);
2136                 break;
2137
2138 ###### ast functions
2139         static void free_val(struct val *v)
2140         {
2141                 if (v)
2142                         free_value(v->vtype, &v->val);
2143                 free(v);
2144         }
2145
2146 ###### free exec cases
2147         case Xval: free_val(cast(val, e)); break;
2148
2149 ###### ast functions
2150         // Move all nodes from 'b' to 'rv', reversing their order.
2151         // In 'b' 'left' is a list, and 'right' is the last node.
2152         // In 'rv', left' is the first node and 'right' is a list.
2153         static struct binode *reorder_bilist(struct binode *b)
2154         {
2155                 struct binode *rv = NULL;
2156
2157                 while (b) {
2158                         struct exec *t = b->right;
2159                         b->right = rv;
2160                         rv = b;
2161                         if (b->left)
2162                                 b = cast(binode, b->left);
2163                         else
2164                                 b = NULL;
2165                         rv->left = t;
2166                 }
2167                 return rv;
2168         }
2169
2170 ### Variables
2171
2172 Just as we used a `val` to wrap a value into an `exec`, we similarly
2173 need a `var` to wrap a `variable` into an exec.  While each `val`
2174 contained a copy of the value, each `var` holds a link to the variable
2175 because it really is the same variable no matter where it appears.
2176 When a variable is used, we need to remember to follow the `->merged`
2177 link to find the primary instance.
2178
2179 ###### exec type
2180         Xvar,
2181
2182 ###### ast
2183         struct var {
2184                 struct exec;
2185                 struct variable *var;
2186         };
2187
2188 ###### Grammar
2189
2190         $TERM : ::
2191
2192         $*var
2193         VariableDecl -> IDENTIFIER : ${ {
2194                 struct variable *v = var_decl(c, $1.txt);
2195                 $0 = new_pos(var, $1);
2196                 $0->var = v;
2197                 if (v)
2198                         v->where_decl = $0;
2199                 else {
2200                         v = var_ref(c, $1.txt);
2201                         $0->var = v;
2202                         type_err(c, "error: variable '%v' redeclared",
2203                                  $0, NULL, 0, NULL);
2204                         type_err(c, "info: this is where '%v' was first declared",
2205                                  v->where_decl, NULL, 0, NULL);
2206                 }
2207         } }$
2208             | IDENTIFIER :: ${ {
2209                 struct variable *v = var_decl(c, $1.txt);
2210                 $0 = new_pos(var, $1);
2211                 $0->var = v;
2212                 if (v) {
2213                         v->where_decl = $0;
2214                         v->constant = 1;
2215                 } else {
2216                         v = var_ref(c, $1.txt);
2217                         $0->var = v;
2218                         type_err(c, "error: variable '%v' redeclared",
2219                                  $0, NULL, 0, NULL);
2220                         type_err(c, "info: this is where '%v' was first declared",
2221                                  v->where_decl, NULL, 0, NULL);
2222                 }
2223         } }$
2224             | IDENTIFIER : Type ${ {
2225                 struct variable *v = var_decl(c, $1.txt);
2226                 $0 = new_pos(var, $1);
2227                 $0->var = v;
2228                 if (v) {
2229                         v->where_decl = $0;
2230                         v->where_set = $0;
2231                         v->type = $<Type;
2232                         v->val = NULL;
2233                 } else {
2234                         v = var_ref(c, $1.txt);
2235                         $0->var = v;
2236                         type_err(c, "error: variable '%v' redeclared",
2237                                  $0, NULL, 0, NULL);
2238                         type_err(c, "info: this is where '%v' was first declared",
2239                                  v->where_decl, NULL, 0, NULL);
2240                 }
2241         } }$
2242             | IDENTIFIER :: Type ${ {
2243                 struct variable *v = var_decl(c, $1.txt);
2244                 $0 = new_pos(var, $1);
2245                 $0->var = v;
2246                 if (v) {
2247                         v->where_decl = $0;
2248                         v->where_set = $0;
2249                         v->type = $<Type;
2250                         v->val = NULL;
2251                         v->constant = 1;
2252                 } else {
2253                         v = var_ref(c, $1.txt);
2254                         $0->var = v;
2255                         type_err(c, "error: variable '%v' redeclared",
2256                                  $0, NULL, 0, NULL);
2257                         type_err(c, "info: this is where '%v' was first declared",
2258                                  v->where_decl, NULL, 0, NULL);
2259                 }
2260         } }$
2261
2262         $*exec
2263         Variable -> IDENTIFIER ${ {
2264                 struct variable *v = var_ref(c, $1.txt);
2265                 $0 = new_pos(var, $1);
2266                 if (v == NULL) {
2267                         /* This might be a label - allocate a var just in case */
2268                         v = var_decl(c, $1.txt);
2269                         if (v) {
2270                                 v->val = NULL;
2271                                 v->type = Tnone;
2272                                 v->where_decl = $0;
2273                                 v->where_set = $0;
2274                         }
2275                 }
2276                 cast(var, $0)->var = v;
2277         } }$
2278         ## variable grammar
2279
2280         $*type
2281         Type -> IDENTIFIER ${
2282                 $0 = find_type(c, $1.txt);
2283                 if (!$0) {
2284                         tok_err(c,
2285                                 "error: undefined type", &$1);
2286
2287                         $0 = Tnone;
2288                 }
2289         }$
2290         ## type grammar
2291
2292 ###### print exec cases
2293         case Xvar:
2294         {
2295                 struct var *v = cast(var, e);
2296                 if (v->var) {
2297                         struct binding *b = v->var->name;
2298                         printf("%.*s", b->name.len, b->name.txt);
2299                 }
2300                 break;
2301         }
2302
2303 ###### format cases
2304         case 'v':
2305                 if (loc->type == Xvar) {
2306                         struct var *v = cast(var, loc);
2307                         if (v->var) {
2308                                 struct binding *b = v->var->name;
2309                                 fprintf(stderr, "%.*s", b->name.len, b->name.txt);
2310                         } else
2311                                 fputs("???", stderr);   // NOTEST
2312                 } else
2313                         fputs("NOTVAR", stderr);        // NOTEST
2314                 break;
2315
2316 ###### propagate exec cases
2317
2318         case Xvar:
2319         {
2320                 struct var *var = cast(var, prog);
2321                 struct variable *v = var->var;
2322                 if (!v) {
2323                         type_err(c, "%d:BUG: no variable!!", prog, NULL, 0, NULL); // NOTEST
2324                         return Tnone;                                   // NOTEST
2325                 }
2326                 if (v->merged)
2327                         v = v->merged;
2328                 if (v->constant && (rules & Rnoconstant)) {
2329                         type_err(c, "error: Cannot assign to a constant: %v",
2330                                  prog, NULL, 0, NULL);
2331                         type_err(c, "info: name was defined as a constant here",
2332                                  v->where_decl, NULL, 0, NULL);
2333                         return v->type;
2334                 }
2335                 if (v->type == Tnone && v->where_decl == prog)
2336                         type_err(c, "error: variable used but not declared: %v",
2337                                  prog, NULL, 0, NULL);
2338                 if (v->type == NULL) {
2339                         if (type && *ok != 0) {
2340                                 v->type = type;
2341                                 v->val = NULL;
2342                                 v->where_set = prog;
2343                                 *ok = 2;
2344                         }
2345                         return type;
2346                 }
2347                 if (!type_compat(type, v->type, rules)) {
2348                         type_err(c, "error: expected %1%r but variable '%v' is %2", prog,
2349                                  type, rules, v->type);
2350                         type_err(c, "info: this is where '%v' was set to %1", v->where_set,
2351                                  v->type, rules, NULL);
2352                 }
2353                 if (!type)
2354                         return v->type;
2355                 return type;
2356         }
2357
2358 ###### interp exec cases
2359         case Xvar:
2360         {
2361                 struct var *var = cast(var, e);
2362                 struct variable *v = var->var;
2363
2364                 if (v->merged)
2365                         v = v->merged;
2366                 lrv = v->val;
2367                 rvtype = v->type;
2368                 break;
2369         }
2370
2371 ###### ast functions
2372
2373         static void free_var(struct var *v)
2374         {
2375                 free(v);
2376         }
2377
2378 ###### free exec cases
2379         case Xvar: free_var(cast(var, e)); break;
2380
2381 ### Expressions: Conditional
2382
2383 Our first user of the `binode` will be conditional expressions, which
2384 is a bit odd as they actually have three components.  That will be
2385 handled by having 2 binodes for each expression.  The conditional
2386 expression is the lowest precedence operator which is why we define it
2387 first - to start the precedence list.
2388
2389 Conditional expressions are of the form "value `if` condition `else`
2390 other_value".  They associate to the right, so everything to the right
2391 of `else` is part of an else value, while only a higher-precedence to
2392 the left of `if` is the if values.  Between `if` and `else` there is no
2393 room for ambiguity, so a full conditional expression is allowed in
2394 there.
2395
2396 ###### Binode types
2397         CondExpr,
2398
2399 ###### Grammar
2400
2401         $LEFT if $$ifelse
2402         ## expr precedence
2403
2404         $*exec
2405         Expression -> Expression if Expression else Expression $$ifelse ${ {
2406                         struct binode *b1 = new(binode);
2407                         struct binode *b2 = new(binode);
2408                         b1->op = CondExpr;
2409                         b1->left = $<3;
2410                         b1->right = b2;
2411                         b2->op = CondExpr;
2412                         b2->left = $<1;
2413                         b2->right = $<5;
2414                         $0 = b1;
2415                 } }$
2416                 ## expression grammar
2417
2418 ###### print binode cases
2419
2420         case CondExpr:
2421                 b2 = cast(binode, b->right);
2422                 if (bracket) printf("(");
2423                 print_exec(b2->left, -1, bracket);
2424                 printf(" if ");
2425                 print_exec(b->left, -1, bracket);
2426                 printf(" else ");
2427                 print_exec(b2->right, -1, bracket);
2428                 if (bracket) printf(")");
2429                 break;
2430
2431 ###### propagate binode cases
2432
2433         case CondExpr: {
2434                 /* cond must be Tbool, others must match */
2435                 struct binode *b2 = cast(binode, b->right);
2436                 struct type *t2;
2437
2438                 propagate_types(b->left, c, ok, Tbool, 0);
2439                 t = propagate_types(b2->left, c, ok, type, Rnolabel);
2440                 t2 = propagate_types(b2->right, c, ok, type ?: t, Rnolabel);
2441                 return t ?: t2;
2442         }
2443
2444 ###### interp binode cases
2445
2446         case CondExpr: {
2447                 struct binode *b2 = cast(binode, b->right);
2448                 left = interp_exec(b->left, &ltype);
2449                 if (left.bool)
2450                         rv = interp_exec(b2->left, &rvtype);
2451                 else
2452                         rv = interp_exec(b2->right, &rvtype);
2453                 }
2454                 break;
2455
2456 ### Expressions: Boolean
2457
2458 The next class of expressions to use the `binode` will be Boolean
2459 expressions.  "`and then`" and "`or else`" are similar to `and` and `or`
2460 have same corresponding precendence.  The difference is that they don't
2461 evaluate the second expression if not necessary.
2462
2463 ###### Binode types
2464         And,
2465         AndThen,
2466         Or,
2467         OrElse,
2468         Not,
2469
2470 ###### expr precedence
2471         $LEFT or
2472         $LEFT and
2473         $LEFT not
2474
2475 ###### expression grammar
2476                 | Expression or Expression ${ {
2477                         struct binode *b = new(binode);
2478                         b->op = Or;
2479                         b->left = $<1;
2480                         b->right = $<3;
2481                         $0 = b;
2482                 } }$
2483                 | Expression or else Expression ${ {
2484                         struct binode *b = new(binode);
2485                         b->op = OrElse;
2486                         b->left = $<1;
2487                         b->right = $<4;
2488                         $0 = b;
2489                 } }$
2490
2491                 | Expression and Expression ${ {
2492                         struct binode *b = new(binode);
2493                         b->op = And;
2494                         b->left = $<1;
2495                         b->right = $<3;
2496                         $0 = b;
2497                 } }$
2498                 | Expression and then Expression ${ {
2499                         struct binode *b = new(binode);
2500                         b->op = AndThen;
2501                         b->left = $<1;
2502                         b->right = $<4;
2503                         $0 = b;
2504                 } }$
2505
2506                 | not Expression ${ {
2507                         struct binode *b = new(binode);
2508                         b->op = Not;
2509                         b->right = $<2;
2510                         $0 = b;
2511                 } }$
2512
2513 ###### print binode cases
2514         case And:
2515                 if (bracket) printf("(");
2516                 print_exec(b->left, -1, bracket);
2517                 printf(" and ");
2518                 print_exec(b->right, -1, bracket);
2519                 if (bracket) printf(")");
2520                 break;
2521         case AndThen:
2522                 if (bracket) printf("(");
2523                 print_exec(b->left, -1, bracket);
2524                 printf(" and then ");
2525                 print_exec(b->right, -1, bracket);
2526                 if (bracket) printf(")");
2527                 break;
2528         case Or:
2529                 if (bracket) printf("(");
2530                 print_exec(b->left, -1, bracket);
2531                 printf(" or ");
2532                 print_exec(b->right, -1, bracket);
2533                 if (bracket) printf(")");
2534                 break;
2535         case OrElse:
2536                 if (bracket) printf("(");
2537                 print_exec(b->left, -1, bracket);
2538                 printf(" or else ");
2539                 print_exec(b->right, -1, bracket);
2540                 if (bracket) printf(")");
2541                 break;
2542         case Not:
2543                 if (bracket) printf("(");
2544                 printf("not ");
2545                 print_exec(b->right, -1, bracket);
2546                 if (bracket) printf(")");
2547                 break;
2548
2549 ###### propagate binode cases
2550         case And:
2551         case AndThen:
2552         case Or:
2553         case OrElse:
2554         case Not:
2555                 /* both must be Tbool, result is Tbool */
2556                 propagate_types(b->left, c, ok, Tbool, 0);
2557                 propagate_types(b->right, c, ok, Tbool, 0);
2558                 if (type && type != Tbool)
2559                         type_err(c, "error: %1 operation found where %2 expected", prog,
2560                                    Tbool, 0, type);
2561                 return Tbool;
2562
2563 ###### interp binode cases
2564         case And:
2565                 rv = interp_exec(b->left, &rvtype);
2566                 right = interp_exec(b->right, &rtype);
2567                 rv.bool = rv.bool && right.bool;
2568                 break;
2569         case AndThen:
2570                 rv = interp_exec(b->left, &rvtype);
2571                 if (rv.bool)
2572                         rv = interp_exec(b->right, NULL);
2573                 break;
2574         case Or:
2575                 rv = interp_exec(b->left, &rvtype);
2576                 right = interp_exec(b->right, &rtype);
2577                 rv.bool = rv.bool || right.bool;
2578                 break;
2579         case OrElse:
2580                 rv = interp_exec(b->left, &rvtype);
2581                 if (!rv.bool)
2582                         rv = interp_exec(b->right, NULL);
2583                 break;
2584         case Not:
2585                 rv = interp_exec(b->right, &rvtype);
2586                 rv.bool = !rv.bool;
2587                 break;
2588
2589 ### Expressions: Comparison
2590
2591 Of slightly higher precedence that Boolean expressions are Comparisons.
2592 A comparison takes arguments of any comparable type, but the two types
2593 must be the same.
2594
2595 To simplify the parsing we introduce an `eop` which can record an
2596 expression operator, and the `CMPop` non-terminal will match one of them.
2597
2598 ###### ast
2599         struct eop {
2600                 enum Btype op;
2601         };
2602
2603 ###### ast functions
2604         static void free_eop(struct eop *e)
2605         {
2606                 if (e)
2607                         free(e);
2608         }
2609
2610 ###### Binode types
2611         Less,
2612         Gtr,
2613         LessEq,
2614         GtrEq,
2615         Eql,
2616         NEql,
2617
2618 ###### expr precedence
2619         $LEFT < > <= >= == != CMPop
2620
2621 ###### expression grammar
2622         | Expression CMPop Expression ${ {
2623                 struct binode *b = new(binode);
2624                 b->op = $2.op;
2625                 b->left = $<1;
2626                 b->right = $<3;
2627                 $0 = b;
2628         } }$
2629
2630 ###### Grammar
2631
2632         $eop
2633         CMPop ->   < ${ $0.op = Less; }$
2634                 |  > ${ $0.op = Gtr; }$
2635                 |  <= ${ $0.op = LessEq; }$
2636                 |  >= ${ $0.op = GtrEq; }$
2637                 |  == ${ $0.op = Eql; }$
2638                 |  != ${ $0.op = NEql; }$
2639
2640 ###### print binode cases
2641
2642         case Less:
2643         case LessEq:
2644         case Gtr:
2645         case GtrEq:
2646         case Eql:
2647         case NEql:
2648                 if (bracket) printf("(");
2649                 print_exec(b->left, -1, bracket);
2650                 switch(b->op) {
2651                 case Less:   printf(" < "); break;
2652                 case LessEq: printf(" <= "); break;
2653                 case Gtr:    printf(" > "); break;
2654                 case GtrEq:  printf(" >= "); break;
2655                 case Eql:    printf(" == "); break;
2656                 case NEql:   printf(" != "); break;
2657                 default: abort();               // NOTEST
2658                 }
2659                 print_exec(b->right, -1, bracket);
2660                 if (bracket) printf(")");
2661                 break;
2662
2663 ###### propagate binode cases
2664         case Less:
2665         case LessEq:
2666         case Gtr:
2667         case GtrEq:
2668         case Eql:
2669         case NEql:
2670                 /* Both must match but not be labels, result is Tbool */
2671                 t = propagate_types(b->left, c, ok, NULL, Rnolabel);
2672                 if (t)
2673                         propagate_types(b->right, c, ok, t, 0);
2674                 else {
2675                         t = propagate_types(b->right, c, ok, NULL, Rnolabel);
2676                         if (t)
2677                                 t = propagate_types(b->left, c, ok, t, 0);
2678                 }
2679                 if (!type_compat(type, Tbool, 0))
2680                         type_err(c, "error: Comparison returns %1 but %2 expected", prog,
2681                                     Tbool, rules, type);
2682                 return Tbool;
2683
2684 ###### interp binode cases
2685         case Less:
2686         case LessEq:
2687         case Gtr:
2688         case GtrEq:
2689         case Eql:
2690         case NEql:
2691         {
2692                 int cmp;
2693                 left = interp_exec(b->left, &ltype);
2694                 right = interp_exec(b->right, &rtype);
2695                 cmp = value_cmp(ltype, rtype, &left, &right);
2696                 rvtype = Tbool;
2697                 switch (b->op) {
2698                 case Less:      rv.bool = cmp <  0; break;
2699                 case LessEq:    rv.bool = cmp <= 0; break;
2700                 case Gtr:       rv.bool = cmp >  0; break;
2701                 case GtrEq:     rv.bool = cmp >= 0; break;
2702                 case Eql:       rv.bool = cmp == 0; break;
2703                 case NEql:      rv.bool = cmp != 0; break;
2704                 default:        rv.bool = 0; break;     // NOTEST
2705                 }
2706                 break;
2707         }
2708
2709 ### Expressions: The rest
2710
2711 The remaining expressions with the highest precedence are arithmetic,
2712 string concatenation, and string conversion.  String concatenation
2713 (`++`) has the same precedence as multiplication and division, but lower
2714 than the uniary.
2715
2716 String conversion is a temporary feature until I get a better type
2717 system.  `$` is a prefix operator which expects a string and returns
2718 a number.
2719
2720 `+` and `-` are both infix and prefix operations (where they are
2721 absolute value and negation).  These have different operator names.
2722
2723 We also have a 'Bracket' operator which records where parentheses were
2724 found.  This makes it easy to reproduce these when printing.  Possibly I
2725 should only insert brackets were needed for precedence.
2726
2727 ###### Binode types
2728         Plus, Minus,
2729         Times, Divide, Rem,
2730         Concat,
2731         Absolute, Negate,
2732         StringConv,
2733         Bracket,
2734
2735 ###### expr precedence
2736         $LEFT + - Eop
2737         $LEFT * / % ++ Top
2738         $LEFT Uop $
2739         $TERM ( )
2740
2741 ###### expression grammar
2742                 | Expression Eop Expression ${ {
2743                         struct binode *b = new(binode);
2744                         b->op = $2.op;
2745                         b->left = $<1;
2746                         b->right = $<3;
2747                         $0 = b;
2748                 } }$
2749
2750                 | Expression Top Expression ${ {
2751                         struct binode *b = new(binode);
2752                         b->op = $2.op;
2753                         b->left = $<1;
2754                         b->right = $<3;
2755                         $0 = b;
2756                 } }$
2757
2758                 | ( Expression ) ${ {
2759                         struct binode *b = new_pos(binode, $1);
2760                         b->op = Bracket;
2761                         b->right = $<2;
2762                         $0 = b;
2763                 } }$
2764                 | Uop Expression ${ {
2765                         struct binode *b = new(binode);
2766                         b->op = $1.op;
2767                         b->right = $<2;
2768                         $0 = b;
2769                 } }$
2770                 | Value ${ $0 = $<1; }$
2771                 | Variable ${ $0 = $<1; }$
2772
2773         $eop
2774         Eop ->    + ${ $0.op = Plus; }$
2775                 | - ${ $0.op = Minus; }$
2776
2777         Uop ->    + ${ $0.op = Absolute; }$
2778                 | - ${ $0.op = Negate; }$
2779                 | $ ${ $0.op = StringConv; }$
2780
2781         Top ->    * ${ $0.op = Times; }$
2782                 | / ${ $0.op = Divide; }$
2783                 | % ${ $0.op = Rem; }$
2784                 | ++ ${ $0.op = Concat; }$
2785
2786 ###### print binode cases
2787         case Plus:
2788         case Minus:
2789         case Times:
2790         case Divide:
2791         case Concat:
2792         case Rem:
2793                 if (bracket) printf("(");
2794                 print_exec(b->left, indent, bracket);
2795                 switch(b->op) {
2796                 case Plus:   fputs(" + ", stdout); break;
2797                 case Minus:  fputs(" - ", stdout); break;
2798                 case Times:  fputs(" * ", stdout); break;
2799                 case Divide: fputs(" / ", stdout); break;
2800                 case Rem:    fputs(" % ", stdout); break;
2801                 case Concat: fputs(" ++ ", stdout); break;
2802                 default: abort();       // NOTEST
2803                 }                       // NOTEST
2804                 print_exec(b->right, indent, bracket);
2805                 if (bracket) printf(")");
2806                 break;
2807         case Absolute:
2808         case Negate:
2809         case StringConv:
2810                 if (bracket) printf("(");
2811                 switch (b->op) {
2812                 case Absolute:   fputs("+", stdout); break;
2813                 case Negate:     fputs("-", stdout); break;
2814                 case StringConv: fputs("$", stdout); break;
2815                 default: abort();       // NOTEST
2816                 }                       // NOTEST
2817                 print_exec(b->right, indent, bracket);
2818                 if (bracket) printf(")");
2819                 break;
2820         case Bracket:
2821                 printf("(");
2822                 print_exec(b->right, indent, bracket);
2823                 printf(")");
2824                 break;
2825
2826 ###### propagate binode cases
2827         case Plus:
2828         case Minus:
2829         case Times:
2830         case Rem:
2831         case Divide:
2832                 /* both must be numbers, result is Tnum */
2833         case Absolute:
2834         case Negate:
2835                 /* as propagate_types ignores a NULL,
2836                  * unary ops fit here too */
2837                 propagate_types(b->left, c, ok, Tnum, 0);
2838                 propagate_types(b->right, c, ok, Tnum, 0);
2839                 if (!type_compat(type, Tnum, 0))
2840                         type_err(c, "error: Arithmetic returns %1 but %2 expected", prog,
2841                                    Tnum, rules, type);
2842                 return Tnum;
2843
2844         case Concat:
2845                 /* both must be Tstr, result is Tstr */
2846                 propagate_types(b->left, c, ok, Tstr, 0);
2847                 propagate_types(b->right, c, ok, Tstr, 0);
2848                 if (!type_compat(type, Tstr, 0))
2849                         type_err(c, "error: Concat returns %1 but %2 expected", prog,
2850                                    Tstr, rules, type);
2851                 return Tstr;
2852
2853         case StringConv:
2854                 /* op must be string, result is number */
2855                 propagate_types(b->left, c, ok, Tstr, 0);
2856                 if (!type_compat(type, Tnum, 0))
2857                         type_err(c,
2858                           "error: Can only convert string to number, not %1",
2859                                 prog, type, 0, NULL);
2860                 return Tnum;
2861
2862         case Bracket:
2863                 return propagate_types(b->right, c, ok, type, 0);
2864
2865 ###### interp binode cases
2866
2867         case Plus:
2868                 rv = interp_exec(b->left, &rvtype);
2869                 right = interp_exec(b->right, &rtype);
2870                 mpq_add(rv.num, rv.num, right.num);
2871                 break;
2872         case Minus:
2873                 rv = interp_exec(b->left, &rvtype);
2874                 right = interp_exec(b->right, &rtype);
2875                 mpq_sub(rv.num, rv.num, right.num);
2876                 break;
2877         case Times:
2878                 rv = interp_exec(b->left, &rvtype);
2879                 right = interp_exec(b->right, &rtype);
2880                 mpq_mul(rv.num, rv.num, right.num);
2881                 break;
2882         case Divide:
2883                 rv = interp_exec(b->left, &rvtype);
2884                 right = interp_exec(b->right, &rtype);
2885                 mpq_div(rv.num, rv.num, right.num);
2886                 break;
2887         case Rem: {
2888                 mpz_t l, r, rem;
2889
2890                 left = interp_exec(b->left, &ltype);
2891                 right = interp_exec(b->right, &rtype);
2892                 mpz_init(l); mpz_init(r); mpz_init(rem);
2893                 mpz_tdiv_q(l, mpq_numref(left.num), mpq_denref(left.num));
2894                 mpz_tdiv_q(r, mpq_numref(right.num), mpq_denref(right.num));
2895                 mpz_tdiv_r(rem, l, r);
2896                 val_init(Tnum, &rv);
2897                 mpq_set_z(rv.num, rem);
2898                 mpz_clear(r); mpz_clear(l); mpz_clear(rem);
2899                 rvtype = ltype;
2900                 break;
2901         }
2902         case Negate:
2903                 rv = interp_exec(b->right, &rvtype);
2904                 mpq_neg(rv.num, rv.num);
2905                 break;
2906         case Absolute:
2907                 rv = interp_exec(b->right, &rvtype);
2908                 mpq_abs(rv.num, rv.num);
2909                 break;
2910         case Bracket:
2911                 rv = interp_exec(b->right, &rvtype);
2912                 break;
2913         case Concat:
2914                 left = interp_exec(b->left, &ltype);
2915                 right = interp_exec(b->right, &rtype);
2916                 rvtype = Tstr;
2917                 rv.str = text_join(left.str, right.str);
2918                 break;
2919         case StringConv:
2920                 right = interp_exec(b->right, &rvtype);
2921                 rtype = Tstr;
2922                 rvtype = Tnum;
2923
2924                 struct text tx = right.str;
2925                 char tail[3];
2926                 int neg = 0;
2927                 if (tx.txt[0] == '-') {
2928                         neg = 1;
2929                         tx.txt++;
2930                         tx.len--;
2931                 }
2932                 if (number_parse(rv.num, tail, tx) == 0)
2933                         mpq_init(rv.num);
2934                 else if (neg)
2935                         mpq_neg(rv.num, rv.num);
2936                 if (tail[0])
2937                         printf("Unsupported suffix: %.*s\n", tx.len, tx.txt);
2938
2939                 break;
2940
2941 ###### value functions
2942
2943         static struct text text_join(struct text a, struct text b)
2944         {
2945                 struct text rv;
2946                 rv.len = a.len + b.len;
2947                 rv.txt = malloc(rv.len);
2948                 memcpy(rv.txt, a.txt, a.len);
2949                 memcpy(rv.txt+a.len, b.txt, b.len);
2950                 return rv;
2951         }
2952
2953 ### Blocks, Statements, and Statement lists.
2954
2955 Now that we have expressions out of the way we need to turn to
2956 statements.  There are simple statements and more complex statements.
2957 Simple statements do not contain (syntactic) newlines, complex statements do.
2958
2959 Statements often come in sequences and we have corresponding simple
2960 statement lists and complex statement lists.
2961 The former comprise only simple statements separated by semicolons.
2962 The later comprise complex statements and simple statement lists.  They are
2963 separated by newlines.  Thus the semicolon is only used to separate
2964 simple statements on the one line.  This may be overly restrictive,
2965 but I'm not sure I ever want a complex statement to share a line with
2966 anything else.
2967
2968 Note that a simple statement list can still use multiple lines if
2969 subsequent lines are indented, so
2970
2971 ###### Example: wrapped simple statement list
2972
2973         a = b; c = d;
2974            e = f; print g
2975
2976 is a single simple statement list.  This might allow room for
2977 confusion, so I'm not set on it yet.
2978
2979 A simple statement list needs no extra syntax.  A complex statement
2980 list has two syntactic forms.  It can be enclosed in braces (much like
2981 C blocks), or it can be introduced by an indent and continue until an
2982 unindented newline (much like Python blocks).  With this extra syntax
2983 it is referred to as a block.
2984
2985 Note that a block does not have to include any newlines if it only
2986 contains simple statements.  So both of:
2987
2988         if condition: a=b; d=f
2989
2990         if condition { a=b; print f }
2991
2992 are valid.
2993
2994 In either case the list is constructed from a `binode` list with
2995 `Block` as the operator.  When parsing the list it is most convenient
2996 to append to the end, so a list is a list and a statement.  When using
2997 the list it is more convenient to consider a list to be a statement
2998 and a list.  So we need a function to re-order a list.
2999 `reorder_bilist` serves this purpose.
3000
3001 The only stand-alone statement we introduce at this stage is `pass`
3002 which does nothing and is represented as a `NULL` pointer in a `Block`
3003 list.  Other stand-alone statements will follow once the infrastructure
3004 is in-place.
3005
3006 ###### Binode types
3007         Block,
3008
3009 ###### Grammar
3010
3011         $TERM { } ;
3012
3013         $*binode
3014         Block -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3015                 | { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3016                 | SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3017                 | SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3018                 | IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
3019
3020         OpenBlock -> OpenScope { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3021                 | OpenScope { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3022                 | OpenScope SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3023                 | OpenScope SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3024                 | IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
3025
3026         UseBlock -> { OpenScope IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3027                 | { OpenScope SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3028                 | IN OpenScope OptNL Statementlist OUT ${ $0 = $<Sl; }$
3029
3030         ColonBlock -> { IN OptNL Statementlist OUT OptNL } ${ $0 = $<Sl; }$
3031                 | { SimpleStatements } ${ $0 = reorder_bilist($<SS); }$
3032                 | : SimpleStatements ; ${ $0 = reorder_bilist($<SS); }$
3033                 | : SimpleStatements EOL ${ $0 = reorder_bilist($<SS); }$
3034                 | : IN OptNL Statementlist OUT ${ $0 = $<Sl; }$
3035
3036         Statementlist -> ComplexStatements ${ $0 = reorder_bilist($<CS); }$
3037
3038         ComplexStatements -> ComplexStatements ComplexStatement ${
3039                         if ($2 == NULL) {
3040                                 $0 = $<1;
3041                         } else {
3042                                 $0 = new(binode);
3043                                 $0->op = Block;
3044                                 $0->left = $<1;
3045                                 $0->right = $<2;
3046                         }
3047                 }$
3048                 | ComplexStatement ${
3049                         if ($1 == NULL) {
3050                                 $0 = NULL;
3051                         } else {
3052                                 $0 = new(binode);
3053                                 $0->op = Block;
3054                                 $0->left = NULL;
3055                                 $0->right = $<1;
3056                         }
3057                 }$
3058
3059         $*exec
3060         ComplexStatement -> SimpleStatements Newlines ${
3061                         $0 = reorder_bilist($<SS);
3062                         }$
3063                 |  SimpleStatements ; Newlines ${
3064                         $0 = reorder_bilist($<SS);
3065                         }$
3066                 ## ComplexStatement Grammar
3067
3068         $*binode
3069         SimpleStatements -> SimpleStatements ; SimpleStatement ${
3070                         $0 = new(binode);
3071                         $0->op = Block;
3072                         $0->left = $<1;
3073                         $0->right = $<3;
3074                         }$
3075                 | SimpleStatement ${
3076                         $0 = new(binode);
3077                         $0->op = Block;
3078                         $0->left = NULL;
3079                         $0->right = $<1;
3080                         }$
3081
3082         $TERM pass
3083         SimpleStatement -> pass ${ $0 = NULL; }$
3084                 | ERROR ${ tok_err(c, "Syntax error in statement", &$1); }$
3085                 ## SimpleStatement Grammar
3086
3087 ###### print binode cases
3088         case Block:
3089                 if (indent < 0) {
3090                         // simple statement
3091                         if (b->left == NULL)
3092                                 printf("pass");
3093                         else
3094                                 print_exec(b->left, indent, bracket);
3095                         if (b->right) {
3096                                 printf("; ");
3097                                 print_exec(b->right, indent, bracket);
3098                         }
3099                 } else {
3100                         // block, one per line
3101                         if (b->left == NULL)
3102                                 do_indent(indent, "pass\n");
3103                         else
3104                                 print_exec(b->left, indent, bracket);
3105                         if (b->right)
3106                                 print_exec(b->right, indent, bracket);
3107                 }
3108                 break;
3109
3110 ###### propagate binode cases
3111         case Block:
3112         {
3113                 /* If any statement returns something other than Tnone
3114                  * or Tbool then all such must return same type.
3115                  * As each statement may be Tnone or something else,
3116                  * we must always pass NULL (unknown) down, otherwise an incorrect
3117                  * error might occur.  We never return Tnone unless it is
3118                  * passed in.
3119                  */
3120                 struct binode *e;
3121
3122                 for (e = b; e; e = cast(binode, e->right)) {
3123                         t = propagate_types(e->left, c, ok, NULL, rules);
3124                         if ((rules & Rboolok) && t == Tbool)
3125                                 t = NULL;
3126                         if (t && t != Tnone && t != Tbool) {
3127                                 if (!type)
3128                                         type = t;
3129                                 else if (t != type)
3130                                         type_err(c, "error: expected %1%r, found %2",
3131                                                  e->left, type, rules, t);
3132                         }
3133                 }
3134                 return type;
3135         }
3136
3137 ###### interp binode cases
3138         case Block:
3139                 while (rvtype == Tnone &&
3140                        b) {
3141                         if (b->left)
3142                                 rv = interp_exec(b->left, &rvtype);
3143                         b = cast(binode, b->right);
3144                 }
3145                 break;
3146
3147 ### The Print statement
3148
3149 `print` is a simple statement that takes a comma-separated list of
3150 expressions and prints the values separated by spaces and terminated
3151 by a newline.  No control of formatting is possible.
3152
3153 `print` faces the same list-ordering issue as blocks, and uses the
3154 same solution.
3155
3156 ###### Binode types
3157         Print,
3158
3159 ##### expr precedence
3160         $TERM print ,
3161
3162 ###### SimpleStatement Grammar
3163
3164         | print ExpressionList ${
3165                 $0 = reorder_bilist($<2);
3166         }$
3167         | print ExpressionList , ${
3168                 $0 = new(binode);
3169                 $0->op = Print;
3170                 $0->right = NULL;
3171                 $0->left = $<2;
3172                 $0 = reorder_bilist($0);
3173         }$
3174         | print ${
3175                 $0 = new(binode);
3176                 $0->op = Print;
3177                 $0->right = NULL;
3178         }$
3179
3180 ###### Grammar
3181
3182         $*binode
3183         ExpressionList -> ExpressionList , Expression ${
3184                 $0 = new(binode);
3185                 $0->op = Print;
3186                 $0->left = $<1;
3187                 $0->right = $<3;
3188                 }$
3189                 | Expression ${
3190                         $0 = new(binode);
3191                         $0->op = Print;
3192                         $0->left = NULL;
3193                         $0->right = $<1;
3194                 }$
3195
3196 ###### print binode cases
3197
3198         case Print:
3199                 do_indent(indent, "print");
3200                 while (b) {
3201                         if (b->left) {
3202                                 printf(" ");
3203                                 print_exec(b->left, -1, bracket);
3204                                 if (b->right)
3205                                         printf(",");
3206                         }
3207                         b = cast(binode, b->right);
3208                 }
3209                 if (indent >= 0)
3210                         printf("\n");
3211                 break;
3212
3213 ###### propagate binode cases
3214
3215         case Print:
3216                 /* don't care but all must be consistent */
3217                 propagate_types(b->left, c, ok, NULL, Rnolabel);
3218                 propagate_types(b->right, c, ok, NULL, Rnolabel);
3219                 break;
3220
3221 ###### interp binode cases
3222
3223         case Print:
3224         {
3225                 char sep = 0;
3226                 int eol = 1;
3227                 for ( ; b; b = cast(binode, b->right))
3228                         if (b->left) {
3229                                 if (sep)
3230                                         putchar(sep);
3231                                 left = interp_exec(b->left, &ltype);
3232                                 print_value(ltype, &left);
3233                                 free_value(ltype, &left);
3234                                 if (b->right)
3235                                         sep = ' ';
3236                         } else if (sep)
3237                                 eol = 0;
3238                 ltype = Tnone;
3239                 if (eol)
3240                         printf("\n");
3241                 break;
3242         }
3243
3244 ###### Assignment statement
3245
3246 An assignment will assign a value to a variable, providing it hasn't
3247 been declared as a constant.  The analysis phase ensures that the type
3248 will be correct so the interpreter just needs to perform the
3249 calculation.  There is a form of assignment which declares a new
3250 variable as well as assigning a value.  If a name is assigned before
3251 it is declared, and error will be raised as the name is created as
3252 `Tlabel` and it is illegal to assign to such names.
3253
3254 ###### Binode types
3255         Assign,
3256         Declare,
3257
3258 ###### declare terminals
3259         $TERM =
3260
3261 ###### SimpleStatement Grammar
3262         | Variable = Expression ${
3263                         $0 = new(binode);
3264                         $0->op = Assign;
3265                         $0->left = $<1;
3266                         $0->right = $<3;
3267                 }$
3268         | VariableDecl = Expression ${
3269                         $0 = new(binode);
3270                         $0->op = Declare;
3271                         $0->left = $<1;
3272                         $0->right =$<3;
3273                 }$
3274
3275         | VariableDecl ${
3276                         if ($1->var->where_set == NULL) {
3277                                 type_err(c,
3278                                          "Variable declared with no type or value: %v",
3279                                          $1, NULL, 0, NULL);
3280                         } else {
3281                                 $0 = new(binode);
3282                                 $0->op = Declare;
3283                                 $0->left = $<1;
3284                                 $0->right = NULL;
3285                         }
3286                 }$
3287
3288 ###### print binode cases
3289
3290         case Assign:
3291                 do_indent(indent, "");
3292                 print_exec(b->left, indent, bracket);
3293                 printf(" = ");
3294                 print_exec(b->right, indent, bracket);
3295                 if (indent >= 0)
3296                         printf("\n");
3297                 break;
3298
3299         case Declare:
3300                 {
3301                 struct variable *v = cast(var, b->left)->var;
3302                 do_indent(indent, "");
3303                 print_exec(b->left, indent, bracket);
3304                 if (cast(var, b->left)->var->constant) {
3305                         if (v->where_decl == v->where_set) {
3306                                 printf("::");
3307                                 type_print(v->type, stdout);
3308                                 printf(" ");
3309                         } else
3310                                 printf(" ::");
3311                 } else {
3312                         if (v->where_decl == v->where_set) {
3313                                 printf(":");
3314                                 type_print(v->type, stdout);
3315                                 printf(" ");
3316                         } else
3317                                 printf(" :");
3318                 }
3319                 if (b->right) {
3320                         printf("= ");
3321                         print_exec(b->right, indent, bracket);
3322                 }
3323                 if (indent >= 0)
3324                         printf("\n");
3325                 }
3326                 break;
3327
3328 ###### propagate binode cases
3329
3330         case Assign:
3331         case Declare:
3332                 /* Both must match and not be labels,
3333                  * Type must support 'dup',
3334                  * For Assign, left must not be constant.
3335                  * result is Tnone
3336                  */
3337                 t = propagate_types(b->left, c, ok, NULL,
3338                                     Rnolabel | (b->op == Assign ? Rnoconstant : 0));
3339                 if (!b->right)
3340                         return Tnone;
3341
3342                 if (t) {
3343                         if (propagate_types(b->right, c, ok, t, 0) != t)
3344                                 if (b->left->type == Xvar)
3345                                         type_err(c, "info: variable '%v' was set as %1 here.",
3346                                                  cast(var, b->left)->var->where_set, t, rules, NULL);
3347                 } else {
3348                         t = propagate_types(b->right, c, ok, NULL, Rnolabel);
3349                         if (t)
3350                                 propagate_types(b->left, c, ok, t,
3351                                                 (b->op == Assign ? Rnoconstant : 0));
3352                 }
3353                 if (t && t->dup == NULL)
3354                         type_err(c, "error: cannot assign value of type %1", b, t, 0, NULL);
3355                 return Tnone;
3356
3357                 break;
3358
3359 ###### interp binode cases
3360
3361         case Assign:
3362                 lleft = linterp_exec(b->left, &ltype);
3363                 right = interp_exec(b->right, &rtype);
3364                 if (lleft) {
3365                         free_value(ltype, lleft);
3366                         dup_value(ltype, &right, lleft);
3367                         ltype = NULL;
3368                 }
3369                 break;
3370
3371         case Declare:
3372         {
3373                 struct variable *v = cast(var, b->left)->var;
3374                 if (v->merged)
3375                         v = v->merged;
3376                 free_value(v->type, v->val);
3377                 free(v->val);
3378                 if (b->right) {
3379                         right = interp_exec(b->right, &rtype);
3380                         v->val = val_alloc(v->type, &right);
3381                         rtype = Tnone;
3382                 } else {
3383                         v->val = val_alloc(v->type, NULL);
3384                 }
3385                 break;
3386         }
3387
3388 ### The `use` statement
3389
3390 The `use` statement is the last "simple" statement.  It is needed when
3391 the condition in a conditional statement is a block.  `use` works much
3392 like `return` in C, but only completes the `condition`, not the whole
3393 function.
3394
3395 ###### Binode types
3396         Use,
3397
3398 ###### expr precedence
3399         $TERM use       
3400
3401 ###### SimpleStatement Grammar
3402         | use Expression ${
3403                 $0 = new_pos(binode, $1);
3404                 $0->op = Use;
3405                 $0->right = $<2;
3406                 if ($0->right->type == Xvar) {
3407                         struct var *v = cast(var, $0->right);
3408                         if (v->var->type == Tnone) {
3409                                 /* Convert this to a label */
3410                                 v->var->type = Tlabel;
3411                                 v->var->val = val_alloc(Tlabel, NULL);
3412                                 v->var->val->label = v->var->val;
3413                         }
3414                 }
3415         }$
3416
3417 ###### print binode cases
3418
3419         case Use:
3420                 do_indent(indent, "use ");
3421                 print_exec(b->right, -1, bracket);
3422                 if (indent >= 0)
3423                         printf("\n");
3424                 break;
3425
3426 ###### propagate binode cases
3427
3428         case Use:
3429                 /* result matches value */
3430                 return propagate_types(b->right, c, ok, type, 0);
3431
3432 ###### interp binode cases
3433
3434         case Use:
3435                 rv = interp_exec(b->right, &rvtype);
3436                 break;
3437
3438 ### The Conditional Statement
3439
3440 This is the biggy and currently the only complex statement.  This
3441 subsumes `if`, `while`, `do/while`, `switch`, and some parts of `for`.
3442 It is comprised of a number of parts, all of which are optional though
3443 set combinations apply.  Each part is (usually) a key word (`then` is
3444 sometimes optional) followed by either an expression or a code block,
3445 except the `casepart` which is a "key word and an expression" followed
3446 by a code block.  The code-block option is valid for all parts and,
3447 where an expression is also allowed, the code block can use the `use`
3448 statement to report a value.  If the code block does not report a value
3449 the effect is similar to reporting `True`.
3450
3451 The `else` and `case` parts, as well as `then` when combined with
3452 `if`, can contain a `use` statement which will apply to some
3453 containing conditional statement. `for` parts, `do` parts and `then`
3454 parts used with `for` can never contain a `use`, except in some
3455 subordinate conditional statement.
3456
3457 If there is a `forpart`, it is executed first, only once.
3458 If there is a `dopart`, then it is executed repeatedly providing
3459 always that the `condpart` or `cond`, if present, does not return a non-True
3460 value.  `condpart` can fail to return any value if it simply executes
3461 to completion.  This is treated the same as returning `True`.
3462
3463 If there is a `thenpart` it will be executed whenever the `condpart`
3464 or `cond` returns True (or does not return any value), but this will happen
3465 *after* `dopart` (when present).
3466
3467 If `elsepart` is present it will be executed at most once when the
3468 condition returns `False` or some value that isn't `True` and isn't
3469 matched by any `casepart`.  If there are any `casepart`s, they will be
3470 executed when the condition returns a matching value.
3471
3472 The particular sorts of values allowed in case parts has not yet been
3473 determined in the language design, so nothing is prohibited.
3474
3475 The various blocks in this complex statement potentially provide scope
3476 for variables as described earlier.  Each such block must include the
3477 "OpenScope" nonterminal before parsing the block, and must call
3478 `var_block_close()` when closing the block.
3479
3480 The code following "`if`", "`switch`" and "`for`" does not get its own
3481 scope, but is in a scope covering the whole statement, so names
3482 declared there cannot be redeclared elsewhere.  Similarly the
3483 condition following "`while`" is in a scope the covers the body
3484 ("`do`" part) of the loop, and which does not allow conditional scope
3485 extension.  Code following "`then`" (both looping and non-looping),
3486 "`else`" and "`case`" each get their own local scope.
3487
3488 The type requirements on the code block in a `whilepart` are quite
3489 unusal.  It is allowed to return a value of some identifiable type, in
3490 which case the loop aborts and an appropriate `casepart` is run, or it
3491 can return a Boolean, in which case the loop either continues to the
3492 `dopart` (on `True`) or aborts and runs the `elsepart` (on `False`).
3493 This is different both from the `ifpart` code block which is expected to
3494 return a Boolean, or the `switchpart` code block which is expected to
3495 return the same type as the casepart values.  The correct analysis of
3496 the type of the `whilepart` code block is the reason for the
3497 `Rboolok` flag which is passed to `propagate_types()`.
3498
3499 The `cond_statement` cannot fit into a `binode` so a new `exec` is
3500 defined.
3501
3502 ###### exec type
3503         Xcond_statement,
3504
3505 ###### ast
3506         struct casepart {
3507                 struct exec *value;
3508                 struct exec *action;
3509                 struct casepart *next;
3510         };
3511         struct cond_statement {
3512                 struct exec;
3513                 struct exec *forpart, *condpart, *dopart, *thenpart, *elsepart;
3514                 struct casepart *casepart;
3515         };
3516
3517 ###### ast functions
3518
3519         static void free_casepart(struct casepart *cp)
3520         {
3521                 while (cp) {
3522                         struct casepart *t;
3523                         free_exec(cp->value);
3524                         free_exec(cp->action);
3525                         t = cp->next;
3526                         free(cp);
3527                         cp = t;
3528                 }
3529         }
3530
3531         static void free_cond_statement(struct cond_statement *s)
3532         {
3533                 if (!s)
3534                         return;
3535                 free_exec(s->forpart);
3536                 free_exec(s->condpart);
3537                 free_exec(s->dopart);
3538                 free_exec(s->thenpart);
3539                 free_exec(s->elsepart);
3540                 free_casepart(s->casepart);
3541                 free(s);
3542         }
3543
3544 ###### free exec cases
3545         case Xcond_statement: free_cond_statement(cast(cond_statement, e)); break;
3546
3547 ###### ComplexStatement Grammar
3548         | CondStatement ${ $0 = $<1; }$
3549
3550 ###### expr precedence
3551         $TERM for then while do
3552         $TERM else
3553         $TERM switch case
3554
3555 ###### Grammar
3556
3557         $*cond_statement
3558         // A CondStatement must end with EOL, as does CondSuffix and
3559         // IfSuffix.
3560         // ForPart, ThenPart, SwitchPart, CasePart are non-empty and
3561         // may or may not end with EOL
3562         // WhilePart and IfPart include an appropriate Suffix
3563
3564
3565         // Both ForPart and Whilepart open scopes, and CondSuffix only
3566         // closes one - so in the first branch here we have another to close.
3567         CondStatement -> ForPart OptNL ThenPart OptNL WhilePart CondSuffix ${
3568                         $0 = $<CS;
3569                         $0->forpart = $<FP;
3570                         $0->thenpart = $<TP;
3571                         $0->condpart = $WP.condpart; $WP.condpart = NULL;
3572                         $0->dopart = $WP.dopart; $WP.dopart = NULL;
3573                         var_block_close(c, CloseSequential);
3574                         }$
3575                 | ForPart OptNL WhilePart CondSuffix ${
3576                         $0 = $<CS;
3577                         $0->forpart = $<FP;
3578                         $0->condpart = $WP.condpart; $WP.condpart = NULL;
3579                         $0->dopart = $WP.dopart; $WP.dopart = NULL;
3580                         var_block_close(c, CloseSequential);
3581                         }$
3582                 | WhilePart CondSuffix ${
3583                         $0 = $<CS;
3584                         $0->condpart = $WP.condpart; $WP.condpart = NULL;
3585                         $0->dopart = $WP.dopart; $WP.dopart = NULL;
3586                         }$
3587                 | SwitchPart OptNL CasePart CondSuffix ${
3588                         $0 = $<CS;
3589                         $0->condpart = $<SP;
3590                         $CP->next = $0->casepart;
3591                         $0->casepart = $<CP;
3592                         }$
3593                 | SwitchPart : IN OptNL CasePart CondSuffix OUT Newlines ${
3594                         $0 = $<CS;
3595                         $0->condpart = $<SP;
3596                         $CP->next = $0->casepart;
3597                         $0->casepart = $<CP;
3598                         }$
3599                 | IfPart IfSuffix ${
3600                         $0 = $<IS;
3601                         $0->condpart = $IP.condpart; $IP.condpart = NULL;
3602                         $0->thenpart = $IP.thenpart; $IP.thenpart = NULL;
3603                         // This is where we close an "if" statement
3604                         var_block_close(c, CloseSequential);
3605                         }$
3606
3607         CondSuffix -> IfSuffix ${
3608                         $0 = $<1;
3609                         // This is where we close scope of the whole
3610                         // "for" or "while" statement
3611                         var_block_close(c, CloseSequential);
3612                 }$
3613                 | Newlines CasePart CondSuffix ${
3614                         $0 = $<CS;
3615                         $CP->next = $0->casepart;
3616                         $0->casepart = $<CP;
3617                 }$
3618                 | CasePart CondSuffix ${
3619                         $0 = $<CS;
3620                         $CP->next = $0->casepart;
3621                         $0->casepart = $<CP;
3622                 }$
3623
3624         IfSuffix -> Newlines ${ $0 = new(cond_statement); }$
3625                 | Newlines ElsePart ${ $0 = $<EP; }$
3626                 | ElsePart ${$0 = $<EP; }$
3627
3628         ElsePart -> else OpenBlock Newlines ${
3629                         $0 = new(cond_statement);
3630                         $0->elsepart = $<OB;
3631                         var_block_close(c, CloseElse);
3632                 }$
3633                 | else OpenScope CondStatement ${
3634                         $0 = new(cond_statement);
3635                         $0->elsepart = $<CS;
3636                         var_block_close(c, CloseElse);
3637                 }$
3638
3639         $*casepart
3640         CasePart -> case Expression OpenScope ColonBlock ${
3641                         $0 = calloc(1,sizeof(struct casepart));
3642                         $0->value = $<Ex;
3643                         $0->action = $<Bl;
3644                         var_block_close(c, CloseParallel);
3645                 }$
3646
3647         $*exec
3648         // These scopes are closed in CondSuffix
3649         ForPart -> for OpenBlock ${
3650                         $0 = $<Bl;
3651                 }$
3652
3653         ThenPart -> then OpenBlock ${
3654                         $0 = $<OB;
3655                         var_block_close(c, CloseSequential);
3656                 }$
3657
3658         $cond_statement
3659         // This scope is closed in CondSuffix
3660         WhilePart -> while UseBlock OptNL do Block ${
3661                         $0.condpart = $<UB;
3662                         $0.dopart = $<Bl;
3663                 }$
3664                 | while OpenScope Expression ColonBlock ${
3665                         $0.condpart = $<Exp;
3666                         $0.dopart = $<Bl;
3667                 }$
3668
3669         IfPart -> if UseBlock OptNL then OpenBlock ClosePara ${
3670                         $0.condpart = $<UB;
3671                         $0.thenpart = $<Bl;
3672                 }$
3673                 | if OpenScope Expression OpenScope ColonBlock ClosePara ${
3674                         $0.condpart = $<Ex;
3675                         $0.thenpart = $<Bl;
3676                 }$
3677                 | if OpenScope Expression OpenScope OptNL then Block ClosePara ${
3678                         $0.condpart = $<Ex;
3679                         $0.thenpart = $<Bl;
3680                 }$
3681
3682         $*exec
3683         // This scope is closed in CondSuffix
3684         SwitchPart -> switch OpenScope Expression ${
3685                         $0 = $<Ex;
3686                 }$
3687                 | switch UseBlock ${
3688                         $0 = $<Bl;
3689                 }$
3690
3691 ###### print exec cases
3692
3693         case Xcond_statement:
3694         {
3695                 struct cond_statement *cs = cast(cond_statement, e);
3696                 struct casepart *cp;
3697                 if (cs->forpart) {
3698                         do_indent(indent, "for");
3699                         if (bracket) printf(" {\n"); else printf("\n");
3700                         print_exec(cs->forpart, indent+1, bracket);
3701                         if (cs->thenpart) {
3702                                 if (bracket)
3703                                         do_indent(indent, "} then {\n");
3704                                 else
3705                                         do_indent(indent, "then\n");
3706                                 print_exec(cs->thenpart, indent+1, bracket);
3707                         }
3708                         if (bracket) do_indent(indent, "}\n");
3709                 }
3710                 if (cs->dopart) {
3711                         // a loop
3712                         if (cs->condpart && cs->condpart->type == Xbinode &&
3713                             cast(binode, cs->condpart)->op == Block) {
3714                                 if (bracket)
3715                                         do_indent(indent, "while {\n");
3716                                 else
3717                                         do_indent(indent, "while\n");
3718                                 print_exec(cs->condpart, indent+1, bracket);
3719                                 if (bracket)
3720                                         do_indent(indent, "} do {\n");
3721                                 else
3722                                         do_indent(indent, "do\n");
3723                                 print_exec(cs->dopart, indent+1, bracket);
3724                                 if (bracket)
3725                                         do_indent(indent, "}\n");
3726                         } else {
3727                                 do_indent(indent, "while ");
3728                                 print_exec(cs->condpart, 0, bracket);
3729                                 if (bracket)
3730                                         printf(" {\n");
3731                                 else
3732                                         printf(":\n");
3733                                 print_exec(cs->dopart, indent+1, bracket);
3734                                 if (bracket)
3735                                         do_indent(indent, "}\n");
3736                         }
3737                 } else {
3738                         // a condition
3739                         if (cs->casepart)
3740                                 do_indent(indent, "switch");
3741                         else
3742                                 do_indent(indent, "if");
3743                         if (cs->condpart && cs->condpart->type == Xbinode &&
3744                             cast(binode, cs->condpart)->op == Block) {
3745                                 if (bracket)
3746                                         printf(" {\n");
3747                                 else
3748                                         printf(":\n");
3749                                 print_exec(cs->condpart, indent+1, bracket);
3750                                 if (bracket)
3751                                         do_indent(indent, "}\n");
3752                                 if (cs->thenpart) {
3753                                         do_indent(indent, "then:\n");
3754                                         print_exec(cs->thenpart, indent+1, bracket);
3755                                 }
3756                         } else {
3757                                 printf(" ");
3758                                 print_exec(cs->condpart, 0, bracket);
3759                                 if (cs->thenpart) {
3760                                         if (bracket)
3761                                                 printf(" {\n");
3762                                         else
3763                                                 printf(":\n");
3764                                         print_exec(cs->thenpart, indent+1, bracket);
3765                                         if (bracket)
3766                                                 do_indent(indent, "}\n");
3767                                 } else
3768                                         printf("\n");
3769                         }
3770                 }
3771                 for (cp = cs->casepart; cp; cp = cp->next) {
3772                         do_indent(indent, "case ");
3773                         print_exec(cp->value, -1, 0);
3774                         if (bracket)
3775                                 printf(" {\n");
3776                         else
3777                                 printf(":\n");
3778                         print_exec(cp->action, indent+1, bracket);
3779                         if (bracket)
3780                                 do_indent(indent, "}\n");
3781                 }
3782                 if (cs->elsepart) {
3783                         do_indent(indent, "else");
3784                         if (bracket)
3785                                 printf(" {\n");
3786                         else
3787                                 printf("\n");
3788                         print_exec(cs->elsepart, indent+1, bracket);
3789                         if (bracket)
3790                                 do_indent(indent, "}\n");
3791                 }
3792                 break;
3793         }
3794
3795 ###### propagate exec cases
3796         case Xcond_statement:
3797         {
3798                 // forpart and dopart must return Tnone
3799                 // thenpart must return Tnone if there is a dopart,
3800                 // otherwise it is like elsepart.
3801                 // condpart must:
3802                 //    be bool if there is no casepart
3803                 //    match casepart->values if there is a switchpart
3804                 //    either be bool or match casepart->value if there
3805                 //             is a whilepart
3806                 // elsepart and casepart->action must match the return type
3807                 //   expected of this statement.
3808                 struct cond_statement *cs = cast(cond_statement, prog);
3809                 struct casepart *cp;
3810
3811                 t = propagate_types(cs->forpart, c, ok, Tnone, 0);
3812                 if (!type_compat(Tnone, t, 0))
3813                         *ok = 0;
3814                 t = propagate_types(cs->dopart, c, ok, Tnone, 0);
3815                 if (!type_compat(Tnone, t, 0))
3816                         *ok = 0;
3817                 if (cs->dopart) {
3818                         t = propagate_types(cs->thenpart, c, ok, Tnone, 0);
3819                         if (!type_compat(Tnone, t, 0))
3820                                 *ok = 0;
3821                 }
3822                 if (cs->casepart == NULL)
3823                         propagate_types(cs->condpart, c, ok, Tbool, 0);
3824                 else {
3825                         /* Condpart must match case values, with bool permitted */
3826                         t = NULL;
3827                         for (cp = cs->casepart;
3828                              cp && !t; cp = cp->next)
3829                                 t = propagate_types(cp->value, c, ok, NULL, 0);
3830                         if (!t && cs->condpart)
3831                                 t = propagate_types(cs->condpart, c, ok, NULL, Rboolok);
3832                         // Now we have a type (I hope) push it down
3833                         if (t) {
3834                                 for (cp = cs->casepart; cp; cp = cp->next)
3835                                         propagate_types(cp->value, c, ok, t, 0);
3836                                 propagate_types(cs->condpart, c, ok, t, Rboolok);
3837                         }
3838                 }
3839                 // (if)then, else, and case parts must return expected type.
3840                 if (!cs->dopart && !type)
3841                         type = propagate_types(cs->thenpart, c, ok, NULL, rules);
3842                 if (!type)
3843                         type = propagate_types(cs->elsepart, c, ok, NULL, rules);
3844                 for (cp = cs->casepart;
3845                      cp && !type;
3846                      cp = cp->next)
3847                         type = propagate_types(cp->action, c, ok, NULL, rules);
3848                 if (type) {
3849                         if (!cs->dopart)
3850                                 propagate_types(cs->thenpart, c, ok, type, rules);
3851                         propagate_types(cs->elsepart, c, ok, type, rules);
3852                         for (cp = cs->casepart; cp ; cp = cp->next)
3853                                 propagate_types(cp->action, c, ok, type, rules);
3854                         return type;
3855                 } else
3856                         return NULL;
3857         }
3858
3859 ###### interp exec cases
3860         case Xcond_statement:
3861         {
3862                 struct value v, cnd;
3863                 struct type *vtype, *cndtype;
3864                 struct casepart *cp;
3865                 struct cond_statement *c = cast(cond_statement, e);
3866
3867                 if (c->forpart)
3868                         interp_exec(c->forpart, NULL);
3869                 do {
3870                         if (c->condpart)
3871                                 cnd = interp_exec(c->condpart, &cndtype);
3872                         else
3873                                 cndtype = Tnone;
3874                         if (!(cndtype == Tnone ||
3875                               (cndtype == Tbool && cnd.bool != 0)))
3876                                 break;
3877                         // cnd is Tnone or Tbool, doesn't need to be freed
3878                         if (c->dopart)
3879                                 interp_exec(c->dopart, NULL);
3880
3881                         if (c->thenpart) {
3882                                 rv = interp_exec(c->thenpart, &rvtype);
3883                                 if (rvtype != Tnone || !c->dopart)
3884                                         goto Xcond_done;
3885                                 free_value(rvtype, &rv);
3886                                 rvtype = Tnone;
3887                         }
3888                 } while (c->dopart);
3889
3890                 for (cp = c->casepart; cp; cp = cp->next) {
3891                         v = interp_exec(cp->value, &vtype);
3892                         if (value_cmp(cndtype, vtype, &v, &cnd) == 0) {
3893                                 free_value(vtype, &v);
3894                                 free_value(cndtype, &cnd);
3895                                 rv = interp_exec(cp->action, &rvtype);
3896                                 goto Xcond_done;
3897                         }
3898                         free_value(vtype, &v);
3899                 }
3900                 free_value(cndtype, &cnd);
3901                 if (c->elsepart)
3902                         rv = interp_exec(c->elsepart, &rvtype);
3903                 else
3904                         rvtype = Tnone;
3905         Xcond_done:
3906                 break;
3907         }
3908
3909 ### Top level structure
3910
3911 All the language elements so far can be used in various places.  Now
3912 it is time to clarify what those places are.
3913
3914 At the top level of a file there will be a number of declarations.
3915 Many of the things that can be declared haven't been described yet,
3916 such as functions, procedures, imports, and probably more.
3917 For now there are two sorts of things that can appear at the top
3918 level.  They are predefined constants, `struct` types, and the main
3919 program.  While the syntax will allow the main program to appear
3920 multiple times, that will trigger an error if it is actually attempted.
3921
3922 The various declarations do not return anything.  They store the
3923 various declarations in the parse context.
3924
3925 ###### Parser: grammar
3926
3927         $void
3928         Ocean -> OptNL DeclarationList
3929
3930         ## declare terminals
3931
3932         OptNL ->
3933                 | OptNL NEWLINE
3934         Newlines -> NEWLINE
3935                 | Newlines NEWLINE
3936
3937         DeclarationList -> Declaration
3938                 | DeclarationList Declaration
3939
3940         Declaration -> ERROR Newlines ${
3941                         tok_err(c,
3942                                 "error: unhandled parse error", &$1);
3943                 }$
3944                 | DeclareConstant
3945                 | DeclareProgram
3946                 | DeclareStruct
3947
3948         ## top level grammar
3949
3950 ### The `const` section
3951
3952 As well as being defined in with the code that uses them, constants
3953 can be declared at the top level.  These have full-file scope, so they
3954 are always `InScope`.  The value of a top level constant can be given
3955 as an expression, and this is evaluated immediately rather than in the
3956 later interpretation stage.  Once we add functions to the language, we
3957 will need rules concern which, if any, can be used to define a top
3958 level constant.
3959
3960 Constants are defined in a section that starts with the reserved word
3961 `const` and then has a block with a list of assignment statements.
3962 For syntactic consistency, these must use the double-colon syntax to
3963 make it clear that they are constants.  Type can also be given: if
3964 not, the type will be determined during analysis, as with other
3965 constants.
3966
3967 As the types constants are inserted at the head of a list, printing
3968 them in the same order that they were read is not straight forward.
3969 We take a quadratic approach here and count the number of constants
3970 (variables of depth 0), then count down from there, each time
3971 searching through for the Nth constant for decreasing N.
3972
3973 ###### top level grammar
3974
3975         $TERM const
3976
3977         DeclareConstant -> const { IN OptNL ConstList OUT OptNL } Newlines
3978                 | const { SimpleConstList } Newlines
3979                 | const IN OptNL ConstList OUT Newlines
3980                 | const SimpleConstList Newlines
3981
3982         ConstList -> ConstList SimpleConstLine
3983                 | SimpleConstLine
3984         SimpleConstList -> SimpleConstList ; Const
3985                 | Const
3986                 | SimpleConstList ;
3987         SimpleConstLine -> SimpleConstList Newlines
3988                 | ERROR Newlines ${ tok_err(c, "Syntax error in constant", &$1); }$
3989
3990         $*type
3991         CType -> Type   ${ $0 = $<1; }$
3992                 |       ${ $0 = NULL; }$
3993         $void
3994         Const -> IDENTIFIER :: CType = Expression ${ {
3995                 int ok;
3996                 struct variable *v;
3997
3998                 v = var_decl(c, $1.txt);
3999                 if (v) {
4000                         struct var *var = new_pos(var, $1);
4001                         v->where_decl = var;
4002                         v->where_set = var;
4003                         var->var = v;
4004                         v->constant = 1;
4005                 } else {
4006                         v = var_ref(c, $1.txt);
4007                         tok_err(c, "error: name already declared", &$1);
4008                         type_err(c, "info: this is where '%v' was first declared",
4009                                  v->where_decl, NULL, 0, NULL);
4010                 }
4011                 do {
4012                         ok = 1;
4013                         propagate_types($5, c, &ok, $3, 0);
4014                 } while (ok == 2);
4015                 if (!ok)
4016                         c->parse_error = 1;
4017                 else if (v) {
4018                         struct value res = interp_exec($5, &v->type);
4019                         v->val = val_alloc(v->type, &res);
4020                 }
4021         } }$
4022
4023 ###### print const decls
4024         {
4025                 struct variable *v;
4026                 int target = -1;
4027
4028                 while (target != 0) {
4029                         int i = 0;
4030                         for (v = context.in_scope; v; v=v->in_scope)
4031                                 if (v->depth == 0) {
4032                                         i += 1;
4033                                         if (i == target)
4034                                                 break;
4035                                 }
4036
4037                         if (target == -1) {
4038                                 if (i)
4039                                         printf("const\n");
4040                                 target = i;
4041                         } else {
4042                                 printf("    %.*s :: ", v->name->name.len, v->name->name.txt);
4043                                 type_print(v->type, stdout);
4044                                 printf(" = ");
4045                                 if (v->type == Tstr)
4046                                         printf("\"");
4047                                 print_value(v->type, v->val);
4048                                 if (v->type == Tstr)
4049                                         printf("\"");
4050                                 printf("\n");
4051                                 target -= 1;
4052                         }
4053                 }
4054         }
4055
4056 ### Finally the whole program.
4057
4058 Somewhat reminiscent of Pascal a (current) Ocean program starts with
4059 the keyword "program" and a list of variable names which are assigned
4060 values from command line arguments.  Following this is a `block` which
4061 is the code to execute.  Unlike Pascal, constants and other
4062 declarations come *before* the program.
4063
4064 As this is the top level, several things are handled a bit
4065 differently.
4066 The whole program is not interpreted by `interp_exec` as that isn't
4067 passed the argument list which the program requires.  Similarly type
4068 analysis is a bit more interesting at this level.
4069
4070 ###### Binode types
4071         Program,
4072
4073 ###### top level grammar
4074
4075         DeclareProgram -> Program ${ {
4076                 if (c->prog)
4077                         type_err(c, "Program defined a second time",
4078                                  $1, NULL, 0, NULL);
4079                 else
4080                         c->prog = $<1;
4081         } }$
4082
4083         $TERM program
4084
4085         $*binode
4086         Program -> program OpenScope Varlist ColonBlock Newlines ${
4087                 $0 = new(binode);
4088                 $0->op = Program;
4089                 $0->left = reorder_bilist($<Vl);
4090                 $0->right = $<Bl;
4091                 var_block_close(c, CloseSequential);
4092                 if (c->scope_stack && !c->parse_error) abort();
4093                 }$
4094
4095         Varlist -> Varlist ArgDecl ${
4096                         $0 = new(binode);
4097                         $0->op = Program;
4098                         $0->left = $<1;
4099                         $0->right = $<2;
4100                 }$
4101                 | ${ $0 = NULL; }$
4102
4103         $*var
4104         ArgDecl -> IDENTIFIER ${ {
4105                 struct variable *v = var_decl(c, $1.txt);
4106                 $0 = new(var);
4107                 $0->var = v;
4108         } }$
4109
4110         ## Grammar
4111
4112 ###### print binode cases
4113         case Program:
4114                 do_indent(indent, "program");
4115                 for (b2 = cast(binode, b->left); b2; b2 = cast(binode, b2->right)) {
4116                         printf(" ");
4117                         print_exec(b2->left, 0, 0);
4118                 }
4119                 if (bracket)
4120                         printf(" {\n");
4121                 else
4122                         printf(":\n");
4123                 print_exec(b->right, indent+1, bracket);
4124                 if (bracket)
4125                         do_indent(indent, "}\n");
4126                 break;
4127
4128 ###### propagate binode cases
4129         case Program: abort();          // NOTEST
4130
4131 ###### core functions
4132
4133         static int analyse_prog(struct exec *prog, struct parse_context *c)
4134         {
4135                 struct binode *b = cast(binode, prog);
4136                 int ok = 1;
4137
4138                 if (!b)
4139                         return 0;       // NOTEST
4140                 do {
4141                         ok = 1;
4142                         propagate_types(b->right, c, &ok, Tnone, 0);
4143                 } while (ok == 2);
4144                 if (!ok)
4145                         return 0;
4146
4147                 for (b = cast(binode, b->left); b; b = cast(binode, b->right)) {
4148                         struct var *v = cast(var, b->left);
4149                         if (!v->var->type) {
4150                                 v->var->where_set = b;
4151                                 v->var->type = Tstr;
4152                                 v->var->val = NULL;
4153                         }
4154                 }
4155                 b = cast(binode, prog);
4156                 do {
4157                         ok = 1;
4158                         propagate_types(b->right, c, &ok, Tnone, 0);
4159                 } while (ok == 2);
4160                 if (!ok)
4161                         return 0;
4162
4163                 /* Make sure everything is still consistent */
4164                 propagate_types(b->right, c, &ok, Tnone, 0);
4165                 return !!ok;
4166         }
4167
4168         static void interp_prog(struct exec *prog, char **argv)
4169         {
4170                 struct binode *p = cast(binode, prog);
4171                 struct binode *al;
4172                 struct value v;
4173                 struct type *vtype;
4174
4175                 if (!prog)
4176                         return;         // NOTEST
4177                 al = cast(binode, p->left);
4178                 while (al) {
4179                         struct var *v = cast(var, al->left);
4180                         struct value *vl = v->var->val;
4181
4182                         if (argv[0] == NULL) {
4183                                 printf("Not enough args\n");
4184                                 exit(1);
4185                         }
4186                         al = cast(binode, al->right);
4187                         if (vl)
4188                                 free_value(v->var->type, vl);
4189                         if (!vl) {
4190                                 vl = val_alloc(v->var->type, NULL);
4191                                 v->var->val = vl;
4192                         }
4193                         free_value(v->var->type, vl);
4194                         vl->str.len = strlen(argv[0]);
4195                         vl->str.txt = malloc(vl->str.len);
4196                         memcpy(vl->str.txt, argv[0], vl->str.len);
4197                         argv++;
4198                 }
4199                 v = interp_exec(p->right, &vtype);
4200                 free_value(vtype, &v);
4201         }
4202
4203 ###### interp binode cases
4204         case Program: abort();  // NOTEST
4205
4206 ## And now to test it out.
4207
4208 Having a language requires having a "hello world" program.  I'll
4209 provide a little more than that: a program that prints "Hello world"
4210 finds the GCD of two numbers, prints the first few elements of
4211 Fibonacci, performs a binary search for a number, and a few other
4212 things which will likely grow as the languages grows.
4213
4214 ###### File: oceani.mk
4215         demos :: sayhello
4216         sayhello : oceani
4217                 @echo "===== DEMO ====="
4218                 ./oceani --section "demo: hello" oceani.mdc 55 33
4219
4220 ###### demo: hello
4221
4222         const
4223                 pi ::= 3.141_592_6
4224                 four ::= 2 + 2 ; five ::= 10/2
4225         const pie ::= "I like Pie";
4226                 cake ::= "The cake is"
4227                   ++ " a lie"
4228
4229         struct fred
4230                 size:[four]number
4231                 name:string
4232                 alive:Boolean
4233
4234         program Astr Bstr:
4235                 print "Hello World, what lovely oceans you have!"
4236                 print "Are there", five, "?"
4237                 print pi, pie, "but", cake
4238
4239                 A := $Astr; B := $Bstr
4240
4241                 /* When a variable is defined in both branches of an 'if',
4242                  * and used afterwards, the variables are merged.
4243                  */
4244                 if A > B:
4245                         bigger := "yes"
4246                 else
4247                         bigger := "no"
4248                 print "Is", A, "bigger than", B,"? ", bigger
4249                 /* If a variable is not used after the 'if', no
4250                  * merge happens, so types can be different
4251                  */
4252                 if A > B * 2:
4253                         double:string = "yes"
4254                         print A, "is more than twice", B, "?", double
4255                 else
4256                         double := B*2
4257                         print "double", B, "is", double
4258
4259                 a : number
4260                 a = A;
4261                 b:number = B
4262                 if a > 0 and then b > 0:
4263                         while a != b:
4264                                 if a < b:
4265                                         b = b - a
4266                                 else
4267                                         a = a - b
4268                         print "GCD of", A, "and", B,"is", a
4269                 else if a <= 0:
4270                         print a, "is not positive, cannot calculate GCD"
4271                 else
4272                         print b, "is not positive, cannot calculate GCD"
4273
4274                 for
4275                         togo := 10
4276                         f1 := 1; f2 := 1
4277                         print "Fibonacci:", f1,f2,
4278                 then togo = togo - 1
4279                 while togo > 0:
4280                         f3 := f1 + f2
4281                         print "", f3,
4282                         f1 = f2
4283                         f2 = f3
4284                 print ""
4285
4286                 /* Binary search... */
4287                 for
4288                         lo:= 0; hi := 100
4289                         target := 77
4290                 while
4291                         mid := (lo + hi) / 2
4292                         if mid == target:
4293                                 use Found
4294                         if mid < target:
4295                                 lo = mid
4296                         else
4297                                 hi = mid
4298                         if hi - lo < 1:
4299                                 use GiveUp
4300                         use True
4301                 do pass
4302                 case Found:
4303                         print "Yay, I found", target
4304                 case GiveUp:
4305                         print "Closest I found was", mid
4306
4307                 size::= 10
4308                 list:[size]number
4309                 list[0] = 1234
4310                 // "middle square" PRNG.  Not particularly good, but one my
4311                 // Dad taught me - the first one I ever heard of.
4312                 for i:=1; then i = i + 1; while i < size:
4313                         n := list[i-1] * list[i-1]
4314                         list[i] = (n / 100) % 10 000
4315
4316                 print "Before sort:",
4317                 for i:=0; then i = i + 1; while i < size:
4318                         print "", list[i],
4319                 print
4320
4321                 for i := 1; then i=i+1; while i < size:
4322                         for j:=i-1; then j=j-1; while j >= 0:
4323                                 if list[j] > list[j+1]:
4324                                         t:= list[j]
4325                                         list[j] = list[j+1]
4326                                         list[j+1] = t
4327                 print " After sort:",
4328                 for i:=0; then i = i + 1; while i < size:
4329                         print "", list[i],
4330                 print
4331
4332                 if 1 == 2 then print "yes"; else print "no"
4333
4334                 bob:fred
4335                 bob.name = "Hello"
4336                 bob.alive = (bob.name == "Hello")
4337                 print "bob", "is" if  bob.alive else "isn't", "alive"