]> git.cameronkatri.com Git - mandoc.git/blobdiff - macro.c
In-progress migration to ARGV separation.
[mandoc.git] / macro.c
diff --git a/macro.c b/macro.c
index 761d6e53b50747b7a2d80f4e2f333d9347ee49e4..c18cfe630a9076cf31bb2bea229df0031b9cd195 100644 (file)
--- a/macro.c
+++ b/macro.c
@@ -1,4 +1,4 @@
-/* $Id: macro.c,v 1.35 2009/01/14 11:58:24 kristaps Exp $ */
+/* $Id: macro.c,v 1.48 2009/01/20 20:56:21 kristaps Exp $ */
 /*
  * Copyright (c) 2008 Kristaps Dzonsons <kristaps@kth.se>
  *
 #include <time.h>
 #endif
 
-#include "private.h"
+/*
+ * This has scanning/parsing routines, each of which extract a macro and
+ * its arguments and parameters, then know how to progress to the next
+ * macro.  Macros are parsed according as follows:
+ *
+ *   ELEMENT:    TEXT | epsilon
+ *   BLOCK:      HEAD PUNCT BODY PUNCT BLOCK_TAIL PUNCT
+ *   BLOCK_TAIL:  TAIL | epsilon
+ *   HEAD:       ELEMENT | TEXT | BLOCK | epsilon
+ *   BODY:       ELEMENT | TEXT | BLOCK | epsilon
+ *   TAIL:       TEXT | epsilon
+ *   PUNCT:      TEXT (delimiters) | epsilon
+ *
+ * These are arranged into a parse tree, an example of which follows:
+ *
+ *   ROOT
+ *       BLOCK (.Sh)
+ *           HEAD
+ *               TEXT (`NAME')
+ *           BODY
+ *               ELEMENT (.Nm)
+ *                   TEXT (`mdocml')
+ *               ELEMENT (.Nd)
+ *                   TEXT (`mdoc macro compiler')
+ *               BLOCK (.Op)
+ *                   HEAD
+ *                       ELEMENT (.Fl)
+ *                           TEXT (`v')
+ *               BLOCK (.Op)
+ *                   HEAD
+ *                       ELEMENT (.Fl)
+ *                           TEXT (`v')
+ *                       ELEMENT (.Fl)
+ *                           TEXT (`W')
+ *                       ELEMENT (.Ns)
+ *                       ELEMENT (.Ar)
+ *                           TEXT (`err...')
+ *
+ * These types are always per-line except for block bodies, which may
+ * span multiple lines.  Macros are assigned a parsing routine, which
+ * corresponds to the type, in the mdoc_macros table.
+ *
+ * Note that types are general:  there can be several parsing routines
+ * corresponding to a single type.  The macro_text function, for
+ * example, parses an ELEMENT type (see the function definition for
+ * details) that may be interrupted by further macros; the
+ * macro_constant function, on the other hand, parses an ELEMENT type
+ * spanning a single line.
+ */
 
-/* FIXME: maxlineargs should be per LINE, no per TOKEN. */
+#include "private.h"
 
-static int       rewind_alt(int);
-static int       rewind_dohalt(int, enum mdoc_type, 
-                       const struct mdoc_node *);
 #define        REWIND_REWIND   (1 << 0)
 #define        REWIND_NOHALT   (1 << 1)
 #define        REWIND_HALT     (1 << 2)
-static int       rewind_dobreak(int, enum mdoc_type, 
+static int       rewind_dohalt(int, enum mdoc_type, 
                        const struct mdoc_node *);
-
-
+static int       rewind_alt(int);
+static int       rewind_dobreak(int, const struct mdoc_node *);
 static int       rewind_elem(struct mdoc *, int);
-static int       rewind_impblock(struct mdoc *, int);
-static int       rewind_expblock(struct mdoc *, int);
-static int       rewind_head(struct mdoc *, int);
-static int       rewind_body(struct mdoc *, int);
+static int       rewind_impblock(struct mdoc *, int, int, int);
+static int       rewind_expblock(struct mdoc *, int, int, int);
+static int       rewind_subblock(enum mdoc_type, 
+                       struct mdoc *, int, int, int);
 static int       rewind_last(struct mdoc *, struct mdoc_node *);
-static int       append_delims(struct mdoc *, 
-                       int, int, int *, char *);
+static int       append_delims(struct mdoc *, int, int *, char *);
 static int       lookup(struct mdoc *, int, int, int, const char *);
 
 
@@ -60,8 +104,7 @@ lookup(struct mdoc *mdoc, int line, int pos, int from, const char *p)
                return(res);
        if (MDOC_MAX == res)
                return(res);
-
-       if ( ! mdoc_pwarn(mdoc, line, pos, WARN_SYNTAX_MACLIKE))
+       if ( ! mdoc_pwarn(mdoc, line, pos, WARN_SYNTAX, "macro-like parameter"))
                return(-1);
        return(MDOC_MAX);
 }
@@ -73,30 +116,19 @@ rewind_last(struct mdoc *mdoc, struct mdoc_node *to)
 
        assert(to);
        mdoc->next = MDOC_NEXT_SIBLING;
-       if (mdoc->last == to) {
+
+       while (mdoc->last != to) {
                if ( ! mdoc_valid_post(mdoc))
                        return(0);
                if ( ! mdoc_action_post(mdoc))
                        return(0);
-               mdoc_msg(mdoc, "rewound to %s %s", 
-                               mdoc_type2a(mdoc->last->type),
-                               mdoc_macronames[mdoc->last->tok]);
-               return(1);
-       }
-
-       do {
                mdoc->last = mdoc->last->parent;
                assert(mdoc->last);
-               if ( ! mdoc_valid_post(mdoc))
-                       return(0);
-               if ( ! mdoc_action_post(mdoc))
-                       return(0);
-               mdoc_msg(mdoc, "rewound to %s %s",
-                               mdoc_type2a(mdoc->last->type),
-                               mdoc_macronames[mdoc->last->tok]);
-       } while (mdoc->last != to);
+       }
 
-       return(1);
+       if ( ! mdoc_valid_post(mdoc))
+               return(0);
+       return(mdoc_action_post(mdoc));
 }
 
 
@@ -148,9 +180,7 @@ rewind_dohalt(int tok, enum mdoc_type type, const struct mdoc_node *p)
 
        if (MDOC_ROOT == p->type)
                return(REWIND_HALT);
-       if (MDOC_TEXT == p->type) 
-               return(REWIND_NOHALT);
-       if (MDOC_ELEM == p->type) 
+       if (MDOC_VALID & p->flags)
                return(REWIND_NOHALT);
 
        switch (tok) {
@@ -174,7 +204,7 @@ rewind_dohalt(int tok, enum mdoc_type type, const struct mdoc_node *p)
        case (MDOC_Qq):
                /* FALLTHROUGH */
        case (MDOC_Sq):
-               assert(MDOC_BODY != type);
+               assert(MDOC_HEAD != type);
                assert(MDOC_TAIL != type);
                if (type == p->type && tok == p->tok)
                        return(REWIND_REWIND);
@@ -185,15 +215,19 @@ rewind_dohalt(int tok, enum mdoc_type type, const struct mdoc_node *p)
                assert(MDOC_TAIL != type);
                if (type == p->type && tok == p->tok)
                        return(REWIND_REWIND);
-               if (MDOC_BLOCK == type && MDOC_BODY == p->type && 
-                               MDOC_Bl == p->tok)
+               if (MDOC_BODY == p->type && MDOC_Bl == p->tok)
                        return(REWIND_HALT);
                break;
        case (MDOC_Sh):
-               /* FALLTHROUGH */
+               if (type == p->type && tok == p->tok)
+                       return(REWIND_REWIND);
+               break;
        case (MDOC_Ss):
+               assert(MDOC_TAIL != type);
                if (type == p->type && tok == p->tok)
                        return(REWIND_REWIND);
+               if (MDOC_BODY == p->type && MDOC_Sh == p->tok)
+                       return(REWIND_HALT);
                break;
        
        /* Multi-line explicit scope start. */
@@ -273,7 +307,7 @@ rewind_dohalt(int tok, enum mdoc_type type, const struct mdoc_node *p)
 
 
 static int
-rewind_dobreak(int tok, enum mdoc_type type, const struct mdoc_node *p)
+rewind_dobreak(int tok, const struct mdoc_node *p)
 {
 
        assert(MDOC_ROOT != p->type);
@@ -281,8 +315,11 @@ rewind_dobreak(int tok, enum mdoc_type type, const struct mdoc_node *p)
                return(1);
        if (MDOC_TEXT == p->type)
                return(1);
+       if (MDOC_VALID & p->flags)
+               return(1);
 
        switch (tok) {
+       /* Implicit rules. */
        case (MDOC_It):
                return(MDOC_It == p->tok);
        case (MDOC_Ss):
@@ -291,6 +328,14 @@ rewind_dobreak(int tok, enum mdoc_type type, const struct mdoc_node *p)
                if (MDOC_Ss == p->tok)
                        return(1);
                return(MDOC_Sh == p->tok);
+
+       /* Extra scope rules. */
+       case (MDOC_El):
+               if (MDOC_It == p->tok)
+                       return(1);
+               break;
+       default:
+               break;
        }
 
        if (MDOC_EXPLICIT & mdoc_macros[tok].flags) 
@@ -318,21 +363,22 @@ rewind_elem(struct mdoc *mdoc, int tok)
 
 
 static int
-rewind_body(struct mdoc *mdoc, int tok)
+rewind_subblock(enum mdoc_type type, struct mdoc *mdoc, 
+               int tok, int line, int ppos)
 {
        struct mdoc_node *n;
        int               c;
 
        /* LINTED */
        for (n = mdoc->last; n; n = n->parent) {
-               c = rewind_dohalt(tok, MDOC_BODY, n);
+               c = rewind_dohalt(tok, type, n);
                if (REWIND_HALT == c)
                        return(1);
                if (REWIND_REWIND == c)
                        break;
-               else if (rewind_dobreak(tok, MDOC_BODY, n))
+               else if (rewind_dobreak(tok, n))
                        continue;
-               return(mdoc_verr(mdoc, n, ERR_SCOPE_BREAK));
+               return(mdoc_perr(mdoc, line, ppos, "scope breaks prior %s", mdoc_node2a(n)));
        }
 
        assert(n);
@@ -341,30 +387,7 @@ rewind_body(struct mdoc *mdoc, int tok)
 
 
 static int
-rewind_head(struct mdoc *mdoc, int tok)
-{
-       struct mdoc_node *n;
-       int               c;
-
-       /* LINTED */
-       for (n = mdoc->last; n; n = n->parent) {
-               c = rewind_dohalt(tok, MDOC_HEAD, n);
-               if (REWIND_HALT == c)
-                       return(1);
-               if (REWIND_REWIND == c)
-                       break;
-               else if (rewind_dobreak(tok, MDOC_HEAD, n))
-                       continue;
-               return(mdoc_verr(mdoc, n, ERR_SCOPE_BREAK));
-       }
-
-       assert(n);
-       return(rewind_last(mdoc, n));
-}
-
-
-static int
-rewind_expblock(struct mdoc *mdoc, int tok)
+rewind_expblock(struct mdoc *mdoc, int tok, int line, int ppos)
 {
        struct mdoc_node *n;
        int               c;
@@ -373,12 +396,12 @@ rewind_expblock(struct mdoc *mdoc, int tok)
        for (n = mdoc->last; n; n = n->parent) {
                c = rewind_dohalt(tok, MDOC_BLOCK, n);
                if (REWIND_HALT == c)
-                       return(mdoc_err(mdoc, ERR_SCOPE_NOCTX));
+                       return(mdoc_perr(mdoc, line, ppos, "closing macro has no context"));
                if (REWIND_REWIND == c)
                        break;
-               else if (rewind_dobreak(tok, MDOC_BLOCK, n))
+               else if (rewind_dobreak(tok, n))
                        continue;
-               return(mdoc_verr(mdoc, n, ERR_SCOPE_BREAK));
+               return(mdoc_perr(mdoc, line, ppos, "scope breaks prior %s", mdoc_node2a(n)));
        }
 
        assert(n);
@@ -387,7 +410,7 @@ rewind_expblock(struct mdoc *mdoc, int tok)
 
 
 static int
-rewind_impblock(struct mdoc *mdoc, int tok)
+rewind_impblock(struct mdoc *mdoc, int tok, int line, int ppos)
 {
        struct mdoc_node *n;
        int               c;
@@ -399,9 +422,9 @@ rewind_impblock(struct mdoc *mdoc, int tok)
                        return(1);
                else if (REWIND_REWIND == c)
                        break;
-               else if (rewind_dobreak(tok, MDOC_BLOCK, n))
+               else if (rewind_dobreak(tok, n))
                        continue;
-               return(mdoc_verr(mdoc, n, ERR_SCOPE_BREAK));
+               return(mdoc_perr(mdoc, line, ppos, "scope breaks prior %s", mdoc_node2a(n)));
        }
 
        assert(n);
@@ -410,8 +433,7 @@ rewind_impblock(struct mdoc *mdoc, int tok)
 
 
 static int
-append_delims(struct mdoc *mdoc, int tok, 
-               int line, int *pos, char *buf)
+append_delims(struct mdoc *mdoc, int line, int *pos, char *buf)
 {
        int              c, lastarg;
        char            *p;
@@ -436,7 +458,10 @@ append_delims(struct mdoc *mdoc, int tok,
 }
 
 
-/* ARGSUSED */
+/*
+ * Close out an explicit scope.  This optionally parses a TAIL type with
+ * a set number of TEXT children.
+ */
 int
 macro_scoped_close(MACRO_PROT_ARGS)
 {
@@ -454,16 +479,19 @@ macro_scoped_close(MACRO_PROT_ARGS)
 
        tt = rewind_alt(tok);
 
+       mdoc_msg(mdoc, "parse: %s closing %s",
+                       mdoc_macronames[tok], mdoc_macronames[tt]);
+
        if ( ! (MDOC_CALLABLE & mdoc_macros[tok].flags)) {
                if (0 == buf[*pos]) {
-                       if ( ! rewind_body(mdoc, tok))
+                       if ( ! rewind_subblock(MDOC_BODY, mdoc, tok, line, ppos))
                                return(0);
-                       return(rewind_expblock(mdoc, tok));
+                       return(rewind_expblock(mdoc, tok, line, ppos));
                }
-               return(mdoc_perr(mdoc, line, ppos, ERR_ARGS_EQ0));
+               return(mdoc_perr(mdoc, line, ppos, "macro expects no parameters"));
        }
 
-       if ( ! rewind_body(mdoc, tok))
+       if ( ! rewind_subblock(MDOC_BODY, mdoc, tok, line, ppos))
                return(0);
 
        lastarg = ppos;
@@ -475,16 +503,16 @@ macro_scoped_close(MACRO_PROT_ARGS)
                mdoc->next = MDOC_NEXT_CHILD;
        }
 
-       for (j = 0; j < MDOC_LINEARG_MAX; j++) {
+       for (j = 0; /* No sentinel. */; j++) {
                lastarg = *pos;
 
                if (j == maxargs && ! flushed) {
-                       if ( ! rewind_expblock(mdoc, tok))
+                       if ( ! rewind_expblock(mdoc, tok, line, ppos))
                                return(0);
                        flushed = 1;
                }
 
-               c = mdoc_args(mdoc, line, pos, buf, ARGS_DELIM, &p);
+               c = mdoc_args(mdoc, line, pos, buf, tok, &p);
                if (ARGS_ERROR == c)
                        return(0);
                if (ARGS_PUNCT == c)
@@ -496,7 +524,7 @@ macro_scoped_close(MACRO_PROT_ARGS)
                        return(0);
                else if (MDOC_MAX != c) {
                        if ( ! flushed) {
-                               if ( ! rewind_expblock(mdoc, tok))
+                               if ( ! rewind_expblock(mdoc, tok, line, ppos))
                                        return(0);
                                flushed = 1;
                        }
@@ -510,31 +538,43 @@ macro_scoped_close(MACRO_PROT_ARGS)
                mdoc->next = MDOC_NEXT_SIBLING;
        }
 
-       if (MDOC_LINEARG_MAX == j)
-               return(mdoc_perr(mdoc, line, ppos, ERR_ARGS_MANY));
-
-       if ( ! flushed && ! rewind_expblock(mdoc, tok))
+       if ( ! flushed && ! rewind_expblock(mdoc, tok, line, ppos))
                return(0);
 
        if (ppos > 1)
                return(1);
-       return(append_delims(mdoc, tok, line, pos, buf));
+       return(append_delims(mdoc, line, pos, buf));
 }
 
 
 /*
- * A general text domain macro.  When invoked, this opens a scope that
- * accepts words until either end-of-line, only-punctuation, or a
- * callable macro.  If the word is punctuation (not only-punctuation),
- * then the scope is closed out, the punctuation appended, then the
- * scope opened again.  If any terminating conditions are met, the scope
- * is closed out.  If this is the first macro in the line and
- * only-punctuation remains, this punctuation is flushed.
+ * A general text macro.  This is a complex case because of punctuation.
+ * If a text macro is followed by words, then punctuation, the macro is
+ * "stopped" and "reopened" following the punctuation.  Thus, the
+ * following arises:
+ *
+ *    .Fl a ; b
+ *
+ *    ELEMENT (.Fl)
+ *        TEXT (`a')
+ *    TEXT (`;')
+ *    ELEMENT (.Fl)
+ *        TEXT (`b')
+ *
+ * This must handle the following situations:
+ *
+ *    .Fl Ar b ; ;
+ *
+ *    ELEMENT (.Fl)
+ *    ELEMENT (.Ar)
+ *        TEXT (`b')
+ *    TEXT (`;')
+ *    TEXT (`;')
  */
 int
 macro_text(MACRO_PROT_ARGS)
 {
-       int               la, lastpunct, c, sz, fl, argc;
+       int               la, lastpunct, c, w, argc;
        struct mdoc_arg   argv[MDOC_LINEARG_MAX];
        char             *p;
 
@@ -543,22 +583,25 @@ macro_text(MACRO_PROT_ARGS)
 
        for (argc = 0; argc < MDOC_LINEARG_MAX; argc++) {
                la = *pos;
-
                c = mdoc_argv(mdoc, line, tok, &argv[argc], pos, buf);
-               if (ARGV_EOLN == c || ARGV_WORD == c)
+               if (ARGV_EOLN == c)
+                       break;
+               if (ARGV_WORD == c) {
+                       *pos = la;
                        break;
-               else if (ARGV_ARG == c)
+               else if (ARGV_ARG == c)
                        continue;
+
                mdoc_argv_free(argc, argv);
                return(0);
        }
 
        if (MDOC_LINEARG_MAX == argc) {
-               mdoc_argv_free(argc, argv);
-               return(mdoc_perr(mdoc, line, ppos, ERR_ARGS_MANY));
+               mdoc_argv_free(argc - 1, argv);
+               return(mdoc_perr(mdoc, line, ppos, "parameter hard-limit exceeded"));
        }
 
-       c = mdoc_elem_alloc(mdoc, line, la, tok, argc, argv);
+       c = mdoc_elem_alloc(mdoc, line, ppos, tok, argc, argv);
 
        if (0 == c) {
                mdoc_argv_free(argc, argv);
@@ -567,59 +610,57 @@ macro_text(MACRO_PROT_ARGS)
 
        mdoc->next = MDOC_NEXT_CHILD;
 
-       fl = ARGS_DELIM;
-       if (MDOC_QUOTABLE & mdoc_macros[tok].flags)
-               fl |= ARGS_QUOTED;
-
-       for (lastpunct = sz = 0; sz + argc < MDOC_LINEARG_MAX; sz++) {
+       lastpunct = 0;
+       for (;;) {
                la = *pos;
-
-               if (lastpunct) {
-                       c = mdoc_elem_alloc(mdoc, line, 
-                                       la, tok, argc, argv);
-                       if (0 == c) {
-                               mdoc_argv_free(argc, argv);
-                               return(0);
-                       }
-                       mdoc->next = MDOC_NEXT_CHILD;
-                       lastpunct = 0;
-               }
-
-               c = mdoc_args(mdoc, line, pos, buf, fl, &p);
-               if (ARGS_ERROR == c) {
+               w = mdoc_args(mdoc, line, pos, buf, tok, &p);
+               if (ARGS_ERROR == w) {
                        mdoc_argv_free(argc, argv);
                        return(0);
                }
 
-               if (ARGS_EOLN == c)
+               if (ARGS_EOLN == w)
                        break;
-               if (ARGS_PUNCT == c)
+               if (ARGS_PUNCT == w)
                        break;
 
-               if (-1 == (c = lookup(mdoc, line, la, tok, p)))
-                       return(0);
-               else if (MDOC_MAX != c) {
-                       if ( ! rewind_elem(mdoc, tok)) {
+               c = ARGS_QWORD == w ? MDOC_MAX :
+                       lookup(mdoc, line, la, tok, p);
+
+               if (MDOC_MAX != c && -1 != c) {
+                       if (0 == lastpunct && ! rewind_elem(mdoc, tok)) {
                                mdoc_argv_free(argc, argv);
                                return(0);
                        }
                        mdoc_argv_free(argc, argv);
-
                        c = mdoc_macro(mdoc, c, line, la, pos, buf);
                        if (0 == c)
                                return(0);
                        if (ppos > 1)
                                return(1);
-                       return(append_delims(mdoc, tok, line, pos, buf));
+                       return(append_delims(mdoc, line, pos, buf));
+               } else if (-1 == c) {
+                       mdoc_argv_free(argc, argv);
+                       return(0);
                }
 
-               if (mdoc_isdelim(p)) {
-                       if ( ! rewind_elem(mdoc, tok)) {
+               if (ARGS_QWORD != w && mdoc_isdelim(p)) {
+                       if (0 == lastpunct && ! rewind_elem(mdoc, tok)) {
                                mdoc_argv_free(argc, argv);
                                return(0);
                        }
                        lastpunct = 1;
+               } else if (lastpunct) {
+                       c = mdoc_elem_alloc(mdoc, line, 
+                                       ppos, tok, argc, argv);
+                       if (0 == c) {
+                               mdoc_argv_free(argc, argv);
+                               return(0);
+                       }
+                       mdoc->next = MDOC_NEXT_CHILD;
+                       lastpunct = 0;
                }
+
                if ( ! mdoc_word_alloc(mdoc, line, la, p))
                        return(0);
                mdoc->next = MDOC_NEXT_SIBLING;
@@ -627,50 +668,75 @@ macro_text(MACRO_PROT_ARGS)
 
        mdoc_argv_free(argc, argv);
 
-       if (sz == MDOC_LINEARG_MAX)
-               return(mdoc_perr(mdoc, line, ppos, ERR_ARGS_MANY));
-
-       if ( ! rewind_elem(mdoc, tok))
+       if (0 == lastpunct && ! rewind_elem(mdoc, tok))
                return(0);
        if (ppos > 1)
                return(1);
-       return(append_delims(mdoc, tok, line, pos, buf));
+       return(append_delims(mdoc, line, pos, buf));
 }
 
 
 /*
- * Implicit- or explicit-end multi-line scoped macro.
+ * Handle explicit-scope (having a different closure token) and implicit
+ * scope (closing out prior scopes when re-invoked) macros.  These
+ * constitute the BLOCK type and usually span multiple lines.  These
+ * always have HEAD and sometimes have BODY types.  In the multi-line
+ * case:
+ *
+ *     .Bd -ragged
+ *     Text.
+ *     .Fl macro
+ *     Another.
+ *     .Ed
+ *
+ *     BLOCK (.Bd)
+ *         HEAD
+ *         BODY
+ *             TEXT (`Text.')
+ *             ELEMENT (.Fl)
+ *                 TEXT (`macro')
+ *             TEXT (`Another.')
+ *
+ * Note that the `.It' macro, possibly the most difficult (as it has
+ * embedded scope, etc.) is handled by this routine.
  */
 int
 macro_scoped(MACRO_PROT_ARGS)
 {
-       int               c, lastarg, argc, j, fl;
+       int               c, lastarg, argc;
        struct mdoc_arg   argv[MDOC_LINEARG_MAX];
        char             *p;
 
        assert ( ! (MDOC_CALLABLE & mdoc_macros[tok].flags));
 
+       /* First rewind extant implicit scope. */
+
        if ( ! (MDOC_EXPLICIT & mdoc_macros[tok].flags)) {
-               if ( ! rewind_body(mdoc, tok))
+               if ( ! rewind_subblock(MDOC_BODY, mdoc, tok, line, ppos))
                        return(0);
-               if ( ! rewind_impblock(mdoc, tok))
+               if ( ! rewind_impblock(mdoc, tok, line, ppos))
                        return(0);
        }
 
+       /* Parse arguments. */
+
        for (argc = 0; argc < MDOC_LINEARG_MAX; argc++) {
                lastarg = *pos;
                c = mdoc_argv(mdoc, line, tok, &argv[argc], pos, buf);
-               if (ARGV_EOLN == c || ARGV_WORD == c)
+               if (ARGV_EOLN == c)
                        break;
-               else if (ARGV_ARG == c)
+               if (ARGV_WORD == c) {
+                       *pos = lastarg;
+                       break;
+               } else if (ARGV_ARG == c)
                        continue;
                mdoc_argv_free(argc, argv);
                return(0);
        }
 
        if (MDOC_LINEARG_MAX == argc) {
-               mdoc_argv_free(argc, argv);
-               return(mdoc_perr(mdoc, line, ppos, ERR_ARGS_MANY));
+               mdoc_argv_free(argc - 1, argv);
+               return(mdoc_perr(mdoc, line, ppos, "parameter hard-limit exceeded"));
        }
 
        c = mdoc_block_alloc(mdoc, line, ppos, 
@@ -685,7 +751,7 @@ macro_scoped(MACRO_PROT_ARGS)
        if (0 == buf[*pos]) {
                if ( ! mdoc_head_alloc(mdoc, line, ppos, tok))
                        return(0);
-               if ( ! rewind_head(mdoc, tok))
+               if ( ! rewind_subblock(MDOC_HEAD, mdoc, tok, line, ppos))
                        return(0);
                if ( ! mdoc_body_alloc(mdoc, line, ppos, tok))
                        return(0);
@@ -697,13 +763,9 @@ macro_scoped(MACRO_PROT_ARGS)
                return(0);
        mdoc->next = MDOC_NEXT_CHILD;
 
-       fl = ARGS_DELIM;
-       if (MDOC_TABSEP & mdoc_macros[tok].flags)
-               fl |= ARGS_TABSEP;
-
-       for (j = 0; j < MDOC_LINEARG_MAX; j++) {
+       for (;;) {
                lastarg = *pos;
-               c = mdoc_args(mdoc, line, pos, buf, fl, &p);
+               c = mdoc_args(mdoc, line, pos, buf, tok, &p);
        
                if (ARGS_ERROR == c)
                        return(0);
@@ -711,10 +773,14 @@ macro_scoped(MACRO_PROT_ARGS)
                        break;
                if (ARGS_EOLN == c)
                        break;
+
+               /* FIXME: if .It -column, the lookup must be for a
+                * sub-line component.  BLAH. */
        
                if (-1 == (c = lookup(mdoc, line, lastarg, tok, p)))
                        return(0);
-               else if (MDOC_MAX == c) {
+
+               if (MDOC_MAX == c) {
                        if ( ! mdoc_word_alloc(mdoc, line, lastarg, p))
                                return(0);
                        mdoc->next = MDOC_NEXT_SIBLING;
@@ -725,13 +791,10 @@ macro_scoped(MACRO_PROT_ARGS)
                        return(0);
                break;
        }
-
-       if (j == MDOC_LINEARG_MAX)
-               return(mdoc_perr(mdoc, line, ppos, ERR_ARGS_MANY));
-
-       if ( ! rewind_head(mdoc, tok))
+       
+       if ( ! rewind_subblock(MDOC_HEAD, mdoc, tok, line, ppos))
                return(0);
-       if (1 == ppos && ! append_delims(mdoc, tok, line, pos, buf))
+       if (1 == ppos && ! append_delims(mdoc, line, pos, buf))
                return(0);
 
        if ( ! mdoc_body_alloc(mdoc, line, ppos, tok))
@@ -743,14 +806,28 @@ macro_scoped(MACRO_PROT_ARGS)
 
 
 /*
- * When scoped to a line, a macro encompasses all of the contents.  This
- * differs from constants or text macros, where a new macro will
- * terminate the existing context.
+ * This handles a case of implicitly-scoped macro (BLOCK) limited to a
+ * single line.  Instead of being closed out by a subsequent call to
+ * another macro, the scope is closed at the end of line.  These don't
+ * have BODY or TAIL types.  Notice that the punctuation falls outside
+ * of the HEAD type.
+ *
+ *     .Qq a Fl b Ar d ; ;
+ *
+ *     BLOCK (Qq)
+ *         HEAD
+ *             TEXT (`a')
+ *             ELEMENT (.Fl)
+ *                 TEXT (`b')
+ *             ELEMENT (.Ar)
+ *                 TEXT (`d')
+ *         TEXT (`;')
+ *         TEXT (`;')
  */
 int
 macro_scoped_line(MACRO_PROT_ARGS)
 {
-       int               lastarg, c, j;
+       int               lastarg, c;
        char              *p;
 
        if ( ! mdoc_block_alloc(mdoc, line, ppos, tok, 0, NULL))
@@ -759,13 +836,17 @@ macro_scoped_line(MACRO_PROT_ARGS)
 
        if ( ! mdoc_head_alloc(mdoc, line, ppos, tok))
                return(0);
+       mdoc->next = MDOC_NEXT_SIBLING;
+       if ( ! mdoc_body_alloc(mdoc, line, ppos, tok))
+               return(0);
        mdoc->next = MDOC_NEXT_CHILD;
 
        /* XXX - no known argument macros. */
 
-       for (lastarg = ppos, j = 0; j < MDOC_LINEARG_MAX; j++) {
+       lastarg = ppos;
+       for (;;) {
                lastarg = *pos;
-               c = mdoc_args(mdoc, line, pos, buf, ARGS_DELIM, &p);
+               c = mdoc_args(mdoc, line, pos, buf, tok, &p);
 
                if (ARGS_ERROR == c)
                        return(0);
@@ -788,24 +869,31 @@ macro_scoped_line(MACRO_PROT_ARGS)
                break;
        }
 
-       if (j == MDOC_LINEARG_MAX)
-               return(mdoc_perr(mdoc, line, ppos, ERR_ARGS_MANY));
-
        if (1 == ppos) {
-               if ( ! rewind_head(mdoc, tok))
+               if ( ! rewind_subblock(MDOC_BODY, mdoc, tok, line, ppos))
                        return(0);
-               if ( ! append_delims(mdoc, tok, line, pos, buf))
+               if ( ! append_delims(mdoc, line, pos, buf))
                        return(0);
-       }
-       if ( ! rewind_head(mdoc, tok))
+       } else if ( ! rewind_subblock(MDOC_BODY, mdoc, tok, line, ppos))
                return(0);
-       return(rewind_impblock(mdoc, tok));
+       return(rewind_impblock(mdoc, tok, line, ppos));
 }
 
 
 /*
- * Constant-scope macros accept a fixed number of arguments and behave
- * like constant macros except that they're scoped across lines.
+ * A constant-scoped macro is like a simple-scoped macro (mdoc_scoped)
+ * except that it doesn't handle implicit scopes and explicit ones have
+ * a fixed number of TEXT children to the BODY.
+ *
+ *     .Fl a So b Sc ;
+ *
+ *     ELEMENT (.Fl)
+ *         TEXT (`a')
+ *     BLOCK (.So)
+ *         HEAD
+ *         BODY
+ *             TEXT (`b')
+ *     TEXT (';')
  */
 int
 macro_constant_scoped(MACRO_PROT_ARGS)
@@ -832,7 +920,7 @@ macro_constant_scoped(MACRO_PROT_ARGS)
        if (0 == maxargs) {
                if ( ! mdoc_head_alloc(mdoc, line, ppos, tok))
                        return(0);
-               if ( ! rewind_head(mdoc, tok))
+               if ( ! rewind_subblock(MDOC_HEAD, mdoc, tok, line, ppos))
                        return(0);
                if ( ! mdoc_body_alloc(mdoc, line, ppos, tok))
                        return(0);
@@ -842,11 +930,11 @@ macro_constant_scoped(MACRO_PROT_ARGS)
 
        mdoc->next = MDOC_NEXT_CHILD;
 
-       for (j = 0; j < MDOC_LINEARG_MAX; j++) {
+       for (j = 0; /* No sentinel. */; j++) {
                lastarg = *pos;
 
                if (j == maxargs && ! flushed) {
-                       if ( ! rewind_head(mdoc, tok))
+                       if ( ! rewind_subblock(MDOC_HEAD, mdoc, tok, line, ppos))
                                return(0);
                        flushed = 1;
                        if ( ! mdoc_body_alloc(mdoc, line, ppos, tok))
@@ -854,7 +942,7 @@ macro_constant_scoped(MACRO_PROT_ARGS)
                        mdoc->next = MDOC_NEXT_CHILD;
                }
 
-               c = mdoc_args(mdoc, line, pos, buf, ARGS_DELIM, &p);
+               c = mdoc_args(mdoc, line, pos, buf, tok, &p);
                if (ARGS_ERROR == c)
                        return(0);
                if (ARGS_PUNCT == c)
@@ -866,7 +954,7 @@ macro_constant_scoped(MACRO_PROT_ARGS)
                        return(0);
                else if (MDOC_MAX != c) {
                        if ( ! flushed) {
-                               if ( ! rewind_head(mdoc, tok))
+                               if ( ! rewind_subblock(MDOC_HEAD, mdoc, tok, line, ppos))
                                        return(0);
                                flushed = 1;
                                if ( ! mdoc_body_alloc(mdoc, line, ppos, tok))
@@ -879,7 +967,7 @@ macro_constant_scoped(MACRO_PROT_ARGS)
                }
 
                if ( ! flushed && mdoc_isdelim(p)) {
-                       if ( ! rewind_head(mdoc, tok))
+                       if ( ! rewind_subblock(MDOC_HEAD, mdoc, tok, line, ppos))
                                return(0);
                        flushed = 1;
                        if ( ! mdoc_body_alloc(mdoc, line, ppos, tok))
@@ -892,11 +980,8 @@ macro_constant_scoped(MACRO_PROT_ARGS)
                mdoc->next = MDOC_NEXT_SIBLING;
        }
 
-       if (MDOC_LINEARG_MAX == j)
-               return(mdoc_perr(mdoc, line, ppos, ERR_ARGS_MANY));
-
        if ( ! flushed) {
-               if ( ! rewind_head(mdoc, tok))
+               if ( ! rewind_subblock(MDOC_HEAD, mdoc, tok, line, ppos))
                        return(0);
                if ( ! mdoc_body_alloc(mdoc, line, ppos, tok))
                        return(0);
@@ -905,15 +990,22 @@ macro_constant_scoped(MACRO_PROT_ARGS)
 
        if (ppos > 1)
                return(1);
-       return(append_delims(mdoc, tok, line, pos, buf));
+       return(append_delims(mdoc, line, pos, buf));
 }
 
 
 /*
- * Delimited macros are like text macros except that, should punctuation
- * be encountered, the macro isn't re-started with remaining tokens
- * (it's only emitted once).  Delimited macros can have a maximum number
- * of arguments.
+ * A delimited constant is very similar to the macros parsed by
+ * macro_text except that, in the event of punctuation, the macro isn't
+ * "re-opened" as it is in macro_text.  Also, these macros have a fixed
+ * number of parameters.
+ *
+ *    .Fl a No b
+ *
+ *    ELEMENT (.Fl)
+ *        TEXT (`a')
+ *    ELEMENT (.No)
+ *    TEXT (`b')
  */
 int
 macro_constant_delimited(MACRO_PROT_ARGS)
@@ -930,6 +1022,8 @@ macro_constant_delimited(MACRO_PROT_ARGS)
                /* FALLTHROUGH */
        case (MDOC_Ns):
                /* FALLTHROUGH */
+       case (MDOC_Pf):
+               /* FALLTHROUGH */
        case (MDOC_Ux):
                /* FALLTHROUGH */
        case (MDOC_St):
@@ -943,15 +1037,23 @@ macro_constant_delimited(MACRO_PROT_ARGS)
        for (argc = 0; argc < MDOC_LINEARG_MAX; argc++) {
                lastarg = *pos;
                c = mdoc_argv(mdoc, line, tok, &argv[argc], pos, buf);
-               if (ARGV_EOLN == c || ARGV_WORD == c)
+               if (ARGV_EOLN == c)
                        break;
-               else if (ARGV_ARG == c)
+               if (ARGV_WORD == c) {
+                       *pos = lastarg;
+                       break;
+               } else if (ARGV_ARG == c)
                        continue;
                mdoc_argv_free(argc, argv);
                return(0);
        }
 
-       c = mdoc_elem_alloc(mdoc, line, lastarg, tok, argc, argv);
+       if (MDOC_LINEARG_MAX == argc) {
+               mdoc_argv_free(argc - 1, argv);
+               return(mdoc_perr(mdoc, line, ppos, "parameter hard-limit exceeded"));
+       }
+
+       c = mdoc_elem_alloc(mdoc, line, ppos, tok, argc, argv);
        mdoc_argv_free(argc, argv);
 
        if (0 == c)
@@ -959,7 +1061,7 @@ macro_constant_delimited(MACRO_PROT_ARGS)
 
        mdoc->next = MDOC_NEXT_CHILD;
 
-       for (j = 0; j < MDOC_LINEARG_MAX; j++) {
+       for (j = 0; /* No sentinel. */; j++) {
                lastarg = *pos;
 
                if (j == maxargs && ! flushed) {
@@ -968,7 +1070,7 @@ macro_constant_delimited(MACRO_PROT_ARGS)
                        flushed = 1;
                }
 
-               c = mdoc_args(mdoc, line, pos, buf, ARGS_DELIM, &p);
+               c = mdoc_args(mdoc, line, pos, buf, tok, &p);
                if (ARGS_ERROR == c)
                        return(0);
                if (ARGS_PUNCT == c)
@@ -998,49 +1100,48 @@ macro_constant_delimited(MACRO_PROT_ARGS)
                mdoc->next = MDOC_NEXT_SIBLING;
        }
 
-       if (MDOC_LINEARG_MAX == j)
-               return(mdoc_perr(mdoc, line, ppos, ERR_ARGS_MANY));
-
-       if ( ! flushed && rewind_elem(mdoc, tok))
+       if ( ! flushed && ! rewind_elem(mdoc, tok))
                return(0);
 
        if (ppos > 1)
                return(1);
-       return(append_delims(mdoc, tok, line, pos, buf));
+       return(append_delims(mdoc, line, pos, buf));
 }
 
 
 /*
- * Constant macros span an entire line:  they constitute a macro and all
- * of its arguments and child data.
+ * A constant macro is the simplest classification.  It spans an entire
+ * line.  
  */
 int
 macro_constant(MACRO_PROT_ARGS)
 {
-       int              c, lastarg, argc, sz, fl;
-       struct mdoc_arg  argv[MDOC_LINEARG_MAX];
-       char            *p;
-
-       /* FIXME: parsing macros! */
+       int               c, w, la, argc;
+       struct mdoc_arg   argv[MDOC_LINEARG_MAX];
+       char             *p;
 
-       fl = 0;
-       if (MDOC_QUOTABLE & mdoc_macros[tok].flags)
-               fl = ARGS_QUOTED;
+       assert( ! (MDOC_CALLABLE & mdoc_macros[tok].flags));
 
        for (argc = 0; argc < MDOC_LINEARG_MAX; argc++) {
-               lastarg = *pos;
+               la = *pos;
                c = mdoc_argv(mdoc, line, tok, &argv[argc], pos, buf);
                if (ARGV_EOLN == c) 
                        break;
-               else if (ARGV_ARG == c)
-                       continue;
-               else if (ARGV_WORD == c)
+               if (ARGV_WORD == c) {
+                       *pos = la;
                        break;
+               } else if (ARGV_ARG == c)
+                       continue;
 
                mdoc_argv_free(argc, argv);
                return(0);
        }
 
+       if (MDOC_LINEARG_MAX == argc) {
+               mdoc_argv_free(argc - 1, argv);
+               return(mdoc_perr(mdoc, line, ppos, "parameter hard-limit exceeded"));
+       }
+
        c = mdoc_elem_alloc(mdoc, line, ppos, tok, argc, argv);
        mdoc_argv_free(argc, argv);
 
@@ -1049,25 +1150,29 @@ macro_constant(MACRO_PROT_ARGS)
 
        mdoc->next = MDOC_NEXT_CHILD;
 
-       if (MDOC_LINEARG_MAX == argc)
-               return(mdoc_perr(mdoc, line, ppos, ERR_ARGS_MANY));
-
-       for (sz = 0; sz + argc < MDOC_LINEARG_MAX; sz++) {
-               lastarg = *pos;
-               c = mdoc_args(mdoc, line, pos, buf, fl, &p);
-               if (ARGS_ERROR == c)
+       for (;;) {
+               la = *pos;
+               w = mdoc_args(mdoc, line, pos, buf, tok, &p);
+               if (ARGS_ERROR == w)
                        return(0);
-               if (ARGS_EOLN == c)
+               if (ARGS_EOLN == w)
                        break;
 
-               if ( ! mdoc_word_alloc(mdoc, line, lastarg, p))
+               c = ARGS_QWORD == w ? MDOC_MAX :
+                       lookup(mdoc, line, la, tok, p);
+
+               if (MDOC_MAX != c && -1 != c) {
+                       if ( ! rewind_elem(mdoc, tok))
+                               return(0);
+                       return(mdoc_macro(mdoc, c, line, la, pos, buf));
+               } else if (-1 == c)
+                       return(0);
+
+               if ( ! mdoc_word_alloc(mdoc, line, la, p))
                        return(0);
                mdoc->next = MDOC_NEXT_SIBLING;
        }
 
-       if (MDOC_LINEARG_MAX == sz + argc)
-               return(mdoc_perr(mdoc, line, ppos, ERR_ARGS_MANY));
-
        return(rewind_elem(mdoc, tok));
 }
 
@@ -1077,15 +1182,35 @@ int
 macro_obsolete(MACRO_PROT_ARGS)
 {
 
-       return(mdoc_pwarn(mdoc, line, ppos, WARN_IGN_OBSOLETE));
+       return(mdoc_pwarn(mdoc, line, ppos, WARN_SYNTAX, "macro is obsolete"));
 }
 
 
+/*
+ * This is called at the end of parsing.  It must traverse up the tree,
+ * closing out open [implicit] scopes.  Obviously, open explicit scopes
+ * are errors.
+ */
 int
 macro_end(struct mdoc *mdoc)
 {
+       struct mdoc_node *n;
 
        assert(mdoc->first);
        assert(mdoc->last);
+
+       /* Scan for open explicit scopes. */
+
+       n = MDOC_VALID & mdoc->last->flags ?
+               mdoc->last->parent : mdoc->last;
+
+       for ( ; n; n = n->parent) {
+               if (MDOC_BLOCK != n->type)
+                       continue;
+               if ( ! (MDOC_EXPLICIT & mdoc_macros[n->tok].flags))
+                       continue;
+               return(mdoc_nerr(mdoc, n, "macro scope still open on exit"));
+       }
+
        return(rewind_last(mdoc, mdoc->first));
 }