Merge OpenBSD's `so' handling (plus some documentation).  Great work to
schwarze@ and joerg@ for his comments!

Make sure that the manual section defaults to `1' if it's unset.  This
behaviour only happens if `Dt' isn't specified, which can be exhibited
by running mandoc -mdoc on a man manual.

Fix a subtle error in the new main.c where the parse type (mdoc/man) was
being inherited during the parse sequence, making pset() meaningless.
Make sure that the mdoc/man curp pointer is set for each parse from a
persistent object.

This flushes out an obscure error where `man' pages called with `mdoc'
will parse and segfault due to a missing title.  Never happened earlier
because `mdoc' pages were guaranteed to have a prologue.  Fix this
later.

Also document the new main.c functions.  Please make sure these sort of
things are documented!  Throw in some whitespace to make things a bit
more readable.

Merge restructuring of main.c code.  This provided by schwarze@ and inspected
carefully by joerg@.  Merge roff.h header for compilation's sake (this is not
yet implemented in roff.c.).

THIS IS A BUGGY CHECK-IN.  The manual type is erroneously kept between runs
of the compiler.  This is a known bug.

Fixed a goddamn subtle error causing MDOC_LITERAL to remain set after a
call to `Dl' or `Bd -literal' or unfilled.

Re-ordering of roff requests as per OpenBSD.

Made `rm' be an error (again, OpenBSD...).

Low-hanging fruit: add OpenBSD's `ad', `hy', `ne', and `nh' handling.

Rename roff_line() -> roff_line_ignore().

Restore the Id tag that i clobbered in my previous commit,
as pointed out by kristaps@.  Sorry!

Merge OpenBSD mdoc.7 rev. 1.56 and 1.57:
Define the terms "callable" and "parsed" with more precision.
Be more specific about what .Xo can be used for.
Be more specific about what "historic groff" refers to.
Explicitely mention the nine argument limit below COMPATIBILITY.
feedback and ok jmc@

Kill man_action.c.

Move all man_action.c routines into man_validate.c

Simplify the many if ( ! mdoc_nmsg()) return(0) etc. calls with just the
error printing, as this is superseded by exit_status in main.c.

Make check_argv() and check_text() return void.

Make MDOC_Std test in check_argv() to pre_std().

Re-write post_root() to check more conditions before returning.

mdoc_action.c is no more.  Attic it and remove it from the Makefile.
Remove references to MDOC_ACTED (it was only assertions) and the pre-
and post-action functions.

Moved all prologue actions from mdoc_action.c into mdoc_validate.c.  The
file is now ready for removal.

Move post_bl() and subfunctions from mdoc_action.c into mdoc_validate.c.

Move -column list validation and normal-formisation from mdoc_action.c
into mdoc_validate.c.

Migrate `Nm' and `Pa' handling from mdoc_action.c into mdoc_validate.c.

Document that `Pa' is replaced by a tilde, just like `Mt'.

Remove left-over rsord[] in mdoc_actions.c.

Remove MANDOCERR_BADLIB (not used).

Moved `St' handling from mdoc_action.c into mdoc_validate.c.

Moved relevant MDOC_LITERAL macros (`Dl', `Bd' subtypes) from
mdoc_action.c into mdoc_validate.c.

Move `Lb' handling from mdoc_action.c into mdoc_validate.c.

Move `At' handling from mdoc_action.c into mdoc_validate.c.

Move `Sh' validation from mdoc_action.c. into mdoc_validate.c.
Surprisingly, both functions were doing pretty much the same thing.
Make sure that the changes incorporate the union of both.

Clarifying role of pre_pp (now pre_par), which was confusing me due to
its name.  Added some more documentation just for clarity's sake.  No
functional change.

Note that `Rv' and `Ex' have different values if a manual name has been
specified or not.

Move `Mt', `Ar', and `Li' handling from mdoc_action.c into mdoc_validate.c.

Clarify that `Mt' gets a default `~' (as per groff 1.20) and document it
in mdoc.7.

Made `Lk' be removed in mdoc_macro.c if it has no arguments.  This fixes
segfaults in mdoc_{term,html}.c that nobody's managed to raise yet.

Migrate action for `Rs' into mdoc_validate.c.
Remove superfluous in-line order_rs function.
Merge `Rs' validations {BLOCK, BODY} -> {BODY}.
Make invalid children of `Rs' raise an error but otherwise be allowed.

new: parametric .de, and header lines of excessive length

a bunch of small issues collected during p2k10

Referring to terms explained in other manuals, always use .Xr.
Otherwise, hyperlinks can't be produced and people will likely
miss the additional information available.
Suggested by deraadt@.

Remove a left-over ".Xr groff 1"; patch from jmc@.

When mentioning a function documented elsewhere, .Xr is often better than .Fn.
Prodded by guenther@, ok jmc@.

let .Bsx print just "BSD/OS" like in modern groff
from Ulrich Spoerlein <uqs at spoerlein dot net>

new: escape sequence handling
done: nested displays

two new TODOs based on submissions by Ulrich Spoerlein

dream about .de support,
and remove irrelevant stuff regarding tbl
now that it's imported into OpenBSD

Use proper error for `An' multiple arguments.

Making IGNARGV be an ERROR, not a WARNING, as information is lost.

Quiesce Linux header-inclusion warnings.

Initial commit of cleaned-up validation code for -mdoc.  Remove those
ugly CPP macros in favour of real functions.  Enumerate areas of short-
term future cleanup, too.

`Sm' no longer produces a linebreak when used in `Bd'.

Cleaned up library manuals: removed old escapes, added EXAMPLES, stripped
out some superfluous stuff.

Revert merging of {mdoc,man}.h -> mandoc.h.

While I'm add it, properly document all structures in these files.

style cleanup, no functional change:
* make the initial maxvis/mmax calculation easier to understand
* where real, non-indexing casts happen, make them explicit
* avoid a few lint warnings that can easily be fixed
* remove one needless LINTED comment
"I like this" kristaps@

Unify mdoc and man enums and structs into mandoc.h.  This is part of the
slow process of logically splitting formatting frontend and parser backend
without pollution.

* need a space before .No even if it starts with a closing delimiter
* slightly simplify .Pf *_IGNDELIM code, and share part of it with .No
* do not let opening delimiters fall out of the front of .Ns (from kristaps@)
This fixes a few spacing issues in csh(1) and ksh(1).
OK kristaps@

Fix small regression where `Op' had an extra space between the "[" and the SPAN.

Merge from OpenBSD right after 1.10.6; now back to full sync.
* mdoc.c: blank lines outside literal mode are more similar to .sp than .Pp
* backslashes do not terminate macros; partial revert of mdoc.c 1.164;
  the intention of that commit is fully achieved in roff.c
* mdoc_term.c: no need to list the same prototype twice
* mdoc_validate.c: drop .Pp before .sp just like .Pp before .Pp
* fix off-by-one found by jsg@ with parfait, OpenBSD term_ps.c 1.12
ok kristaps@

Added TODO for more `Pp' warnings.

A minor issue with \& between .Pp found while merging 1.10.6.

Prepping for version.

Consider both `Lp' and `Pp' when stripping prior paragraph marks.

Suppress whitespace following Pp, Lp, sp, and the other newline-emitting
macros within an unfilled or literal `Bd'.

Remove finished TODO.

Ignore double-`Pp' and `Pp' before `Bd' and `Bl' (unless -compact is
specified).

Added MIPS64.  From a patch by Jason McIntyre.

sync to OpenBSD:
new sentence, new line;
from jmc@

If an explicit scope is still open at the end of an input file,
report an ERROR:  We can still render the page by just closing
the open scope, but it is likely that information will be missing
or document structure mangled.
Before, man(7) only reported a WARNING (which is dangerous because
we cannot be sure rendering is correct) and mdoc(7) ran into FATAL
(which is too drastic, there is no reason not to show what we have).
"looks good" kristaps@

sync to OpenBSD:
note that IMPLEMENTATION NOTES is not used in OpenBSD
add missing comma in "sections 1, 6, & 8 only" below EXIT STATUS
below SEE ALSO, add an .Xr to man(1), and from man(7) to mdoc(7)

Consolidated all -T[x]html punctuation macros into one function.

Linted function arguments.

Big clean-up consolidating all punctuation opening/closing functions into
a single one.  This makes code auditing easier and cuts down on
bytesize.

I also removed some NOSPACE clauses that were handled implicitly by the
punctuation itself, e.g., a NOSPACE prior to printing ')', which in
term.c has its leading whitespace automatically suppressed.

Remove fixed TODO and add a new one.

A `%T' invoked outside of `Rs' should not produce trailing punctuation.
This from a TODO entry.  Also stripped the superfluous NOSPACE, which is
handled in term_word() or print_text() anyway.

Add `Rs' vertical-space in -T[x]html "SEE ALSO" section.  Remove
corresponding TODO entry.

Also have the "." after an `Rs' block trigger inter-sentence spacing.

Removed TODO that was fixed by parsing escapes in offset strings.

When the HEAD of an .Nm block in the SYNOPSIS might be wider
than the column containing it, the TERMP_HANG flag is required,
but avoid the flag when we know that the HEAD is shorter,
because in that case, the flag might ruin the alignment.

Problem originally reported by jmc@, who also spotted a regression
in an earlier version of this patch.

"feel free to commit" kristaps@

Count trailing escaped blanks correctly;
those ruined the alignment of columns.
Tested by jmc@, and kristaps@ agrees with the direction.

enclosures sometimes cause bogus end-of-sentence

Allow string lengths to account for escapes.  Now all calls to calculate
column width in -Tascii, -Tpdf, and -Tps will account for "more real"
string lengths.

Example:

.Bl -tag -width \s[+123424]foo
.It bar
baz
.El

The size escape will be correctly tossed.

.Bl -tag -width \(aqbar
.It \(aqbar
baz
.El

The \(aq will be correctly handled.

Remove last pod2man escapes.  These render ok, although \*(-- renders as
O- because the underlying macro depends on \(*W, which a prior pod2man
preamble `tr' macro rewrites as "-".  This is an error in groff as this
tramples on the real \(*W, or Greek omega.

Prevent .Lp from looping endlessly on punctuation.
Same fix as the previous one.

Prevent `Pp' from looping endlessly on punctuation.  Bug reported by
Marc Espie.

Found nit in -T[x]html.

Churny commit to quiet lint.  No functional changes.

Properly handle -mdoc %A in all outputs.  This has two-author entires
separated by only "and" while two or more are with ", and" for the last
author.

Also remove relevant TODO and add regression tests.

Removed 'br\} comment from TODO.  This was fixed a few weeks ago.

Fix premature return from sub-conditional roff statements.  This fix
fully accomodates for the pod2man standard preamble!

Clarified EXIT STATUS sections.  Discussed among schwarze@, Thomas, and
Jason.  Patch by Jason.

Remove the pod2man table entries.  They can now be properly read and
assigned within the pod2man preamble.

Allow `.xx\}' where xx is a macro (e.g., `.br\}') to close scope.  This is
experimental and hasn't been rigorously tested.  It's only implemented in
-mdoc for the time being.  This is absolutely required for pod2man.  It
does, however, make the pod2man preamble be processed in full.

Remove overstrike `\o'.  This isn't the best solution because we really
should be printing the contents, but for the time being, this is good
enough.

Made -mdoc `Pp', `Lp', and `br' not FATAL when having arguments.

Move mdoc/man template "The next is for" into the section itself.  Added
OpenBSD compatibility notes.  Based on a patch by Jason McIntyre.

"sys/param.h is for kernel interface programs.
sys/types.h is the file you want to include."

From a downstream fix by deraadt@.

Fixed HISTORY to note mdoc's rewrite in groff-1.17, not groff-1.20.

Handle nested, recursive mathematical subexpressions.  This is
definitely not general, but it's good enough for pod2man definitions
(after I clean up the roff, which will be addressed in later fixes).

Strip out `\k' escape.

Stripping out of `\w' groff escape.  Yet another for pod2man...

Have the `ds' processor strip out `\\' as stipulated in groff.7.  I only
care because pod2man uses this construct.

Strip out the `\z' escape.  This is the first recursive sequence,
getting mandoc ready to handle pod2man's complex escapes.

Add a short HISTORY section to mdoc.7.  Facts provided by schwarze@'s
detective-work in the UNIX archives.

Sort COMPATIBILITY in mdoc(7) (from schwarze@).

Update escape COMPATIBILITY in mdoc(7) and man(7) (ok schwarze@).

Backout previous.
As Kristaps found out, i was wrong: .Bl -column phrases do not ignore
spacing rules for trailing punctuation in general.  In particular,
- the rightmost column of a column list is unaffected
- columns terminated by the .Ta macro instead of a tab are unaffected
- columns ending in a blank are unaffected
Spacing rules for trailing punctuation are only ignored when the tab
follows the punctuation immediately, without a blank in between,
because then the combination of punctuation and tab is treated by roff
as a word, and the punctuation is not recognized as isolated.
The reason this doesn't work in mandoc is that in the special case
of .Bl -column (not in general!), mandoc treats tabs as word delimiters.
We either need to solve this differently, or call it a bug in roff.

Centralize handling of literal tabs in term_flushln() in one place,
making the code simpler and easier to understand.
No functional change.

When a column contains trailing spaces, calculate the padding
to the start of the next column correctly.
Fixing a problem found by jmc@ in sysctl(3), reminded by kettenis@.

.Bl -column phrases ignore spacing rules for trailing punctuation
and render it just like normal text.
Minimal fix of a formatting bug in operator(7) reported by ray@.

fix previous: when bailing out due to -Wstop,
skip output functions, but not *_endparse;
problem reported by kristaps@

Fixed Makefile auto-generation of manuals not to use -fstrict and [old] -Werror.

Implement a simple, consistent user interface for error handling.
We now have sufficient practical experience to know what we want,
so this is intended to be final:
- provide -Wlevel (warning, error or fatal) to select what you care about
- provide -Wstop to stop after parsing a file with warnings you care about
- provide consistent exit status codes for those warnings you care about
- fully document what warnings, errors and fatal errors mean
- remove all other cruft from the user interface, less is more:
- remove all -f knobs along with the whole -f option
- remove the old -Werror because calling warnings "fatal" is silly
- always finish parsing each file, unless fatal errors prevent that
This commit also includes a couple of related simplifications behind
the scenes regarding error handling.
Feedback and OK  kristaps@;  Joerg Sonnenberger (NetBSD) and
Sascha Wildner (DragonFly BSD) agree with the general direction.

Updated hypermail link to summary.html.

Added mail archive periodically generated by hypermail.

Migrate `Xr groff 1' -> GNU troff.  I no longer assume that groff is
installed on the host system.