Add some documentation and clean up mdoc.h/man.h.

Have the default include/lib install path end with "mandoc" to prevent
clobbering other stuff that may have the same name.

Note the TODO file on the website.  Also install index.html (oops).

Add a FATAL error for when no manual type was assigned (you can repeat
this for yourself by having a file consisting only of comments).

Be a bit more specific on where we compile.  Are there any ANSI-C
compilers where we don't compile?  I'm pretty sure that mmap() is
non-standard (we'll fail, e.g., on mingw32).

As mentioned: ChangeLog isn't being built any more.

Step 5: re-write Makefile and relax.  This restructures the Makefile to
do actual dependency checking for headers and to build everything nicer
(www properly depends on mandoc, etc.).

Note that the ChangeLog isn't being built any more: if people are
interested, they can visit the source-changes mailing list archive.

Step 4: merge chars.h into out.h.  The functions in this file are
necessary to all [real] front-ends, so stop pretending it's special.
While here, add some documentation to the variable types.

Step 3: consolidate manuals.  The parse functions in mdoc.h, roff.h, and
man.h are now part of libmandoc.h, so remove these from their respective
manuals (they're no longer public-facing and we don't need a libmandoc.3
(yet?)).  Before that, move the juicy data (parse tree syntax) into
new-born mandoc.3.  Peck around in Makefile and index.sgml to reflect
reality.

Step 2: blow away roff.h, as all of its functions have been moved into
libmandoc.h and there's nothing left.

Step 1 of restructuring: libmandoc.h.  Move all compiler-set-specific
stuff into libmandoc.h, including old mdoc.h/man.h/roff.h functions now
used by read.c.  The motivation behind this is to tighten the
relationship between the underlying compilers while keeping parse data
hidden from general callers (e.g., main.c).

While here, also move register values from mandoc.h into libmandoc.h as
noted by schwarze@.  See above for explanation.

main.c doesn't need roff.h anymore.

Let read.c worry about the currently-open file instead of having this
information duplicated in main.c.  For the time being, remove evt_close
and evt_open, as the only known mparse interface (main.c) doesn't need
them.

Consolidate messages.  Have all parse-time messages (in libmdoc,
libroff, etc., etc.) route into mandoc_msg() and mandoc_vmsg(), for the
time being in libmandoc.h.  This requires struct mparse to be passed
into the allocation routines instead of mandocmsg and a void pointer.
Then, move some of the functionality of the old mmsg() into read.c's
mparse_mmsg() (check against wlevel and setting of file_status) and use
main.c's mmsg() as simply a printing tool.

Change around include ordering for compilation on OpenBSD.

Split the document parsing sequence out of main.c and into read.c,
putting the interface into mandoc.h.  This effectively makes the
function of main.c be command-line handling, invoking the parser, and
sending its output to the output handler.  The sequence of parsing
(pfile(), pdesc(), etc.) has changed very little but for clean-up of
some state variables (curp->fd, etc.).

Bumped internal version.  There will be no formal release with this: it
precedes some major structural changes for easier roll-back in the case
of errors or whatnot.

.RS w/o line args is not serious

Note the development status of eqn.7 and tbl.7.

"Reserved Characters" isn't correct since `\.' and `\*(Ba' aren't
characters.  Use "Reserved Terms" instead.

Note that mdoc_valids[] is static.

mandocmsg finally has no return value.

Clean-up in libman: make all calls to man_*msg not check return value.
Also convert man_vmsg to return void.

Clean-up in libmdoc: fix last checks for mdoc_*msg return value, then
make mdoc_vmsg not return an int.  libmdoc is now completely clean of
return-value checks from the message subsystem.

Clean-up in mdoc_argv.c args_checkpunct().

Clean-up in mdoc_argv.c: make CPP-defines into an enum, document, make
static arrays const, properly abort() for bogus switch cases, and be
obsessive about spacing and (void)-casting.

Clean up mdoc_pmsg invocations to make them not check the return value.

Kill off some unused function prototypes.

Kill off mdoc_strings.c, which is now empty.  Byeeeeeeeee!

Move mdoc_macro2len() into mdoc_validate.c as macro2len(), as that's the
only place that it's being used.

Move mdoc_str2sec() into mdoc_validate.c as a2sec(), as that's the only
place that it's being used.

Tiny optimisation in mandoc_isdelim() check.

Move mdoc_isdelim() into mandoc.h as mandoc_isdelim().  This allows the
removal of manual delimiter checks in html.c and term.c.  Finally, add
the escaped period as a closing delimiter, removing a TODO to this
effect.

Move mandoc_{realloc,malloc,calloc} out of libmandoc.h and into mandoc.h
so that everybody can use them.  This follows the convention of
libXXXX.h being internal to a library and XXXX.h being the external
interface.  Not only does this allow the removal of lots of redundant
NULL-checking code, it also sets the tone for adding new mandoc-global
routines.

Make args_checkpunct() use mdoc_isdelim() instead of mdoc_iscdelim(),
which is wrong.  Then remove mdoc_iscdelim() alltogether.

Move check for closing punctuation into its own function.  This will
later be modified to remove the need for iscdelim(), which will be used
to unify delimiter checks, which will then allow for the simple removal
of a TODO regarding escaped periods.

o diaeresis is 246 (U+00F6)
from Christian Weisgerber <naddy at openbsd dot org>

Instead of a series of hard-coded strcmps, make argv_a2arg() iterate
over an array of possible argument types, hooking in to mdoc_argnames[].
This knocks off bytes for the duplicated strings and cleans up code
readability.

Push exit_status into struct curparse alongside file_status.

Make lint shut up a little bit.

Remove duplicate UNCONST definition.

Clean-up: make file_status global be local to curparse.  "I agree with
the direction of this particular patch", schwarze@.

Plug memory leak of normalised-date field.

my $buf = "string"; return $string;  is cool in Perl, but not in C;
found by Ulrich Spoerlein <uqs at freebsd> using the clang static analyzer;
"ok, but please document the numbers" kristaps@

Do not leak information about the software used
into PostScript and PDF documents behind the user's back.
Joerg Sonnenberger pointed out that almost all software
creating PostScript and PDF documents does so, even on OpenBSD,
but that doesn't make the leakage much better in my book.
According to all standards i could find, this information is optional.
Issue originally reported by deraadt@; "commit!" kristaps@.

Clean up date handling,
as a first step to get rid of the frequent petty warnings in this area:
 - always store dates as strings, not as seconds since the Epoch
 - for input, try the three most common formats everywhere
 - for unrecognized format, just pass the date though verbatim
 - when there is no date at all, still use the current date
Originally triggered by a one-line patch from Tim van der Molen,
<tbvdm at xs4all dot nl>, which is included here.
Feedback and OK on manual parts from jmc@.
"please check this in" kristaps@

date handling needs cleanup

Allow compilation with pcc, which has interesting/broken handling of -W
with missing function prototypes.  Ok joerg@.

Clean up the COMPATIBILITY section;
heavily based on a patch from kristaps@ with some tweaks by me.
- Also talk about -Tps and -Tpdf.
- Use the same list style as in the other mandoc manuals.
- Replace a few macros by ones better suited.
- Some improvements of wording.
ok jmc@ kristaps@

Add stub for eqn.7 manual and flip it on.  Also note COMPATIBILITY issue
of how we considered .TS (etc.) macros and how the preprocessors do.

EQN blocks are now printed in all modes.  This is simply a printing of
the concatenated string (in -T[x]html, it gets a SPAN, too).

Consolidate "rc" value in main.c around addspan, addeqn, and parseln.

Allow -man to process EQN as well.  Also fix a segfault in missing case
statements in the post-handler for EQN in -mdoc and -man.

Allow EQN data to be pushed down into libmdoc via mdoc_addeqn().  Only
the adding itself is implemented; equation data is not yet shown.

Put tbl_alloc function right into the addspan() one, as this is the only
place that it's called.

The macro .Ns has no effect at the beginning of an input line;
ok kristaps@ jmc@.

Fix a regression caused by mdoc_term.c 1.214 / mdoc_html.c 1.148:
Inside .Bk or inside the SYNOPSIS, Unix variant macros cleared
the keep flag.

Some pre-handlers produce output, so reorder the code to set up
keep flags before they are called.
Without this bugfix, .Bk was ineffective in some cases.
"looks reasonable" kristaps@

Use tbl_span line number for warnings/errors.

Let the line-number of a tbl_span be remembered.

Add initial libmdoc and libman top-most machinery for accepting TBL
directives.  For now this will just ignore them (except for -Ttree,
which just notes that an EQN's been accepted).

Add initial EQN support to mandoc.  This parses, then throws away, data
between EQ and EN roff blocks.  EQN is different from TBL in that data
after .EQ is unilaterally considered an equation until an .EN.  Thus,
there's no need to jump through hoops in having table spans and so on.
This is ONLY the parse code framework in libroff.  EQN is not yet passed
into the backends.

TODO note on that `.TS', `.TE' etc. aren't real roff macros and troff
won't recognise them when invoked as e.g. `.   TS' (we, however, do).

If `Ns' is specified on its own line, it should be ignored.  This is
shitty groff behaviour.  Do the same, but raise a warning to this
effect.  This from a TODO noted by schwarze@.

Note an error found in the wild.

Implement the \N'number' (numbered character) roff escape sequence.
Don't use it in new manuals, it is inherently non-portable, but we
need it for backward-compatibility with existing manuals, for example
in Xenocara driver pages.
ok kristaps@ jmc@ and tested by Matthieu Herrb (matthieu at openbsd dot org)

When in a <PRE>, don't print out the <BR> before lines that have leading
whitespace.

Remove unnecessary conditional...

Arguments to `Bsx' and friends are separated by a non-breaking space.
This removes a TODO raised by schwarze@.

Push capitalisation of `Bx' second argument into validator, where it belongs.

Properly uppercase the first-letter of the `Bx' second argument.

Have `Bx' accept two arguments, not just one, and join these arguments
with "xxBSD-yy"

Avoid double blank line before a table preceded by .PP.
ok kristaps@

Since tbl_data() can now produce multiple spans, let parsebuf()
generate man(7) or mdoc(7) nodes for all these spans,
not only for the last one.
Restores the horizontal lines in the cpu(4/hppa) tables.
ok kristaps@

Do not skip data after horizontal lines in the layout.
Instead, let one line of input data add two new spans
to the tbl tree during one single call of tbl_data().
Note that this causes the horizontal line to get parsed
into the tbl tree, but not yet used in the output,
which will be fixed next.
Avoids data loss in cpu(4/hppa).
ok kristaps@

correct horizontal spacing of data cells
correct alignment of centered cells
adjust horizontal rule width to the new spacing
ok kristaps@

If %B is specified, quote %T.  Noted by schwarze@ in the TODO.

Ignore .ns (no-space mode), .ps (change point size), .ta (tab control)
for now.  All of these just cause a bit too much or too little
whitespace, but no serious formatting problems.
Triggered by reports from brad@.

As noticed by deraadt@, it goes without saying that text files
on a UNIX system use UNIX conventions, and UNIX tools working
on them expect that.
ok jmc@

Skip carriage return before newline, if any.
As pointed out by Joerg Sonnenberger, this is useful
because we use mmap(3) and look for '\n' by hand.
"check it in" kristaps@

Better explain roff(7) macro argument quoting;
ok jmc@.

results of some systematic comparisons

not implemented: adjustment

Fix another regression caused by the reorg of print_man_node() in rev. 1.97:
End-of-sentence spacing got lost for man(7) after plain text lines.

some more reports from brad@

missing: .ns, .UR; reported by brad@

sort missing features, no change of content

Lots of in-line macros require arguments but were not marked as such.
Check prompted by kristaps@.

Check argument count validation for all in_line() macros.
Most empty in_line() macros are already removed by the parser,
so there is no need to check again in mdoc_validate.c.
This also downgrades almost all remaining argument count issues
from ERROR to WARNING.
ok kristaps@

When finding the roff .it request (line trap),
make it clear that you cannot use mandoc to format that page (yet).
Triggered by a report from brad@, ok kristaps@.

"decimalpoint" is in fact supported.

Refrain from throwing fatal errors for
* .br .sp .nf .fi .na with arguments - just skip the arguments
* .TH lacking arguments - use empty strings instead like groff
* .TH with excessive arguments - skip those
Reminded by joerg@, ok kristaps@.

When processing a blank text line, do not break out of text processing
into macro processing code.  Fixing a regression introduced in 1.95,
found because it caused segfaults in my regression suite.
OK kristaps@

Implement the roff .rm request (remove macro).
Using the new roff_getname() function, this is really simple.
Breaks mandoc of the habit of reporting an error in each pod2man(1) preamble.
Reminded by a report from brad@; ok kristaps@.

Change how -Thtml behaves with tables: use multiple rows, with widths
set by COL, until an external macro is encountered.  At this point in
time, close out the table and process the macro.  When the first table
row is again re-encountered, re-start the table.  This requires a bit of
tracking added to "struct html", but the change is very small and
follows the logic of meta-fonts.  This all follows a bug-report by
joerg@.

Incorporate same fix for -man post-validation deletion of nodes.  This
isn't known to cause any problems, but better safe than sorry.

Downgrade -man message of ignored empty paragraph to MANDOC_IGNPAR.  The
change in man_macro.c was from an assertion caused by a subtle problem:
(1) macro is removed, causing m->last to be m->last->parent; (2) by jumping
to the m->last->parent after post-validation, the original
m->last->parent is skipped; (3) the rewinder climbs to the root of the
tree and aborts.

The original issue recorded in the TODO by schwarze@, reminded by Brad
Smith.

Make out-of-context `fi' invocations not cause an error, but just a
warning.  From a TODO by schwarze@, originally noted by Brad Smith.

Bring in -Tascii comments for -Thtml MANH_LITERAL line-breaking stuff.

Make sure that -Thtml doesn't break within literal lines.  This is the
same logic as the -Tascii case.  Also remove the TODO.