IFC @ r227804

Pull in the virtio drivers from head.

Mark the structure fields as const.

This allows us to simply place these strings as constants in the table
itself, letting the compiler decide to simply merge duplicate strings.

IFC @ r225592

sys/dev/bvm/bvm_console.c - move up to the new alt-break order.

Backout r223115 which potentially caused a POLA violation, by restoring
historic behavior (create the default base directory in pw.conf) before
I came up with a better fix for this.

Requested by: nwhitehorn
Approved by: re (kib)

IFC @ r222830

Don't attempt to create the base directory when -d is specified.

MFC after: 1 month

First cut to port bhyve, vmmctl, and libvmmapi to HEAD.

First cut at porting the kernel portions of 221828 and 221905 from the
BHyVe reference branch to HEAD.

- Commit work from libprocstat project.  These patches add support for runtime
  file and processes information retrieval from the running kernel via sysctl
  in the form of new library, libprocstat.  The library also supports KVM backend
  for analyzing memory crash dumps.  Both procstat(1) and fstat(1) utilities have
  been modified to take advantage of the library (as the bonus point the fstat(1)
  utility no longer need superuser privileges to operate), and the procstat(1)
  utility is now able to display information from memory dumps as well.

  The newly introduced fuser(1) utility also uses this library and able to operate
  via sysctl and kvm backends.

  The library is by no means complete (e.g. KVM backend is missing vnode name
  resolution routines, and there're no manpages for the library itself) so I
  plan to improve it further.  I'm commiting it so it will get wider exposure
  and review.

  We won't be able to MFC this work as it relies on changes in HEAD, which
  was introduced some time ago, that break kernel ABI.  OTOH we may be able
  to merge the library with KVM backend if we really need it there.

Discussed with: rwatson

Don't duplicate define the stdint types.

Add support for IEE/IEC (and now also SI) power of two notions of
prefixes (Ki, Mi, Gi...) for humanize_number(3).

Note that applications has to pass HN_IEC_PREFIXES to use this
feature for backward compatibility reasons.

Reviewed by: arundel
MFC after: 2 weeks

Merge svn+ssh://svn.freebsd.org/base/head@219553

Stop hard-coding default directory mode as 0777.

expand_number() needs uint64_t, declare it here if not already declared.

MFC after: 3 days

Add two new system calls, setloginclass(2) and getloginclass(2).  This makes
it possible for the kernel to track login class the process is assigned to,
which is required for RCTL.  This change also make setusercontext(3) call
setloginclass(2) and makes it possible to retrieve current login class using
id(1).

Reviewed by: kib (as part of a larger patch)

Merge svn+ssh://svn.freebsd.org/base/head@218816

Do not let pw.conf(5) or -M option affect creation of basehome, e.g., /home.
When the basehome does not exist, it creates all intermediate directories as
required, which is logically equivalent to mkdir(1) with -m and -p options.
However, it modifies all intermediate directories, not just the final home
directory unlike mkdir.  This problem was introduced in two revisions, i.e.,
r1.59 (SVN r167919) and r1.60 (SVN r168044).

MFC after: 1 month

Remove the advertising clause from UCB copyrighted files in usr.bin.  This
is in accordance with the information provided at
ftp://ftp.cs.berkeley.edu/pub/4bsd/README.Impt.License.Change

Also add $FreeBSD$ to a few files to keep svn happy.

Discussed with: imp, rwatson

Merge svn+ssh://svn.freebsd.org/base/head@214309

mdoc: drop redundant .Pp and .LP calls

They have no effect when coming in pairs, or before .Bl/.Bd

Revert the unrelated patch crept in the previous commit.

Prefer pmap_unmapbios() over pmap_unmapdev().  The binary does not change
after this because pmap_unmapbios() is a macro for pmap_unmapdev() on amd64.

Old patch I had lying around: clean up and use stpcpy(3) instead of
sprintf(3).

Merge svn+ssh://svn.freebsd.org/base/head@211344

Simplify expand_number() by combining the (unrolled) loop with the
switch.  Since expand_number() does not accept negative numbers, switch
from int64_t to uint64_t; this makes it easier to check for overflow.

MFC after: 3 weeks

Merge svn+ssh://svn.freebsd.org/base/head@208557

mdoc: move CAVEATS, BUGS and SECURITY CONSIDERATIONS sections to the
bottom of the manpages and order them consistently.

GNU groff doesn't care about the ordering, and doesn't even mention
CAVEATS and SECURITY CONSIDERATIONS as common sections and where to put
them.

Found by: mdocml lint run
Reviewed by: ru

mdoc: remove stray and

Found via: mdocml
Reviewed by: brueffer

Merge svn+ssh://svn.freebsd.org/base/head@207793

Final update to current version of head in preparation for reintegration.

Restore historical behaviour of only executing chflags on files that exist.
This eliminates cosmetic errors of the form "chflags: ...: No such file or
directory" during an installworld to an empty destination.

Update to current version of head.

Merge svn+ssh://svn.freebsd.org/base/head@205454

Create the altix project branch. The altix project will add support
for the SGI Altix 350 to FreeBSD/ia64. The hardware used for porting
is a two-module system, consisting of a base compute module and a
CPU expansion module. SGI's NUMAFlex architecture can be an excellent
platform to test CPU affinity and NUMA-aware features in FreeBSD.

IFH@204581

Let the afterinstall target ignore failures from running chflags.  This
allows it to work over NFS, and puts it back into conformance with other
'schg' utlitilties in the system.

Reviewed by: ed

Fix a few whitespace issues and comment typos that I found while reading
through this file.

The group field is called `gid', not `group'.

Remove login(3), logout(3) and logwtmp(3) from libutil.

These functions only apply to utmp(5). They cannot be kept intact when
moving towards utmpx. The login(3) function would break, because its
argument is an utmp structure. The logout(3) and logwtmp(3) functions
cannot be used, since they provide a functionality which partially
overlaps.

Increment SHLIB_MAJOR to 9 to indicate the removal.

The last big commit: let usr.sbin/ use WARNS=6 by default.

Build usr.bin/ with WARNS=6 by default.

Also add some missing $FreeBSD$ to keep svn happy.

Add and document the quota_convert function which converts between the
old 32-bit and the new 64-bit formats.

Merge from head to stable/8:

r200423:
Remove a dead store.

MFC r199826:
sigset() is the name of function specified by SUSv4.
Replace it to avoid conflict.

Remove a dead store.

MFC after: 5 days

Make pw(8) build without <utmp.h>.

The size of the username record in utmp files should not influence the
maximum username length. Right now ut_user/ut_name is big enough, so in
this case it's dead code anyway.

Make <libutil.h> work when included by itself.

There are several reasons why it didn't work:

- It was missing <sys/cdefs.h> for __BEGIN_DECLS.
- It uses various primitive types that were not declared.

sigset() is the name of function specified by SUSv4.
Replace it to avoid conflict.

MFC after: 3 weeks

Add and document new quoat_on and quota_off functions.

Add quota_maxid which returns the maximum user (or group) identifier
in an associated quotafile. Needed by repquota.

Bug fix in quota_read.

Further extend the quotafile API.

Merge from head

Merge from head up to r188941 (last revision before the USB stack switch)

It is believed the last subsystem that limited ID sizes to something
other than the current system-wide size (32-bits) has been updated so
for now just cautiously turn the check off.  While here fix the check
for IDs being too large which doesn't work due to type mis-matches.

Reviewed by:    jhb (previous version)
Approved by: re (kib)
MFC after: 1 month (type mis-match fixes only)

Make the chpass Makefile honour NO_FSCHG.

The chpass Makefile tried to set the fschg flag on the binaries, even if
NO_FSCHG was passed to the installworld. This meant that if I installed
FreeBSD into a Jail, I couldn't installworld from within the Jail
anymore.

Now that it listens to NO_FSCHG, we can just make it bail out when it
fails, just like PRECIOUSPROG does.

Revert (once again, and hopefully for the last time) to flock(2) locks.
The problem with fcntl(2) locks is that they are not inherited by child
processes.  This breaks pidfile(3), where the common idiom is to open
and lock the PID file before daemonizing.

Update the quotafile library to manage both active quotas via the
quotactl(2) interface and inactive quotas by accessing the quota
files directly.

Update the edquota program to use this new interface as proof of
concept.

Make hasquota thread safe.

Move hasquota() function to libutil.

WIP

Merge support for CVSMode (aka. mirror mode) into csup. This means csup can now
fetch a complete CVS repository. Support for rsync update of regular files are
also included, but are not yet enabled. The change should not have an impact on
existing csup usage, as little of the existing code has changed.

integrate from head@185615

Merge user/peter/kinfo branch as of r185547 into head.

This changes struct kinfo_filedesc and kinfo_vmentry such that they are
same on both 32 and 64 bit platforms like i386/amd64 and won't require
sysctl wrapping.

Two new OIDs are assigned.  The old ones are available under
COMPAT_FREEBSD7 - but it isn't that simple.  The superceded interface
was never actually released on 7.x.

The other main change is to pack the data passed to userland via the
sysctl.  kf_structsize and kve_structsize are reduced for the copyout.
If you have a process with 100,000+ sockets open, the unpacked records
require a 132MB+ copyout.  With packing, it is "only" ~35MB.  (Still
seriously unpleasant, but not quite as devastating).  A similar problem
exists for the vmentry structure - have lots and lots of shared libraries
and small mmaps and its copyout gets expensive too.

My immediate problem is valgrind.  It traditionally achieves this
functionality by parsing procfs output, in a packed format.  Secondly, when
tracing 32 bit binaries on amd64 under valgrind, it uses a cross compiled
32 bit binary which ran directly into the differing data structures in 32
vs 64 bit mode.  (valgrind uses this to track file descriptor operations
and this therefore affected every single 32 bit binary)

I've added two utility functions to libutil to unpack the structures into
a fixed record length and to make it a little more convenient to use.

Fixed style issues with variable ordering and naming, spacing and
parentheses.

Fixed alignment issue in gr_dup() in its assignment of gr_mem using a
struct to force alignment without performing alignment mathematics.  This
was noticed recently with libutil was built with WARNS=6 on platform such
as sparc64.

Added checks to gr_dup(), gr_equal() and gr_make() to prevent segfaults
when examining struct group's with the struct members pointing to NULL's.

With fix of alignment issue, restore WARNS?=6.

Reviewed by: des
MFC after: 1 week

style(9) fixes.

MFC after: 1 week

MFH (r184638): build at WARNS level 6

MFH (r184633, r184635): build at WARNS level 6

Avoid assigning a const char * to a char *.

MFC after: 3 weeks

Committed to wrong branch.

Avoid assigning a const char * to a char *.

MFC after: 3 weeks

Diff reduction against Varnish, including one important fix: use a shared
lock if the file is opened with O_RDONLY.

Reimplement flopen(3) using fcntl(2) locks instead of flock(2) locks.

Since in_lt() and in_lts() are not static, assume that they are intended to
be part of the public API.  Accordingly, add prototypes and document them.

Since setclasscpumask() is not static, assume that it is intended to be
part of the public API.  Accordingly, add a prototype and document it.

Style and whitespace.

- Import the Makefile from HEAD for building csup.

- Import the HEAD csup code which is the basis for the cvsmode work.

Use arc4random_uniform() to avoid "modulo bias"

Remove pw_getrand() unneded now: arc4random_uniform() is stronger then
pw_getrand()'s MD5 tricks (inactive) and its active version, mixing
arc4random() bytes in one, not make things better at all.

The original adduser/rmuser scripts in Perl used to modify the PATH
setting.  When the scripts were converted to Bourne shell, this was
removed.  The adduser script was changed to use an explicit path for
the pw(8) command so that /usr/sbin did not have to be in the user's
PATH.  The rmuser script continued to assume that /usr/sbin was in the
user's path, however.  This fixes the rmuser script to use an explicit
path for pw(8) similar to adduser.

MFC after: 2 weeks

Add support for a new login capability, cpumask which allows login
sessions to be pinned to cpus by login class.

Before updating the password database, the pw(8) utility first performs a
sanity check by invoking "pwd_mkdb -C".  However, if this failed it
silently returned success.  Fix this so it fails the update operation
instead.

MFC after: 1 week

Merge hexdump(9) to userland as hexdump(3) in libutil.  I'm tired of doing
this by hand in userland utilities.

MFC after: 1 month

- Increase the size of the salt in pw(8) from 8 to 32 (same as in pam_unix(8)).
 This makes blowfish password hashes look normal when set using
pw(8)/adduser(8). [1]
- Make it possible to have a '/' in the salt.

PR: 121146 [1]
Submitted by: Jaakko Heinonen [1]
Approved by: rwatson (mentor)
MFC after: 1 month

Add four utility functions related to struct grp processing modeled in-part
after similar calls related to struct pwd in libutil/pw_util.c:
  - gr_equal()
    Perform a deep comparison of two struct grp's.  It does a thorough, yet
    unoptimized comparison of all the members regardless of order.

  - gr_make()
    Create a string (see group(5)) from a struct grp.

  - gr_dup()
    Duplicate a struct grp.  Returns a value that is a single contiguous
    block of memory.

  - gr_scan()
    Create a struct grp from a string (as produced by gr_make()).

MFC after: 3 weeks

In the description of the password field, -w was meant, not the
nonexistant -p flag.

PR: 120122
Submitted by: Andy Kosela <andy.kosela@gmail.com>
MFC after: 3 days

Add the groupmod '-d' option to pw to allow the deletion of existing users
from a group without the need to perform the same operation by replacing
the existing list via the '-M' option.  The '-M' option requires someone
to fetch the existing members with pw, deleting the undesired members from
the list and sending the altered list back to pw.

Approved by: wes (mentor)
MFC after: 5 days

style(9) (verified no object changes)

Approved by: wes (mentor)
MFC after: 5 days

Add the -M command-line option, which will set home directory permissions.
Works both in interactive or batch mode. This is a heavily modified version
of the patch submitted in the PR.

PR: bin/105060
MFC after: 1 week

Clarify in what formats the grouplist for the '-G' switch may be accepted.

Submitted by: Eygene Ryabinkin <rea-fbsd@codelabs.ru>

Constify the first argument to expand_number() so that it can
be called with a const without the compiler grisling.

Allow adding a user(s) to additional groups in batch mode as well.

Submitted by: Eygene Ryabinkin <rea-fbsd@codelabs.ru> (modulo minor changes)
MFC after: 2 weeks

The POP daemon's temporary mail file has a leading dot ('.'). This was
lost in the shell script rewrite of the rmuser command.

Submitted by: Ian Smith <smithi@nimnet.asn.au>

Implement expand_number(3), which is the opposite of humanize_number(3), ie.
a number in human-readable form is converted to int64_t, for example:
123b -> 123
10k -> 10240
16G -> 17179869184

First version submitted by: Eric Anderson <anderson@freebsd.org>
Approved by: re (bmah)

Back out previous commit until I figure out why my regression test fails.

Approved by: re (kensmith)

Use fcntl(2)-style locks instead of less-portable flock(2)-style locks.

Approved by: re (kensmith)

Update some comments, mostly regarding LOGIN_MECLASS and ~/.login_conf.

Nit: avoid shadowing truncate(2) with a local variable.

Fix stupid braino in previous commit.

If (flags & O_TRUNC), don't truncate the file until we've successfully
locked it.

MFC after: 3 weeks

Well gag me with a spoon...   I'm so used to working at high WARNS levels
that I make stupid fundamental mistakes like this when I don't.