When passwd or group information is changed (by pw, vipw, chpass, ...)
temporary file is created and then a rename() call move it to official file.
This operation didn't have any check to make sure data was written to disk
and if a power cycle happens system could end up with a 0 length passwd
or group database.

There is a pfSense bug with more infor about it:

https://redmine.pfsense.org/issues/4523

The following changes were made to protect passwd and group operations:

* lib/libutil/gr_util.c:
 - Replace mkstemp() by mkostemp() with O_SYNC flag to create temp file
 - After rename(), fsync() call on directory for faster result

* lib/libutil/pw_util.c
 - Replace mkstemp() by mkostemp() with O_SYNC flag to create temp file

* usr.sbin/pwd_mkdb/pwd_mkdb.c
 - Added O_SYNC flag on dbopen() calls
 - After rename(), fsync() call on directory for faster result

* lib/libutil/pw_util.3
 - pw_lock() returns a file descriptor to master password file on success

Differential Revision: https://reviews.freebsd.org/D2978
Approved by: bapt
Sponsored by: Netgate

Change the documentation to reflect where the -V option should be used

Suggested by: kientzle

Add META_MODE support.

Off by default, build behaves normally.
WITH_META_MODE we get auto objdir creation, the ability to
start build from anywhere in the tree.

Still need to add real targets under targets/ to build packages.

Differential Revision:       D2796
Reviewed by: brooks imp

backout remove of -q option for pw [user|group] next

While the return code is broken, some corner case usage depends on the
functionnality, so backout until we get better regression tests covering those
corner case usage.

Fix typo

Fix mistakes than came along with r284139

Remove '-q' support for pw [user|group] next

the intent of -q in this command is to return as exit status the value of the
next group/user id, which does not make sense given exit status are limited to
values between 0 and 255.

Fix setting uid/gid min/max via pw

Fix generating configuration file

Fix duplicate checking

Remove uneeded code (already done by pw_make_v7)

In case of rename validate the length of the new name

Check early that the new name fits MAXLOGNAME and store it in pwconf

Refactor input validation

Mutualize code to validate inputs of both 'user' and 'group' command
Test that the input name fits into MAXLOGNAME

Finish converting -7 to pwconf

Handle -7 via gloval pwconf

Initialize conf using menset(3)

Handle pretty print (-P) via global pwconf

Handle dryrun (-N) via global pwconf

Sort headers

Handle -C and -Y locally and stop adding them to arglist

Add a new global struct pwconf to store etcpath, rootdir and struct userconf

Do not add anymore -R and -V to arglist
Add an error message if both -V and -R are set in arguments

Fix pw userdel -r not deleting homedir

Test explicitly the result of strcmp to be consistent with the rest of the code

Improve readability by reducing indentations levels

Remove one level of indentation

Move user deletion code into a separate function to improve readability

Instead of always casting the pw_checkname input to u_char * and casting it back
to char *, change pw_checkname to directly take char * in input

revert r283969,283970 not needed anymore after r283981

Add a pw_mkdb2(3) function which does the same thing as pw_mkdb(3) except
it takes a new argument allowing to specify the endianness of the database
to generate

Differential Revision: https://reviews.freebsd.org/D2730
Reviewed by: ian

Document pw(8) '-R' option, added in r283961.

MFC after: 1 week
X-MFC-after: r283961
Sponsored by: The FreeBSD Foundation

New pw -R rootdir option

This allows to set an alternate root directory in which the users/groups will be
manipulated

Requested by: gjb, ian
Tested by: gjb

Cast to gid_t for groups not uid_t

Remove useless cast in printf and printf-like functions:
use %u for uid_t and gid_t

Cast -1 to uid_t and bump WARNING level to 3

Move cleanup functions to the right place

Remove useless test before free()

Return early in case we cannot read the configuration file

This drops one level of indentation

Make pw_user()/pw_group() more consitent about errors

Some of errors were returned to the main function, some others caused a direct
exit via err(3).

The main function is only interested in EXIT_SUCCESS, so in all other cases
replace warn(3) + return err by err(3)

Remove uneeded intermediate variable

Remove uneeded intermediate variable

Use asprintf instead of malloc + snprintf and test the memory allocation

Remove dead declaration

PR: 195928
MFC after: 2 days

Export a list of VM objects in the system via a sysctl.  The list can be
examined via 'vmstat -o'.  It can be used to determine which files are
using physical pages of memory and how much each is using.

Differential Revision: https://reviews.freebsd.org/D2277
Reviewed by: alc, kib
MFC after: 2 weeks
Sponsored by: Norse Corp, Inc. (forward porting to HEAD/10)

Merge sync of head

Merge from head

Remove extendline definition
Remove now unused PWBUFSZ define

Use calloc(3) instead of malloc(3) + memset(3)
While here check the return of calloc(3)

The initial logic for allocating the new string was wrong, the conversion
to strndup(3) duplicated the same mistake, actually strdup(3) is good enough
to allocate the new string.

Use strndup(3) instead of malloc(3) + memcpy(3)
Check the return of strndup

Remove useless call to extendarray

The pwdb function is only used once to check the database rename it
pwdb_check and simplify it accordingly

if the check of the pw db fails return the failed value

Some style(9) fixes

Replace sprintf(3) with snprintf(3)

Use snprintf(3) instead of sprintf(3)
Remove useless "else"

Remove now unused LNBUFSZ buffer size

Return from the function as early as possible

This reduces the depth of the if statements and improves clarity of the code

Remove some uneeded headers

Remove unneeded headers

Replace malloc(3) + strcpy(3) + strcat(3) by asprintf(3)

Use snprintf(3) instead of strcpy(3) + strncat(3)

Use sbuf(9) instead of homebrewed buffered string

Partially revert 278642

On reinstall (overwrite) install(1) does not handle chflags

Reported by: ian

Use PRECIOUSPROG instead of custom code to handle schg

This allows to preserve schg when installed with -DNO_ROOT

MFC after: 1 week

Clean up more usb related files when MK_USB == no when dealing with
manpages, libraries, and binaries

MFC after: 1 week
X-MFC with: r278135
Sponsored by: EMC / Isilon Storage Division

Revert r277652

uid and gid are never and should never be negative. The pw(8) manpage clearly
states the -u and -g arguments are for uids/gids, hence using negative values is
abusing a bug in former versions of pw(8)

gr_equal(): Fix a crash that could occur if the first group's member list
was longer than the second's. There is no need to compute and compare the
member list lengths in a separate pass, since we now just return false when
comparing member names if the list lengths are not equal.

MFC after: 2 weeks

Allow negative numbers in -u and -g options

PR: 196514
MFC after: 1 week

Convert to usr.bin/ to LIBADD
Reduce overlinking

Convert to LIBADD.

Reviewed by: bapt

Merge from head@274682

Fix wrong message when using pw -V with a non existent directory
Add a regression test about it

PR: 194971
Submitted by: Freddy DISSAUX <bugzilla@dsx.bsdsx.fr>

Fix renaming a group via the gr_copy function

Add a regression test to pw(8) because the bug was discovered via using:
pw groupmod

PR: 187189
Reported by: mcdouga9@egr.msu.edu
Tested by: mcdouga9@egr.msu.edu
Patch by: Marc de la Gueronniere

Ensure pw userdel -u <invalid> do not try to remove root

Check the uid passed is actually a number as early as possible

MFC after: 1 week

Do not delete the group wheel when bad argument is passed to pw groupdel -g

Check that the -g argument is actually a number, if not report an error.
This argument is converted without checking with atoi(3) later so without this
check it converts any alpha entries into 0 meaning it deletes the group wheel

Add a regression test about it

PR: 90114
Reported by: bkoenig@cs.tu-berlin.de
MFC after: 1 week

Fix a regression in pw usermod -G list

The user was perperly adding the to different groups from "list" but was not
removed from the other groups it could have belong to.
While here add a regression test about this bug

PR: 185666
Reported by: sub.mesa@gmail.com
MFC after: 1 week

When a group is renamed then the group has been invalidated for sure.
In that case get the group information using the new name.

Add a regression test about this bug

PR: 193704
Reported by: az

Two more places where login_setcryptfmt() defaults to MD5 were missed
in r252688.

MFC after: 3 days

- Add a test for bug 191427 where pw(8) will go into an infinite loop

Reviewed by: will
MFC after: 1 month

Merge head from 7/28

Convert devd's client socket to type SOCK_SEQPACKET.

This change consists of two merges from projects/zfsd/head along with the
addition of an ATF test case for the new functionality.

sbin/devd/tests/Makefile
sbin/devd/tests/client_test.c
Add ATF test cases for reading events from both devd socket types.

r266519:
sbin/devd/devd.8
sbin/devd/devd.cc
Create a new socket, of type SOCK_SEQPACKET, for communicating with
clients. SOCK_SEQPACKET sockets preserve record boundaries,
simplying code in the client. The old SOCK_STREAM socket is retained
for backwards-compatibility with existing clients.

r269993:
sbin/devd/devd.8
Fix grammar bug.

CR: https://reviews.freebsd.org/rS266519
MFC after: 5 days
Sponsored by: Spectra Logic

Minor style tweaks.

Obtained from: OpenBSD (CVS rev. 1.7)
MFC after: 3 days

pw: fix up deletion of users from groups

Previuosly given 'foo,bar' members, removing 'foo' would result in an
infinite loop.

PR: 191427
Submitted by: Voradesh Yenbut <yenbut cs.washington.edu>
MFC after: 1 week

Fix changing the username

PR: 189172
Submitted by: fullermd@over-yonder.net
MFC after: 1 week

Removed compatibility with pre FreeBSD 2.2 pw_mkdb command
Fix some broken indentattion

PR: 189173
Submitted by: fullermd@over-yonder.net
MFC after: 1 week

use .Mt to mark up email addresses consistently (part2)

PR: 191174
Submitted by: Franco Fichtner  <franco@lastsummer.de>

IFC @266473

Merge from head

Use src.opts.mk in preference to bsd.own.mk except where we need stuff
from the latter.

Merge head

Merge head

IFC @264767

Simplify reading pw.conf(5) by using getline(3)

Fix pw(8) deletion of group "username" on userdel even if group "username"
is not associated with user "username". E.g., user "foo" has primary group
"wheel" and is unassociated with group "foo", yet userdel would delete the
group "foo" when deleting user "foo" (despite the fact that user "foo" is
not associated with group "foo" in any way).

Patch committed with minor style(9) changes.

PR: bin/169471
Submitted by: Alexander Pyhalov <apyhalov@gmail.com>

Part 2 of bug 187310.. had to commit separately due to local confusion.
Don't let pw crash when give certain input.

PR: 187310
Submitted by: Kim Shrier
MFC after: 1 week

Stop pw(8) from segfaulting when given certain input

PR:187310
Submitted by: Kim Shrier
Obtained from: bug
MFC after: 1 week

mdoc: minor paragraph fixes.

IFC @256277

Approved by: ken (mentor)

Merge from head

libutil: Use O_CLOEXEC for internal file descriptors from open().