lvchange/lvconvert: fix missing lvmlockd LV locks

lvchange/lvconvert operations that do not require the LV
to already be active need to acquire a transient LV lock
before changing/converting the LV to ensure the LV is not
active on another host.  If the LV is already active,
a persistent LV lock already exists on the host and the
transient LV lock request is a no-op.

Some lvmlockd locks in lvchange were lost in the cmd def
changes.  The lvmlockd locks in lvconvert seem to have
been missed from the start.

lvchange: tidy switch code in _lvchange_properties_single()

lvchange: fix missing return value

A return value from lvchange_persistent_cmd() was missed
in commit 1c41898c07ad750820fb39770355fded8e9b030a

lvmconf: fix systemd unit existence check for lvmconf --services --startstopservices

We have to unset the LoadState variable from previous use when we check
for systemd unit state. We use this variable to check if systemd services
are loaded or not and if it is loaded, we issue systemctl commands to
enable/disable and start/stop the service. We don't issue these commands
if the unit is not loaded to avoid error messages which may confuse users.

commands: fix misspelling of option value

(The cmd def parser really needs to catch mistakes
like this as it did when it was external.)

lvchange: fix --poll value when set from option

The actual value specified by the --poll y|n option was not
being used.  The way the --poll value is used is hidden
through an indirection where the value is stored in a
global variable at the start of the command, and then the
value is read from there later.  Setting the global
variable early in the command had been lost with the
cmd def changes.

vgchange/lvchange: fix poll and monitor use

Fill in some gaps where old versions of lvm allowed
--poll and --monitor in combination with other operations,
but those combinations had been lost since the cmd def work.
(The new cmd def code also added some combinations that
had been missed by the old code.)

Changes:

lvchange --activate: add poll and monitor options, and
                     add calls to them in implementation.

lvchange --refresh: add monitor option (poll already there),
                    and call to monitor in implementation.

lvchange <metadata ops>: add poll and monitor options, and
                         add calls to them in implementation.

vgchange <metadata ops>: add poll option (call to poll
                         already in implementation).

vgchange --refresh: remove monitor option (not used by code)

lvchange --persistent y: add poll and monitor options, and
                         add calls to them, and to activate
                         in the implementation. (Making it
                         match the main lvchange metadata
                         command.)

Summary of current usage:

lvchange --activate: monitor, poll
vgchange --activate: monitor, poll

lvchange --refresh: monitor, poll
vgchange --refresh: poll

lvchange --monitor: ok
lvchange --poll: ok
lvchange --monitor --poll: ok
vgchange --monitor: ok
vgchange --poll: ok
vgchange --monitor --poll: ok

lvchange <metadata ops>: monitor, poll
vgchange <metadata ops>: poll

lvchange: enhance avoiding multiple metadata updates/reloads/backups

Enhance commit 25b5915c9b5260c59d627bd1f6db8220bd4ad61e
to process options requiring immediate metadata commits
and reloads after those we can group together doing just
one commit and an optional reload for the whole group.

Backup metadata after processing options successfully.

Related: rhbz1437611

man: '-pool' regexp

lvconvert: fix converting hidden lv to pool

A hidden LV can not be converted to a thin pool or cache pool.

help: print all options in abbreviated help output

Don't abbreviate the --help output quite as much
when there are many command defs.  Print all the
options in the cmd defs that are shown.  --longhelp
output is unchanged and includes everything.

commands: missing comma in cmd def option list

Does not affect parsing, but keep it consistent.

help: include cmd def info in verbose output

It can sometimes be important to correlate a
command with its cmd def entry, so include
the cross reference info in help -vv output.

commands: recognize ignored options

commands: ignore partial option in most cases

These days --partial is only used with activation in
lvchange/vgchange.  It probably had another meaning
at some point in history which is no longer used,
so ignore it in those cases.

When included in the OO list, the option is advertised in
help/man output, implying it is meaningful to the command,
when in fact the command never uses it.
The IO list means the option won't cause an error if it's
used, but is not displayed as an valid option for the command.
If the option is not included in either OO or IO lists,
using the option would cause a command error, which would cause
problems for anyone is using the option for historical reasons.

man: fix description of --partial option

lvchange: refresh command missing activationmode option

lvchange: avoid multiple metadata updates/reloads/backups

_lvchange_properties_single() processes multiple command
line arguments in a loop causing metadata updates and/or
backups per argument.

Optimize to only perform one update and/or backup
(but necessary interim ones; e.g. for --resync)
per command run.

Related: rhbz1437611

tests: fix LD_LIBRARY_PATH

Use only selected paths for finding .so in builddir.
So if builddir constains some embeded subdirs with some more
occurences of project (i.e.  'make rpm' build subdir)
those library paths will not get into list.

cache: scan kallsyms for kernel symbols

With monolithic kernels we can't actually modprobe
for cache modules as they are already compiled-in
and policy modules do not export version symbol.

Reported issue on list:
https://www.redhat.com/archives/dm-devel/2017-March/msg00061.html

Fix will try to look for explicit kernel symbols first before
calling modprobe.

lvchange: persistent major/minor processing regression

Optimized change.

Resolves: rhbz1437611

lvchange: persistent major/minor processing regression

Fix a regression introduced by new command line processing
(see starting commit 1e2420bca85da9a37570871cd70192e9ae831786)
causing activation to be rejected in combination with setting
persistent minor device numbers.

Resolves: rhbz1437611

man: pregen file change

man-generator: shutdown stdout buffer

Flush stdout and switch it back to line buffering before exit.

man-generator: enhance performance

Set block buffering on stdout to
save ~30% time generating manuals.

man-generator: don't ignore description file errors

In case we provide a description file it has to
succeed opening and reading.  Dynamically allocate
buffer space for it whilst on it.

raid: more coverity issues

raid: favour dm_list_first()

raid: address coverity issues

man-generator: add '.' to all messages

man: add minor regexp

dmsetup: replace (f)printf("\n") with putchar/putc

libdm: use correct FMTu32 format specifier for uint32_t

libdm: fix incorrect format specifier in _stats_resize_group()

The bitmap size in dm_bitset_t[0] is a uint32_t, not uint64_t: use
%u instead of FMTu64.

dmsetup: Flush ouptut when using --interval

libdm: use uint64_t where possible in filemap routines

Use uint64_t where possible and explicit casts elsewhere to avoid
compiler warnings when converting between int, int64_t and
uint64_t.

libdm: use size_t for buflen in _stats_group_file_regions()

libdm: make _stats_resize_group() num_regions argument uint64_t

libdm: make _find_extent() nr_extents argument uint64_t

dmfilemapd: cast return value of strto* functions when needed

dmfilemapd: use log_sys_error in _filemap_monitor_set_notify

Since _filemap_monitor_set_notify() is only called after daemon
start up it should not use the _early_log() macros. Instead, use
log_sys_error to log errors from the two syscalls in the function.

dmfilemapd: cast sysconf() return value to int

dmfilemapd: fix len type in _filemap_monitor_check_file_unlinked()

Make 'len' a size_t to match the return type of readlink(2).

dmfilemapd: make filemap_monitor->nr_regions uint64_t

libdm: use DM_STATS_GROUP_* constants in dm_stats_create_regions_from_fd

dmsetup: simplify branching in _stats_update_file()

The fallback branch in _stats_update_file() is redundant (since the
branch taken when the daemon starts successfully must jump to the
'out' label anyway): remove it and re-order the conditions to
improve readability.

man: raid cleanup

man: Copyright

man: use variable in Makefile / regexp

man-generator: catch missing command name

tests: fix typo in makefile

Use properly $(SORT)

man: fix type

With commit 4af09a94bd44693e5a40a4f895599601d8233d69 unwanted rename  of
target happened - restore it.

vgrename: use long enough buffer for path

Use PATH_MAX when creating buffers for rename.

libdm: use log_sys_error if dmfilemapd exec fails

Use log_sys_error rather than log_error if execvp() fails:

  /mnt/redhat/xdoio.13752.XIORQ: Created new group with 2 region(s) as group ID 0.
  # execvp() failed.

vs:

  /var/lib/libvirt/images/rhel7-vm1.qcow2: Created new group with 884 region(s) as group ID 0.
  dmfilemapd: execvp failed: No such file or directory

dmsetup: always close fd when leaving _stats_update_file() (coverity)

dmsetup: do not start dmfilemapd if region creation fails (coverity)

libdm: do not attempt filemap cleanup if dm_stats_list() fails (coverity)

libdm: abort filemap update if pool allocation fails (coverity)

libdm: do not leak FIEMAP extent buffer if pool allocation fails (coverity)

dmfilemapd: free region table at end of _update_regions() (coverity)

dmfilemapd: fix off-by-one in fd comparison (coverity)

The function _filemap_monitor_check_file_unlinked() attempts to
test whether a fd value should be closed by comparison to zero:

        if ((fd > 0) && close(fd))
                log_error("Error closing fd %d", fd);

The test should be '>=' since 0 is a valid file descriptor.

dmfilemapd: always close link check file descriptor (coverity)

Similar to 40fb91a, but for the file descriptor opened using the
link path reported by /proc/<self>/fd/<fd>.

The daemon opens a new file descriptor from /proc/<self>/fd when
checking for an unlinked file with mode=inode. Ensure that it is
always closed even if the same file test fails.

dmfilemapd: always terminate link buffer after readlink(2) (coverity)

dmfilemapd: always close check file descriptor (coverity)

The daemon opens a new file descriptor from fm->path when checking
for an unlinked file with mode=inode. Ensure that it is always
closed even if the same file test fails.

dmfilemapd: use *argv[0] when testing for absolute path (coverity)

The path argument check in dmfilemapd incorrectly tests for:

  if (argv[0] == '/')

Rather than testing the 1st character in the string pointed to by
argv[0].

dmfilemapd: pass correct dirp to closedir()

dmfilemapd: do not closdir(pid_d) unless it is open

dmfilemapd: log closedir errors with log_sys_error()

dmstats: Fix path to static dmstats

man: ranges/LV names/symbolic use regexp

man: simplify by avoiding different headers on de-duplication of lvmconfig, lvm-config and lvm-dumpconfig

man: de-duplicate lvmconfig, lvm-config and lvm-dumpconfig manuals

spec: Add dmfilemapd

dmfilemapd: Fix install target

man: regexp readability / use $(SED)

post-release

pre-release

Removing some unused new lines and changing some incorrect "can't
release until this is fixed" comments.  Rename license.txt to make
it clear its merely an included file, not itself a licence.

man: pre-generated files weren't committed

man: fix / typo

man: enhance man postprocessing regexp

tests: update to better fit

Die is automatic on 'error' result
Cleanup everything on 'regular' code path.

cleanup: use more common FMTd64 type

We use 'd' for plain singed integers.

build: fix x32 arch

This patch fixed lvm2 compilation running on x32 arch.
(Using 64bit x86 cpu features but running on 32b address space,
so consuming less mem in VM).

On x32 arch 'time_t' is 64bit while 'long' is 32bit.

man-generator/man/help: simplify hyphen escaping

Commits a29bb6a14b5e920092495fb9a1623e527d22daac
    ... 5c199d99f4dc9911d62673baba7643ea649ffe64
narrowed down on addressing the escaping of hyphens
in the dynamic creation of manuals whilst avoiding
them in creating help texts.  This lead to a sequence
of slipping through hyphens adrressed by additional
patches in aforementioned commit series.

On the other hand, postprocessing dynamically man-generator
created and statically provided manuals catches all hyphens
in need of escaping.

Changes:
- revert the above commits whilst keeping man-generator
  streamlining and the detection of any '\' when generating
  help texts in order to avoid escapes to slip in

- Dynamically escape hyphens in manaual pages using sed(1)
  in the respective Makefile targets

- remove any manually added escaping on hyphens from any
  static manual sources or headers

lvchange: reject setting all raid1 images to writemostly

raid1 doesn't allow to set all images to writemostly because at
least one image is required to receive any written data immediately.

The dm-raid target will detect such invalid request and
fail it iwith a kernel error message.

Reject such request in uspace displaying a respective error message.

man: a few more missed '-' to escape

man-generator: more escaped '-'

man-generator: fix buffer length calculation

make: Don't hard-code SHELL as /bin/sh

man/help: avoid escaping of '-' with --help

WHATS_NEW: man-generator escape '-'

man-generator: cleanup escape '-'

man-generator: emit escaped '-'

man: escape all single '-'

man: revert erouneous '-' escapes in Makefine.in

man: escape all double '-'

tools: Reinstate lvm script processing.

We check for a script if the command isn't recognised (ENO_SUCH_CMD).
(Also added a few comments and fixed some whitespace.)

libdm: typo

commands: improve error message for unknown command

when running "lvm foo".

commands: fix commands with run with path basename

The recent command definitions commit took the command
name from argv[0] without applying basename to the value,
so a pathname, e.g. /usr/sbin, would cause lvm to not
recognize the command name.