scripts: introduce blkdeactivate

blkdeactivate - utility to deactivate block devices

Traverses the tree of block devices and tries to deactivate them.
Currently, it supports device-mapper-based devices together with LVM.
See man/blkdeactivate.8 for more info.

It is targeted for use during shutdown to properly deactivate the
whole block device stack - systemd and init scripts are provided as
well. However, it might be used directly on command line too.

Please, see the commentary at the top of the blkdeactivate script
for dependencies and versions of other utilities required.

systemd: add deps to order units more properly

lvm2-activation-early.service (generated by activation generator) should
be ordered before cryptsetup.target.

lvm2-monitor.service should be ordered after lvm2-activation.service,
if used. The lvm2-activation.service will replace fedora-storage-init.service
and fedora-storage-init-late.service in the end, but let's have it
prepared now.

Update WHATS_NEW.

thin: prohibit lvcreate --thinpool with mirrors

Disable --thinpool to be used with mirror on lvcreate.

thin: lvm2api return origin property for thin LV

libdm: remove dm dev without error even with malformed UUID

On each ioctl return, the device UUID is decoded from \xNN format.
If the UUID of the device being *removed* is malformed (e.g. it
hasn't been corrected before), just remove it without any error
as the UUID is not needed anymore - the device is gone anyway.

Otherwise a misleading error message would be issued just after
the removal:
  # dmsetup remove test
  The UUID "a b" should be mangled but it contains blacklisted characters.
  Command failed

lvmetad: fix test for dm_asprintf

lvmetad: Fix the fix for 813766 (lvmetad connection warning).

lvmetad: validate dm_asprintf in buffer_append_vf

Check result of dm_asprintf
Check buffer_append result
Declare vars in front

lvmetad: check result of buffer_realloc

lvmetad: initialize cft value

the error should not test garbage value.

lvmetad: Make --sysinit suppress connection failure warnings.

cleanup: fix compiler warnings

remove unused vars
move var declarations into the front of functions.
fix some sign warnings

python: Add bindings for liblvm2app.

Use configure --enable-python_bindings to generate them.

Note that the Makefiles do not yet control the owner or permissions of
the two new files on installation.

lvmdump: Add -l, to collect a state dump from lvmetad.

lvmdump: Fix systems with tr on PATH outside of /usr/bin.

test: Add lvmetad-dump.sh.

lvmetad: Implement a "dump" request to capture lvmetad state.

test: Skip lvconvert-raid on kernels < 3.2 since they BUG out.

libdaemon: Make buffer handling asymptotically more efficient.

lvm2api: add defined lvm_percent_to_float

Implement function which was somehow missing from it's original
placement in the header file lvm2api.h.

thin: raise required version to 1.4

Stay safe and require 1.4 (kernel 3.6) for non-power-of-2
support for thin pool chunk_size.

test: Skip the topology test if setting up scsi_debug fails.

pvscan --cache: Also read metadata from LVM1 PVs (BZ 863401).

lvmetad: Fix help output (flags and their meaning).

test: use exclusive activation for created mirrors

test: thin support for non power of 2 chunk size

test: drop clustered flag control from thin tests

test: move common code for thin init

cleanup: fix typos

thin: support non power of 2 chunk size

Support thin chunk size with multiple of 64KiB if user has
thin-pool target version at least 1.2.

TEST:  Add lvchange-partial.sh and vgchange-partial.sh to the test suite

Commit 3501f17fd0fcec2a1fbb8aeecf228e86ee022d99 enables a limited set
of metadata updates for partial LV/VGs when issuing lvchange or vgchange.
These tests verify those changes operate as intended.

[lv|vg]change:  Allow limited metadata changes when PVs are missing

A while back, the behavior of LVM changed from allowing metadata changes
when PVs were missing to not allowing changes.  Until recently, this
change was tolerated by HA-LVM by forcing a 'vgreduce --removemissing'
before trying (again) to add tags to an LV and then activate it.  LVM
mirroring requires that failed devices are removed anyway, so this was
largely harmless.  However, RAID LVs do not require devices to be removed
from the array in order to be activated.  In fact, in an HA-LVM
environment this would be very undesirable.  Device failures in such an
environment can often be transient and it would be much better to restore
the device to the array than synchronize an entirely new device.

There are two methods that can be used to setup an HA-LVM environment:
"clvm" or "tagging".  For RAID LVs, "clvm" is out of the question because
RAID LVs are not supported in clustered VGs - not even in an exclusively
activated manner.  That leaves "tagging".  HA-LVM uses tagging - coupled
with 'volume_list' - to ensure that only one machine can have an LV active
at a time.  If updates are not allowed when a PV is missing, it is
impossible to add or remove tags to allow for activation.  This removes
one of the most basic functionalities of HA-LVM - site redundancy.  If
mirroring or RAID is used to replicate the storage in two data centers
and one of them goes down, a server and a storage device are lost.  When
the service fails-over to the alternate site, the VG will be "partial".
Unable to add a tag to the VG/LV, the RAID device will be unable to
activate.

The solution is to allow vgchange and lvchange to alter the LVM metadata
for a limited set of options - --[add|del]tag included.  The set of
allowable options are ones that do not cause changes to the DM kernel
target (like --resync would) or could alter the structure of the LV
(like allocation or conversion).

WHATS_NEW: update

 man: dmsetup mangle also processes UUIDs now

dmsetup: also apply 'mangle' command for UUIDs

Compared to names, UUIDs can't be renamed once they are created
for a device. The 'mangle' command will just issue an error message
about a need for manual intervention in this case - reactivating the
device (remove + create) does the job as the defualt mangling mode
used is "auto" and that will assign a correct mangled form the UUID.

dmsetup: add mangled/unmangled_uuid to for info -c

Following the same logic already used for name mangling.

libdm: introduce and use DEV_UUID macro

To automatically prefer mangled UUID over unmangled UUID. The same
logic that is already used for dm name mangling...

libdm: unmangle dm UUIDs on dm ioctl return

libdm: add mangling support for dm_task_set_newuuid

libdm: add mangling support for dm_task_set_uuid

Also, add a new field to struct dm_task called "mangled_uuid" that
will store mangled form of uuid if it differs from original uuid.

libdm: add dm_task_get_uuid_mangled/unmangled

Just like we already have existing mangling support for
device-mapper names, we need exactly the same for device-mapper
UUIDs as their character whitelist is wider than what udev supports.

In case udev is used to create entries in /dev based on UUIDs
and these UUIDs contain characters not supported by udev,
we'll end up with incorrect /dev content for such devices.
So we need to mangle them to a form that is supported by udev.

The mangling used for UUIDs follows the mangling used for names
(that is already supported and used throughout). That means,
setting the name mangling mode via dm_set_name_mangling_mode
affects mangling used for UUIDs in exactly the same manner.
It would be useless to add a new and separate
dm_set_uuid_mangling_mode fn, we'll reuse existing interface.

libdm: refactor internal mangling functions

(un)mangle_name -> (un)mangle_string
check_multiple_mangled_name_allowed -> check_multiple_mangled_string_allowed

Just for clarity as the same functions will be reused to (un)mangle dm UUIDs.

test: Check that lvmetad is refreshed correctly on restart.

lvmetad: Warn if lvmetad is running but disabled.

lvmetad: Fix the -f pidfile (non-)creation logic.

test: Skip thin tests if thin support is configured out.

configure: Use pkg-config to look for valgrind/memcheck.h.

lvmetad: Only create pidfile when running as a daemon (no -f).

Additionally, -f now makes -s mandatory, so the foreground (debugging) lvmetad
does not steal the system-wide socket accidentally.

libdaemon-server: Do not create pidfile if NULL.

TEST: Avoid building unit tests with --disable-testing.

test: more thin tests

test: move raid10 test into separate test files

New features tested in new files.

test: split raid tests

Separate original raid test and new raid10 test,
so the old could be tested on platforms without raid10 support.

Replace test-unfriendly `ls /dev/mapper`   with  dmsetup ls

lvchange: do not start dmevent for resyn

If monitoring is disabled in lvm.conf, avoid its starting and preserve
DMEVENTD_MONITOR_IGNORE settings internally.

example.conf: Warn about running lvmetad with use_lvmetad = 0.

test: ignore modprobe failure

If the system doesn't have modprobe but happens to have modules
loaded, allow version testing.

TEST: Check that LVM1 VGs work when using lvmetad (BZ 863401).

lvmetad: Fix a leak on duplicated PVs (same PVID, different device).

lvmetad: Fix a leak in an error path in update_metadata.

TEST: Give lvmetad a chance to exit gracefully upon teardown.

TEST: Wait for lvmetad socket to appear in "aux prepare_lvmetad".

TEST: When INTERACTIVE=1, allow scripts to control a TTY.

lvmetad: Fix a typo-induced leak in destroy_metadata_hashes.

libdaemon-client: Fix a memory leak in daemon_send.

libdaemon-server: Optimize logging for a fast no-output path.

libdaemon-server: Fix a memory leak in daemon_log_multi.

systemd: remove ExecStartPost from lvm2-lvmetad.service.

The ExecStartPost with pvscan --cache in lvm2-lvmetad.service
is not needed now as this is called transparently within the
first LVM command that queries lvmetad.

dev-cache: Make dev_iter_create work with a NULL filter.

test: move raid test to separate tests

Revert changes to origin lvcreate-large test and use separate
test scripts for raid  - so they can be properly skipped when
kernel doesn't support raid targets.

lvmetad: In pvscan --cache, update the token directly.

test: check snap_percent returns invalid

For thin_volumes snap_percent is meaningless.

report: call snapshot percent with cow only

Ensure lv_snapshot_percent is used only with snapshot LVs.

lvconvert: disable convertion of thin to mirrors

For now this convertions is not supported, thus disabled.
The only supported conversion for now is to create mirrored thin pools
from mirrored devices.

lvmetad: Avoid overlapping locks that could cause a deadlock (BZ 862253).

TEST: Only run the pvscan --cache test with lvmetad active.

TEST: Add lvmetad-pvscan-cache to check that pvscan --cache works.

test: lvm2api thin data_percent

test: check data_percent is equal to snap_percent

lvm2api: fix data percent reporting for thin, snap

Use same logic for lvm2api as we use lvs reporting.
data_percent is meant to be superset for snap_percent.

RAID:  Do not allow RAID LVs in a cluster volume group.

It would be possible to activate a RAID LV exclusively in a cluster
volume group, but for now we do not allow RAID LVs to exist in a
clustered volume group at all.  This has two components:
1) Do not allow RAID LVs to be created in a clustered VG
2) Do not allow changing a VG from single-machine to clustered
   if there are RAID LVs present.

thin: lvconvert

Update code for lvconvert.
Change the lvconvert user interface a bit - now we require 2 specifiers
--thinpool   takes LV name for data device (and makes the name)
--poolmetadata  takes LV name for metadata device.

Fix type in thin help text -z -> -Z.

Supported is also new flag --discards for thinpools.

thin: lvchange allows to change perms of thin snap

Thin snapshots are individual thin volumes so they can have its own
control for rw permissions.

liblvm: insert layer with subvolume renames

Rename also subvolumes if we are inserting _tdata layer.
(Currently it breaks mirrors if it would be generic, needs fixing).

cleanup: add proper cast for force_t

thin: origin only suspend

Skip tree creating when used with origin_only flag.

libdm: reset delay flag for devs used by thin

Patch clears the flag if thin pool is stacked over mirror.

Since thin pool could be used to stack device over mirrors,
it needs resume properly i.e. mirrors with corelog which are otherwise
unconditionally skipped (for pvmove functionality).

liblvm: add lv_rename_update

Support lv_rename without directly updating metatata.
It can save some metadata commits in some cases,
i.e. when LVs are offline.

liblvm2cmd: ensure standard descriptors are ready

Check if FDs 0,1,2 are available, and in case they are missing,
use /dev/null for them.

liblvm2cmd: add return code for _close_stray_fds

Close fds via /proc/self/fd parsing
Return error code if _close_stray_fds fails and quit application
if system is in some nonstandard state.

configure: fix --enable-testing

Add missing pkg init for configure --enable-testing.

RAID: Fix problems with creating, extending and converting large RAID LVs

MD's bitmaps can handle 2^21 regions at most.  The RAID code has always
used a region_size of 1024 sectors.  That means the size of a RAID LV was
limited to 1TiB.  (The user can adjust the region_size when creating a
RAID LV, which can affect the maximum size.)  Thus, creating, extending or
converting to a RAID LV greater than 1TiB would result in a failure to
load the new device-mapper table.

Again, the size of the RAID LV is not limited by how much space is allocated
for the metadata area, but by the limitations of the MD bitmap.  Therefore,
we must adjust the 'region_size' to ensure that the number of regions does
not exceed the limit.  I've added code to do this when extending a RAID LV
(which covers 'create' and 'extend' operations) and when up-converting -
specifically from linear to RAID1.

libdaemon: Split daemon-shared.[hc] into daemon-io.[hc] and config-util.[hc].

libdaemonclient: Use log_sys_error in place of perror.

libdaemonclient: Use dm_{malloc,free} in place of {malloc,free}.

lvremove: Revert to allowing removal of partial LVs.

lvremove: Ask before discarding data areas.

TEST: Workaround for lvmetad vs inconsistent metadata.

lvmetad: Initialise debug_config also if no -d is given.

lvmetad: Give inconsistent metadata warnings in pvscan --cache.