lvcreate/lvconvert: prohibit creation of/conversion to mirrored mirror logs

In RHEL7 we marked mirrored mirror logs as deprecated and
added a related message.  This patch prohibits creating new
'mirror' LVs with that log type or converting existing LVs
to have one.

Existing LVs with mirrored mirror log can be activated
and converted to disk/core logs.

Avoid double deprecation message when running lvconvert.

Resolves: rhbz1643562

lvmlockd: fix missing LV lock for lvconvert repair

Add missing lvmlockd LV lock for lvconvert repair
on mirror and thin/cache pools.

udev: 69-dm-lvm-metad.rules is still needed

build: Upse PYTHON_CONFIG env.variable when set

This adds up to Commit 6462e8dffc7ed53973ce796cec18fecc0fb89d77.

tests: lvm-on-md udev issues

man lvmlockd: lvextend with gfs2

remove unused full filter

it's the same as cmd->filter

remove unused lvmetad filter

pvscan: use correct dev filters

pvscan was still using lvmetad_filter which has been
null since lvmetad was removed.  Switch it to use the
full_filter.

devs: use udev info to improve md component detection

Use udev info to supplement native md component detection.

gcc: ensure sector is initilized

Some older gcc errnously report the variable can be used uninitlized.
Quite warning by explicit initalization.

gcc: avoid shadowing use_aio

Function use_aio() is already declared, avoid its shadowing.
lvm-globals.h:59: warning: shadowed declaration is here

gcc: avoid shadowing activate_lv

Function activate_lv() is already declared, avoid its shadowing.
activate.h:133: warning: shadowed declaration is here

gcc: avoid shadowing index

Some older headers were declaring 'index' so avoid its usage.
/usr/include/string.h:489: warning: shadowed declaration is here

makefiles: ensure test dir can run unit-test

makefiles: avoid clustering out

When ctags package is not installed, avoid cluttering output
from failing 'which' command.

device_mapper: move internal header to front

libdm: optimize dm_pool_strndup

device_mapper: optimize dm_pool_strndup

device_mapper: fix incorrect dm_strncpy usage

Patch 668c9d0762fc6736a1e9372785544eda6a939806 introduced regression,
since the code here would actually always return failing result.
Replace it with more simple call to strndup().

rpm: install lvm2-pvscan again

Let's repeat history once more 13d5c78a8d5f09b91e26cd49fffa05313d2f6c82.

tests: extend sleep

makefiles: clean unit-test

makefiles: ignore missing files

configure: update

tests: drop use_lvmetad from unit test

tests: reduce memory footprint

tests: updates

tests: requires at least 2 iterations

tests: use select with dmsetup

Use 'dmsetup -S' to greatly simplify such loops.

tests: add mising udev_wait

mdadm does not handle udev waiting so it may exit earlier,
while devices are still 'running'.

make: generate man update

make: generate config update

makefiles: add missing srcdir

makefiles: improving cleaning rules

makefiles: avoid dependency calcs for base dir

For some targets we do not want to generate dependencies.
Also add note about usage of such Makefile - it might be
possibly better to rename it to different filename to avoid
any confusion.

makefiles: updates for less verbosity

makefiles: improve lcov generator

Simplify generation of lcov report.

base: use calloc

Make zalloc a wrapper over calloc

scan: md metadata version 0.90 is at the end of disk

commit de28637
  scan: use full md filter when md 1.0 devices are present

missed the fact that md superblock version 0.90 also puts
metadata at the end of the device, so the full md filter
needs to be used when either 0.90 or 1.0 is present.

config settings: fix version 3.0.0

version 3.0.0 was changed in the end to 2.3.0,
but config settings had previously been encoded
with version 3.0.0.

lvmlockd: vgchange locktype with yes option

for auto response to yes/no prompt.

lvmlockctl: wait by default when stopping

lvmlockctl --stop-lockspaces was by default not waiting
for all the lockspaces to be gone.

Place the first PE at 1 MiB for all defaults

. When using default settings, this commit should change
  nothing.  The first PE continues to be placed at 1 MiB
  resulting in a metadata area size of 1020 KiB (for
  4K page sizes; slightly smaller for larger page sizes.)

. When default_data_alignment is disabled in lvm.conf,
  align pe_start at 1 MiB, based on a default metadata area
  size that adapts to the page size.  Previously, disabling
  this option would result in mda_size that was too small
  for common use, and produced a 64 KiB aligned pe_start.

. Customized pe_start and mda_size values continue to be
  set as before in lvm.conf and command line.

. Remove the configure option for setting default_data_alignment
  at build time.

. Improve alignment related option descriptions.

. Add section about alignment to pvcreate man page.

Previously, DEFAULT_PVMETADATASIZE was 255 sectors.
However, the fact that the config setting named
"default_data_alignment" has a default value of 1 (MiB)
meant that DEFAULT_PVMETADATASIZE was having no effect.

The metadata area size is the space between the start of
the metadata area (page size offset from the start of the
device) and the first PE (1 MiB by default due to
default_data_alignment 1.)  The result is a 1020 KiB metadata
area on machines with 4KiB page size (1024 KiB - 4 KiB),
and smaller on machines with larger page size.

If default_data_alignment was set to 0 (disabled), then
DEFAULT_PVMETADATASIZE 255 would take effect, and produce a
metadata area that was 188 KiB and pe_start of 192 KiB.
This was too small for common use.

This is fixed by making the default metadata area size a
computed value that matches the value produced by
default_data_alignment.

blk_availability service drop lvmetad

pvscan systemd service for event based activation

The pvscan systemd service for autoactivation was
mistakenly dropped along with the lvmetad related
services.

The activation generator program now looks at the new
lvm.conf setting "event_activation" (default 1) to
switch between event activation and direct activation.

Previously, the old use_lvmetad setting was used to
switch between event and direct activation.

writecache: set block_size using --cachesettings

instead of a separate --writecacheblocksize option.
writecache block_size is not technically a setting,
but it can borrow the option as a special case.

WHATS_NEW: sync io

bcache: sync io fixes

fix lseek error check
fix read/write error checks
handle zero return from read and write
don't return an error for short io
fix partial read/write loop

io: use sync io if aio fails

io_setup() for aio may fail if a system has reached the
aio request limit.  In this case, fall back to using
sync io.  Also, lvm use of aio can be disabled entirely
with config setting global/use_aio=0.

The system limit for aio requests can be seen from
  /proc/sys/fs/aio-max-nr

The current usage of aio requests can be seen from
  /proc/sys/fs/aio-nr

The system limit for aio requests can be increased by
setting fs.aio-max-nr using sysctl.

Also add last-byte limit to the sync io code.

tests: update required raid target

For embeded reshaping operation require higher driver version.
(otherwise we get:

Converting vg/LV1 from raid6 (same as raid6_zr) is directly possible to the following layouts:
 raid6_nc
 raid6_nr
 raid6_la_6
 raid6_ls_6
 raid6_ra_6
 raid6_rs_6
 raid6_n_6

tests: missing copyright

sanlock: update headers

tests: generate slightly less volumes

tests: speed-up testing full of lvm2 metadata

Generate faster full metadata condition.

FIXME: vgremove is extremaly slow with larger set of LVs.

tests: update parm for new kernel

tests: skip part of test

On kernel 4.8 this test piece oopses machine (fc23).

tests: create whole path with mkdir

Create also 'lvm' upper this if such one is missing in /run dir
and use '-p' with mkdir.

tests: skip portion of test for lvmpolld

lvmpolld ATM is not desingned to preserve interval checking
in the same way the 'lvconvert' tool is doing - so the passed
'-i 40' is not respected and lvmpolld autonomously checks
state of conversion and updates lvm2 metadata and dm tables
when needed.

So skip portion of test that relayed on this and preserve this logic
only for command line invocation and forking of polling process
where the interval of checking is under full control.

tests: skip when gcore from gdb package is missing

gcore is needed for gathering all userspace mappings.

tests: prefer internal header

Although we primarily want to check externally used libdevmapper
library,   out internal  all.h is still keeping all symbols
as the original library has - so for simpler compilation keep
using this private copy for defining needed symbols.

tests: correcting header file enclosure

Use "" for internal header file.

tests: still more libs needs

tests: makefile fixes

New tests needs more options and libs.

tests: drop unwanted backup

tests: raise minsize of xfs

mkfs.xfs now needs at least ~1600...

tests: extend

tests: secure data erase

libdm: add memory barrier

Just for case ensure compiler is not able to optimize
memset() away for resources that are released.

This idea of using memory barrier is taken from openssl.

Other options would be to check for 'explicit_bzero' function.

libdm: print params only for ioctls using them

When preparing ioctl buffer and flatting all parameters,
add table parameters only to ioctl that do process them.

Note: list of ioctl should be kept in sync with kernel code.

libdm: add DM_DEVICE_ARM_POLL

Expose DM_DEVICE_ARM_POLL via standard API enum.

libdm: do not add params for resume and remove

DM_DEVICE_CREATE with table is doing several ioctl operations,
however only some of then takes parameters.
Since _create_and_load_v4() reused already existing dm task from
DM_DEVICE_RELOAD it has also kept passing its table parameters
to DM_DEVICE_RESUME ioctl - but this ioctl is supposed to not take
any argument and thus there is no wiping of passed data - and
since kernel returns buffer and shortens dmi->data_size accordingly,
anything past returned data size remained uncleared in zfree()
function.

This has problem if the user used dm_task_secure_data (i.e. cryptsetup),
as in this case binary expact secured data are erased from main memory
after use, but they may have been left in place.

This patch is also closing the possible hole for error path,
which also reuse same dm task structure for DM_DEVICE_REMOVE.

scripts: remove lvmetad from makefile

lvm2-monitoring service shouldn't refer to lvmetad

man: remove some clvmd references

man: remove scattered lvmetad references

remove unused backgroundfork option

man: pvscan updates

pvscan: background option is not used

Move this into the list of ignored options so
it doesn't appear in the man page.

man pvscan: replace lvmetad text

man: remove lvmetad

man lvmdump: remove clvm reference

man: remove clvmd man page

man: remove cluster references

tests: add wait loop

Add a little wait loop - since lvconvert started background process
and we need to wait till this bg task initiate its work -
adding ~1s loop should give reasonable enough time to start mirroring.

devicemapper: retry mirror leg deactivation

This could be seen as continuation of
6cee8f1b063dcf5d809e14de38ba489ce5b8f562.
Some test maching with old udev system shows problem,
where udev 'jumps on' leg device after mirror target
releases its legs -  since udev does not (in this old case) skips
such device from scanning - it opens device - and this prevent
leg device to be deactivated - effectively such device stays
'leaked' in DM table invisibly to lvm2 command.

So to 'combat' this issue - if the device has '_mimage' in its name,
the retry of deactivation is automatically assumed.

NOTE: wider impact is unexpected - as it's touching only old mirror
target which is nowadays replaced with 'raid'.

In case there will be some problem identified - probably both patches
should be reverted.

man: lvmcache update

for cache changes including writecache

tests: specify m1 for raid1 in cache-single-types

tests: futher test tunning

tests: add lvchange cachemode passthrough in cache-single-options

tests: enable cachepolicy cleaner in cache-single-options

tests: enable writeback in cache-single-options

tests: fix dd option in cache-single-options

tests: updates

tests: keep results configurable

configure: update

devicemapper: retry remove even for subLVs

With older systems and udevs we don't have control over scanning of lvm2
internal devices - so far we set retry-removal only for top-level LVs,
but in occasional cases udev can be 'fast enough' to open device for
scanning and prevent removal of such device from DM table.

So to combat this case - try to pass 'retry' flag also for removal of
internal device so see how many races can go away with this simple
patch.

Note: patch is applied only to internal version of libdm so the external
API remains working in the old way for now.

activation: trimming string is expected

Commit 813347cf84617a946d9184f44c5fbd275bb41766 added extra validation,
however in this particular we do want to trim suffix out so rather ignore
resulting error code here intentionaly.

devices: reuse bcache fd when getting block size

This avoids an unnecessary open() on the device.

Add dm-writecache support

dm-writecache is used like dm-cache with a standard LV
as the cache.

$ lvcreate -n main -L 128M -an foo /dev/loop0

$ lvcreate -n fast -L 32M -an foo /dev/pmem0

$ lvconvert --type writecache --cachepool fast foo/main

$ lvs -a foo -o+devices
  LV            VG  Attr       LSize   Origin        Devices
  [fast]        foo -wi-------  32.00m               /dev/pmem0(0)
  main          foo Cwi------- 128.00m [main_wcorig] main_wcorig(0)
  [main_wcorig] foo -wi------- 128.00m               /dev/loop0(0)

$ lvchange -ay foo/main

$ dmsetup table
foo-main_wcorig: 0 262144 linear 7:0 2048
foo-main: 0 262144 writecache p 253:4 253:3 4096 0
foo-fast: 0 65536 linear 259:0 2048

$ lvchange -an foo/main

$ lvconvert --splitcache foo/main

$ lvs -a foo -o+devices
  LV   VG  Attr       LSize   Devices
  fast foo -wi-------  32.00m /dev/pmem0(0)
  main foo -wi------- 128.00m /dev/loop0(0)