lvm: drop usage of dl library

Since lvm no longer supports any dlopen-able plugins
(which in practice was never really usable) drop linking
with -ldl.

dmeventd: do not link internal libraries to plugins

Avoid linking internal device-mapper and link dynamically libdevmapper.
This considerably reduced size of installed binaries.

dmeventd: fix linking with libdevmapper

Since dmeventd is 'libdm' based project, it needs to link
libdm library instead of its internal version

An external users may provide plugins loadeable by dmeventd.
So external user of libdevmapper-event library has no other option
then to link with released libdevmapper library.

The complexity comes with lvm2 plugins.
The lvm2 plugin itself uses internal version of device_mapper,
but libdevmapper-event usage is libdm based - so there needs to be avoided
any breakage on compatibility of internal i.e. dm_task_run structures.

TODO: most likely dmeventd itself should be moved into libdm/dm-tools dir,
and only lvm2 plugins should be created as part of lvm project,
but those still need to link with libdevmapper.

dmfilemapd: avoid linking with DL_LIBS

Dmfilemapd is not using dlopen so doesn't need to be linked with
DL_LIBS.

lvconvert: ensure proper init of pv_list

lvmdbusd: Update table lookup for state lv_attr

lvmdbusd: Update table lookup for health lv_attr

lvmdbusd: Handle missing lv_attr table lookups

If we don't know the meaning we will return the key with default text
instead of raising an exception and taking the daemon out in the
process.

Resolves: rhbz1657950

lvmdbusd: Dump blackbox newest first

When we get bug reports we may not get the entire log, so lets
dump the fight recorder from newest to oldest as the one we
are interested in was likely to be the last command run.

lvmanip:  uninitialized members in struct pv_list (#10)

Scenario: Given an existed LV `lvol0`, I want to create another LV
on the PVs used by `lvol0`.

I use `build_parallel_areas_from_lv()` to obtain the `pv_list` of each segments.
However, the returned `pv_list` is not properly initialized, which causes
segfault in subsequent operations.

debug: drop extra tracing

Stack tracing after log_error() is not needed.

cleanup: some local headers first

makefiles: some leftovers from lvmetad

makefiles: local headers first

makefiles: drop unneeded include path

makefiles: correct libdm dependency

Correcting dependency tracking for libdm internal files.

headers: use full path header instead of -I directive

Replace Makefile -I  with full path to headers like we use now
everywhere else.

headers: use configure.h as 1st. header

Ensure configure.h is always 1st. included header.
Maybe we could eventually introduce gcc -include option, but for now
this better uses dependency tracking.

Also move _REENTRANT and _GNU_SOURCE into configure.h so it
doesn't need to be present in various source files.
This ensures consistent compilation of headers like stdio.h since
it may produce different declaration.

libdm: use libdm header

User libdm header file.

dmeventd: Fix libdevmapper-event linking

man: document 's' RAID attribute bit

raid: fix (de)activation of RaidLVs with visible SubLVs

There's a small window during creation of a new RaidLV when
rmeta SubLVs are made visible to wipe them in order to prevent
erroneous discovery of stale RAID metadata.  In case a crash
prevents the SubLVs from being committed hidden after such
wiping, the RaidLV can still be activated with the SubLVs visible.
During deactivation though, a deadlock occurs because the visible
SubLVs are deactivated before the RaidLV.

The patch adds _check_raid_sublvs to the raid validation in merge.c,
an activation check to activate.c (paranoid, because the merge.c check
will prevent activation in case of visible SubLVs) and shares the
existing wiping function _clear_lvs in raid_manip.c moved to lv_manip.c
and renamed to activate_and_wipe_lvlist to remove code duplication.
Whilst on it, introduce activate_and_wipe_lv to share with
(lvconvert|lvchange).c.

Resolves: rhbz1633167

WHATS_NEW

lvcreate/lvconvert: prohibit creation of/conversion to mirrored mirror logs

In RHEL7 we marked mirrored mirror logs as deprecated and
added a related message.  This patch prohibits creating new
'mirror' LVs with that log type or converting existing LVs
to have one.

Existing LVs with mirrored mirror log can be activated
and converted to disk/core logs.

Avoid double deprecation message when running lvconvert.

Resolves: rhbz1643562

lvmlockd: fix missing LV lock for lvconvert repair

Add missing lvmlockd LV lock for lvconvert repair
on mirror and thin/cache pools.

udev: 69-dm-lvm-metad.rules is still needed

build: Upse PYTHON_CONFIG env.variable when set

This adds up to Commit 6462e8dffc7ed53973ce796cec18fecc0fb89d77.

tests: lvm-on-md udev issues

man lvmlockd: lvextend with gfs2

remove unused full filter

it's the same as cmd->filter

remove unused lvmetad filter

pvscan: use correct dev filters

pvscan was still using lvmetad_filter which has been
null since lvmetad was removed.  Switch it to use the
full_filter.

devs: use udev info to improve md component detection

Use udev info to supplement native md component detection.

gcc: ensure sector is initilized

Some older gcc errnously report the variable can be used uninitlized.
Quite warning by explicit initalization.

gcc: avoid shadowing use_aio

Function use_aio() is already declared, avoid its shadowing.
lvm-globals.h:59: warning: shadowed declaration is here

gcc: avoid shadowing activate_lv

Function activate_lv() is already declared, avoid its shadowing.
activate.h:133: warning: shadowed declaration is here

gcc: avoid shadowing index

Some older headers were declaring 'index' so avoid its usage.
/usr/include/string.h:489: warning: shadowed declaration is here

makefiles: ensure test dir can run unit-test

makefiles: avoid clustering out

When ctags package is not installed, avoid cluttering output
from failing 'which' command.

device_mapper: move internal header to front

libdm: optimize dm_pool_strndup

device_mapper: optimize dm_pool_strndup

device_mapper: fix incorrect dm_strncpy usage

Patch 668c9d0762fc6736a1e9372785544eda6a939806 introduced regression,
since the code here would actually always return failing result.
Replace it with more simple call to strndup().

rpm: install lvm2-pvscan again

Let's repeat history once more 13d5c78a8d5f09b91e26cd49fffa05313d2f6c82.

tests: extend sleep

makefiles: clean unit-test

makefiles: ignore missing files

configure: update

tests: drop use_lvmetad from unit test

tests: reduce memory footprint

tests: updates

tests: requires at least 2 iterations

tests: use select with dmsetup

Use 'dmsetup -S' to greatly simplify such loops.

tests: add mising udev_wait

mdadm does not handle udev waiting so it may exit earlier,
while devices are still 'running'.

make: generate man update

make: generate config update

makefiles: add missing srcdir

makefiles: improving cleaning rules

makefiles: avoid dependency calcs for base dir

For some targets we do not want to generate dependencies.
Also add note about usage of such Makefile - it might be
possibly better to rename it to different filename to avoid
any confusion.

makefiles: updates for less verbosity

makefiles: improve lcov generator

Simplify generation of lcov report.

base: use calloc

Make zalloc a wrapper over calloc

scan: md metadata version 0.90 is at the end of disk

commit de28637
  scan: use full md filter when md 1.0 devices are present

missed the fact that md superblock version 0.90 also puts
metadata at the end of the device, so the full md filter
needs to be used when either 0.90 or 1.0 is present.

config settings: fix version 3.0.0

version 3.0.0 was changed in the end to 2.3.0,
but config settings had previously been encoded
with version 3.0.0.

lvmlockd: vgchange locktype with yes option

for auto response to yes/no prompt.

lvmlockctl: wait by default when stopping

lvmlockctl --stop-lockspaces was by default not waiting
for all the lockspaces to be gone.

Place the first PE at 1 MiB for all defaults

. When using default settings, this commit should change
  nothing.  The first PE continues to be placed at 1 MiB
  resulting in a metadata area size of 1020 KiB (for
  4K page sizes; slightly smaller for larger page sizes.)

. When default_data_alignment is disabled in lvm.conf,
  align pe_start at 1 MiB, based on a default metadata area
  size that adapts to the page size.  Previously, disabling
  this option would result in mda_size that was too small
  for common use, and produced a 64 KiB aligned pe_start.

. Customized pe_start and mda_size values continue to be
  set as before in lvm.conf and command line.

. Remove the configure option for setting default_data_alignment
  at build time.

. Improve alignment related option descriptions.

. Add section about alignment to pvcreate man page.

Previously, DEFAULT_PVMETADATASIZE was 255 sectors.
However, the fact that the config setting named
"default_data_alignment" has a default value of 1 (MiB)
meant that DEFAULT_PVMETADATASIZE was having no effect.

The metadata area size is the space between the start of
the metadata area (page size offset from the start of the
device) and the first PE (1 MiB by default due to
default_data_alignment 1.)  The result is a 1020 KiB metadata
area on machines with 4KiB page size (1024 KiB - 4 KiB),
and smaller on machines with larger page size.

If default_data_alignment was set to 0 (disabled), then
DEFAULT_PVMETADATASIZE 255 would take effect, and produce a
metadata area that was 188 KiB and pe_start of 192 KiB.
This was too small for common use.

This is fixed by making the default metadata area size a
computed value that matches the value produced by
default_data_alignment.

blk_availability service drop lvmetad

pvscan systemd service for event based activation

The pvscan systemd service for autoactivation was
mistakenly dropped along with the lvmetad related
services.

The activation generator program now looks at the new
lvm.conf setting "event_activation" (default 1) to
switch between event activation and direct activation.

Previously, the old use_lvmetad setting was used to
switch between event and direct activation.

writecache: set block_size using --cachesettings

instead of a separate --writecacheblocksize option.
writecache block_size is not technically a setting,
but it can borrow the option as a special case.

WHATS_NEW: sync io

bcache: sync io fixes

fix lseek error check
fix read/write error checks
handle zero return from read and write
don't return an error for short io
fix partial read/write loop

io: use sync io if aio fails

io_setup() for aio may fail if a system has reached the
aio request limit.  In this case, fall back to using
sync io.  Also, lvm use of aio can be disabled entirely
with config setting global/use_aio=0.

The system limit for aio requests can be seen from
  /proc/sys/fs/aio-max-nr

The current usage of aio requests can be seen from
  /proc/sys/fs/aio-nr

The system limit for aio requests can be increased by
setting fs.aio-max-nr using sysctl.

Also add last-byte limit to the sync io code.

tests: update required raid target

For embeded reshaping operation require higher driver version.
(otherwise we get:

Converting vg/LV1 from raid6 (same as raid6_zr) is directly possible to the following layouts:
 raid6_nc
 raid6_nr
 raid6_la_6
 raid6_ls_6
 raid6_ra_6
 raid6_rs_6
 raid6_n_6

tests: missing copyright

sanlock: update headers

tests: generate slightly less volumes

tests: speed-up testing full of lvm2 metadata

Generate faster full metadata condition.

FIXME: vgremove is extremaly slow with larger set of LVs.

tests: update parm for new kernel

tests: skip part of test

On kernel 4.8 this test piece oopses machine (fc23).

tests: create whole path with mkdir

Create also 'lvm' upper this if such one is missing in /run dir
and use '-p' with mkdir.

tests: skip portion of test for lvmpolld

lvmpolld ATM is not desingned to preserve interval checking
in the same way the 'lvconvert' tool is doing - so the passed
'-i 40' is not respected and lvmpolld autonomously checks
state of conversion and updates lvm2 metadata and dm tables
when needed.

So skip portion of test that relayed on this and preserve this logic
only for command line invocation and forking of polling process
where the interval of checking is under full control.

tests: skip when gcore from gdb package is missing

gcore is needed for gathering all userspace mappings.

tests: prefer internal header

Although we primarily want to check externally used libdevmapper
library,   out internal  all.h is still keeping all symbols
as the original library has - so for simpler compilation keep
using this private copy for defining needed symbols.

tests: correcting header file enclosure

Use "" for internal header file.

tests: still more libs needs

tests: makefile fixes

New tests needs more options and libs.

tests: drop unwanted backup

tests: raise minsize of xfs

mkfs.xfs now needs at least ~1600...

tests: extend

tests: secure data erase

libdm: add memory barrier

Just for case ensure compiler is not able to optimize
memset() away for resources that are released.

This idea of using memory barrier is taken from openssl.

Other options would be to check for 'explicit_bzero' function.

libdm: print params only for ioctls using them

When preparing ioctl buffer and flatting all parameters,
add table parameters only to ioctl that do process them.

Note: list of ioctl should be kept in sync with kernel code.

libdm: add DM_DEVICE_ARM_POLL

Expose DM_DEVICE_ARM_POLL via standard API enum.

libdm: do not add params for resume and remove

DM_DEVICE_CREATE with table is doing several ioctl operations,
however only some of then takes parameters.
Since _create_and_load_v4() reused already existing dm task from
DM_DEVICE_RELOAD it has also kept passing its table parameters
to DM_DEVICE_RESUME ioctl - but this ioctl is supposed to not take
any argument and thus there is no wiping of passed data - and
since kernel returns buffer and shortens dmi->data_size accordingly,
anything past returned data size remained uncleared in zfree()
function.

This has problem if the user used dm_task_secure_data (i.e. cryptsetup),
as in this case binary expact secured data are erased from main memory
after use, but they may have been left in place.

This patch is also closing the possible hole for error path,
which also reuse same dm task structure for DM_DEVICE_REMOVE.

scripts: remove lvmetad from makefile

lvm2-monitoring service shouldn't refer to lvmetad

man: remove some clvmd references

man: remove scattered lvmetad references

remove unused backgroundfork option