configure: fix --enable-testing

Add missing pkg init for configure --enable-testing.

RAID: Fix problems with creating, extending and converting large RAID LVs

MD's bitmaps can handle 2^21 regions at most.  The RAID code has always
used a region_size of 1024 sectors.  That means the size of a RAID LV was
limited to 1TiB.  (The user can adjust the region_size when creating a
RAID LV, which can affect the maximum size.)  Thus, creating, extending or
converting to a RAID LV greater than 1TiB would result in a failure to
load the new device-mapper table.

Again, the size of the RAID LV is not limited by how much space is allocated
for the metadata area, but by the limitations of the MD bitmap.  Therefore,
we must adjust the 'region_size' to ensure that the number of regions does
not exceed the limit.  I've added code to do this when extending a RAID LV
(which covers 'create' and 'extend' operations) and when up-converting -
specifically from linear to RAID1.

libdaemon: Split daemon-shared.[hc] into daemon-io.[hc] and config-util.[hc].

libdaemonclient: Use log_sys_error in place of perror.

libdaemonclient: Use dm_{malloc,free} in place of {malloc,free}.

lvremove: Revert to allowing removal of partial LVs.

lvremove: Ask before discarding data areas.

TEST: Workaround for lvmetad vs inconsistent metadata.

lvmetad: Initialise debug_config also if no -d is given.

lvmetad: Give inconsistent metadata warnings in pvscan --cache.

lvmetad: Fix #845269: SEGV on corrupt lvmetad response.

lvmetad: Clear metadata/PV cache before a token-triggered rescan.

lvmetad: Make vgscan --cache an alias to pvscan --cache.

TEST: Add LVM_VALGRIND_LVMETAD to testing options.

Makefiles: Build libdaemonclient unconditionally.

lib/cache/lvmetad: s/pvscan_lvmetad/lvmetad_pvscan/ in the API

lvmetad: Use "%" PRId64 in place of "%d" for extra clarity.

Implement devices/global_filter.

The global filter is applied first, and is also applied in pvscan --cache (which
is called from udev rules to keep lvmetad updated). Cf. example.conf.

example.conf.in: The command to refresh lvmetad is pvscan --cache.

lib/cache/lvmetad: Refactor to use dm_config_tree in requests.

We were using daemon_send_simple until now, but it is no longer adequate, since
we need to manipulate requests in a generic way (adding a validity token to each
request), and the tree-based request interface is much more suitable for this.

libdaemon: Extend and refactor APIs.

- move common dm_config_tree manipulation functions from lvmetad-core to
  daemon-shared
- add config-tree-based request manipulation APIs to daemon-client
- factor out _v (va_list) variants of most variadic functions in libdaemon

dev-cache: Make it possible to pass in a NULL filter.

filters: Alwayz zalloc the filter struct.

Not all pointers need to be initialised explicitly that way.

TEST: Kill lvmetad early in teardown.

cleanup: remove unused variable

Fix tests to accept extended attribute

attr field had a character (p)artial appended.

mirror:  'lvconvert --resync' should reset LV_NOTSYNCED on corelog mirror

When reformatting the 'lvchange_resync' code in commit
05131f5853e86419d9c726faa961b8d012298d9c, a '!' should have been removed
from the condition that checks for the LV_NOTSYNCED flag on a corelog
mirror LV.  The presence of this '!' caused the LV_NOTSYNCED flag to be
cleared when it wasn't present and left when it was present.

It is not allowed to add images to a 'mirror' or 'raid1' LV if the
LV_NOTSYNCED flag is set.  We add some up-convert tests to ensure this
behavior is being enforced and that the LV_NOTSYNCED flag is being
properly cleared by 'lvchange --resync'.

(Not updating WHATS_NEW because this is intrarelease.)

lvs: add partial attribute

discards: skip when removing LVs on missing PVs

Don't try to issue discards to a missing PV to avoid segfault.
Prevent lvremove from removing LVs that have any part missing.

https://bugzilla.redhat.com/857554

RAID1:  Clear the LV_NOTSYNCED flag when a RAID1 LV is converted to linear

Failing to clear the LV_NOTSYNCED flag when converting a RAID1 LV to
linear can result in the flag being present after an upconvert - even
if the sync is performed when upconverting.

RAID1:  Like mirrors, do not allow adding images to LV created w/ --nosync

Mirrors do not allow upconverting if the LV has been created with --nosync.
We will enforce the same rule for RAID1.  It isn't hugely critical, since
the portions that have been written will be copied over to the new device
identically from either of the existing images.  However, the unwritten
sections may be different, causing the added image to be a hybrid of the
existing images.

Also, we are disallowing the addition of new images to a RAID1 LV that has
not completed the initial sync.  This may be different from mirroring, but
that is due to the fact that the 'mirror' segment type "stacks" when adding
a new image and RAID1 does not.  RAID1 will rebuild a newly added image
"inline" from the existant images, so they should be in-sync.

TEST:  Add missing test for RAID module version

RAID10 was added to dm-raid module version 1.3.0.  Omitted test for
this version is causing test suite to fail.

systemd: depend on systemd-udev-settle unit in activation unit

The "fedora-wait-storage.service" that the "lvm2-activation.service"
had as a dependency (which was fedora-specific solution anyway)
is obsolete now as this unit called "modprobe scsi_wait_scan"
which is not used anymore.

The "fedora-wait-storage.service" had "systemd-udev-settle" as
its dependency, so let's depend on this one directly now,
bypassing the out-dated "fedora-wait-storage.service".

vgchange: fix -aay to activate proper volumes

Using 'activation/auto_activation_volume_list = [ "vg/lvol1" ]'.

Before this patch:
  3 logical volume(s) in volume group "vg" now active
  LV    VG   Attr     LSize Pool Origin Data%  Move Log Copy%  Convert
  lvol0 vg   -wi----- 4.00m
  lvol1 vg   -wi-a--- 4.00m
  lvol2 vg   -wi-a--- 4.00m
  lvol3 vg   -wi-a--- 4.00m

(vg/lvol1 activated as it passes the list and all subsequent volumes too - wrong!)

With this patch:
  1 logical volume(s) in volume group "vg" now active
  LV    VG   Attr     LSize Pool Origin Data%  Move Log Copy%  Convert
  lvol0 vg   -wi----- 4.00m
  lvol1 vg   -wi-a--- 4.00m
  lvol2 vg   -wi----- 4.00m
  lvol3 vg   -wi----- 4.00m

(only vg/lvol1 activated as it passes the list and no other - correct!)

RAID:  Properly handle resync of RAID LVs

Issuing a 'lvchange --resync <VG>/<RAID_LV>' had no effect.  This is
because the code to handle RAID LVs was not present.  This patch adds
the code that will clear the metadata areas of RAID LVs - causing them
to resync upon activation.

cleanup:  Restructure code that handles mirror resyncing

When an LV is to be resynced, the metadata areas are cleared and the
LV is reactivated.  This is true for mirroring and will also be true
for RAID LVs.  We restructure the code in lvchange_resync() so that we
keep all the common steps necessary (validation of ability to resync,
deactivation, activation of meta/log devices, clearing of those devices,
etc) and place the code that will be divergent in separate functions:
detach_metadata_devices()
attach_metadata_devices()

The common steps will be processed on lists of metadata devices.  Before
RAID capability is added, this will simply be the mirror log device (if
found).

This patch lays the ground-work for adding resync of RAID LVs.

cleanup:  Reduce indentation by short-circuiting function

By changing the conditional for resyncing mirrors with core-logs a
bit, we can short-circuit the rest of the function for that case
and reduce the amount of indenting in the rest of the function.

This cleanup will simplify future patches aimed at properly handling
the resync of RAID LVs.

RAID:  Disallow addition of RAID images while array is not in-sync

We cannot add images to a RAID array while it is not in-sync.  The
kernel will simply reject the table, saying:
'rebuild' specified while array is not in-sync
Now we check to ensure the LV is in-sync before attempting image
additions.

RAID: '--test' should not cause a valid create command to fail

It is necessary when creating a RAID LV to clear the new metadata areas.
Failure to do so could result in a prepopulated bitmap that would cause
the new array to skip syncing portions of the array.  It is a requirement
that the metadata LVs be activated and cleared in the process of creating.
However in test mode, this requirement should be lifted - no new LVs should
be created or written to.

cleanup:  Use segtype->ops->name() instead of segtype->name where applicable

When printing a message for the user and the lv_segment pointer is available,
use segtype->ops->name() instead of segtype->name.  This gives a better
user-readable name for the segment.  This is especially true for the
'striped' segment type, which prints "linear" if there is an area_count of
one.

TEST (lvresize-raid):  Also test resizing of RAID10

make: fix subdir order for distclean

The 'test' subdir needs to be processed before 'tools' subdir
for distclean as all the cmd names are read from 'tools/.commands'
file. Otherwise we'd end up with dangling symlinks in 'tools' subdir.

config: require dm_config_create_value for dm_config_node's value

If we were defining a section (which is a node without a value) and
the value was created automatically on dm_config_create_node call,
we were wasting resources as the next step after creating the config
node itself was assigning NULL for the node's value.

The dm_config_node_create + dm_config_create_value sequence should be
used instead for settings and dm_config_node_create alone for sections.

The majority of the code already used the correct sequence. Though
with dm_config_node_create fn creating the value as well, the pool
memory was being trashed this way.

This patch removes the node value initialization on dm_config_create_node
fn call and keeps it for the direct dm_config_create_value fn call.

test: snapshot_extend_threshold -> snapshot_autoextend_threshold

Missing the "auto" prefix in the config key name. The unknown
setting is silently ignored otherwise.

setvbuf: reopen only valid fd

We should check whether the fd is opened before trying to reopen it.
For example, the stdin is closed in test/lib/harness.c causing the
test suite to fail.

tests: testing lvm_lv_rename

Test stacking of rename operation within one udev transaction.

lvm2api: extend lvm2api with lvm_lv_rename

Add support for LV rename.

setvbuf: close and reopen stream before change

Fix setvbuf code by closing and reopening stream before changing buffer.

But we need to review what this code is doing embedded inside a library
function rather than the simpler original form being run independently
at the top of main() by tools that need it.

buffering: use unbuffered silent mode for liblvm

Disable private buffering when using liblvm.
When private stdin/stdout buffering is not used always use silent
mode.

config: add silent mode

Accept -q as the short form of --quiet.
Suppress non-essential standard output if -q is given twice.
Treat log/silent in lvm.conf as equivalent to -qq.
Review all log_print messages and change some to
log_print_unless_silent.

When silent, the following commands still produce output:
dumpconfig, lvdisplay, lvmdiskscan, lvs, pvck, pvdisplay,
pvs, version, vgcfgrestore -l, vgdisplay, vgs.
[Needs checking.]

Non-essential messages are shifted from log level 4 to log level 5
for syslog and lvm2_log_fn purposes.

RAID:  Add support for RAID10

This patch adds support for RAID10.  It is not the default at this
stage.  The user needs to specify '--type raid10' if they would like
RAID10 instead of stacked mirror over stripe.

version: update

clenaup: compatible definition for older gcc

Fixes previous commit, it seems older gcc compilers do not
recognize same typedef.

(Easiest would be probably to directly include proper header here).

cleanup: add some missing stack backtraces

thin: discard

lvmapi: validate extents size for lvcreate

cleanup: initilize percent to INVALID

Always initialize percent to INVALID value, in case target
would have forget to setup this value somehow.

clvmd,lvmetad: check for fcntl result

Report any problem of fcntl.

activation: report error message

If the monitoring activation failed and we have not yet
reported error - give the user error message for failure reason.

lvconvert: use _reload_lv on more places

Use common subroutine.

lvconvert: move _reload_lv()

Just move in front

cleanup: format1 test whether PV was found

Avoid dereferecing NULL pointer.

cleanup: add __attribute__ ((nonnull(1)))

check: add internal errors for unexpected paths

Adding couple INTERNAL_ERROR reports for unwanted parameters:

Ensure the 'top' metadata node cannot be NULL for lvmetad.

Make obvious vginfo2 cannot be NULL.

Report internal error if handler and vg is undefined.

Check for handle in poll_vg().

Ensure seg is not NULL in dev_manager_transient().

Report missing read_ahead for _lv_read_ahead_single().

Check for report handler in dm_report_object().

Check missing VG in _vgreduce_single().

cleanup: add error message and simplify creation

Report error for malloc failure, and use zeroed allocation
to initialize handler structure.

cleanup: use proper activation_change_t

cleanup: use static char[] array

cleanup: cast to matching type

cleanup: use return_NULL

Function returns pointer, so use NULL.

cleanup: ignore write/close output

Intentionaly ignore write and close errors.

cleanup: add va_end

Pair va_start with va_end.

cleanup: uint64_t casts

cleanup: keep MKNOD type cast clean

Setup major already a dev_t type before it gets shifted.

cleanup: add standard GPL file header

Add FIXME about DEBUG define colission.

cleanup: use <> for system header file

cleanup: drop unneeded included header files

This headers were not resolving anything used for compiled .c files.
Remove unused util.c file.

cmirrord: check for result of chdir

Error exit if chdir fails.

dmsetup: check if new_name is non NULL

dmsetup: fix udev warning message

Configure option is --enable-udev_sync.

dmsetup: fix memleak in _get_split_name

Free allocated buffer in _get_split_name error path.

clvmd: release excl_uuid hash

Release allocated hash before exit.

lvmetad: do not deref NULL pointer

Call log only for req.cft != NULL.

lvmetad: fix memleak on error path

Release allocated buffer on error path.

lvmetad: fix memleaks

Release allocated buffers in daemon_logf, daemon_log_parse

mirror: reconfigure_mirror_images not used

thin: lvcreate --discards

thin: fix man page for lvs

Renamed discard -> discards

thin: fix condition for kernels without discards

Report warning if the kernel is not support given discards settings.
(In this case the behavior is equal to IGNORE.)

thin: default discards for old mda is IGNORE

If the discard was not set in metadata, use IGNORE, as this
is the equivalent behavior for this case.

RAID: Improve RAID argument handling.

Disallow '-m' for RAID types that have no mirror component and disallow
'-i' argument for RAID types that have no stripe component.

libdaemon: Draft logging infrastructure.

- logging is not controlled by "levels" but by "types"; types are
  independent of each other... implementation of the usual "log level"
  user-level semantics can be simply done on top; the immediate
  application is enabling/disabling wire traffic logging independently
  of other debug data, since the former is rather bulky and can easily
  obscure almost everything else
- all logs go to "outlets", of which we currently have 2: syslog and
  stderr; which "types" go to which "outlets" is entirely configurable

thin: fix recent commits

thin: use discards as plural rather than singular

Global change from --discard to --discards, as that feels more natural.

release: update version/WHATS_NEW

thin: tidy thin discard code

Always store discard setting in LV metadata.  (Note that lvcreate_params
doesn't yet use --discard to set the initial value.)
Remove undocumented env var LVM_THIN_VERSION_MIN that has no use on a
live system.
Change verbose 'feature not found' messages to debug.
Use discard_str for string value of discard.

man: expand lvchange --discard entry

thin: tidy commands.h arg lists

args are listed alphabetically.
lvconvert -T is covered in the second section not the first.
It could be tidied further or split out.

thin: mention discard/zero in lvchange errmsg

whitespace

report: provide discard field value in full

I think it's better not to abbreviate human-readable fields like
'discard' to a single character.  Users can truncate it to the
first character themselves if they wish.

It's confusing to use the variable name discard for different things in
different places - use discard_str when it's a string not the enum.