config: add CFG_DEFAULT_RUN_TIME for config options with runtime defaults

Previously, we declared a default value as undefined ("NULL") for
settings which require runtime context to be set first (e.g. settings
for paths that rely on SYSTEM_DIR environment variable or they depend
on any other setting in some way).

If we want to output default values as they are really used in runtime,
we should make it possible to define a default value as function which
is evaluated, not just providing a firm constant value as it was before.

This patch defines simple prototypes for such functions. Also, there's
new helper macros "cfg_runtime" and "cfg_array_runtime" - they provide
exactly the same functionality as the original "cfg" and "cfg_array"
macros when defining the configuration settings in config_settings.h,
but they don't set the constant default value. Instead, they automatically
link the configuration setting definition with one of these functions:

  typedef int (*t_fn_CFG_TYPE_BOOL) (struct cmd_context *cmd, struct profile *profile);
  typedef int (*t_fn_CFG_TYPE_INT) (struct cmd_context *cmd, struct profile *profile);
  typedef float (*t_fn_CFG_TYPE_FLOAT) (struct cmd_context *cmd, struct profile *profile);
  typedef const char* (*t_fn_CFG_TYPE_STRING) (struct cmd_context *cmd, struct profile *profile);
  typedef const char* (*t_fn_CFG_TYPE_ARRAY) (struct cmd_context *cmd, struct profile *profile);

(The new macros actually set the CFG_DEFAULT_RUNTIME flag properly and
set the default value link to the function accordingly).

Then such configuration setting requires a function of selected type to
be defined. This function has a predefined name:

  get_default_<id>

...where the <id> is the id of the setting as defined in
config_settings.h. For example "backup_archive_dir_CFG" if defined
as a setting with default value evaluated in runtime with "cfg_runtime"
will automatically have "get_default_backup_archive_dir_CFG" function
linked to this setting to get the default value.

config: use mempool for config paths used in find_config_tree_* functions

Using mempool is much safer than using the global static variable.
The global variable would be rewritten on each find_config_tree_* call
and we need to be very careful not to get into this problem (we don't
do now, but we can with the patches for "runtime defaults" that will follow).

config: fixup default values for selected config settings

These settings don't have any default value predefined:
  log/file
  log/activate_file
  global/library_dir

This settings has default value but not yet declared in config_settings.h:
  global/locking_library (default is DEFAULT_LOCKING_LIB)

cmirrord:  Clean-up stray warning message

cmirrord polls for messages on the kernel and cluster interfaces.
Sometimes it is possible for messages to be received on the cluster
interface and be waiting for processing while the node is in the
process of leaving the cluster group.  When this happens, the
messages received on the cluster interface are attempted to be
dispatched, but an error is returned because the connection is no
longer valid.  It is a harmless situation.  So, if we get the
specific error (CS_ERR_BAD_HANDLE) and we know that we have left
the group, then simply don't print the message.

udev: run pvscan --cache via systemd-run in udev if the PV label is detected lost

If the PV label is lost (e.g. by doing a dd on the device), call
"systemd-run pvscan --cache <major>:<minor>" in 69-dm-lvm-metad.rules
to inform lvmetad about this state.

The reason for this is that ENV{SYSTEMD_WANTS}="lvm2-pvscan@<major>:<minor>"
logic will not cause the pvscan to be fired in this case since this works
only on proper device addition/removal cycle - the lvm2-pvscan service's
ExecStop is called only on proper REMOVE event - the service is bound to
device existence. Hence we need pvscan call via systemd-run (that
instantiates a quick transient service just to call the command).

See also https://bugzilla.redhat.com/show_bug.cgi?id=1063813.

test: Use correct path to /dev in lvchange-raid.sh.

tests: testing usable of /dev/kmsg

It's not so easy to recongnize unusable /dev/kmsg
Reorder the code in a way if the first regular read of /dev/kmsg
fail, fallback to klogctl interface.

Call drain_dmesg also for the case there is no user log output.

tests: hide error message

Make the logging looks normal for this case

tests: print kernel version

tests: check readability of /dev/kmsg

Looks like there are systems with /dev/kmsg device,
which is however not readable

Fix check for result value of klogctl and use only positive value.

tests: reinstantiate support for klogctl

Add a bit more complexity here - Switch to use /dev/kmsg
which has been introduced in 3.5 kernels and could run without
lossing lines from /proc/kmsg.

On older systems user may set env var LVM_TEST_CAN_CLOBBER_DMESG=1
to get kernel messages via klogctl() call (which deletes dmesg buffer)
otherwise no logging of kernel messages is provided.

test: Make teardown (more) resistant to funny DM device names.

tests: restore .txt suffix

tests: speedup kmsg processing

Since there could be multiple readers of kmsg (test & journald) it needs
to be fast, to capture things like sysrq trace.

But to capture whole output it would need to prioritize reading of kmsg,
thus we would first log kernel messages and followed by command output.

As a trade-off always log command output first and use large drain
buffer so is captures most of messages, but occasionaly miss some
lines.

tests: split raid test

Use separate files for raid1, raid456, raid10.
They need different target versions to work, so support
more precise test selection.

Optimize duplicate tests of target avalability and skip
unsupported test cases sooner.

lvmetad: fix minor gcc warning

Cast to pass in non-const pointer

test: Remove incorrect evaluation

tests: detect nc or socat

Since shell is not in -o pipefail mode here,
we need to generate separate failure ahead of tee.

tests: restore usage of reading kmsg

Basically reverts commit af8580d756d3d4ed56a00d377fd6bfb18d5bed41.
"test: Use klogctl in the harness instead of reading /var/log/messages."

Problem is - this interface clears dmesg buffer
(just like call of dmesg -c)
Thus after running lvm2 test suitedmesg is empty - while all the
messages are usually logged in the journal/message, it's still not nice to
clear dmesg buffer.

It's not a pure revert, but switch to use /proc/kmsg directly instead of
reading /var/log/messages.

tests: split raid test

Use separate test file for raid456
Change test for broken kernel which has broken raid456 support.

tests: disable test which leaks node

This test is not detected as fault but leak device node
on a real /dev.
Added FIXME.

tests: report selinux mode

tests: use longer sleep

Eplore why 30sec is not enough for hydra and try higher value.

test: Test that we cope with stray device nodes.

test: Properly synchronize direct dmsetup calls.

tests: detect reiserfs support

Since reiserfs is not commonly available detect its presence in kernel.
Stop reporting skipped test as WARNING.

lvmetad: more reuse precommit buffer

This patch moves more allocation to vg_write
(as started in 8c878438f5a75310d09a1ee035d9caf8e2b9e50b)
TODO: relocate also communication.
(in-release update)

lvmetad: move memalloc/free out of lock

Small code move to lower locking time and make memory
allocation and free outside of lock.

Drop duplicate test of NULL pointer before calling dm_free.

lvmetad: fix memleak when pv changes it device

Test vgimportclone invokes mem leak of pvid which
would be otherwise lost when device_old_pvid
is removed from hash table.

lvmetad: Fix an invalid memory read that could cause a deadlock.

NIX: Cope with existence of multiple primary.xml files.

This can happen temporarily while a mirror is syncing (parsing repomd.xml
would be a better fix, but slightly tricky since it's xml).

test: Fix stat calls in lvmetad-pvscan-filter.

test: Downgrade lvmetad-lvm1 failure to a warning.

test: Fix the failing branch in aux lvmetad_talk.

format-text: Fix a warning.

format-text: Fix _raw_read_mda_header (missing close, open r/o).

spec: udev rules don't live under %{_prefix} on fc16/rhel6

test: Add lvmetad_talk and lvmetad_dump to aux.

test: Fix notify_lvmetad for symlinked devices.

lvmetad: Keep the cache consistent when a PV moves around.

In cases where PV appears on a new device without disappearing from an old one
first, the device->pvid pointers could become ambiguous. This could cause the
ambiguous PV to be lost from the cache when a different PV comes up on one of
the ambiguous devices.

lvmetad: Hide corrupt MDAs from the cache.

This is probably not optimal, but makes the lvmetad case mimic non-lvmetad code
more closely. It also fixes vgremove of a partially corrupt VG with lvmetad, as
_vg_write_raw (and consequently, entire vg_write) currently panics when it
encounters a corrupt MDA. Ideally, we'd be able to explicitly control when it is
safe to ignore them.

NIX: Change the URL for the lcov RPM to a more canonic location.

NIX: Update the release.nix path in build.sh.

NIX: Add a short README (to be expanded).

spec: Add a copyright header and an explanatory notice.

NIX: Move nix-related bits under nix/.

spec: Package the new clvmd/cmirrord systemd units.

NIX: On RHEL<=6 and FC<=16, udevd is /sbin/udevd.

NIX: Add a local nix-build.sh script.

NIX: Add CentOS 6.5 builds.

NIX: Retire the CentOS 6.3 builds.

NIX: Use vault.centos.org to get older revisions.

spec: We do want thin support on RHEL 6.

spec: Do not treat --with-?=none as having the thing.

spec: Explicitly disable thin when we don't want it.

NIX: Run system-wide tests separately, with RPMs installed.

spec: Make it possible for %check_commands to prevent %clean-ing.

NIX: Revert to calling make check inside the RPM build.

spec: Add lvm2-pvscan@.service to filelist.

spec: Add thin-performance.profile to the filelist.

NIX: Update URL for lcov RPM.

NIX: Skip autoconf, as we include ./configure in git.

NIX: Try harder to set dmesg levels.

NIX: Give the VMs more RAM (768M instead of 512M).

NIX: Fix a centos64 failure due to old dmesg.

NIX: Do not insmod 9p/virtfs on centos64 as it BUGs out right away.

NIX: Restore CIFS modules, as 9p is broken on many kernels.

NIX: Add %with thin_dump to the specfile.

NIX: Add %with thin_repair to the specfile.

NIX: Fedora 19 is now stable. Add builds that include updates.

NIX: Use the new "check_full" target for comprehensive testing.

nix: Look a bit harder for udevd.

nix: Set kernel console log level to debug.

nix: Run udevd in foreground.

NIX: Run tests with /dev and (on recent Fedora) with udevd running.

NIX: Fix chrooted builds, passing down package lists explicitly.

NIX: The mergeUsr attribute was renamed to unifiedSystemDir.

NIX: Add default.profile to the spec file.

NIX: Add an fc18 build that includes fedora updates.

NIX: Adapt to use of 9P in VM builds.

NIX: Make it possible to only run a subset of tests (via T).

NIX: Fix a couple typos in build product handling.

NIX: Copy collected test results into the output.

NIX: Grab specfile from lvm2Nix (at least for now).

NIX: Fix build-dependencies for FC 18.

nix: Import the modular specfile we use for nix-driven builds.

test: warn rather than fail when %FREE isn't working right

%FREE allocation has been broken for RAID.  At 100%FREE, there is
still an extent left for certain tests.  For now, change the test
to warn rather than completely fail.

tests: remove extra vgremove

These vgremove calls were not correct.

tests: quote dev

tests: drop remove

Generates waaaaay too much log from lvmetad test.

TODO: once we will be able to remove more LVs with a single
write - we may restore....

cleanup: relocate segment flags

Move flags for segments to segtype header where it seems more closely
related as the features are related to segtype and not activation.

Use unsigned #define - since it's more common in lvm2 source code
for bit flags.

tests: updates

Add some vgremove calls.
Remove uneeded test for some unused commands.
Add tests for missing commands.

snapshot: correct previous snapshot commit

Condition was swapped - however since it's been based on 'random'
memory content it's been missed as attribute has not been set.

So now we have quite a few possible results when testing.

We have old status without separate metadata and
we have kernels with fixed snapshot leak bug.

(in-release update)

lvmetad: Make token_mismatch handling more robust in the clients.

lvmetad: Make "reason" in a token_mismatch reply more informative.

snapshots: fix incorrect calculation of cow size

Code uses target driver version for better estimation of
max size of COW device for snapshot.

The bug can be tested with this script:
VG=vg1
lvremove -f $VG/origin
set -e
lvcreate -L 2143289344b -n origin $VG
lvcreate -n snap -c 8k -L 2304M -s $VG/origin
dd if=/dev/zero of=/dev/$VG/snap bs=1M count=2044 oflag=direct

The bug happens when these two conditions are met
* origin size is divisible by (chunk_size/16) - so that the last
  metadata area is filled completely
* the miscalculated snapshot metadata size is divisible by extent size -
  so that there is no padding to extent boundary which would otherwise
  save us

Signed-off-by:Mikulas Patocka <mpatocka@redhat.com>

lvresize: fix stripe size validation

While stripe size is twice the physical extent size,
the original code will not reduce stripe size to maximum
(physical extent size).

Signed-off-by: Zhiqing Zhang <zhangzq.fnst@cn.fujitsu.com>

tests: support for older snapshot target version

TODO: unsure about 1.10...

tests: improve read-only test for snapshot

Switch to use ext2 to make it usable on older systems.
Previous test has not been able to catching problem.

Multiple tests are now put in.

FIXME: validate what is doing kernel target when
the header is undeleted and same chunk size is used.

It seems snapshot target successfully resumes and
just complains COW is not big enough:

kernel: dm-8: rw=0, want=40, limit=24
kernel: attempt to access beyond end of device

When chunk size is different it fails instantly.

For checking this with lvm2 and this test case use this patch:

--- a/tools/lvcreate.c
+++ b/tools/lvcreate.c
@@ -769,7 +769,7 @@ static int _read_activation_params(struct
lvcreate_params *lp,
        lp->permission = arg_uint_value(cmd, permission_ARG,
                                        LVM_READ | LVM_WRITE);

-       if (lp->snapshot) {
+       if (0 && lp->snapshot) {
                /* Snapshot has to zero COW header */
                lp->zero = 1;
                lp->wipe_signatures = 0;

---
and switch to use  -c 4 for both snapshots

snapshot: zero cow header for read-only snapshot

When read-only snapshot was created, tool was skipping header
initialization of cow device.  If it happened device has been
already containing header from some previous snapshot, it's
been 'reused' for a newly created snapshot instead of being cleared.