dmeventd: prevent busy looping on CPU

Use usleep when looping on DM_WAIT_RETRY.

dmeventd: change locking code

Ensure global lock is being hold when working with thread->.

dmeventd: drop taking timeout mutex

Taking _timeout_mutex is not needed when registering and unregistering.
Global mutex is already being hold for this case.

thin: enable build of thin provisioning by default

Use internal type by default for thin provisioning.
If user is not interested in thin provisiong and doesn't
have thin provisining supporting tools installed,
configure will just print warning at the end of configure
process about limited support.

cleanup: add missing backtrace in fail path

cleanup: improve tag processing

Boolean algebra changes for process_each_lv_in_vg().

1st.
Drop process_lv variable since it's not needed.

2nd.
process_lv was always initilized to 0 - so the condition was always true.
It the condition (!tags_supplied && !lvargs_supplied) evaluates as "true",
process_all is already set to 1, so skip vg tags evaluation.

3rd.
Move check for matching lv name in the front of lv tags check
since this check can't be skipped for lvargs_matched counter.
If this filter evaluates to true, skip lv tags evaluation.

cleanup: remove duplicate code

As dev_name_confirmed() has check for DEV_REGULAR
remove this duplicated extra check prior its call.

cleanup: self compilable headers

cleanup: simplify logging code

Condense code for logging.

WHATS_NEW: commit 4c267c7286145165dfe078f77d18d194a21a2e1c

See also https://bugzilla.redhat.com/show_bug.cgi?id=1026860
for more info, comment 76 for summary.

udev: fix SYSTEMD_READY assignment for foreign devices in lvmetad rules

Some devices, similarly to us, are not prepared after ADD event, but
after an extra CHANGE event when the device is properly set up.
This includes MD and loop devices. This patch fixes the
SYSTEMD_READY assignment that is crucial for proper functionality
of SYSTEMD_WANTS that we use to instantiate a lvm2-pvscan@.service
systemd service to activate the VG/LVs (see also bug
info).

All that extra handling of foreign devices should eventually be moved
to rules which process those devices primarily (MD and loop)! We should
only check a dedicated variable whether the device is usable or not.

tests: count interrupted test as failed

thin: thin metadata resize unsupported with 1.9

Thin kernel target 1.9 still does not support online resize of
thin pool metadata properly - so disable it with expectation
for much higher version - and reenable after fixing kernel.

cleanup: share segtype macros

Write query macro just once.

cleanup: shorter raid initialization

Avoid multiple queries for raid library for each initialized raid
seg type and use shorter code.

cleanup: tiny speedup of lib_dir checking

Instead of repeated lookup of global/library_dir - remember first
search in command context - saves couple lines in debug output...

conf: clarify wipe_signatures_when_zeroing_new_lvs

config: shorten new sig wiping option string

Rename wipe_signatures_on_new_logical_volumes_when_zeroing  to
wipe_signatures_when_zeroing_new_lvs.

tests: more limits for python test

It will be most probably more problem with
incomplete initialization of lvm.conf settings
when lvm2app is in use.

Skip cluster & lvmetad test for now.

tests: python test needs dmeventd

Until lvm2app respects all lvm.conf setting,
this test require dmeventd.

lvmdump: follow symbolic links in /etc/lvm

compile/link: EXTRA_EXEC_CFLAGS must be applied for *.o

compile/link: use RELRO/PIE compiler/linker options for executables

tests: sysrq only when stuck with no output.

If we are stuck in user for too long without output,
grab kernel stack traces.
If we just produce too many lines of output, it's
not probably kernel related bug.

tests: do not run lvmetad tests without lvmetad

Skip tests when lvmetad is not compiled.

lv_remove_single: update parameter name

Since we have already a meaning for 'silent'
replace its name with more explanator suppress_remove_message
(updates recent commit).

tests: harness prints debug.log

When the test is interrupted because debug.log has got to big,
and the test doesn't react on SIGINT - and needs to be only
killed with SIGKILL - it's still valuable to print at least
a portion of this debug.log (currently 4MB).

LVM_TEST_UNLIMITED  could be set to avoid this limitation
(i.e. when busy-looping lvm command needs to be running
for gdb attachment)

dev-cache: return success when ignoring dirs

When there is no failure from the insert operation itself,
just dirs and links are skipped - return success.

cleanup: gcc can't see the code path

This is a bit to hard for gcc to see the condition can't
be triggered, so make it easier and initialize to 0.

lvmetad: remove unused override variables

libdm: prevent empty config file section names

Change c35394959758ec17389529f95a33bf7f5b15c56b to use existing
_dup_string_tok().  alloca() doesn't fail cleanly (and needs
replacing.)

tests: drop RUN... already have this var elsewhere

tests: replace built-in popen

It seems some older bashes have problems to properly execute
both pipes - so replace this code with separate temporary files.

tests: reuse timeout code for too long debug.log

Jump to the same code used for timeout when no output
is made for long time.

Increase the allowed debug.log size to 32MB.

tests: update pvmove-test

Do not lock test when trying to grab cluster lock.
There seems to be still something weird in this test
so it still needs some inspection.

tests: monitor debug.log size

Show testing directory from test and monitor it in
harness - so when it gets too big - kill test.

vgchange: move detection of remote exlusivness

Since activation takes only read-lock, there could be
multiple activation running in parallel.

So instead of checking before taking any real lock,
let the locking resolve the problem and just
detect if the reason for failure has been remote
exlusive activation.

It should be also faster, since each activation does
not need to do explicit lock query.

configure: also LDFLAGS, not LDLAGS for proper restore

test: thin snapshot merge

Testing thin snapshot merge cases.
TODO: Probably still misses some cases.

thin: enable thin snapshot merge

thin: activation of merging thin snapshot

For merging thin snapshot we have to do couple extra
checks before we allow this operation.

We pretend  thin-snapshot and thin-origin
are tied together and we have to properly
maintain locking.

thin: merge display

thin: deactivation of merging thin snapshot

Before trying to deactivate merging thin snapshot
(which is invisible) check if it's not in-use.

thin: merge removal

When thin is merged - properly handly device removal.

thin: merge support for device tree

When thin snapshot merge is requested, tree must detect
if user tries to active such LV while origin or
snapshost is still active.

thin: snapshot merge support

thin: read table line with thin device id

Add functions to parse thin table line to
obtain thin device id.

merge: test only for meging origin

It's enough to check only for merging origin.
This will be also used for thin volume merges which
do not need to be origins.

cleanup: size is already 64bit value

Cast is not needed.

cleanup: swap condition logic

Use easier to follow logic of code.
When checking for merging origin, do a merging.

cleanup: code move

Move _swap_lv_identifiers() above  _finish_lvconvert_merge()
so it could be used from this function.

lv_remove_single: add silent arg

Support silence for removal message.

snapshots: use lv_check_not_in_use

Switch from a simple 'open_count' test on opened snaphost
to a more 'skilled'  lv_check_not_in_use().

refresh: print error message with failing lv name

If there is  suspend/resume error, print error message
with lv name.
Drop goto.

make: CFLAGS, not CLDFLAGS

daemons: use PIE and RELRO compiler/linker options

The PIE and RELRO compiler/linker options can be used to produce a code
some techniques applied that makes the code more immune to some attacks:

  - PIE (Position Independent Executable). It can make use of the ASLR
    (Address Space Layout Randomization) provided by kernel to avoid
    static locations for .text regions of executables (this is the 'pie'
    compiler and linker option)

  - RELRO (Relocation Read-Only). This prevents overwrite attacks of
    the GOT (Global Offset Table) and PLT (Procedure Lookup Table)
    used for relocations by making it read-only after all relocations
    are resolved (these are the 'relro' and 'now' linker options) -
    hence all symbols are resolved at the very start so there's no
    need for those tables to be writeable later.

These compiler/linker options are now used by default for daemons
if the compiler/linker supports it.

make: support per-object defines

In the case we have a dir with multiple objects and for
an individual object file we need special define -
allow to define it without adding extra rules.

To ensure dmeventd.o compilation will use EXTRA_FLAGS:
CFLAGS_dmeventd.o += $(EXTRA_FLAGS)

Then it's better to use:
dmeventd.o: CFLAGS += $(EXTRA_FLAGS)

configure: check compiler/linker support for RELRO and PIE options

Also, add AC_TRY_LDFLAGS m4 macro to help with checking ld flags.

tests: one LV should be active and one inactive in covercmd test

lvconvert: Implement --splitsnapshot.

lvconvert: Fix reload after snapshot conversion.

At the end of lvconvert --snapshot with an active origin, the origin
gets reloaded.

Commit 57c0f72b1d0349382c226c2b5614489b59db99e8 ("lvconvert: use
_reload_lv on more places") accidentally replaced this with a snapshot
LV reload (which does nothing because only the origin is active).

vgdisplay: select only active volumes groups if -A option is used

Where "active" means "at least one LV is active in the volume group".

libdm-config: Allow quoted section (and key) names.

pvcreate: Avoid spurious 'not found' messages.

Replacement of pv_read by find_pv_by_name in commit
651d5093edde3e0ebee9d75be1c9834efc152d91 caused spurious
error messages when running pvcreate or vgextend against an
unformatted device.

Physical volume /dev/loop4 not found
Physical volume "/dev/loop4" successfully created

Physical volume /dev/loop4 not found
Physical volume /dev/loop4 not found
Physical volume "/dev/loop4" successfully created
Volume group "vg1" successfully extended

lvmetad: extend socket/pid file handling

Make it easier to run a live lvmetad in debugging mode and
to avoid conflicts if multiple test instances need to be run
alongside a live one.

No longer require -s when -f is used: use built-in default.
Add -p to lvmetad to specify the pid file.
No longer disable pidfile if -f used to run in foreground.
If specified socket file appears to be genuine but stale, remove it
before use.
On error, only remove lvmetad socket file if created by the same
process.  (Previous code removes socket even while a running instance
is using it!)

configure: require libblkid >= 2.24 for blkid wiping

Some symbols/identifiers were defined even later than 2.22, like BLKID_SUBLKS_BADCSUM.

configure: enable blkid_wiping by default if the blkid library is present

lvmetad: Add newline to missing socket error mesg

tests: add test for lvcreate signature wiping

tests: wipe fs signature manually in pvcreate-operation test

So that the next pvcreate that is called does not issue any
warnings/prompts about existing signature (when blkid wiping is used).

tests: initialize signature wiping

Do not use signature wiping for newly created LVs in tests - we're
reusing the devs in tests and such detection could just interfere
inappropriately. We'd need to modify all tests to anwer the prompt
whether any signature found should be removed or not or we'd need
to use "-y" option for all lvcreates in tests. It's better to disable
this feature then and let's do a separate test to test this signature
wiping functionality.

pvcreate: do not issue warning about any existing PV

If we're calling pvcreate on a device that already has a PV label,
the blkid detects the existing PV and then we consider it for wiping
before we continue creating the new PV label and we issue a warning
with a prompt whether such old PV label should be removed. We don't
do this with native signature detection code. Let's make it consistent
with old behaviour.

But still keep this "PV" (identified as "LVM1_member" or "LVM2_member"
by blkid) detection when creating new LVs to avoid unexpected PV label
appeareance inside LV.

cleanup: tab indent

cleanup: convert log_error with log_warn

Collapse 2 ifs and replace log_error() with log_warn(), since\
the reported message is not causing tools error.
(and cannot be probably triggered anyway).

cleanup: convert log_sys_error to log_sys_debug

Use debug for those error reports which do not lead to error return
call.

cleanup: move declaration to the front

cleanup: use matching signed types

cleanup: drop extra dm_list_empty

Since dm_list_first has this check already include,
skip extra call in while().
Moreover analyzers are then sure pvl is not NULL.

cleanup: fold test into printf arg

When arg is folded, compiler is able to check all args.
(better for security)

cleanup: use compound literals for wipe_lv

Optimize and cleanup recently introduced new function wipe_lv.
Use compound literals to get nicely initialized wipe_params struct.
Pass in lv as explicit argument for wipe_lv.
Use cmd from lv structure.
Initialize only non-null members so it's easy to see what
is the special arg.

toollib: drop init of ret

Keep the ret uninitialized, so we get compiler warning, when tried
to use this value instead of ret_max as function return value.

snapshot: move code of old snapshot merge

Move code for merging old snapshot into its own function.

dmeventd: simplify error path

Use common 'bad:' label for exit error path where
fifo is closed before exit().

dmeventd: fifo init and close cleanup

Use structure initialization for easier to read code.
Close only descriptors >= 0.

config: use int for type

Since the type is used for 'or' operation of enumerated bit fields,
it doesn't not have type cfg_def_type_t - use proper int type for
bitmask.

snapshot: drop find_merging_snapshot

Drop find_merging_snapshot() function. Use find_snapshot()
called after check for lv_is_merging_origin() which
is the commonly used code path - so we avoid duplicated
tests and potential risk of derefering NULL point
in unhandled error path.

format-text: ensure aligment is not 0

Make sure this path of code is not used for alignment == 0,
to prevent division by 0.

profile: wipe_signatures_on_new_logical_volumes_when_zeroing not yet profilable

But it might be - needs more testing...

man: lvcreate -W/--wipesignatures

wiping: add support for blkid wiping

This is actually the wipefs functionailty as a matter of fact
(wipefs uses the same libblkid calls).

libblkid is more rich when it comes to detecting various
signatures, including filesystems and users can better
decide what to erase and what should be kept.

The code is shared for both pvcreate (where wiping is necessary
to complete the pvcreate operation) and lvcreate where it's up
to the user to decide.

The verbose output contains a bit more information about the
signature like LABEL and UUID.

For example:
  raw/~ # lvcreate -L16m vg
  WARNING: linux_raid_member signature detected on /dev/vg/lvol0 at offset 4096. Wipe it? [y/n]

or more verbose one:
  raw/~ # lvcreate -L16m vg -v
  ...
     Found existing signature on /dev/vg/lvol0 at offset 4096: LABEL="raw.virt:0" UUID="da6af139-8403-5d06-b8c4-13f6f24b73b1" TYPE="linux_raid_member" USAGE="raid"
WARNING: linux_raid_member signature detected on /dev/vg/lvol0 at offset 4096. Wipe it? [y/n]

The verbose output is the same output as found in blkid.

conf: add allocation/use_blkid_wiping

Add allocation/use_blkid_wiping setting to lvm.conf to select between
LVM2 native code to detect signatures to wipe or blkid library code.

configure: add --enable-blkid_wiping

lv_manip: rename set_lv -> wipe_lv and include signature wiping capability

Use common wipe_lv (former set_lv) fn to do zeroing as well as signature
wiping if needed. Provide new struct wipe_lv_params to define the
functionality.

Bind "lvcreate -W/--wipesignatures y" with proper wipe_lv call.

Also, add "yes" and "force" to lvcreate_params so it's possible
to apply them for the prompt: "WARNING: %s detected on %s. Wipe it? [y/n]".

lvcreate: recognize --wipesignatures arg

Recognize the new --wipesignatures arg in lvcreate that is supposed
to wipe known signatures if found on newly created LV.

conf: add allocation/wipe_signatures_on_new_logical_volumes_when_zeroing

This setting controls whether signature wiping on newly created logical
volumes will follow the state of zeroing (-Z/--zero option).

device: cleanup signature wiping functions

The wipe_known_signatures fn now wraps the _wipe_signature fn that is called
for each known signature (currently md, swap and luks). This patch makes the
code more readable, not repeating the same sequence when used anywhere in the
code. We're going to reuse this code later...

activation: change log_error to log_warn if refresh before autoactivation fails

WHATS_NEW: commit 729b104

activation: continue with autoactivation if refresh fails

If the refresh fails for any reason before autoactivation, let's not
make this a stopper for autoactivation itself - just log the error
message if it appears.

The reason is that in some rare situations, we can still hit the
problem with the suspend call to fail (as already described in
commit d8085edf65006a50608edb821b3d30947abaa838, also
https://bugzilla.redhat.com/show_bug.cgi?id=1027314). The refresh
itself is done for only one reason - to refresh any dm tables
for LVs for which the underlying PVs got unplugged/disconnected
and then plugged/connected back (see also
https://bugzilla.redhat.com/show_bug.cgi?id=954061 for more info).
In this case, the major:minor pair is changed and we need to
update dm tables for LVs accordingly.

Now if refresh fails, the error is still logged, but autoactivation
continues.

lv/vgchange: do not try to connect to lvmetad if socket absent and --sysinit -aay used

If using lv/vgchange --sysinit -aay and lvmetad is enabled, we'd like to
avoid the direct activation and rely on autoactivation instead so
it fits system initialization scripts.

But if we're calling lv/vgchange --sysinit -aay too early when even
lvmetad service is not started yet, we just need to do the direct
activation instead without printing any error messages (while
trying to connect to lvmetad and not finding its socket).

This patch adds two helper functions - "lvmetad_socket_present" and
"lvmetad_used" which can be used to check for this condition properly
and avoid these lvmetad connections when the socket is not present
(and hence lvmetad is not yet running).