devicemapper: retry remove even for subLVs

With older systems and udevs we don't have control over scanning of lvm2
internal devices - so far we set retry-removal only for top-level LVs,
but in occasional cases udev can be 'fast enough' to open device for
scanning and prevent removal of such device from DM table.

So to combat this case - try to pass 'retry' flag also for removal of
internal device so see how many races can go away with this simple
patch.

Note: patch is applied only to internal version of libdm so the external
API remains working in the old way for now.

activation: trimming string is expected

Commit 813347cf84617a946d9184f44c5fbd275bb41766 added extra validation,
however in this particular we do want to trim suffix out so rather ignore
resulting error code here intentionaly.

devices: reuse bcache fd when getting block size

This avoids an unnecessary open() on the device.

Add dm-writecache support

dm-writecache is used like dm-cache with a standard LV
as the cache.

$ lvcreate -n main -L 128M -an foo /dev/loop0

$ lvcreate -n fast -L 32M -an foo /dev/pmem0

$ lvconvert --type writecache --cachepool fast foo/main

$ lvs -a foo -o+devices
  LV            VG  Attr       LSize   Origin        Devices
  [fast]        foo -wi-------  32.00m               /dev/pmem0(0)
  main          foo Cwi------- 128.00m [main_wcorig] main_wcorig(0)
  [main_wcorig] foo -wi------- 128.00m               /dev/loop0(0)

$ lvchange -ay foo/main

$ dmsetup table
foo-main_wcorig: 0 262144 linear 7:0 2048
foo-main: 0 262144 writecache p 253:4 253:3 4096 0
foo-fast: 0 65536 linear 259:0 2048

$ lvchange -an foo/main

$ lvconvert --splitcache foo/main

$ lvs -a foo -o+devices
  LV   VG  Attr       LSize   Devices
  fast foo -wi-------  32.00m /dev/pmem0(0)
  main foo -wi------- 128.00m /dev/loop0(0)

Allow dm-cache cache device to be standard LV

If a single, standard LV is specified as the cache, use
it directly instead of converting it into a cache-pool
object with two separate LVs (for data and metadata).

With a single LV as the cache, lvm will use blocks at the
beginning for metadata, and the rest for data.  Separate
dm linear devices are set up to point at the metadata and
data areas of the LV.  These dm devs are given to the
dm-cache target to use.

The single LV cache cannot be resized without recreating it.

If the --poolmetadata option is used to specify an LV for
metadata, then a cache pool will be created (with separate
LVs for data and metadata.)

Usage:

$ lvcreate -n main -L 128M vg /dev/loop0

$ lvcreate -n fast -L 64M vg /dev/loop1

$ lvs -a vg
  LV   VG Attr       LSize   Type   Devices
  main vg -wi-a----- 128.00m linear /dev/loop0(0)
  fast vg -wi-a-----  64.00m linear /dev/loop1(0)

$ lvconvert --type cache --cachepool fast vg/main

$ lvs -a vg
  LV           VG Attr       LSize   Origin       Pool  Type   Devices
  [fast]       vg Cwi---C---  64.00m                     linear /dev/loop1(0)
  main         vg Cwi---C--- 128.00m [main_corig] [fast] cache  main_corig(0)
  [main_corig] vg owi---C--- 128.00m                     linear /dev/loop0(0)

$ lvchange -ay vg/main

$ dmsetup ls
vg-fast_cdata   (253:4)
vg-fast_cmeta   (253:5)
vg-main_corig   (253:6)
vg-main (253:24)
vg-fast (253:3)

$ dmsetup table
vg-fast_cdata: 0 98304 linear 253:3 32768
vg-fast_cmeta: 0 32768 linear 253:3 0
vg-main_corig: 0 262144 linear 7:0 2048
vg-main: 0 262144 cache 253:5 253:4 253:6 128 2 metadata2 writethrough mq 0
vg-fast: 0 131072 linear 7:1 2048

$ lvchange -an vg/min

$ lvconvert --splitcache vg/main

$ lvs -a vg
  LV   VG Attr       LSize   Type   Devices
  fast vg -wi-------  64.00m linear /dev/loop1(0)
  main vg -wi------- 128.00m linear /dev/loop0(0)

cache: factor lvchange_cache

to prepare for future addition

cache: factor report functions

to prepare for future addition

cache: reorganize cache_set_policy

to prepare for future addition

cache: improve error message about flush

cache: improve warning message about cached thin data

cache: rename variable in _cache_add_target_line

so it is not specific to lv/seg type

cache: rename variable in _cache_display

so it is not specific to lv/seg type

cache: clean up segment line creation

cache: factor getting cache mode

so part can be called separately

cache: factor settings text import export

Pull out the export/import of settings text so
it can be used later from elsewhere.

cache: add cache_mode_num_to_str

Requires only string and number, no specific lv/seg type.

tests: fix shell quoting

tests: add wait for udev

Since the test is currently directly working with live directory,
which can be getting updates from system's udev - add wait
for settling so removal of all known PVs happens after that.
But still this has major influce on behavior of running system,
so the test should never be executed on a user used box.

pvscan: add error checking for write of online files

When there is any write failure during writting file,
report this upward as error and fail command instead
of continuing futher.

debug: missing backtrace

debug: tracing fclose failure

Using log_debug (not returning error code) to trace possible
failure of fclose().

cleanup: move cast to det_t into MKDEV macro

cov: avoid unsing unchecked label_scan_open

Drop extra call too label_scan_open() without checking return value,
and let code go through next call bellow.

cov: remove unused assigns

cov: hide intentionaly ptr arithmetic report

Only single region count is ever replaced with on-stack uint64_t.

cov: mark warning as expected one

cov: trace failing pthread_kill

cov: add missing check for dm_strncpy

cov: overflow before widen

Evaluate as 64bit arithmetic (instead of doing 32bit mults which can
in this case purely teoretically overflow).

cov: explicit ignore if failures

Here we can't do anything better than just ignore syscall failures
(with silence as there is no loging mechanism)

cov: split check for type assignment

Check that type is always defined, if not make it explicit internal
error (although logged as debug - so catched only with proper lvm.conf
setting).
This ensures later type being NULL can't be dereferenced with coredump.

cov: remove uneeded code

Since clvmd was dropped this code become useless.

label: add stack trace for failing dev_set_last_byte

Temporarily add check for failure, but whole function
needs to be likely traced for error result.

FIXME

lvmlockd: use standard major minor functions

lvmlockd: fix handling of sanlock release error

When sanlock_release returns an error because of an i/o
timeout releasing the lease on disk, lvmlockd should just
consider the lock released.  sanlock will continue trying
to release the lease on disk after the original request
times out.

lvmlockd: deactivate lvmlock LV in vgchange

When changing a VG to lock_type sanlock, the internal
lvmlock LV was left active at the end of vgchange.
It shouldn't be active until lockstart.

lvmlockd: fix size/resizing of internal lvmlock LV for sanlock

The lvmlock LV size was not adjusted correctly for 512 vs 4K
sector sizes which influence the lease size used by sanlock.

When lvmlock was automatically extended, the zeroing through
bcache wasn't working.

lvmlockd: use new sanlock sector/align interface

The choice about sector size and lease align size is
now made by the sanlock user, in this case lvmlockd.
This will allow lvmlockd to use other lease sizes in
the future.  This also prevents breakage if hosts
report different sector sizes, or the sector size
reported by a device changes.

dmsetup: fix stats report command output

Since the stats handle is neither bound nor listed before the
attempt to call dm_stats_get_nr_regions(), it will always return
zero: this prevents reporting of any dmstats regions on any
device.

Remove the dm_stats_get_nr_regions() check and instead rely on
the correct return status from dm_stats_populate() which only
returns 0 in the case that there are regions to inspect (and
which logs a specific error for all other cases).

Reported-by: Bryan Gurney <bgurney@redhat.com>

libdm-stats: move no regions warning after dm_stats_list()

It doesn't make sense to test or warn about the region count until
the stats handle has been listed: at this point it may or may not
contain valid information (but is guaranteed to be correct after
the list).

post-release

pre-release

build: Fix CLDFLAGS default

metadata: prevent writing beyond metadata area

lvm uses a bcache block size of 128K.  A bcache block
at the end of the metadata area will overlap the PEs
from which LVs are allocated.  How much depends on
alignments.  When lvm reads and writes one of these
bcache blocks to update VG metadata, it can also be
reading and writing PEs that belong to an LV.

If these overlapping PEs are being written to by the
LV user (e.g. filesystem) at the same time that lvm
is modifying VG metadata in the overlapping bcache
block, then the user's updates to the PEs can be lost.

This patch is a quick hack to prevent lvm from writing
past the end of the metadata area.

Revert "raid: fix left behind SubLVs"

This reverts commit 16ae968d24b4fe3264dc9b46063345ff2846957b.

We need to come up with a better fix, because we fall short
wiping all known signatures when not using the wipe_lv API.

raid: fix left behind SubLVs

lvm metadata writes, commits and activations are performed
for (newly) allocated RAID metadata SubLVs to wipe any preexisiting
data thus avoid false raid superblock positives on RaidLV activation.

This process can be interrupted by command or system crashs
thus leaving stale SubLVs in the lvm metadata as a problem.

Because we hold an exclusive lock in this metadata SubLV wiping
process, we can address this problem by avoiding aforementioned
commits/writes/activations altogether wiping the respective first
sector of the first physical extent allocated to any metadata SubLV
directly via the existing dev_set() API.

Succeeds all LVM RAID tests.

Related: rhbz1633167

spec: lvmdbusd requires python3 setuptools

tests: add new test for lvm on md devices

tests: missed char in list

'=' also doesn't belong to property name.

tests: better support for /var/run

tests: add raid target presence check

tests: fix conf generation with older shells

For shells without array support, fix selecting bug,
and require keyword to end with some 'space' char,
so  'scan' is not matched with  'scan_var'.

tests: properly enforce v1

Since with smq policy we can still pick format v2 - enforce
format v1 explicitely.

tests: timing without /usr/bin/time

Use just 'date' so the 'time' package doesn't need to be installed
just for this purpose.

tests: fix tested targeted

Fix cut&paste bug.

cov: shutdown warning

Since previous patch reverted coverity patch as this case is intentional,
provide override this coverity warning.

revert "cov: dm stats missed terminating null"

This reverts commit 20971f7034cbd329f873e08869bfb7acf3f1ac0e
as the parsing of 'dmstatus' started to fail on present \0 char.

fix: cov: missed return value test

use the existing error paths

cov: avoid selfrecursive inclusion of  toolcontext.h

cov: drop uneeded header files

cov: pvscan ensure sigle_devs list is always initialized

cov: ignore error of vsnprintf

cov: add missing error path check for label_scan_open

cov: make sure label scans valid lvinfo

cov: log failing unlink

cov: check closedir result

Log problems around failing closedir().

cov: check dm_strncpy result

cov: check dev_close_immediate

Function can report log_error() on fail path.

cov: ensure vars are set

Make sure, tmp_begin and tmp_end are always set, even for blind
coverity.

cov: dm node message fix missing initilization

In 2 teoretical error path the 'r' value has not been set to
proper value before possible use in error path.

cov: fix error path

Avoid calling 'bad:' section since we have not set 'fd' yet
and instead directly return failing 0 value.

cov: fix failing filter initialization

When persistent_filter_create() fails, the existing passed filter
should be preserved, so it could be properly deleted on
error path - so new pfilter is assigned instead.

cov: fix typo

Avoid double assing same value.

cov: add check for positive value

As pgsize parameter for _init_free_list() can't be negative,
report problem in case for any reason we would get negative number.

cov: dmstats check for failing malloc

Add missing check for allocation success.

cov: add at least ASSERT

Seems lot of code here can't handle failing allocation.
Meanwhile before bigger fix put in asserts in place.

cov: fix missing null allocation check

cov: dm stats missed terminating null

Coverity noticed allocating insufficient memory
for the terminating null of the string.

cov: index off by one

Basically apply stable patch fdb6ef8a85e9adc4805202b3200b17bd3b351982 to internal libdm version.

cov: fix leaking openned file descriptors

Once the FD is no longer needed, close it.

cov: fix memleak on bcache io error path

Drop allocated IO.

merge free bache

cov: dmeventd plugin fix memleak

Fix memory leak when policy command fails too frequently and
plugin decided to skip it.

cov: drop check for pointer

Pointer must be always set and it's been already dereferenced.

cov: warn about failing sigaction

cov: missed return value test

Check validity of read.

build: make genrate config file

config: Fix version for VDO

build: Use PYTHON env. variable when provided

post-release

pre-release

build: gcc can be fussy about order of libs

build: make generate

tests: check activation of many thin-pool

Artifitical testing of monitoring of many thin-pools with low number
of resources in use (need only few pools to actually hit the race).

dmeventd: lvm2 plugin uses envvar registry

Thin plugin started to use configuble setting to allow to configure
usage of external scripts - however to read this value it needed to
execute internal command as dmeventd itself has no access to lvm.conf
and the API for dmeventd plugin has been kept stable.

The call of command itself was not normally 'a big issue' until users
started to use higher number of monitored LVs and execution of command
got stuck because other monitored resource already started to execute
some other lvm2 command and become blocked waiting on VG lock.

This scenario revealed necesity to somehow avoid calling lvm2 command
during resource registration - but this requires bigger changes - so
meanwhile this patch tries to minimize the possibility to hit this race
by obtaining any configurable setting just once - such patch is small
and covers majority of problem - yet better solution needs to be
introduced likely with bigger rework of dmeventd.

TODO: avoid blocking registration of resource with execution of lvm2
commands since those can get stuck waiting on mutexes.

spec: No %ghost for dirs at tmpfiles.d

%ghost should not be used for directories created by systemd-tmpfiles.

This may prevent package from working right after installation without
invoking systemd-tmpfiles.

See: https://pagure.io/packaging-committee/issue/439

metadata: clarify comments about max size

Since there is now a direct limit of half the space.

metadata: add direct size limit

Previously the size was limited by checking if the
old and new copies of the metadata overlapped.
This generally limited the size to about half of
the total space, but it could be larger given the
size differences between old and new.  Now add a
direct check to limit the size to half the space.

metadata: remove incorrect comment about alignment

metadata: add comment about negative impact of rounding

metadata: remove an unused and incorrect overflow check

Remove another instance of an invalid check for metadata
overflow during read.  The previous instance was removed
in commit 5fb15b193.

This was checking for metadata that that overflowed the
circular disk metadata buffer during read, but such metadata
cannot be written, so it shouldn't be possible to find see.
Also, the check was incorrect and could trigger when there
was no overflow.