tests: add wait on udev processing

Trying to avoid collision with udev watch rule preventing to
succeed 'dmsetup remove' becuase it keeps device open.

list:  use container_of

Reuse macro

pvck: set dump on one call

arg_str_value() has built-in  arg_is_set().

Also this makes it obvious to coverity 'dump != NULL' & 'repair != NULL'
at the branch code path.

cov: lvconvert: missing check for function failure

cov: check strdup for NULL

cov: check for deactivation failure

lvmcache: free vginfo lock_type

hints: free hint structs on exit

and free on a couple error paths.

devs: add some checks for a dev with no path name

It's possible for a dev-cache entry to remain after all
paths for it have been removed, and other parts of the
code expect that a dev always has a name.  A better fix
may be to remove a device from dev-cache after all paths
to it have been removed.

lvmlockd: use 4K sector size when any dev is 4K

When either logical block size or physical block size is 4K,
then lvmlockd creates sanlock leases based on 4K sectors,
but the lvm client side would create the internal lvmlock LV
based on the first logical block size it saw in the VG,
which could be 512.  This could cause the lvmlock LV to be
too small to hold all the sanlock leases. Make the lvm client
side use the same sizing logic as lvmlockd.

spec: Enable integrity

lvmlockd: replace lock adopt info source

The lock adopt feature was disabled since it had used
lvmetad as a source of info.  This replaces the lvmetad
info with a local file and enables the adopt feature again
(enabled with lvmlockd --adopt 1).

remove vg_read_error

Once converted results to error numbers but is now just a null check.

use refresh_filters only where needed

Filters are changed and need refresh in only one
place (vgimportclone), so avoid doing the refresh
for every other command that doesn't need it.

Fix scripts/lvmlocks.service.in using nonexistent --lock-opt autowait

The --lock-opt autowait was dropped back in 9ab6bdce01,
and attempting to specify it has quite an opposite effect:
no waiting is done, which makes the unit almost useless.

lvmcache: rework handling of VGs with duplicate vgnames

The previous method of managing duplicate vgnames prevented
vgreduce from working if a foreign vg with the same name
existed.

pass cmd struct through more functions

no functional change

lvmcache_get_mda: remove unused function

vgrename: fix error value when name exists

WHATS_NEW: integrity with raid

Allow dm-integrity to be used for raid images

dm-integrity stores checksums of the data written to an
LV, and returns an error if data read from the LV does
not match the previously saved checksum.  When used on
raid images, dm-raid will correct the error by reading
the block from another image, and the device user sees
no error.  The integrity metadata (checksums) are stored
on an internal LV allocated by lvm for each linear image.
The internal LV is allocated on the same PV as the image.

Create a raid LV with an integrity layer over each
raid image (for raid levels 1,4,5,6,10):

lvcreate --type raidN --raidintegrity y [options]

Add an integrity layer to images of an existing raid LV:

lvconvert --raidintegrity y LV

Remove the integrity layer from images of a raid LV:

lvconvert --raidintegrity n LV

Settings

Use --raidintegritymode journal|bitmap (journal is default)
to configure the method used by dm-integrity to ensure
crash consistency.

Initialization

When integrity is added to an LV, the kernel needs to
initialize the integrity metadata/checksums for all blocks
in the LV.  The data corruption checking performed by
dm-integrity will only operate on areas of the LV that
are already initialized.  The progress of integrity
initialization is reported by the "syncpercent" LV
reporting field (and under the Cpy%Sync lvs column.)

Example: create a raid1 LV with integrity:

$ lvcreate --type raid1 -m1 --raidintegrity y -n rr -L1G foo
  Creating integrity metadata LV rr_rimage_0_imeta with size 12.00 MiB.
  Logical volume "rr_rimage_0_imeta" created.
  Creating integrity metadata LV rr_rimage_1_imeta with size 12.00 MiB.
  Logical volume "rr_rimage_1_imeta" created.
  Logical volume "rr" created.
$ lvs -a foo
  LV                  VG  Attr       LSize  Origin              Cpy%Sync
  rr                  foo rwi-a-r---  1.00g                     4.93
  [rr_rimage_0]       foo gwi-aor---  1.00g [rr_rimage_0_iorig] 41.02
  [rr_rimage_0_imeta] foo ewi-ao---- 12.00m
  [rr_rimage_0_iorig] foo -wi-ao----  1.00g
  [rr_rimage_1]       foo gwi-aor---  1.00g [rr_rimage_1_iorig] 39.45
  [rr_rimage_1_imeta] foo ewi-ao---- 12.00m
  [rr_rimage_1_iorig] foo -wi-ao----  1.00g
  [rr_rmeta_0]        foo ewi-aor---  4.00m
  [rr_rmeta_1]        foo ewi-aor---  4.00m

move pv_list code into lib

blkdeactivate: add support for VDO in blkdeactivate script

Make it possible to tear down VDO volumes with blkdeactivate if VDO is
part of a device stack (and if VDO binary is installed). Also, support
optional -o|--vdooptions configfile=file.

WHATS_NEWS: update

test: repair of thin-pool used by foreign apps

lvconvert: no validation for thin-pools not used by lvm2

lvm2 supports thin-pool to be later used by other tools doing
virtual volumes themself (i.e. docker) - in this case we
shall not validate transaction Id - is this is used by
other tools and lvm2 keeps value 0 - so the transationId
validation need to be skipped in this case.

post-release

pre-release

vdo: make vdopool wrapping device is read-only

When vdopool is activated standalone - we use a wrapping linear device
to hold actual vdo device active - for this we can set-up read-only
device to ensure there cannot be made write through this device to
actual pool device.

test: Fix previous commit

test: Can not attach writecache to active volume

reduce device path error messsages

When /dev entries or sysfs entries are changing
due to concurrent lvm commands, it can cause
warning/error messages about missing paths.

man: lvm2-activation-generator fix vgchange comment

generated services use vgchange -aay (not -ay)

lvmlockd: use transient LV lock when creating snapshot

Creating a snapshot was using a persistent LV lock
on the origin, so if the origin LV was inactive at
the time of the snapshot the LV lock would remain.
(Running lvchange -an on the inactive LV would
clear the LV lock.)  Use a transient LV lock so it
will be dropped if it was not locked previously.

writecache: require inactive LV to attach

Prevent attaching writecache to an active LV until
we can determine the block size of the fs on the LV,
and use that to enforce an appropriate writecache
block size.  Changing the block size under a mounted
fs can cause panic/corruption.

WHATS_NEW_DM: update

container_of:  use offsetof from stddef

Use standardized offsetof() macro from stddef.
Helps to build valid code with latest gcc10 with -O2.

libdm: fix dm_list pointer arithmentic for new gcc 10 optimization

dmeventd: enhance time waiting loop

dmeventd is 'scanning' statuses in loop (most usually in 10sec
intervals) - and meanwhile it sleeps within:
pthread_cond_timedwait()

However this function call tends to wakeup sometimes a short amount of
time sooner - and our code still believe the 'right time' has not yet
arrived and basically for a moment 'busy-looped' on calling this
function - so for systems with 'clock_gettime()' present we obtain
time and we go 10ms to the future second - this avoids unneeded
repeated invocation of our time scheduling loop.

TODO: monitoring during 1 hour 'time-change'...

pvck: use dm_config_parse_without_dup_node_check

instead of dm_config_parse.  Some strange case could
cause dm_config_parse to print duplicate warnings about
all the metadata fileds.

tests: reduce sizes in pvck-dump and improve checks

Smaller devs can be used so tests can be run on small vms.
Improve checks.

tests: pvck dump from larger metadata areas

pvck: allow dump from file

pvck: fix reading large mda1

When mda_size is larger than io_memory_size, reading
the entire mda fails unless the previous read of the
label has been invalidated.

pvck: improve mda_offset mda_size choices

Attempt to calculate an offset or size if one only
value was specified in the settings.

Use header values when available.

pvck: print longer command description

pvck: ensure text lines are terminated

hints: free hint list in error exit path

man: lvmcache raid1 references

tests: validate vdo slab_size

New vdoformat can print this size - so check we pass proper bit count
matching preset value.

vdo: fix slab size bits calculation

When formating VDO volume, the calculated amound of bits
for 'vdoformat --slab-bits' parameter was shifted by 2 bits
(calculated size was making 2MiB vdo_slab_size_mb value appear like if
user would be specifying only 512KiB)

Fixed by properly converting internal size_mb value to KiB.

writecache: check watermark value

writecache: allow removing wcorig lv

like removing corig

writecache: fix watermark error message

writecache: working real dm uuid suffix for wcorig lv

writecache: drop real dm suffix

fixes the problem of adding writecache to an active LV

thin: don't use writecache for poolmetadata

writecache: check if cachevol is writable

before trying to initialize it (since wipe_lv
does not return an error if it fails to write.)

cachevol: stop dm errors with uncaching cache with cachevol

Fix the anoying kernel message reported:
device-mapper: cache: 253:2: metadata operation 'dm_cache_commit' failed: error = -5
which has been reported while cachevol has been removed.
Happened via confusing variable - so switch the variable to commonly user '_size'
which presents a value in sector units and avoid 'scaling' this as extent length
by vg extent size when placing 'error' target on removal path.

Patch shouldn't have impact on actual users data, since at this moment
of removal all date should have been already flushed to origin device.

m

post-release

pre-release

vdo: fix vdoformat when -V is specified

The previous patch improved read of pipe when lvm2 was looking
for default logical size, but we clearly must read pipe also
for -V case, when the logical size is already defined.

writecache: skip zeroing in test mode

writecache: check for invalid cachevol

writecache: fix return value

raid: better place for blocking reshapes

Still the place can be better to block only particular reshape
operations which ATM cause kernel problems.

We check if the new number of images is higher - and prevent to take
conversion if the volume is in use (i.e. thin-pool's data LV).

writecache: prevent snapshots

there appear to be problems with taking a snapshot
of an LV with a writecache, so block it until that
is understood or fixed.

writecache: fix splitcache when origin is raid

WHATS_NEW: update

generate: remake

Regen man page.

lv_manip: add extra check for existin origin_lv

clang: it's supposedly impossible path to hit, as we should always
have origin_lv defined when running this path, but adding protection
isn't a big issue to make this obvious to analyzer.

raid: add internal error for no segment

clang: capture internal error when data_seg would not be defined.
(invalid LV with no areas)

lv_manip: add error handling for _reserve_area

Since _reserve_area() may fail due to error allocation failure,
add support to report this already reported failure upward.

FIXME: it's log_error() without causing direct command failure.

command: validate reporting of previous argument

When reporting parsing error, report 'previous' argument
only when there is one.

dmeventd: nicer error path for reading pipe

When _daemon_read()/_client_read() fails during the read,
ensure memory allocated withing function is also release here
(so caller does not need to care). Also improve code readbility a bit
a for same functionality use more similar code.

lvmlockctl: use inline initilizers

clang: ensure r_name[] is in all possible paths defined.

lvmlockctl: ensure result value is always defined

Ensure passed pointer gets predefined value (instead of random stack
value).

lvmlockd: move eval of ENOENT

To avoid logging 'errors' for no real error state (ENOENT),
move this evaluation upward in the code.

cov: check error code from mutex init

cov: widen before calculating min_chunk_size

Although we expect min_chunk_size to be 32bit value, for
large size of caches it might be useful to do calcs 64bit.
So to avoid doing shift as signed 32bit - use unsigned 64bit
from the start.

cov: unused header file removal

cov: unused header removed
Also ensure library header file with config settings goes first.
Move inclusion of format-text.h into layout.h

bcache: fix memleak on error path

clang: free io on error path.

pvck: avoid memleak of vgname

clang: no vgname buffer leak.

dmsetup: no memleak on failed realocation

clang: keep old buf pointer for release on failing realloc() codepath.

tests: compatible with older kernels

Older kernels just show syscall stacktrace.

tests: move vgsplit writecache

to a different file

pvmove: prevent moving writecache device

vgsplit: handle cachevol

attached to a cache or writecache LV.
Ensure PVs in cachevol are moved with the main LV.

writecache: reject invalid high/low watermark setting

man: lvmcache writecache watermark percent

writecache: report status fields

reporting fields (-o) directly from kernel:
writecache_total_blocks
writecache_free_blocks
writecache_writeback_blocks
writecache_error

The data_percent field shows used cache blocks / total cache blocks.

man: updates to lvmcache

lvmlockd: use ret value in query function

WHATS_NEW: update

tests: add corruption write on PV test

Test a case where PV is readable, but fails on write updating.
Check the failure is reported only for a single PV.

tests: writeerror_dev

Intruduce aux function for easy simulation of disk areas,
that are 'normally' readable, but will fail on write.

vdo: adapt for multi line vdo_format output

Do not close pipeline after 1st. line parsed from vdo_format.
Also reprint the output for a user so new messages from vdo_format
can be seen by users.

raid: more limitted prohibition of stacked raid usage

We actually need to prohibit only reshaping cases which are
running over multiple commands.

man: pvck dump description improvements

add suggestion message for mirror LVs

Currently the error messages are not clear. This very easy to
guide user to execute "--removemissing --force", it is dangerous
and will make the LVs to be destroied.

Signed-off-by: Zhao Heming <heming.zhao@suse.com>