thin: add cfg support for thin_restore and cache_restore

Add configurable paths for thin_restore and cache_restore.

tests: update test for automatic virtual size correction

lvm_import_vdo will adjust the virtual size within conversion
so the volume can be use without any futher tweaking.

lvm_import_vdo: correct the converted virtual size

Ensure the volume after conversion has the properly aligned size to the
volume group extent size. This would be visible when using virtual size,
that cannot be divided by extent size.

Before the user had to manually adjust the size after conversion to get
access to all data stored on VDO volume.

lvcreate: allow thin snapshot syntax that broke

The command "lvcreate --type thin --snapshot ..." to create a thin
snapshot would fail.

commit d651b340e68d97ada25e558eb50aa40062bba936 removed the optional
"--type thin" from the command definition "lvcreate --snapshot LV_thin",
and added --type thin as AUTOTYPE.  This was correct and should not have
changed anything if all the command defs were correct, but it broke
the "lvcreate --type thin --snapshot" case.  It reveals a problem in a
different command definintion:  "lvcreate --type thin LV_thin" that was
missing --snapshot in its OO list.

tests: lvresize fs mounted multiple times

lvresize: fix multiple mounts

which was mistaken as a mounted LV that had been renamed.

device_id: ignore leading and trailing spaces for sys_wwid and sys_serial

Leading and trailing underscores are also ignored to handle device ids
written by previous versions which replaced all spaces with underscores.

tests: Skip integrity tests if target not present

tests:  tmp is used for TMPDIR

Fixes tests failing due to previous commit 734d9791f817.

WHATS_NEW: update

tests: updates

Add some more complicated conversion tests.

tests: vdo manager wrapper tool updates

Support size specification in KiB units.
Add some theoretical support for some new options from vdoprepareforlvm.

tests: tmp dir inside test dir

Keep even temporary files within testing dir so generated files are
not left behind in system's /tmp directory.

cov: drop unneeded constness

If we want to have const structure - use a const pointer to avoid,
however making individual members const make it only assingle
in construct time and we already violate this logic since
we memcpy into the structure -  so drop these unnecessary consts...

vdo: man updates for lvm_import_vdo

vdo: enhance lvm_vdo_import

Add support for usage of 'dm-snapshot' for doing whole device conversion
in a snapshot which could be merged once the whole conversion has been
made.
This helps with cases where there would be any unexpected failure in the
middle of conversion process and user can continue using original
device until problem in conversion is fixed.

Import tool now uses 'truncate' tool to create a small backend file (20M) for loop device
to hold COW exception store.

Option  --vdo-config has been added to allow specifing location of vdo
configuration file.

Option --no-snapshot allows to use import tool without creation of
snapshot, however recovery after finished VDO conversion and unfinished
lvm2 conversion is then very difficult.

Option --uuid-prefix allow to specify DM UUID prefix for snapshot
device.

Use read with -r.

vdo: fix and enhance vdo metadata reader

Improve metadata parser to handle volume_geometry bio_offset,
which needs to be substracted from 'region' start_block when present.

This bio_offset block is non-zero i.e. with converted VDO volumes.

Also fix some converted structure value (but they are not in use).

cmd_enum: correct inclusion

Ensure we use generated header file for this build from -Iinclude.

Reported-by: Anton Lundin <glance@ac2.se>

device_id: fix handling of non-PV with duplicate serial number

Fix in the code that matches devices to system.devices entries when
the devices have the same serial number.  A non-PV device in
system.devices has no pvid value, and the code was segfaulting
when checking the null pvid value.

man: lvmraid update limitations

reporter: restore report type to initial value after processing report_for_selection

If we are executing 'report_for_selection' to do an internal report
just for the selection itself (not for display), we can call it more
than once. In that case, we are reusing the same selection handle
(e.g. inside 'process_each_lv_in_vg').

The selection handle has 'report_type' field which is a union of all
report types needed for the report based on selection fields we actually
use.

The 'report_type' is further clarified based on checks and rules inside
'_get_final_report_type' which 'report_for_selection' calls. Then, this
final report type unambiguously identifies proper branch to take in
'report_all_in_{pv,vg,lv}' that is called next.

If the 'report_for_selection' is called more than once with the same
selection handle, we need to make sure that we always restore the report
type to its initial value, so all the rules inside 'report_for_selection'
are applied correctly next time.

This patch fixes the missing restoration of the 'report_type' value in
'selection_handle' that is reused for recurring 'report_for_selection'
calls.

An example scenario where this failed was with selecting an LV for
removal with "lvremove --select" while using a field in the selection
that required extra DM info or DM status call for the LV (that is,
"Logical Volume Device Info Fields" and "Logical Volume Device Status Fields"
as visible in 'lvs -S help').

lvreduce: simplify _lvseg_get_stripes integrity check

Simplify unnecessary loop to avoid coverity complaint.

device_id: ignore trailing underscores in t10 wwid from devices file

In previous lvm versions, trailing spaces at the end of a t10 wwid would
be replaced with underscores, so the IDNAME string in system.devices
would look something like "t10.123_".  Current versions of lvm ignore
trailing spaces in a t10 wwid, so the IDNAME string used would be
"t10.123".  The different values would cause lvm to not recognize a
device in system.devices with the trailing _.  Fix this by ignoring
trailing underscores in the IDNAME string from system.devices.

tests: integrity-caching: ensure raid redundancy

The recent fix 05c2b10c5d0a9 ensures that raid LV images are not
using the same devices.  This was happening in the lvextend commands
used by this test, so fix the test to use more devices to ensue
redundancy.

tests: integrity: snapshots now work on raid+integrity

toollib: provide proper hint for referencing VG uuid in case of duplicate VG names

vgrename does not support -S|--select, so do not provide a hint about
using it. Instead, provide a hint about using VG uuid directly.

❯  vgs
  WARNING: VG name vg1 is used by VGs DXjcSK-gWfu-5gLh-9Kbg-sG49-dtRr-GqXzGL and MVMfyM-sjOa-M2xV-AT4Y-JddR-h4SP-UO5Ttk.
  Fix duplicate VG names with vgrename uuid, a device filter, or system IDs.
  VG     #PV #LV #SN Attr   VSize   VFree
  vg1      1   0   0 wz--n- 124.00m 124.00m
  vg1      1   0   0 wz--n- 124.00m 124.00m

(vgrename does not support -S|--select)
❯  vgrename vg1 vg2
  WARNING: VG name vg1 is used by VGs DXjcSK-gWfu-5gLh-9Kbg-sG49-dtRr-GqXzGL and MVMfyM-sjOa-M2xV-AT4Y-JddR-h4SP-UO5Ttk.
  Fix duplicate VG names with vgrename uuid, a device filter, or system IDs.
  Multiple VGs found with the same name: skipping vg1
  Use VG uuid in place of the VG name.

(vgchange does support -S|--select)
❯  vgchange --addtag a vg1
  WARNING: VG name vg1 is used by VGs DXjcSK-gWfu-5gLh-9Kbg-sG49-dtRr-GqXzGL and MVMfyM-sjOa-M2xV-AT4Y-JddR-h4SP-UO5Ttk.
  Fix duplicate VG names with vgrename uuid, a device filter, or system IDs.
  Multiple VGs found with the same name: skipping vg1
  Use --select vg_uuid=<uuid> in place of the VG name.

raidintegrity: allow snapshots

Fix "multisegment RAID1, allocator uses one disk for both legs"

In case of e.g. 3 PVs, creating or extending a RaidLV causes SubLV
collocation thus putting segments of diffent rimage (and potentially
larger rmeta) SubLVs onto the same PV.  For redundant RaidLVs this'll
compromise redundancy.  Fix by detecting such bogus allocation on
lvcreate/lvextend and reject the request.

tests: more updates for 300M xfs

Fix some sizing for larger xfs testing.
Also fix resize of reiserfs which requires resize_fsadm.

tests: skip this testing without newer blkid

Testing xfs --fs functionality needs new blkid.

cov: hide some false positives

Hide some false positives.

Note: there must not a be blank line after coverity hiding comment.

cov: remove unneeded header file inclusion

cov: validate dev_get_primary_dev result

Make sure primary_dev is defined when using it.

tests: needs to be exported for tracing

tests: adapt for xfs 300M min size

Some test still were missed to be converted for XFS 300M min size.

tests: different check for mounted volume

It appears newer mount allows repeated mounting ??
Anyway - do the check with grep.

tests: check for lvmdbusd running in the system

Check for running (possibly leftover) lvmdbusd running in the
system - as this daemon may interfere with this test as in this
case both be operating on same  'live' data in /run/lvm.

tests: update lvextend tests

Make test faster by agregating sets of operation to work on a single
created filesystem yet checking all the variants of extension and reduction.

Split 'xfs' part into separate test and convert it for use of the
minimal size 300M nowdays required by mkfs.xfs.

aux: retry brd removal

Try to remove brd twice if there is some collision with udevd.
Instanciate only 1 ramdisk.
Use just 'eval' for '--nameprefixes' results.

aux: wipefs_a takes list of devices

Enhance function to take list of device so set of devices
can be wiped with a single call:

aux wipefs_a  "$dev1" "$dev2"

vdo: document feature option

cov: check syscall result

cov: remove unused but set variables

cleanup: correcting some log_print

Correcting to log_print_unless_silent(),
so -qq can do some work.

cov: some initializers

cov: hide problem with 64bit time_t

cov: validata top_lv

Add explicit pointer check is never NULL.

cov: ensure there is either vg or error_vg

Make it explicitely visible to coverity that
_process_pvs_in_vg() is not passing  NULL vg.

cov: ensure NULL baton is not dereferenced

cov: simplier code

Avoid coverity to contruct some abstract scenarions of 'cft'
modification and simplify the code at the same time.

Fix "lvconvert -m 0 will always take rimage_0 even if it is out-of-sync"

Bail out in case first rimage is out-of-sync.
Refresh first, i.e. "lvchange --resync $RaidLV",
then retry downgrade to linear after resynchronization.

lvreduce: make _lvseg_get_stripes handle integrity layer

lvreduce uses _lvseg_get_stripes() which was unable to get raid stripe
info with an integrity layer present.  This caused lvreduce on a
raid+integrity LV to fail prematurely when checking stripe parameters.
An unhelpful error message about stripe size would be printed.

pvck: improve error for write to existing file

lvmcache: fix valgrind error when dropping md duplicate

When lvmcache info is dropped because it's an md component,
then the lvmcache vginfo can also be dropped, but the list
iterator was still using the list head in vginfo, so break
from the loop earlier to avoid it.

tests: adapt waiting for pvmove start

Previous commit cause the pvmove could actually be started in unexpected
order - so make sure, we are not starting new pvmove in same VG until
the previous one is started.

tests: utils now print also df_h

Add info about space usage on devices after the test.

Add some more skipped dirs.

tests: some aux corrections

Keep backups within test_dir instead of dev_dir (so it doesn't
leak large files there if the tests are run over real /dev dir).

Move restoring of dm_mirror throttling before test_dir is removed.

tests: fix pattern for raid4

Since the strip in raid4 might be XOR - we might eventually end
with 2 blocks of 'B' on 2 disks - so will rest of stripe with 'b'.

tests: use 300M lv size for xfs

tests: try to retry remove of scsi_debug

Not quite sure if this helps anything, some of testing
machines can't reliably remove scsi_debug, reporting
they are in use - but it's not easily reproducible...

tests: handle multiple devs with wait_pvmove_lv_ready

aux wait_pvmove_lv_ready() now handles multiple pvmove LVs
at one go - which allows a bit fast checking - although
at some point we may need to switch to use delayed devs
since mirror throttling seems to be no longer working well,
as CPU are getting so fast, that most of data are already
pvmoved before throttling has any chance to do something...

tests: skip some unneeded test

Skip irelevant tests for polld & lockd pass.

aux: use unused brd device for testing

When 'brd' device can be removed (is unused AKA not opened),
remove such device and use again for testing.

Let's assume user has no unused brd device left in the system.

When the 'tests' sometimes fail to cleanup devices, with this
change futher cleanup from some next test may evenually release
brd device and make it available for testing.

aux: more efficient lvmlock shutdown

wipe_lv: use zeroing ioctl only for large sizes

There is no easy way to detect, whether device supports zeroing,
and kernel also zeroes device when it's not directly supported,
but with extra message:

operation not supported error, dev X, sector Y op 0x9:(WRITE_ZEROES)...

So to avoid generating such message with every 'lvcreate', use for
zeroing of upto 8K just standard write of zeroed page.
(maybe we can go with even larger sizes).

fix dev_name use in add_areas_line

This function was relying on dev_name() returning NULL
to indicate no device, but dev_name never returns NULL.

lvmdbus: preserve PATH envvar

tests: enforce 4K block for integrity fs

With raid tests it's important we don't get spread of 4K file
across 1K block on a multiple disk stripe - so use 4K block size
for ext4 fs.

aux: loop doesn't support zeroing discard

To avoid logging unsupported WRITE_ZEROES with loop,
disable usage for this backend device.

tests: hide some more file in error trace

Hide unneeded dev nodes.

makefiles: forgotten to install some test config

rpm testing missed config files.

test: use aux wait_recalc

Use aux function.

test: convert to use ext4

Modify test to check same properties with less demanding ext4.

aux: don't use to new dd options

Actually  oseek comes only with rawhide's version,
just use the standard option name.

tests: add data sync

aux: add wait_recalc

Share function across tests.

tests: convert to use ext4

Convert test to use only ext4 instead of 300M demanding XFS.
Shorten  'B' files to 4K and use 4K strip size with >raid1 arrays
so we do not risk spreading of the file across stripe.

Also use easier 'aux corrupt_dev()' method to introduce a bit
corruption into a block device with integrity.

TODO: shorten _wait_recalc (should't be needed).

tests: use aux clear_dev

Use wrapper over 'blkdiscard -z'

aux: add corrupt_dev

Add function to corrupt some bytes in give file path presenting
a device.  1st. patern in just once replaced with 2nd. pattern.

Usable to simulate some bit corruption for integrity devices.

aux: add clear_dev

Function that will use 'blkdiscard -z' and fallbacks
to 'dd' when such option is not available.

post-release

pre-release

lvmdbusd: Add a flag to activate LVs in shared mode to Lv.Activate

cache: fix snapshot of cache with cachevol

Creating a snapshot of a cache LV with a cachevol would fail
because cache_check was not being skipped.

remove extra change from support 16KB page size

support 16KB page size

WHATS_NEW: update

tests: use less demanding ext4

tests: lower demand for disk resources

Convert test to use a single skeleton and only different pieces
keep in separate tests.

Lower raid disk usage to smaller size and switch to ext4
as way less demanding fileystem.

vdo: use fixed size vdopool wrapper

Instead of using size of 'empty header' in vdopool use fixed size 4K
for a 'wrappeing' vdo-pool device.

This fixes the issue when user tried to activate vdo-pool after
a conversion from vdo managed device with 'vgchange -ay' - where
this command activated all LVs with 'vdo-pool' wrapping device as well,
but this converted pool uses  0-length header.

This 4k size should usually prevent other tools like 'blkid' recognize
such device as anything - so it shouldn't cause any problems with
duplicate indentification of devices.

cleanup: rename function

Rename _thin_lv_has_device_id and use common function naming
with _lv_has_thin_device_id().

cleanup: simplify

configure: update

autoreconf

configure.ac: print locking dir

Correcting output results from configure script when
printing locking dir.

Shuffle dmfilemapd close to dmeventd option and tracing.

Couple indent changes.

integrity: hide creation of internal LVs

Creation of 'hidden' local LVs should be visible only in
verbose mode (-v) when creating a raid LV with integrity.

raidintegrity: allow writecache and cache

Allow writecache|cache over raid+integrity LV.

tests: integrity fixes

wait_recalc was mistakenly being called on raid without integrity
wait_recalc loop was exiting without error

lvmdbusd: Correct seg. fault on s390x ELN

syscall 186 is specific to x86 64bit.  As this is different from arch
to arch and between same arch different arch size we will only grab
thread ID using built-in python support if it is supported.

Resolves: https://bugzilla.redhat.com/show_bug.cgi?id=2166931

lvmdbusd: Correct locking for _common_log

Reduce the lock time and include the flush in the lock.

Reported by: Zbigniew Jędrzejewski-Szmek <zbyszek@in.waw.pl>

Fix import of utils from lvmdbusd.cfg

Signed-off-by: Adam Williamson <awilliam@redhat.com>