lvconvert: hanle metadataswap with lvmlockd

mm: add libzstd to ignore list

No need to lock-in-RAM libzstd (linked from systemd).

tests: check --test

Check lvconvert --thin is not adding more LVs.
Enable testing with lvmlockd.

TODO: lvmlockd is missing support for --test.

tests: more checks with active thin lv

Check --usepolicy works primarily when thin-pool -tpool is there.
Also let the test run with lvmlockd.

tests: skip with lvmpolld

Not needed with lvmpolld pass.

cleanup: indent

lvresize: improve usepolices

lvresize --usepolicy requires resized LVs to be active.
(So it's not only required for shared VG).

The test for active pool needs to use lv_info to query 'layer'
otherwise the pool is considered inactive if it was not activated
explicitely - thun 'implicit' activation with VDO or ThinLV was
not managed by --usepolicy option.

lvmlockd: enable vdo conversion

As we turn 'already' active/locked LV into a data LV of vdopool,
we just keep active lock for such volume (uuid is preserved).

lvmlockd: query the simplest check first

Check for visibility of the LV first.

TODO:

Short check list and test only for those that can't be locked,
but they are visible LVs.

lvconvert: thin convert locking

Fix locking when converting thick to thin LV, ensure
we take pool lock for shared VG.

lvconvert: no metadata for test mode

Avoid trying to build real metadata in --test mode.

man-generator: ensure p is defined

In error path, p pointer could have been undefined.

debug: missed properly modify pointer type

tests: improve LD_LIBRARY_PATH setting

Some linkers do need libdevmapper-event-lvm2.so.2.03,
so add also this symlink to the tests  /lib dir.
This fixes the need to use previous LD_LIBRARY_PATH complex
setting and now works with much shorter list.

tests: update

Just drop debug log in case of error happenig later,
so we do not print uneeded info...

tests: use conf=fdatasync

Since we write here in 1k blocksize - we can't use direct.

tests: skip test if daemon is running

Skip the test, to avoid making all test failed when there is
'left' daemon running.

makefiles: install lvmdbusd executable

Use a different mechanism to ensure, lvmdbudd is executable at
install destination.

makefiles: remove autom4te.cache

For 'make distclean' remove also autom4te.cache
(from autoreconf).

gcc: correct signess comparation

Compare int to int and unsigned to unsigned...

lvchange: add log_error for failure path

When change of monitoring fails, ensure there is log_error() printed.

debug: fix sscanf type

Last commit c38b668fc3ead664a35130c1acec63518630d1dc was pushed
with type 'scanf' instead of 'sscanf' needed for buffer reading.
Interestingly this caused scanning from 'stdin' descriptor and
thus failures in lvm shell usage.

Update README

WHATS_NEW: update

tests: some fixes for lvmlockd testing

tests: reduce paths added to LD_LIBRARY_PATH

Add only stricly needed paths to compiled .so objects.

tests: check for writecache presence

Test is using writecache.

tests: makefile build proper tools list

Add compiled components to the list.

debug: use display_lvname

debug: fix parsing of /proc/self/stat

The code in init_log_file relies on the process name (COMM) to not
contain whitespaces. This change fixes it by looking up the right-most
parenthesis to safely jump past COMM.

For more context see:
https://www.openwall.com/lists/oss-security/2022/12/21/6

Code is only used with testing, so it should have no impact on regular
users.

Reported-by: Hugues Evrard <hevrard@google.com>
mm

cov: fix memleak in vgchange

Release allocated  vgname from get_single_vgname_cmd_arg()
when it is not returned via *vgname_ret.

cov: hide some messages

Living with these...

autoconf: update py-compile

Use newer version of this script from:
https://raw.githubusercontent.com/autotools-mirror/automake/4bd4640e03670e267d9763d377f107c09b4f2202/lib/py-compile

Reported-by: Adam Willamson

lvconvert: correction for thin conversion

Updates for 39457234db1d92f89d4234e2f2f5b703206281ae.
Off-by-one for option array - need 20 fields.
Missed to clear lock_args for cachepool.

README: Move to gitlab

WHATS_NEW: updates

lv: followup seg_monitor reporting

With 3596558861e62ca0c6f37bfba6a4e80e46dcca47 it's been introduced
a more fine grained description.
However 'disabled' might be actually more confusing then empty field,
so keep only the info about 'not enabled'aka dmevend is not allowed
to monitor LV which otherwise could be monitored.

tests: use aux functionality

Use aux wait_recalc and wait_for_sync  for faster processing.

tests: update thin

man: update for new syntax

pool: improve message for data persistance

Inform a user that pools using either error or zero LVs are
not able to keep any data persistant.

lvconvert: support conversion to thin volume

Update pool conversion function to handle also conversion of
thick LV to thin LV by moving thick LV into thin pool data LV
and creating fully provissioned thin LV on top of this volume.

Reworking existing conversion to use insert_layer_for_lv co
the uuid is now kept with thin-pool - this should however not
really matter as we are doing full deactivation & activation cycle.

With conversion to thin LV user can use same set of arguments
to set chunk-size.

TODO: add some smart code to decide best values for chunks sizes.

cleanup: typos

cleanup: use spelling synchronize

Use single spelling form for synchronize.

tests: caching of single thin volume

tests: cache with error and zero

tests: skip on kernels

lv_manip: fix move_lv_segments moved bits

For proper functionality of insert_layer_for_lv we need to
move more bits to layerd LV.

Add some missing new types and correct usage of caller,
so the new LV type is set after the movement.

pool: do not pass empty string in callback

When preparing cmdline to executing dmpd tool, avoid adding
empty string ("") on such line.

cache: update validation rules

Validate cache origin in front of the prompt.
Also add some rules to command description file.

TODO:
more validation needed also for lvcreate,
more complex rules with "OR" seems to be needed.

cache: support more segtypes for caching

Enable support to cache thin/error/zero virtual targets.

Use can now select whether he want to cache whole thin-pool,
or an individual thin volume out of whole thin-pool.
Support using zero and error LVs as data volume for
cachepool is possibly useful for benchmarking, not much
can be expected from such setup.

cache: handle error segtype

Allow to convert error LV.

cachepool: skip wipe for nonzeroeable segments

Avoid activation when going to skip zeroing of 'error' segtype
(so it's not erroring out).
Also skip zeroing for 'zero' segtype LV (already being zero).

pool: support passing data_lv for recalculation

Support data_lv to be passed as parameter when it's not yet
attached to the pool.

commands: error and zero segtype handling

Add function to work with error and zero LVs more easily.

commands: enhance error checking for generator

No exit value 0, when the parser hits an error.
Increase some buffers since as some arg lists are getting longer.

commands: support query for lv_is_cow

segtype: add missing macros for error and zero segment

Add macros for checking error and zero segment as we do
with other segtypes.

snapshot: no error when extending above max size

When lvm2 calculates the maximal usable COW size and crops the user
requested size to this value, don't return the error result from
the 'lvextend' operation.

We already apply the same logic when resizing thin-pool beyond
the supported maximal size.

FIXME: The return code error logic here is somewhat fuzzy.

vdo: support version 4

Properly parse VDO volumes formatted with geometry block version 4.0.

pool: avoid using artificial name internally

lv: more details about monitoring lvs

Show "not supported" when LV does not support dmeventd monitoring.
Show "disabled" for LV with disabled dmeventd monitoring.
(lvdisplay -m)

lvm_import_vdo: spelling fixes

vdo: lvm_import_vdo correct parsing output

Output from vdo manager may actually indent output with spaces,
so trim leading and ending space.

Also add support for verbosity flag for vdo conversion tool.

vdo: indent for lvdisplay

vdo: check_point_frequence is unused option

This vdo parameter existed in the early stage of integration of vdo into lvm2,
but later it's been removed from vdoformat tool - so actually if
there would be any non-zero value it would cause error on lvcreate.
Option was not stored on disk in lvm2 metadata.

Remove this vdo parameter from lvm2 sources.

(Although this vdo parameter will be still accepted on cmdline through
 --vdosettings option, but it will be ignored.)

tests: simplify

tests: require raid target

tests: correct checked devices

Fix the testing logic.
With raid5 device the layout of files on a filesystem does not define
which leg will actually contain the block we try to damage.
So test will now figure out which device has damaged block.

Use 'check' functionality and also drop unneeded random write as we
now can identify easily in other way.

tests: correct generated metadata

Newer thin_check actually rejects such restored data.

WHATS_NEW: update

make: generate

debug: add backtraces

aux: add configuration for thin_restore and check_restore

tests: improve test for machine_id

tests: ensure test defines its own etc dir

Compilation may configure it's own /etc path so ensure the test
has a defined location for access to this dir during testing.

Also prepare machine_id filei (with the use of uuidgen tool)
for the test.

tests: fix path to dev dir

Correct some explicit references to /dev and use $DM_DEV_DIR.

thin: add cfg support for thin_restore and cache_restore

Add configurable paths for thin_restore and cache_restore.

tests: update test for automatic virtual size correction

lvm_import_vdo will adjust the virtual size within conversion
so the volume can be use without any futher tweaking.

lvm_import_vdo: correct the converted virtual size

Ensure the volume after conversion has the properly aligned size to the
volume group extent size. This would be visible when using virtual size,
that cannot be divided by extent size.

Before the user had to manually adjust the size after conversion to get
access to all data stored on VDO volume.

lvcreate: allow thin snapshot syntax that broke

The command "lvcreate --type thin --snapshot ..." to create a thin
snapshot would fail.

commit d651b340e68d97ada25e558eb50aa40062bba936 removed the optional
"--type thin" from the command definition "lvcreate --snapshot LV_thin",
and added --type thin as AUTOTYPE.  This was correct and should not have
changed anything if all the command defs were correct, but it broke
the "lvcreate --type thin --snapshot" case.  It reveals a problem in a
different command definintion:  "lvcreate --type thin LV_thin" that was
missing --snapshot in its OO list.

tests: lvresize fs mounted multiple times

lvresize: fix multiple mounts

which was mistaken as a mounted LV that had been renamed.

device_id: ignore leading and trailing spaces for sys_wwid and sys_serial

Leading and trailing underscores are also ignored to handle device ids
written by previous versions which replaced all spaces with underscores.

tests: Skip integrity tests if target not present

tests:  tmp is used for TMPDIR

Fixes tests failing due to previous commit 734d9791f817.

WHATS_NEW: update

tests: updates

Add some more complicated conversion tests.

tests: vdo manager wrapper tool updates

Support size specification in KiB units.
Add some theoretical support for some new options from vdoprepareforlvm.

tests: tmp dir inside test dir

Keep even temporary files within testing dir so generated files are
not left behind in system's /tmp directory.

cov: drop unneeded constness

If we want to have const structure - use a const pointer to avoid,
however making individual members const make it only assingle
in construct time and we already violate this logic since
we memcpy into the structure -  so drop these unnecessary consts...

vdo: man updates for lvm_import_vdo

vdo: enhance lvm_vdo_import

Add support for usage of 'dm-snapshot' for doing whole device conversion
in a snapshot which could be merged once the whole conversion has been
made.
This helps with cases where there would be any unexpected failure in the
middle of conversion process and user can continue using original
device until problem in conversion is fixed.

Import tool now uses 'truncate' tool to create a small backend file (20M) for loop device
to hold COW exception store.

Option  --vdo-config has been added to allow specifing location of vdo
configuration file.

Option --no-snapshot allows to use import tool without creation of
snapshot, however recovery after finished VDO conversion and unfinished
lvm2 conversion is then very difficult.

Option --uuid-prefix allow to specify DM UUID prefix for snapshot
device.

Use read with -r.

vdo: fix and enhance vdo metadata reader

Improve metadata parser to handle volume_geometry bio_offset,
which needs to be substracted from 'region' start_block when present.

This bio_offset block is non-zero i.e. with converted VDO volumes.

Also fix some converted structure value (but they are not in use).

cmd_enum: correct inclusion

Ensure we use generated header file for this build from -Iinclude.

Reported-by: Anton Lundin <glance@ac2.se>

device_id: fix handling of non-PV with duplicate serial number

Fix in the code that matches devices to system.devices entries when
the devices have the same serial number.  A non-PV device in
system.devices has no pvid value, and the code was segfaulting
when checking the null pvid value.

man: lvmraid update limitations

reporter: restore report type to initial value after processing report_for_selection

If we are executing 'report_for_selection' to do an internal report
just for the selection itself (not for display), we can call it more
than once. In that case, we are reusing the same selection handle
(e.g. inside 'process_each_lv_in_vg').

The selection handle has 'report_type' field which is a union of all
report types needed for the report based on selection fields we actually
use.

The 'report_type' is further clarified based on checks and rules inside
'_get_final_report_type' which 'report_for_selection' calls. Then, this
final report type unambiguously identifies proper branch to take in
'report_all_in_{pv,vg,lv}' that is called next.

If the 'report_for_selection' is called more than once with the same
selection handle, we need to make sure that we always restore the report
type to its initial value, so all the rules inside 'report_for_selection'
are applied correctly next time.

This patch fixes the missing restoration of the 'report_type' value in
'selection_handle' that is reused for recurring 'report_for_selection'
calls.

An example scenario where this failed was with selecting an LV for
removal with "lvremove --select" while using a field in the selection
that required extra DM info or DM status call for the LV (that is,
"Logical Volume Device Info Fields" and "Logical Volume Device Status Fields"
as visible in 'lvs -S help').

lvreduce: simplify _lvseg_get_stripes integrity check

Simplify unnecessary loop to avoid coverity complaint.

device_id: ignore trailing underscores in t10 wwid from devices file

In previous lvm versions, trailing spaces at the end of a t10 wwid would
be replaced with underscores, so the IDNAME string in system.devices
would look something like "t10.123_".  Current versions of lvm ignore
trailing spaces in a t10 wwid, so the IDNAME string used would be
"t10.123".  The different values would cause lvm to not recognize a
device in system.devices with the trailing _.  Fix this by ignoring
trailing underscores in the IDNAME string from system.devices.