devices: refresh device ids if the system changes

If the system changes, locate PVs that appear on different devices,
and update the device IDs in the devices file.  A system change is
detected by saving the DMI product_uuid or hostname in the devices
file, and comparing it to the current system value.  If a root PV
is restored or copied to a new system with different devices, then
the product_uuid or hostname should change, and trigger lvm to
locate PVIDs from system.devices on new devices.

WHATS_NEW_DM: update

tests: check exit_on works

debug: correcting check for error

Correct trace for erroring case of close.

debug: correct level

No error for just tracing message.

dmeventd: implement exit_on file check

When exit on file is present in a system and term/break signal is
catched, them dmeventd is no longger refusing to exit.

For the correct shutdown, there should be ideally unmonitoring call,
however in some case it's very hard to implement this correct procedure.

With this 'exit on' file dmeventd at least avoid 'blocking' shutdown,
before systemd kills use with -9 anyway possibly even in some unwanted
stated of internal dmeventd processing (i.e. in the middle of some lvm
command processing).

configure: autoreconf

configure.ac: add --with-dmeventd-exit-on-path

dmeventd: info status report

To quickly get info about some internal dmeventd status,
implment   'dmeventd -i' support.

Reported messages are some 'raw' internal informations mainly
useful to developers.

dmeventd: unregister all devices on restart

Instead of just exiting in the middle of monitoring,
unregisted all monitored devices first and then exit.

To speedup this path, all send internal SIGINT when thread
unregiters itself, to wakup-up main sleeping loop.

dmeventd: use return

Use 'return' instead of calling exit() when possible.

dm-event: reset descriptors

Reset descriptors after closing them to -1.

dm-event: release buffer on dm_event_get_version

Avoid memory leak in this function.

dm-event: enhance timestamp for debugging

Add microseconds for timestamps in dm-event trace messages.
Also collect timestamps only when debugging when they are used.

lvmdbusd: fix syntax warning

python3.12 reported SyntaxWarning: invalid escape sequence '\/'

WHATS_NEW: updates

typos: misc

tests: check pvmove with raid legs

Check pvmove correctly handles raid legs on input
(testing previous pvmove fix).

pvmove: fix building sibling raid lv name

Make a local copy of the 'idx' string to avoid
overlapping during the rebuild of name.

This fixes cases where users specified raid
component LVs for moving.

Reported-by: kotarou3@github.com

tests: add fsck after split

vdo: typo fix

Argh - lastmin mods...

tests: skip test when lvmdbusd runs on the system

lvmdbusd changes $RUNDIR results.

tests: update for work in fake dev environment

No write outside of $LVM_TEST_DIR  (removed /test access).
Use 'aux prepare_scsi_debug_dev' for automated scsi_debug handling
Properly use "" around shell vars.
Smarter read of PVS values.
Relax requirement to only work with real /dev dir.

tests: enforce full fs check

tests: pvmove large disk area

With some faster test hw machine we need to make this test
a bit more resource consuming.

tests: missing to check for writecache support

Ono more case requires writecache presence.

tests: aux using singl lvmconf call

lvmconf can handle multiple options in a single pass.

tests: aux try with extra sleep

Since udev_wait is not really adding any major delay to wait
for any udev worker processing - add extra sleep .1.

vdo: avoid using of valuesonly

To retain backward compatibility with some older version of lvm
avoid using --valuesonly option with lvmconfig.

test: improve aux teardown

Handle the case of device teardown where the first pass
could have only a single, but opened device, for removal.
In such case we want to at least once go through
the udev_wait and retry removal again.

TODO: maybe a sleep .1  might be usable as well with udev_wait

gcc: warning: missing braces around initializer

Fix warning emitted by some older gcc...

vdo: better support for devicesfile

Instead of relying on 'pvs' output - check directly system
configuation and use lvmdevice accrording to use_devicesfile setting.

Also drop use of --fs ignore for filesystem extension for better
backward compatibility with older lvm version.

Shuffle code a bit so the '--no-snapshot' path does not execute
a few unnecessary commands.

WHATS_NEW: updates

gcc: fix warnings for x32 architecture

Warning from x32 ABI compilation.

debug: missing dots

vdo: lvm_import_vdo enhancements

Work also with devices that may have ':' inside their generated
/dev/disk/by-id

Ensure there is no race with systems' auto activation while using
the snapshot for conversion.

Update system's vdoconf.yml after the use of snapshot for conversion.

Skip unnecesary prompt for 'convert' while using snapshot and query only
for final snaphot merge.

Prohibit conversion for a device with the PV header.

Enhance 'trap' protection for more signals.

Improve clean() recovery path.

Replace bash 'test' command with [].

Correct some output message to print $TOOL.

Support also options without '-' in the middle i.e. --nosnapshot.

For shellcheck predefine all variables extracted from vdoconf.yml.

lvresize: fix 32 bit overflow in size calculation

make: generate

tests: disable logging for lvmdbusd

Since lvmdbusd testing tends to do its own logging,
try for now to disable very generic logging mechnanism
of the test suite and see the result.

Some lvmdbusd test seems to rely on some log/file logic
which is modified with the use of these shell vars.

tests: check for writecache

Writecache needs writecache kernel target to be present.

tests: check for binaries

vdo wrapper tool uses some 'locally installed' binaries
for vdoformat and vdoprepareforlvm
Chech for their presence.

Skip this test with lvmlockd.

WHATS_NEW: update

tests: vdo scsi convert

Somewhat tricky test to check VDO import of a SCSI device.

tests: vdo convert

Require VDO version 6.2.3.

Skip the part of the test that needs vdo wrapper and 2 different
versions of vdoprepareforlvm to prepare shifted VDO header
at the 2MiB offset.

tests: check passing PV list

tests: vdo wrapper support symlinks

Enhance internal VDO replacement wrapper script to handle symlinks
for i.e. SCSI device like VDO manager.

aux: teardown also devices with testing UUID

Hunt also for devices with LVMTEST prefix in UUID.

Call teardown_devs_prefixed - so if they hold RAM or SCSI
they are closed before trying to remove kernel modules.

debug: trace result failure

debug: drop stack from regular path

debug: check for syscalls

Add some debug checks for possibly failing syscalls.

clang: ensure all variables intialized

Just in case of some wierd kernel bug, which would forget
to report these values...

clang: ensure status is initilized

Initialize status before handling error path.

filesystem: move stat after open check

To avoid time-of-check-time-of-use clash, take the stat()
after successful open with fstat().
Also add some debugs for failing sys calls.

dmeventd: move var set to locked section

It should not change the actual code flow, however make the
set of the current_event variable inside locked section.

lvconvert: thin conversion accept passed PVs

When creating thin pool or check pool there is allocated LV
for metadata and for such allocation user should be able to
specify list of PVs on cmdline.

Also fix unused passed list of PV for thick to thin conversion,
where the code was using whole PV set from a VG (but since it's
been not enabled on cmdline, user could not hit this issue).
Also remove unneeded initialization of use_pvh.

vdo: enhance import script for devices file

When the import is used on a system, that uses devices file,
the final activation was impossible for the case the converted
volume was not present in devices file.
Currently add volume automatically in such case.

Also add some more debugging output from the script.

TODO: Consider enhnacing lvconvert with extending devices file.

vdo: lvm_import_vdo uses devname from vdoconf.yml

VDO is using specific path for some device paths.
i.e. for /dev/sda it could be /dev/disk/by-id/scsi-xxxxx.

This used to be not a problem before lvm2 started to use snapshot,
but now it needs to replace matching device path.
So switch to the path naming used in vdoconf.yml file.

lvmlockd: client mutex ordering

Avoid deadlock between threads on mutexes (in theory.)

vgchange: acquire an exclusive VG lock for refresh

Concurrent vgchange --refresh commands can lead to hung
tasks in dm code.

Signed-off-by: wangzhiqiang <wangzhiqiang95@huawei.com>

man: dmsetup: document --headings

tests: add shell/report-headings.sh

man: update lvmreport man page about report/headings and --headings

make: generate

dmsetup: support printing full column names in report headings

Add '--headings none|abbrev|full|0|1|2' command line option to select
the heading type.

  none|0   - no headings
  abbrev|1 - column name abbreviations
  full|2   - full column names (column names are equal to exact names
             that -o|--options also accepts to set report output)

report: support printing full column names in report headings

Reuse existing report/headings config setting to make it possible to
change the type of headings to display:
  0 - no headings
  1 - column name abbreviations (default and original functionality)
  2 - full column names (column names are equal to exact names that
      -o|--options also accepts to set report output)

Also, add '--headings none|abbrev|full|0|1|2' command line option
so we are able to select the heading type for each LVM reporting
command directly.

libdm: report: support reporting field IDs in headings

Add new DM_REPORT_OUTPUT_FIELD_IDS_IN_HEADINGS report output flag.
If enabled, column IDs are reported instead of column names in report
headings.

The 'column IDs' are IDs as found in 'const struct dm_report_field_type *fields'
array that is passed during report initialization (that is, a call to
dm_report_init/dm_report_init_with_selection). In this case, the 'id'
dm_report_field_type member is used instead of the 'heading' member.

gitignore: update

gcc: initialize variables

tests: better slowdown

CI: Add timeout

Increase timeout from default 1h to 2h.

tests: skip some tests with valgrind

Valgrind tends to be too slow for any kind of slowing down,
thus skip some tests that are time sensitive.

debug: common error handling

cleanup: move allocation code

Allocate new memory after validation passed.

lvconvert: run error path code only for shared VG

Error path for locking only for share VG.

lvconvert: move _pmspare handling before conversion

pool: use predefined name for metadata LV

While create new LV for pool volume, use name from 'pool_metadata%d' naming
sequence. This LV is later on renamed to  pool_t/cmeta, but if there
is any error in the middle, we may evenutally leave some 'volume',
With this name it can be slightly more obvious how it got there,
but also when we handle _pmspare name - we get slightly more predictible
name used there for it.

However for a standard usage this commit shall no visible impact as the
name is used temporarily just for cleaning LV.

lvmlockd: fix lvconvert to thin-pool

lvmlockd: let lockd_init_lv_args set lock_args

Set the lock_args string in addition to doing initialization.
lvconvert calls lockd_init_lv_args() directly, skipping
the normal lockd_init_lv() which usually sets lock_args.

lvmlockd: fix thick to thin lv conversion

tests: update pool uuid handling

Pools now preserve meta LV UUID with swapmetadata operation
to make the usage of lvmlockd easier.

Update test to reflect this change.

gcc: cleanup warnings

Correcting signess comparation.
Also use standalone /* fall through */ comment as that's
the only one supported by gcc to quiet warning.

cleanup: no longer used

Previous commit made this var unused.

make: make install_libexec a target of install_lvm2

This makes sure libexec scripts are available for lvm2 commands.

lvconvert: use vg mempool

Keep allocation for a VG within vg memory pool.

lvconvert: fix regresion from integrity check

Testing code sliped into commit and cause regression in testing for
a raid with integrity.

lvconvert swapmetadata: update lvmlockd locking for uuid exchange

lvmlockd locking for swapmetadata adjusted for commit
ac36153e9943 lvconvert: preserve UUID for swapped metadata

Now that the LV uuid is swapped between LVs, the lvmlockd lock can
simply be moved between them, and the same lock can continue to be
used for the LV outside of the pool.

WHATS_NEW: update

debug: add missing log_error

Report error with failure.

debug: use just single label

debug: use common error exit path

lvconvert: vdo needs writable LV

commands: add lv_is_writable

lvconvert: fix ret values fro integrity remove

Fix return value from _lvconvert_integrity_remove()
as it is expected to match _add() and be 0/1.

Also add some missing log_error() messages.

lvconvert: preserve UUID on pool repair

Once lvm2 repairs pool's metadata LV and preserves the original metadata LV
with unmodified metadata, for such LV in VG use newly created UUID for new
_pmspare and actually preserve UUID for this hidden _pmspare (if it
exists).

lvconvert: preserve UUID for swapped metadata

When swapping metadata LV for a pool volume, preserve UUID for metadata
LV during the swap - this allows to better utilise locks with lvmlockd.

lvconvert swapmetadata: fix lvmlockd locking

The lockd lock needs to be freed for the LV that is becoming
the new metadata LV, and a new lockd lock needs to be created
for the old metadata LV that is becoming an independent LV.
Fixes b3e45219c2f4

device_id: rewrite validation of devname entries

The old approach was too complicated and didn't work correctly
in some cases.

CI: Add .gitlab-ci.yml

post-release

pre-release