dmstats: only generate aux data separator if group tag is defined

Fix a bug in _stats_set_aux() that causes bogus data to appear
in the 'userdata' field of stats reports when previously grouped
regions are ungrouped:

/var/tmp/File With Spaces: Created new group with 1 region(s) as group ID 0.

Removed group ID 0 on fedora-root

Name             GrpID RgID ObjType RgStart RgSize  #Areas ArSize  ProgID  UserData
fedora-root          -    0 region    6.39g 100.00m      1 100.00m dmstats #-
                                                                           ^^
This is the aux_data separator character followed by empty user data.
The _stats_set_aux() function should only emit the separator if
there is a valid group descriptor for the region.

Add more dmstats integration tests

Add new tests for filemap, group/ungroup, histograms, precise timestamps
and userdata.

Quote path value in --filemap debug messages

Improves readability of debugging output when file paths contain
whitespace.

dmstats: support group aliases with embedded whitespace

Creating a group with a name that contains whitespace causes an error in
the @stats_set_aux message:

device-mapper: message ioctl on  (253:0) failed: Invalid argument
Could not create regions from file /var/tmp/File With Spaces.

Fix this by quoting the group alias and backslash escaping any
embedded space characters.

Refactor _stats_parse_list_region()

Refactor the function that parses regions from @stats_list data to
separate the parsing of variable string data from the fixed parts
of the @stats_list response.

Rename _stats_set_aux() argument

The aux_data argument of _stats_set_aux() is the user-defined data
to be stored with the stats region. Rename the argument to better
reflect this.

dmstats: use correct value for precise in _stats_create_file()

Clean up group struct in _stats_create_group() error path

Fix a double free in the error path from _stats_create_group() by
clearing the group struct embedded in the dm_stats handle before
returning:

    device-mapper: message ioctl on  (253:0) failed: Invalid argument
    Could not create regions from file /var/tmp/File With Spaces.
    free(): double free detected in tcache 2
    Aborted (core dumped)

_create_and_load_v4: propagate ioctl errors back to caller

When setting up dm-verity devices with signed root hashes it is very
useful to have a recognizable error code when a key is not present in
the kernel keyring. Turns out the kernel actually returns ENOKEY in that
case, but this gets lost in libdevmapper.

This fixes this: in _create_and_load_v4() it copies the error code from
the ioctl from the sub-tasks back to the main task field on failure.

This is not enough to make libcryptsetup actually propagate the ENOKEY
correctly, that also needs a patch to libcryptsetup, but this is part of
the puzzle.

device_id: fix hints with device ids

Fix some interactions between device IDs and hints.  Hints
may limit the scanned devices which should not always trigger
a search for the PVs that were intentionally not scanned.
Hints should also be invalidated if they contain a device
that's become excluded by an internal filter such as the
device_id filter.

device_id: refresh devname idnames if any are not found

Search for a PV on other devices if it's a devname entry
and the name doesn't exist on the system.  This restores
code that should not have been removed in commit 1901a47df
"device_id: fix conditions for device_ids_refresh"

device_id: fix lvmdevices update segfault

From commit 1901a47df12
"device_id: fix conditions for device_ids_refresh"

tests: delay_dev to slowdown pvmove

throtling mirror device is becoming useless with faster CPUS,
as way to many data can be transferred before throttling steps-in.
So prefer using  dm-delay for test and keep throttling as fallback.

tests: skip test if the memory cannot be allocated in kernel

tests: ignore failure from stop

tests: add delay to let dmevent initalize

There is short time period needed to fully initilize dmeventd and
handle 'kill' signal.

debug: fix message severity levels

Add some missing WARNS and correct some severity levels.

device_id: fix conditions for device_ids_refresh

Fix commit 847f1dd99cb74
"device_id: rewrite validation of devname entries"

which began calling device_ids_refresh() in cases where it
was unnecessary, leading to extra PV searches and warnings.
Specifically, a command like "lvs <vg>" would use the hints
file to scan only devices for the named VG.  This means that
scanning other PVs would be skipped, and device IDs of those
PVs could not be validated because there are no PVID values
to verify.  This missing info would cause messages about
the missing info, and would cause device_ids_refresh to
search for the PVs that had been intentionally skipped.

tests: previous patch wrongly replaced tab

Tab overwrote first char instead of insert.
Actually it should be a single function.

tests: more complex check for resize of reiserfs

Detection of how the command is supposed to behave actually depends on
the configure.h compilation and whether binary is compiled with
HAVE_BLKID_SUBLKS_FSINFO.

This makes it somewhat complicated in a way how to recognize which
behavior is expected.

Currently we can eventually recognize by checking error output
of some 'random' lvresize command and see if the --fs checksize is
actually recognized and rejected.  If this changes - test needs
to be updated.

tests: utils use read without slash mangling

Do not use backslash as escape character for path.

tests: better coredump lookup

Some bash version may have problem with contruct:
done < <(

Replace it with array reading.

tests: retry removal

After umout we may race with system udevd rule - so
just retry once again after 1s sleep - that should be
enough - otherwise we would need some loop here...

tests: convert to heredoc string

Multi-line echo command are problemat across variety of bash version
and may have produce shorter results.
Convert to stable heredoc string with 'tab' skipping <<- for better
formating.

filters: leave device_id_sysfs_dir only for device_id

Do not use filters for sysfs with device_id.

tests: fix reader for runner

Since we now push more data into journal, parser reading this file
for --continue mode need to be adapted.
Also properly align batch mode with '.' for max test length name.

filters: sysfs use device_id_sysfs_dir

This is mainly useful in internal testing - but keep sysfs dir also
passed to filter.
Also drop use of static variable within sysfs filter and base whole
config at creation time.

tests: old g++ needs explicit cast

tests: give some more time to die

VMs are not top performers here...

tests: restore old fsync method

New code isn't portable across wider range of c++ compilers.

tests: give dmeventd some time to restart

We need to wait for a new dmeventd as fork new daemon from bash.

tests: add RT_LIBS for older g++

tests: restore fsync for runner

Restore fsync() call For more accurate tracking by buildbot.
Try different rather tricky way of static_cast to use
already opened FD instead of seperate open(),fsync(),close().

It's pretty strange there is no way to enforce fsync() for
C++ iostreams.  Flush() is actully not equal.

make: generate

tests: skip some tests on valgrind run

Skip some tests that takes too much time with valgrind pass.

tests: aux use dmsetup concise

A bit faster creation of multiple devices with dmsetup --concise.
Also solves the 'cookies' handling.

tests: faster creation of 200 PVs

Use already existing optmized aux version

tests: runner compatible with older g++

Avoid using some constructs available with newer C++ only.
Moving timing into to journal instead of list file.

tests: better handling of system dir

Use more consistenly location of etc dir in tests.
Read value of etc dir via lvm cmd.

tests: reiserfs needs fsadm

With plain -r we currenly issue an error message.

tests: reduce slowing down of device

Too high value currently may result in occasional race problem with
device deactivation.

tests: aux reuse already pgrep of dmeventd

Test already checks if there is any dmeventd running in the system
in the inittest.

tests: enhance runner

Add Timespec class to increase time resolution to miliseconds
(can switch to microseconds if ever needed).
Use more const and const_interators and pass by reference.
Output rusage also to list result file.
Reduce inlining of C++ constructors.

debug: stacktracing failure

debug: correct check for failing close

devices: refresh device ids if the system changes

If the system changes, locate PVs that appear on different devices,
and update the device IDs in the devices file.  A system change is
detected by saving the DMI product_uuid or hostname in the devices
file, and comparing it to the current system value.  If a root PV
is restored or copied to a new system with different devices, then
the product_uuid or hostname should change, and trigger lvm to
locate PVIDs from system.devices on new devices.

WHATS_NEW_DM: update

tests: check exit_on works

debug: correcting check for error

Correct trace for erroring case of close.

debug: correct level

No error for just tracing message.

dmeventd: implement exit_on file check

When exit on file is present in a system and term/break signal is
catched, them dmeventd is no longger refusing to exit.

For the correct shutdown, there should be ideally unmonitoring call,
however in some case it's very hard to implement this correct procedure.

With this 'exit on' file dmeventd at least avoid 'blocking' shutdown,
before systemd kills use with -9 anyway possibly even in some unwanted
stated of internal dmeventd processing (i.e. in the middle of some lvm
command processing).

configure: autoreconf

configure.ac: add --with-dmeventd-exit-on-path

dmeventd: info status report

To quickly get info about some internal dmeventd status,
implment   'dmeventd -i' support.

Reported messages are some 'raw' internal informations mainly
useful to developers.

dmeventd: unregister all devices on restart

Instead of just exiting in the middle of monitoring,
unregisted all monitored devices first and then exit.

To speedup this path, all send internal SIGINT when thread
unregiters itself, to wakup-up main sleeping loop.

dmeventd: use return

Use 'return' instead of calling exit() when possible.

dm-event: reset descriptors

Reset descriptors after closing them to -1.

dm-event: release buffer on dm_event_get_version

Avoid memory leak in this function.

dm-event: enhance timestamp for debugging

Add microseconds for timestamps in dm-event trace messages.
Also collect timestamps only when debugging when they are used.

lvmdbusd: fix syntax warning

python3.12 reported SyntaxWarning: invalid escape sequence '\/'

WHATS_NEW: updates

typos: misc

tests: check pvmove with raid legs

Check pvmove correctly handles raid legs on input
(testing previous pvmove fix).

pvmove: fix building sibling raid lv name

Make a local copy of the 'idx' string to avoid
overlapping during the rebuild of name.

This fixes cases where users specified raid
component LVs for moving.

Reported-by: kotarou3@github.com

tests: add fsck after split

vdo: typo fix

Argh - lastmin mods...

tests: skip test when lvmdbusd runs on the system

lvmdbusd changes $RUNDIR results.

tests: update for work in fake dev environment

No write outside of $LVM_TEST_DIR  (removed /test access).
Use 'aux prepare_scsi_debug_dev' for automated scsi_debug handling
Properly use "" around shell vars.
Smarter read of PVS values.
Relax requirement to only work with real /dev dir.

tests: enforce full fs check

tests: pvmove large disk area

With some faster test hw machine we need to make this test
a bit more resource consuming.

tests: missing to check for writecache support

Ono more case requires writecache presence.

tests: aux using singl lvmconf call

lvmconf can handle multiple options in a single pass.

tests: aux try with extra sleep

Since udev_wait is not really adding any major delay to wait
for any udev worker processing - add extra sleep .1.

vdo: avoid using of valuesonly

To retain backward compatibility with some older version of lvm
avoid using --valuesonly option with lvmconfig.

test: improve aux teardown

Handle the case of device teardown where the first pass
could have only a single, but opened device, for removal.
In such case we want to at least once go through
the udev_wait and retry removal again.

TODO: maybe a sleep .1  might be usable as well with udev_wait

gcc: warning: missing braces around initializer

Fix warning emitted by some older gcc...

vdo: better support for devicesfile

Instead of relying on 'pvs' output - check directly system
configuation and use lvmdevice accrording to use_devicesfile setting.

Also drop use of --fs ignore for filesystem extension for better
backward compatibility with older lvm version.

Shuffle code a bit so the '--no-snapshot' path does not execute
a few unnecessary commands.

WHATS_NEW: updates

gcc: fix warnings for x32 architecture

Warning from x32 ABI compilation.

debug: missing dots

vdo: lvm_import_vdo enhancements

Work also with devices that may have ':' inside their generated
/dev/disk/by-id

Ensure there is no race with systems' auto activation while using
the snapshot for conversion.

Update system's vdoconf.yml after the use of snapshot for conversion.

Skip unnecesary prompt for 'convert' while using snapshot and query only
for final snaphot merge.

Prohibit conversion for a device with the PV header.

Enhance 'trap' protection for more signals.

Improve clean() recovery path.

Replace bash 'test' command with [].

Correct some output message to print $TOOL.

Support also options without '-' in the middle i.e. --nosnapshot.

For shellcheck predefine all variables extracted from vdoconf.yml.

lvresize: fix 32 bit overflow in size calculation

make: generate

tests: disable logging for lvmdbusd

Since lvmdbusd testing tends to do its own logging,
try for now to disable very generic logging mechnanism
of the test suite and see the result.

Some lvmdbusd test seems to rely on some log/file logic
which is modified with the use of these shell vars.

tests: check for writecache

Writecache needs writecache kernel target to be present.

tests: check for binaries

vdo wrapper tool uses some 'locally installed' binaries
for vdoformat and vdoprepareforlvm
Chech for their presence.

Skip this test with lvmlockd.

WHATS_NEW: update

tests: vdo scsi convert

Somewhat tricky test to check VDO import of a SCSI device.

tests: vdo convert

Require VDO version 6.2.3.

Skip the part of the test that needs vdo wrapper and 2 different
versions of vdoprepareforlvm to prepare shifted VDO header
at the 2MiB offset.

tests: check passing PV list

tests: vdo wrapper support symlinks

Enhance internal VDO replacement wrapper script to handle symlinks
for i.e. SCSI device like VDO manager.

aux: teardown also devices with testing UUID

Hunt also for devices with LVMTEST prefix in UUID.

Call teardown_devs_prefixed - so if they hold RAM or SCSI
they are closed before trying to remove kernel modules.

debug: trace result failure

debug: drop stack from regular path

debug: check for syscalls

Add some debug checks for possibly failing syscalls.

clang: ensure all variables intialized

Just in case of some wierd kernel bug, which would forget
to report these values...

clang: ensure status is initilized

Initialize status before handling error path.

filesystem: move stat after open check

To avoid time-of-check-time-of-use clash, take the stat()
after successful open with fstat().
Also add some debugs for failing sys calls.

dmeventd: move var set to locked section

It should not change the actual code flow, however make the
set of the current_event variable inside locked section.

lvconvert: thin conversion accept passed PVs

When creating thin pool or check pool there is allocated LV
for metadata and for such allocation user should be able to
specify list of PVs on cmdline.

Also fix unused passed list of PV for thick to thin conversion,
where the code was using whole PV set from a VG (but since it's
been not enabled on cmdline, user could not hit this issue).
Also remove unneeded initialization of use_pvh.