archiving: refactor code to allocate less memory

Do not store full path with each archived name reduces memory usage if
the directory has thousands of entries and just add 'dir' path when
needed.

Also emit info print message to a user if the total size of archived
files for a VG is more then 128MiB or 8192 files.

TODO: Consider wheather adding a new 'lvm.conf  archive{option}' to support
trimming these wild archive sizes can make situation better.
We already support retain_min && retain_days  - but if user is
generating too many and too large archives with minutes - maybe archiving
should be disabled by a user - as it's not producing anything largely usable
and just slows-down command ??
If we add 'retain_max & retain_max_size' the condition will go against
each other and we need to chose priorities.

mm

metadata: enhance internal error

Consider missing config tree from vg read to be an internal error
since we do not want to 'regenerate' this one in expesive parsing way.

Also if there is any failure on recreating committed VG, make it also
a 'vg_write' error.

debug: fix stack tracing

Emit stack trace only on log_error path, and avoid on 'expected'
not-found path.

metadata: simplify code

device_id: update stacked PVs for vgchange uuid

If a VG uuid is changed, update the device_id of any
PVs stacked on LVs in the changed VG.

handle bad metadata text in vg_read path

Corrupt metadata text (with good mda header) was being handled
in the label_scan phase, but not in the vg_read phase.  This
was sufficient because metadata areas would always be read and
checksummed during label_scan (metadata parsing was skipped
previously as an optimization.)

This changed with the optimization in
commit 61a6f9905e87e650f0bddae83fec6923bb100a57
"metadata: optimize reading metadata copies in scan"

Now, some metadata areas will not be read and checksummed
at all during the label_scan phase, only during the vg_read
phase.  This means that bad metadata text may first be detected
in the vg_read phase.  So, add equivalent bad metadata handling
to the vg_read path to match the label_scan path.

debug: shorter code

cleanup: use already known lv size

cleanup: reuse existing code for free path

cleanup: use first parameter uint

Easier with struct zeroing and matching assing of type uint.

cov; matching enum type

cov: ignoring

make: build without versionsort

Reported-by: adamboardman of gemian

make: opened can be needed for either defines case

Reported-by: adamboardman of gemian

make: replace legacy use rindex with strrchr

Seems already dropped by some systems.

Reported-by: adamboardman of gemian

make: fix compilation for undefined RAID_INTERNAL

Reported-by: adamboardman of gemian

make: fix compilation for some compiler

Reported-by: adamboardman of gemian

utils: define macro for ffs

Provide ffs() macro using __builtin_ffs(), when there is missing
ffs() implementation in header file.

Reported-by: adamboardman of gemian

configure: replace AC_HELP_STRING with AS_

Upgrade to newer autoconf setup is approaching...
Will cause large set of configure changes.

configure: check ffs __builtin_ffs versionsort

Check for presence of ffs(), __builtin_ffs() and versionsort().

cov: make more obvious buffer is zero ended

metadata: avoid excessive check of /etc/localtime

With larger metadata, decoding 'localtime()' for hinting time creation
of every LV may cause excessive check of /etc/localtime file.
Set TZ to ":/etc/localtime" so glibc reads this file just once
instead of check everytime if there has anything changed.

metadata: optimize reading metadata copies in scan

While being in lockless scanning phase, we can avoid reading and checking
matching metadata copies if we already know them from other PV
and just rely on matching metadata header information.

These copies will be examined later during locked metadata read/write
access.

This patch may postpone discovering some read failures to locked phase.

metadata: remember parsing size of VG metadata

When creating lvm2 metadata for VG, lvm2 allocate some buffer,
and if buffer is not big enough, the buffer is 'reallocated' bigger,
and whole metadata creation is repeated until metadata fits.
We can try to use 'previous' metadata size as hint to reduce looping
here.

metadata: remember crc32 when writing vg metadata

Preserve computed crc32 check from first written PV, just like we
preserve generated metadata.

Also there is no need to call crc32 twice on wrapping buffer with 2 calcs,
result must be always the same as with single crc32 checking.

dmsetup: fix measure handling

Previous patch f853a1bc7afdebb44aeb8c1167e8784d155cad84 enabled
ima measurement unconditionally for every status call,
but it needs to be set only for 'dmsetup measure' command.

lvmlockd: update error message

refer specifically to the "use_lvmlockd" setting in lvm.conf

devicemapper: in sync with libdm

libdm: dmsetup measure support for IMA

Add support for DM_IMA_MEASUREMENT_FLAG with
DM_TABLE_STATUS_CMD.

This feature requires DM version 4.45  (5.15+ kernels)

devicemapper: add DM_NAME_LIST_FLAG

Match libdm part

libdm: support DM_NAME_LIST_FLAG

Kernel patch 8b638081bd4520f63db1defc660666ec5f65bc15
introduced support to return UUID in DM_LIST_DEVICES_CMD.

Useful when asking for UUID of each device where the list
could be now returned directly with NAME && UUID for each device.

Returning UUID is done in backward-compatible way. There's one unused
32-bit word value after the event number. This patch sets the bit
DM_NAME_LIST_FLAG_HAS_UUID if UUID is present and
DM_NAME_LIST_FLAG_DOESNT_HAVE_UUID if it isn't (if none of these bits is
set, then we have an old kernel that doesn't support returning UUIDs). The
UUID is stored after this word. The 'next' value is updated to point after
the UUID, so that old version of libdevmapper will skip the UUID without
attempting to interpret it.

gcc: match types

gcc: use more zero length arrays

Define last array struct member with zero size.

make: generate

tests: raise required version for conversion

Real conversion needs this version driver.
TODO: handle properly older versions.

cov: ignore leak of fd descriptor

There is no 'fd' leak.

cov: check dev_get_size result

Check we have obtained some device size out of dev_get_size().

cov: sanitize function environment

Coverity can see that function is either used with 'dev' or 'def'.

cov: check for function result

cov: check strchr for NULL

Although unlikely, ensuring coverity we not use NULL.

cov: ensuring buffer is zeroed

gcc-fanalyzer: zallocate memory for clean buffer

gcc-fanalyzer: remove unneded zeroing

Since we zallocate array here, we don't need to set to NULL
and clean gcc warning about strdup leakage.

gcc-fanalyzer: helping understand answer is not null

gcc can't easily see pointer 'answer' is only being checked once 'ret > 0'.

clang: check for buffer existance

Make obvious to analyzer we can't get NULL here.

shellcheck: warning enhancements

shellcheck: tests fixes

Correcting some shell problems.

lvmcache: follow pv_id/pvid naming convention

name the variable pv_id_arg to follow the convention:
. "pvid" variable is null-terminated string
. "pv_id" variable is non-null-terminated struct

tests: len always initialized

gcc: avoid name colision with function pv_id() from metadata.h

gcc: avoid warns on missing braces with older version

tests: a bit more fancy way to initialized struct

Older g++ is not smart enough to figure this out, so add a bit more push.

cleanup: better wording

Follow-up advice of native speaker.

cov: mask some warning about leakage

Mask false-positive leak report.

cov: hide reports from optarg being NULL

It's basically irrelavant which value we assing to optarg,
since it's set by getopt() function, but Coverity tool
is incorrectly reporting possibly dereference of NULL.

cov: ignore syscall

cov: validate syscall result

cov: test for fixture being NULL pointer

Explicit check for teoretical NULL pointer passed as fixture.

cov: capture runtime exception

cov: better defined constructors

Ensure C++ initializes all struct members.
Also some deterministic buffer initialization.

cov: add explicit NULL pointer check

Make obvious to coverity strcmp() is not getting NULL pointer.

cov: make read buffer obviously zero ended

Coverity doesn't get the idea from memset() here.

cov: check for possible NULL segtype

Although likely impossible to ever miss ERROR segtype,
make analyzer hapier.

cov: ensure data is not derefenced

Ensure all hypothetical paths cannot dereference NULL *(u->data).

cov: handle better leak reports

Rewrite code so the leaks are eliminated from Coverity.

cov: use different variable name

Better for Coverity to see no change for possibly opened handle.

cov: better handle reallocation of adapt_file

If the option would be given more then once.

cov: handle teoretical sysconf failure

sysconf() may also return -1 although rather theoretically.
Default to 4K when such case would happen.
Also in function call it just once and keep as static variable.

cov: check fid instance is created

cov: add error path for daemon_request_extend

Check for errors in daemon_request_extend().

cov: pvck validates setup_device return value

tests: use single funtion to get random value

tests: fix test of read buffer

Patch 7aba7fe68b6da2ca8ec7b01f5730396d64426fb0 incorrectly
converted  SECTOR_SIZE * BLOCK_SIZE_SECTORS to sizeof(f->data).

gcc-fanalyzer: drop zeroing of pointers

This explicit pointer zeroing is not needed since
we use 'zalloced' buffers.

gcc-fanalyzer: rewrite _fetch_string

Slightly more optimal code, that is less confusing analyzers.

gcc-fanalyzer: some explicit NULL checks for tests

Testing code being happier with these extra checks...

gcc-fanalyzer: better losetup error path

Fix leaking memory on error path on _process_losetup_switches().
However real impact is close to zero as dm-loop target isn't really used.

gcc-fanalyzer: add extra check for origin_from_cow

Make analyzer work easier with explicit check for internal error.

gcc-fanalyzer: use zeroed memory

Analyzer here was rather confused about possiblity of loosing previously
assigned device pointers - fixed by passing zero initialize memory
before first assign.

gcc-fanalyzer: explicit test null not pass

Make analyzer explicitelly aware we can't get NULL here.

gcc-fanalyzer: notices 'du' could be NULL

Ensure only nonNULL 'du' pointer is dereference altough the comment
to the last assign 'du' pointer already suggest 'NULL' case should not happen.
So just being explicit.

mer du

clang: ensure new_len is at least 1

clang: add explicit test for VG

Clang can't figure out connection to 'skip' variable.

lvmlockd: better error path

Set ->num to correct num of pointers.
and fixes regression from previous clang fix
9c5d2874a73d884ede9bb3f0583b238f8764ab92.

cleanup: typo fix

lvm_import_vdo: --dry-run automatically verbose

Dry-run is way more usable when it's verbose.

debug: change message level

These message do not cause command error - switch to debug.

cleanup: free already does NULL check

Drop extra check for NULL before calling free().
Also drop zeroing data that will be free().

clang: free on arg parsing

If the parameter would be given twice, the 1st. alloc memleaks.

clang: keep metaname initialized

Never access uninitialized metaname buffer.

clang: keep final_opts_list initialized for all paths

Likely impossible path, but just keep always initilized.

clang: avoid double free on error path

Error path in _lockd_retrive_vg_pv_list() has not zeroed released path
caussing possible double-free later in the code.

Fix it by using one single function freeing lock_pvs structure.

lvmdevices: allow deviceidtype with addpvid

in addition to using with adddev

add --nohints option

The command will not use the hints file to locate devices for PVs.
It will still do standard hint file invalidation where appropriate.

cmdlib_lvm2_init: release cmd on failure path

The cmd memory space is allocated by zalloc, and the registration
fails and is not released.

Although this code would be ever triggered just in the case
of some internal (likely compilation) bug.

Signed-off-by: Wu Guanghao <wuguanghao3@huawei.com>

man-generator: initialize struct stat to avoid MSAN error

When building lvm2 in Gentoo/ChromeOS with the ASAN memory
sanitizer enabled, man-generator fails with the following
error. Initializing makes the error go away.

* SUMMARY: MemorySanitizer: use-of-uninitialized-value /build/amd64-generic/tmp/portage/sys-fs/lvm2-2.02.187-r3/work/LVM2.2.02.187/tools/man-generator.c:3316:6 in _include_description_file
* Exiting
* ASAN error detected:
* ==2548047==WARNING: MemorySanitizer: use-of-uninitialized-value
*     #0 0x558b00ab4730 in _include_description_file /build/amd64-generic/tmp/portage/sys-fs/lvm2-2.02.187-r3/work/LVM2.2.02.187/tools/man-generator.c:3316:6
*     #1 0x558b00ab4730 in _print_man /build/amd64-generic/tmp/portage/sys-fs/lvm2-2.02.187-r3/work/LVM2.2.02.187/tools/man-generator.c:3426:21
*     #2 0x558b00ab4730 in main /build/amd64-generic/tmp/portage/sys-fs/lvm2-2.02.187-r3/work/LVM2.2.02.187/tools/man-generator.c:3570:7
*     #0 0x7fa9b2cbb807 in find_derivation /var/tmp/portage/cross-x86_64-cros-linux-gnu/glibc-2.33-r8/work/glibc-2.33/iconv/gconv_db.c:583:15
*     #1 0x558b00a29559 in ?? ??:0
*
*   Uninitialized value was created by an allocation of 'statbuf.i.i' in the stack frame of function 'main'
*     #0 0x558b00ab1d4d in main /build/amd64-generic/tmp/portage/sys-fs/lvm2-2.02.187-r3/work/LVM2.2.02.187/tools/man-generator.c:3505

gcc: remove unused vg setting

gcc: remove invalid attribute

In this function parameter 'attribute' is used.

cov: remove unused variable setting

Since there is no use for &end after strtol, remove it.

cov: make it aware we need these headers for muslC