WHATS_NEW: update

tests: remove superfluous -a option for df used in lvresize-xfs.sh

The df -a looks at whole system and it returns an error code in case
there's an inaccessible fs which is not even part of the testing environment.
The -a for df is not actually needed here in the lvresize-xfs test, so remove it.

lv_manip: use the same param validation for RAID 0 as for RAID 1/4/5/6

This actually reverts commit 83ae675f8df53010c984b78d0318d0d92d5ac83a.

lv_manip: fix stripe count and size validation for RAID LVs

Fix stripe count and size parameter validation for RAID LVs and
include existing automatic setting of these parameters based
on current shape of the RAID LV in case these are not set
on command line fully.

Previously, this was done only to a certain subset given by this
condition (where the 'stripes' is the '-i|--stripes' cmd line arg
and  the 'stripe_size' is actually the '-I|--stripesize' cmd line arg):

  !(stripes == 1 || (stripes > 1 && stripe_size))

This condition is a bit harder to follow at first sight and there
are no comments around with explanation for why this one is used,
so let's analyze it a bit more.

First, let's convert this to an equivalent condition (De Morgan law)
so it's easier to read for humans:

  stripes != 1 && !(stripes > 1 && stripe_size)

Note: Both stripe and stripesize are unsigned integers, so they can't be negative.

Now, based on that condition, we were running the code to deduce the
stripe/stripesize and do the checks ("the code") only if both of these
are true:

  - stripes is different from 1

  - we don't have stripes > 1 and stripe_size defined at the same time

But this is not correct in all cases, because:

  A) if someone uses stripes = 0, then "the code" is executed
    (correct)

  B) if someone uses stripes = 1, then "the code" is not executed
    (wrong: we still need to be able to check the args against
            existing RAID LV stripes whether it matches)

  - if someone uses stripes > 1, then "the code" is:

     C) if stripe_size = 0, executed
       (correct)

     D) if stripe_size > 0, not executed
       (wrong: we still want to check against existing RAID LV stripes)

Current issues with this condition:
  The B) ends up with segfault.

    ❯ lvextend -i 1 -l+1 vg/lvol0
      Rounding size 4.00 MiB (1 extents) up to stripe boundary size 8.00 MiB (2 extents).
    Segmentation fault (core dumped)

  The D) ends up with errors like:

    ❯ lvextend -i 3 -l+1 -I128k vg/lvol0
      Rounding size 4.00 MiB (1 extents) up to stripe boundary size 8.00 MiB (2 extents).
      Rounding size (4 extents) up to stripe boundary size for segment (5 extents).
      Size of logical volume vg/lvol0 changed from 8.00 MiB (2 extents) to 20.00 MiB (5 extents).
      LV lvol0: segment 1 with len=5  has inconsistent area_len 3
      Couldn't read all logical volumes for volume group vg.
      Failed to write VG vg.

Conclusion:
  The condition needs to be removed so we always run "the code" to check
  given striping args given on command line against existing RAID LV
  striping. The reason is that we don't want to allow changing stripe
  count for RAID LVs through lvextend and we need to end up with the
  error:
    "Unable to extend <RAID segment type> segment type with different number of stripes"

  (We do support changing the striping by lvconvert's reshaping functionality only).

makefiles: flip condition

With previous commit, in this case we need to flip condition,
to make it working here as expected.

gcc: do not mix signess compare

gcc: make older compilers happier

Use {{}} for array initializer to quite warning for older gcc.

makefiles: eliminate error output

Hide error message from 'find', if the 'lib' dir has
not been create yet (in case of non-srcdir build).

makefiles: use filter

makefiles: fix clean rule for non srcdir builds

With commit acbeaa7a8d86acc0f0e3c04723d066d995f29fe5 we started
to use symlinks to link test suite shell scripts, however
they remained within CLEAN_TARGETS.
So when running 'make clean' within non-srcdir build dir, we
were cleaning actuall shell script in this dir.
So remove list of this script from CLEAN_TARGETS in this case.

tests: runner better handle help messages

Postpone check for root uuid so we can print help message.

tests: check strftime result

cov: check result of sync_local_dev_names

Although ATM this function always returns 1.
(maybe should be void)

lvmdiskscan: use while loop

Use more readable while() loop like in other similar instancies.

post-release

pre-release 2.03.28

gcc: fix warning about uninitialized use

get_sizes_lockspace() may not always initilize all passed values
in case the bitfield would not trigger if() path.
So just in case keep the path initilized.

TODO: maybe add INTERNAL_ERROR to get_sizes_lockspace().

lvmlockd: remove unused vg_sysid

from structs and info dump.

tests: skip test on older version

Prevent crashing kernel on older systems.

lvmlockd: update prototype for non-lvmlockd build

Match prototype to last updates of lockd_init_lv_args().

lvmlockd: optimize new lv lease search

When converting a VG to locktype sanlock, a new
lease is allocated for each existing lv.  Finding
a new lease location involved searching the lvmlock
LV from the start for an unused location, which
would be very slow with many LVs.  Improve this by
starting each search from the last used location.

lvmlockd: fix vgchange --locktype sanlock

Fix regression from commit 7f29afdb06d
"lvmlockd: configurable sanlock lease sizes on 4K disks"

That change failed to recognize that a running lockspace will not
exist in lvmlockd when converting a local VG to a sanlock VG, i.e.
vgchange --locktype sanlock vgname.  When the vgchange attempted
to initialize new lv leases for existing LVs, lvmlockd would
return an error when it found no lockspace.

WHATS_NEW: update

vg: add radix_tree for lv uuids

When searching for committed LV by uuid, this search can
be expensive for commands like 'vgremove' - so for
this part introduce  'lv_uuids' radix_tree that is
build with first access to lv_committed().

metadata: use radix_tree for find_lv_in_vg

Since there is a group of commands that need to access 'lv_list'
while still need to search for LV by its name, make the whole
struct lv_list a member of logical_volume structure.
This makes it easy to return also 'lv_list' this list this LV
within VG.
Also the patch should not use more memory, since we were allocating
lv_list for each LV anyway when linkin LV to VG.

Since find_lv_by_name() is now using radix_tree(),
use the same 'search for /' in LV in name for both
find_lv() & find_lv_in_vg().

TODO: Possibly refactor code and use only dm_list
instead of lv_list and dereference LV with container_of()
(thus saving pointer within struct logical_volume) - but
we use 'lv_list' currently in many places...

config: introduce validate_metadata

Add lvm.conf  config/validate_metadata  configurable setting.
Allows to disable validation of volume_group structure before
writing to disk.
Call of vg_validate() is supposed to catch any inconsistency
of in-memory volume group structure and possibly early aborting
commnand before making any more 'damage' in case the VG struct
is found insistent after some metadata manipulation.

This is almost always useful for devel - and also for normal user
as for small metadata size this doesn't add too much overhead.

However if the volume_group size is large and operations are just
adding removing simple LVs - this validation time may add noticable
to final command running time.

So if the user seeks the highest perfomance of command and does
not do any 'complex' metadata manipulation - it's reasonably safe
to disable validation (with the use of setting "none") here.

validate_lvname: early exit

If the LV name does not any have '_' chr,
there is no point trying to call 'strstr()' to look for "_suffix".
Also we can search from _.

cov: validate string with lock mode

Check the dev_mode string is not NULL before use.

cov: add stacktraces

Add stacktraces for unexpected paths.

vdo: reader checks there is enough data

Validate enough of data was read from disk to parse vdo header.
TODO: there should be a loop for buffer reading.

metadata: pahole logical_volume

Shuffle some variables to remove 'extra' alignment holes
within the structure thus making it smaller.

metadata: lv_set_name use uniq_insert

With presence of uniq_insert, use this function also
here for extra protection and check for duplicate lv_name
when inserting a new name into radix_tree.

get_alloc_string: compare only enum

Instead of possibly checking for cling_by_tags string twice,
just compare resulting alloc number from search loop.

toolcontext: use the striped string first

cache_manip: reset sigint handler

After processing interrupt, reset the interrupt counter,
so further code is not mislead and continues processing
in 'locked' section as expected.

tests: use longer tag

Avoid config 'grep' with actual 'randomly' generated path name
which may eventually contain 'cc' as part the path and
causing a mismatch of the grep test.

debug: missing stacktrace

lv_manip: init major minor in alloc_lv

Move initialization of major and minor to alloc_lv().

device_mapper: use static array for dm_size_to_string

Avoid copying this structure on stack with every call.

tests: add reproducer for failing raid5 activation

For now use 'should' to mark this 'known' failure.
This case needs solution.

tests: flip to use FSLASTBLOCK

It seems FSSIZE is newer then FSLASTBLOCK so use this one instead.

tests: correcting expected return code

Expecting success when using with '-r'.

man: lvchange update about --syncaction being transient

WHATS_NEW: update

lvmlockd: fix incorrect function definition

In commit 7f29afdb06d9f3420b3d2174d6ed4c55a58ac706 this function
was added with misplaced ';'.

tests: add test to resize to same size

Check that 'lvresize/extend -r' resizing to the same size is
doing the fs resize.

lvresize: fix regression when resizing with fs

When 'lvresize -r' is used to resize the volume, it's valid to
resize even to the same size of an LV, as the command then runs
fs-resize utility to eventually upsize the fs to the current
volume size.

Return code of such command then reflects the return value
of this fs-resize tool.

This fixes the regression introduced when the support
for option --fs was added (2.03.17).

tests: lvresize-fs: check blkid version for lvresize with swap test

dev-type: update comment about swap info from blkid

clang: close file on memory alloc error path

clang: check for dirfd result

clang: check segment lv is defined

clang: ensure pointer is defined

Check for new_segtype and lv is defined
before dereferencing.

cov: use 64bit arithmentic

cov: ensure detached_log_lv exists before use

debug: use major:minor

Print major:minor as in other places.

device_id: close only opened dir

After more of opendir, make sure 'dir' is closed
only when it's been opened.

metadata: check for mda_device existance

dev-cache: ensure list has elements

When updating DM cache, check whether the list even has entries
before comparing it with old cached instance.

metadata: fallback search without radix_tree

If we use some dummy vg struct, allow fallback
plain dm_list search.

device_mapper: add omitted error message

device_mapper: check for pv before use in error msg

lvmlockd: enable lockopt nodelay for lockstart

Avoid the sanlock add_lockspace delay in vgchange --lockstart
by adding --lockopt nodelay.  This is for testing, and is not
safe to use in general.

WHATS_NEW: update

cleanup: correct invalid function

Use proper function names in annotation

There are no fuction named print_common_options_cmd()
and print_common_options_lvm(). So, rename them to the
real function named print_usage_common_cmd() and
print_usage_common_lvm().

Signed-off-by: YunJian Long

tests: do not use shell pipe for reshape_len

Tricky one - as the pipe exit codes may result into whole
test failure depending on how quick/slow command exits
are within pipeline.

So get the len without piping.

devicesfile: move opendir after fclose

Call opendir() after new file is stored within dir,
otherwise this new file would not accounted.

metadata: missed lv_set_name users

Missed when introduced lv_set_name().

lv: add lv_set_vg

To keep vg->lv_names up-to-date also for merge & split,
add function lv_set_vg() the will update also radix tree
reference for a VG.

WHATS_NEW: update

metadata: use radix tree to find lv_names

Replace usage of dm_hash with radix_tree to quickly find LV name
with a vg and also index PV names with set of available PVs.
This PV index is only needed during the import, but instead
of passing 'radix_tree *' everywhere, just keep this within
a VG struct as well and once the parsing is finished, release
this PV index radix_tree.

This also makes it easier to replace this structure
in the future if needed.

lv_set_name now uses  radix_tree remove+insert to keep lv_names
tree in-sync and usable for  find_lv queries.

revert "metadata: use lv_hash in segment-specific metadata parsing"

This reverts commit f42aef47064fcc3fa8f78beea9e9b7e7c028e123.

Going to replace dm_hash with radix_tree and use 'find_lv()'
to abstract lookup for LV with VG.

metadata: use lv_set_name for raid and mirror

Use lv_set_name API also for raid and mirror LV manipulation.

metadata: add lv_set_name

Add function to set lv->name.
Also when creating empty LV, first add this LV
to linked list in a VG and just after that allocate lv name.

check_pv_segments: resolve pv name once

log: postpone some initialization

Clear buffers when really logging.

lv_manip: remove duplicate check for max lv

This check is always performed with call to link_lv_to_vg().

flags: drop no longer needed header

After code refactoring, this header is not needed here anymore.

vg_validate: use uniq_insert

Enhance usage with uniq_insert and also try to better
utilize CPU cache and do a smaller loop for individual
hashing of lvname and separately lvid.

Also correcting usage of 'continue' within validation of
historical names as it should report as much errors
as it can within a loop.

tests: unit test for uniq insert into radix_tree

radix_tree: add radix_tree_uniq_insert

When using radix_tree to identify duplicate entries we may
avoid to call an extra 'lookup()' prior the insert() operation
add radix_tree_uniq_insert/_ptr() that is able to report -1 if
there was already set a value for the given key.

vgcfgrestore: validate complete VG

Avoid finding problems in vg_validate when restoring
invalid VG metadata as that would lead to internal error.
i.e. adding unsupported METADATA_FLAG to zero segtype
can trigger such thing.

read_lvflags: keep flag reading focused on flags

Previous update needed to add handling segtype within flag.c
which somewhat breaks API separition and also had bug in hanlding
actual flags.

So instead keep segtype code in _read_segtype_and_lvflags() within
import_vsn1.c and handle purly flags in read_lvflags() from const
string.

export: typo with buffer zeroing

Lost '= 0' in cut & paste.
Also get rid of no longer needed 'goto' section.

export: add missed buffer initialization

Since we reduced emitting to single string list,
we need to make sure empty list are not producing
garbage strings.

WHATS_NEW: update

export: change to read_segtype_and_lvflags

Instead of duplicating whole segtype string with flags and
using 2 calls read_segtype_lvflags() + get_segtype_from_string(),
merge the functionality into a single read_segtype_and_lvflags().
This allows to make only a local string copy (no allocs) and eventually
to not copy segtype string at all, when there are no flags.

export: reduce emit_to_buffer calls

As the 'emit_to_buffer' uses relatively complex
vsnprintf() call inside, try to reduce number
of unnecessary calls and try replace some more
complex string build with a single call instead.

dev-cache: enhance usability of dm cache

With existing code, the cache was working only to the 2nd. locking.
So i.e. when 'lvs' scans system with more then one VG, the caching
was effectively not working.

Update the code, so the label invalidate code is able to update DM
cache - so whenever we take a new lock - we will refresh the cache.

TODO: the refresh ATM does a very simple compare of old a new list
of cached DM device, and with the first spotted difference, it just
fallback to the full rebuild of DM cache - with large amount of active
devices this might not the most efficient way....

tests: skip test for too old sfdisk

check_lv_segment: correct last change

Previous commit 7c5cca600c071c9991acb3fcafb9f8a3f60e03e5
was not correctly aliging block that was checking mirrors.

WHATS_NEW: update

debug: drop stack

debug: use just LV name for debug message

Since we detect 'debug' level after calling 'log_debug()' - all
the arguments are evaluated, so in this case display_lvname() was
preparing a string that is not used in case debugging is not enabled.

So since these string are on 'hot-path' and it's already known
which VG is being worked on, in these few cases just use lv->name.

reporting: prepare id string only for json output

When processing LVs for a command we stored  '*object_id' & '*group_id'
as printable string that was however only used with json reporting.

Refactor code so we simply store there 'struct id*' that is just
converted into printable string when json reporting is really used.

Also check for 'sigint()' right before loop processing begins which
is primary purpose of this test.

vg_validate: use radix_tree

Replace dm_hash with radix_tree which uses less memory
and gives same performance.

config: use dm_config_parse_only_section

device_mapper: add dm_config_parse_only_section

This function call is able to setup config parser so it stops
parsing 'subsection' nodes after parsing named section node.
Only nodes at 'level' 0 will be still processed. And this nodes
are found by searching for last  \n}\n sequence from the end of
buffer   (instead of trying to analyze all the text in buffer).

export: use radix_tree for write formatter

Replace use of dm_hash with radix_tree when making PV index names.

Store just the index number itself and use pv%d for outf() string.

For lookup up a PV - use just the PV pointer itself, it's faster then
converint for it's ID to UUID format.

check_lv_segment: split into incomplete complete

Split single check_lv_segments() into 2 separate
versions so they can be called independently.
This allow to 'skip' already checked segment
check after it's been imported to VG and also
avoid another repeated checking when validating
segment with complete vg.

**
check_lv_segments_incomplete_vg()

this check just basic LV segment properties and does not
validate those requiring full VG.

**
check_lv_segments_complete_vg()

Remaining check that expects complete VG is present.