tests: skip test on older version

Prevent crashing kernel on older systems.

lvmlockd: update prototype for non-lvmlockd build

Match prototype to last updates of lockd_init_lv_args().

lvmlockd: optimize new lv lease search

When converting a VG to locktype sanlock, a new
lease is allocated for each existing lv.  Finding
a new lease location involved searching the lvmlock
LV from the start for an unused location, which
would be very slow with many LVs.  Improve this by
starting each search from the last used location.

lvmlockd: fix vgchange --locktype sanlock

Fix regression from commit 7f29afdb06d
"lvmlockd: configurable sanlock lease sizes on 4K disks"

That change failed to recognize that a running lockspace will not
exist in lvmlockd when converting a local VG to a sanlock VG, i.e.
vgchange --locktype sanlock vgname.  When the vgchange attempted
to initialize new lv leases for existing LVs, lvmlockd would
return an error when it found no lockspace.

WHATS_NEW: update

vg: add radix_tree for lv uuids

When searching for committed LV by uuid, this search can
be expensive for commands like 'vgremove' - so for
this part introduce  'lv_uuids' radix_tree that is
build with first access to lv_committed().

metadata: use radix_tree for find_lv_in_vg

Since there is a group of commands that need to access 'lv_list'
while still need to search for LV by its name, make the whole
struct lv_list a member of logical_volume structure.
This makes it easy to return also 'lv_list' this list this LV
within VG.
Also the patch should not use more memory, since we were allocating
lv_list for each LV anyway when linkin LV to VG.

Since find_lv_by_name() is now using radix_tree(),
use the same 'search for /' in LV in name for both
find_lv() & find_lv_in_vg().

TODO: Possibly refactor code and use only dm_list
instead of lv_list and dereference LV with container_of()
(thus saving pointer within struct logical_volume) - but
we use 'lv_list' currently in many places...

config: introduce validate_metadata

Add lvm.conf  config/validate_metadata  configurable setting.
Allows to disable validation of volume_group structure before
writing to disk.
Call of vg_validate() is supposed to catch any inconsistency
of in-memory volume group structure and possibly early aborting
commnand before making any more 'damage' in case the VG struct
is found insistent after some metadata manipulation.

This is almost always useful for devel - and also for normal user
as for small metadata size this doesn't add too much overhead.

However if the volume_group size is large and operations are just
adding removing simple LVs - this validation time may add noticable
to final command running time.

So if the user seeks the highest perfomance of command and does
not do any 'complex' metadata manipulation - it's reasonably safe
to disable validation (with the use of setting "none") here.

validate_lvname: early exit

If the LV name does not any have '_' chr,
there is no point trying to call 'strstr()' to look for "_suffix".
Also we can search from _.

cov: validate string with lock mode

Check the dev_mode string is not NULL before use.

cov: add stacktraces

Add stacktraces for unexpected paths.

vdo: reader checks there is enough data

Validate enough of data was read from disk to parse vdo header.
TODO: there should be a loop for buffer reading.

metadata: pahole logical_volume

Shuffle some variables to remove 'extra' alignment holes
within the structure thus making it smaller.

metadata: lv_set_name use uniq_insert

With presence of uniq_insert, use this function also
here for extra protection and check for duplicate lv_name
when inserting a new name into radix_tree.

get_alloc_string: compare only enum

Instead of possibly checking for cling_by_tags string twice,
just compare resulting alloc number from search loop.

toolcontext: use the striped string first

cache_manip: reset sigint handler

After processing interrupt, reset the interrupt counter,
so further code is not mislead and continues processing
in 'locked' section as expected.

tests: use longer tag

Avoid config 'grep' with actual 'randomly' generated path name
which may eventually contain 'cc' as part the path and
causing a mismatch of the grep test.

debug: missing stacktrace

lv_manip: init major minor in alloc_lv

Move initialization of major and minor to alloc_lv().

device_mapper: use static array for dm_size_to_string

Avoid copying this structure on stack with every call.

tests: add reproducer for failing raid5 activation

For now use 'should' to mark this 'known' failure.
This case needs solution.

tests: flip to use FSLASTBLOCK

It seems FSSIZE is newer then FSLASTBLOCK so use this one instead.

tests: correcting expected return code

Expecting success when using with '-r'.

man: lvchange update about --syncaction being transient

WHATS_NEW: update

lvmlockd: fix incorrect function definition

In commit 7f29afdb06d9f3420b3d2174d6ed4c55a58ac706 this function
was added with misplaced ';'.

tests: add test to resize to same size

Check that 'lvresize/extend -r' resizing to the same size is
doing the fs resize.

lvresize: fix regression when resizing with fs

When 'lvresize -r' is used to resize the volume, it's valid to
resize even to the same size of an LV, as the command then runs
fs-resize utility to eventually upsize the fs to the current
volume size.

Return code of such command then reflects the return value
of this fs-resize tool.

This fixes the regression introduced when the support
for option --fs was added (2.03.17).

tests: lvresize-fs: check blkid version for lvresize with swap test

dev-type: update comment about swap info from blkid

clang: close file on memory alloc error path

clang: check for dirfd result

clang: check segment lv is defined

clang: ensure pointer is defined

Check for new_segtype and lv is defined
before dereferencing.

cov: use 64bit arithmentic

cov: ensure detached_log_lv exists before use

debug: use major:minor

Print major:minor as in other places.

device_id: close only opened dir

After more of opendir, make sure 'dir' is closed
only when it's been opened.

metadata: check for mda_device existance

dev-cache: ensure list has elements

When updating DM cache, check whether the list even has entries
before comparing it with old cached instance.

metadata: fallback search without radix_tree

If we use some dummy vg struct, allow fallback
plain dm_list search.

device_mapper: add omitted error message

device_mapper: check for pv before use in error msg

lvmlockd: enable lockopt nodelay for lockstart

Avoid the sanlock add_lockspace delay in vgchange --lockstart
by adding --lockopt nodelay.  This is for testing, and is not
safe to use in general.

WHATS_NEW: update

cleanup: correct invalid function

Use proper function names in annotation

There are no fuction named print_common_options_cmd()
and print_common_options_lvm(). So, rename them to the
real function named print_usage_common_cmd() and
print_usage_common_lvm().

Signed-off-by: YunJian Long

tests: do not use shell pipe for reshape_len

Tricky one - as the pipe exit codes may result into whole
test failure depending on how quick/slow command exits
are within pipeline.

So get the len without piping.

devicesfile: move opendir after fclose

Call opendir() after new file is stored within dir,
otherwise this new file would not accounted.

metadata: missed lv_set_name users

Missed when introduced lv_set_name().

lv: add lv_set_vg

To keep vg->lv_names up-to-date also for merge & split,
add function lv_set_vg() the will update also radix tree
reference for a VG.

WHATS_NEW: update

metadata: use radix tree to find lv_names

Replace usage of dm_hash with radix_tree to quickly find LV name
with a vg and also index PV names with set of available PVs.
This PV index is only needed during the import, but instead
of passing 'radix_tree *' everywhere, just keep this within
a VG struct as well and once the parsing is finished, release
this PV index radix_tree.

This also makes it easier to replace this structure
in the future if needed.

lv_set_name now uses  radix_tree remove+insert to keep lv_names
tree in-sync and usable for  find_lv queries.

revert "metadata: use lv_hash in segment-specific metadata parsing"

This reverts commit f42aef47064fcc3fa8f78beea9e9b7e7c028e123.

Going to replace dm_hash with radix_tree and use 'find_lv()'
to abstract lookup for LV with VG.

metadata: use lv_set_name for raid and mirror

Use lv_set_name API also for raid and mirror LV manipulation.

metadata: add lv_set_name

Add function to set lv->name.
Also when creating empty LV, first add this LV
to linked list in a VG and just after that allocate lv name.

check_pv_segments: resolve pv name once

log: postpone some initialization

Clear buffers when really logging.

lv_manip: remove duplicate check for max lv

This check is always performed with call to link_lv_to_vg().

flags: drop no longer needed header

After code refactoring, this header is not needed here anymore.

vg_validate: use uniq_insert

Enhance usage with uniq_insert and also try to better
utilize CPU cache and do a smaller loop for individual
hashing of lvname and separately lvid.

Also correcting usage of 'continue' within validation of
historical names as it should report as much errors
as it can within a loop.

tests: unit test for uniq insert into radix_tree

radix_tree: add radix_tree_uniq_insert

When using radix_tree to identify duplicate entries we may
avoid to call an extra 'lookup()' prior the insert() operation
add radix_tree_uniq_insert/_ptr() that is able to report -1 if
there was already set a value for the given key.

vgcfgrestore: validate complete VG

Avoid finding problems in vg_validate when restoring
invalid VG metadata as that would lead to internal error.
i.e. adding unsupported METADATA_FLAG to zero segtype
can trigger such thing.

read_lvflags: keep flag reading focused on flags

Previous update needed to add handling segtype within flag.c
which somewhat breaks API separition and also had bug in hanlding
actual flags.

So instead keep segtype code in _read_segtype_and_lvflags() within
import_vsn1.c and handle purly flags in read_lvflags() from const
string.

export: typo with buffer zeroing

Lost '= 0' in cut & paste.
Also get rid of no longer needed 'goto' section.

export: add missed buffer initialization

Since we reduced emitting to single string list,
we need to make sure empty list are not producing
garbage strings.

WHATS_NEW: update

export: change to read_segtype_and_lvflags

Instead of duplicating whole segtype string with flags and
using 2 calls read_segtype_lvflags() + get_segtype_from_string(),
merge the functionality into a single read_segtype_and_lvflags().
This allows to make only a local string copy (no allocs) and eventually
to not copy segtype string at all, when there are no flags.

export: reduce emit_to_buffer calls

As the 'emit_to_buffer' uses relatively complex
vsnprintf() call inside, try to reduce number
of unnecessary calls and try replace some more
complex string build with a single call instead.

dev-cache: enhance usability of dm cache

With existing code, the cache was working only to the 2nd. locking.
So i.e. when 'lvs' scans system with more then one VG, the caching
was effectively not working.

Update the code, so the label invalidate code is able to update DM
cache - so whenever we take a new lock - we will refresh the cache.

TODO: the refresh ATM does a very simple compare of old a new list
of cached DM device, and with the first spotted difference, it just
fallback to the full rebuild of DM cache - with large amount of active
devices this might not the most efficient way....

tests: skip test for too old sfdisk

check_lv_segment: correct last change

Previous commit 7c5cca600c071c9991acb3fcafb9f8a3f60e03e5
was not correctly aliging block that was checking mirrors.

WHATS_NEW: update

debug: drop stack

debug: use just LV name for debug message

Since we detect 'debug' level after calling 'log_debug()' - all
the arguments are evaluated, so in this case display_lvname() was
preparing a string that is not used in case debugging is not enabled.

So since these string are on 'hot-path' and it's already known
which VG is being worked on, in these few cases just use lv->name.

reporting: prepare id string only for json output

When processing LVs for a command we stored  '*object_id' & '*group_id'
as printable string that was however only used with json reporting.

Refactor code so we simply store there 'struct id*' that is just
converted into printable string when json reporting is really used.

Also check for 'sigint()' right before loop processing begins which
is primary purpose of this test.

vg_validate: use radix_tree

Replace dm_hash with radix_tree which uses less memory
and gives same performance.

config: use dm_config_parse_only_section

device_mapper: add dm_config_parse_only_section

This function call is able to setup config parser so it stops
parsing 'subsection' nodes after parsing named section node.
Only nodes at 'level' 0 will be still processed. And this nodes
are found by searching for last  \n}\n sequence from the end of
buffer   (instead of trying to analyze all the text in buffer).

export: use radix_tree for write formatter

Replace use of dm_hash with radix_tree when making PV index names.

Store just the index number itself and use pv%d for outf() string.

For lookup up a PV - use just the PV pointer itself, it's faster then
converint for it's ID to UUID format.

check_lv_segment: split into incomplete complete

Split single check_lv_segments() into 2 separate
versions so they can be called independently.
This allow to 'skip' already checked segment
check after it's been imported to VG and also
avoid another repeated checking when validating
segment with complete vg.

**
check_lv_segments_incomplete_vg()

this check just basic LV segment properties and does not
validate those requiring full VG.

**
check_lv_segments_complete_vg()

Remaining check that expects complete VG is present.

metadata: look for LV by name with find_lv

Avoid getting dm_list reference when looking for logical_volume*.

thin: check only for profiled config vars

ATM this rather save a lot of unncessary log entries as it grabs
the global autoextend_threshold (profile == NULL) just once instead
of revealing it every time with NULL profile.

lv: set creation uses const string

There is no need to duplicate const string we got and keep
from uname() call.

export: limit generation of comment strings

Generate comment string only for formatter with comments.

import: check fixup mirror only when needed

Track whether import has even seen segment of LV with log_lv,
and call fixup mirror only in this case.

Also avoid repeated lookup of get_segtype_from_string for
SEG_TYPE_NAME_MIRROR.

device_mapper: increase mem pool chunk size

Use bigger memory pool chunk size and reduces amount of
memory pool extensions when handling larger metadata, but do not
make it noticable bigger when handling small ones...

Use same large value also when allocating VG memory pool.

device_mapper: join flags checks together

Just use a single bitmask flag check and OR fields together.

device_mapper: query for json report once

Remember _is_json_report() check for whole function.

device_mapper: use on stack allocation

Reduce number of heap allocation calls and for smaller
locally used string, use on stack allocation.

device_mapper: store string on stack

Instead of allocating string from a pool, for shorted strings
use buffer on stack since the string after the use in _find_or_make_node()
as no longer needed.
Eventually we may enhance code also for TOK_STRING_ESCAPED and TOK_STRING,
but they appear to be unused for _section().

device_mapper: slight improvement of tok_match

Reduce amount of unnecessary instructions for some code paths.

device_mapper: optimize _get_token

For the most common part check for '#' when it's known it's not a space.
And also when we checked for '\n' we dont need to check again isspace().

Also help a bit more 'gcc' optimizer to grab buffer char just once and
simplify jump to next characted in the buffer when checking for token.

device_mapper: nodes and values with strings

Avoid double dm_pool allocation call by copying string
for node name and config value directly after the end
of node/value structure.

It would be likely better to not copy these strings at all
and derefence it from the original string however that
needs futher changes in the code base.

crc: add newer zlib code

This code is faster when calculating crc32 checksum for larger
block areas. There is also SIMD variant present in the code,
however ATM the influence on performance of lvm2 is not that big..

crc: move static table

Move static table upward in the code so it can be shared with
another 'crc' implementation.

lvmlockd: drop return 1 from void function

When compiling code without lvmlockd, the void function
lockd_free_lv_after_updatei()  should not return any value.

lv_manip: fall back to direct zeroing on any BLKZEROOUT ioctl failure

When BLKZEROOUT ioctl fails, it should not stop us from trying the direct
zeroing as a fallback action, since this is an optimization only.
We should be able to continue with new LV creation if we succeed
with that direct fallback then.

Related report: https://issues.redhat.com/browse/RHEL-58737

lvremove: fix failed remove of all LVs in shared VG

commit a125a3bb505cc "lv_remove: reduce commits for removed LVs"
changed "lvremove <vgname>" from removing one LV at a time,
to removing all LVs in one vg write/commit.  It also changed
the behavior if some of the LVs could not be removed, from
removing those LVs that could be removed, to removing nothing
if any LV could not be removed.  This caused a regression in
shared VGs using sanlock, in which the on-disk lease was
removed for any LV that could be removed, even if the command
decided to remove nothing.  This would leave LVs without a
valid ondisk lease, and "lock failed: error -221" would be
returned for any command attempting to lock the LV.

Fix this by not freeing the on-disk leases until after the
command has decided to go ahead and remove everything, and
has written the VG metadata.

Before the fix:

node1: lvchange -ay vg/lv1
node2: lvchange -ay vg/lv2

node1: lvs
  lv1  test -wi-a----- 4.00m
  lv2  test -wi------- 4.00m
node2: lvs
  lv1  test -wi------- 4.00m
  lv2  test -wi-a----- 4.00m

node1: lvremove -y vg/lv1 vg/lv2
  LV locked by other host: vg/lv2

(lvremove removed neither of the LVs, but it freed
the lock for lv1, which could have been removed
except for the proper locking failure on lv2.)

node1: lvs
  lv1  test -wi------- 4.00m
  lv2  test -wi------- 4.00m

node1: lvremove -y vg/lv1
LV vg/lv1 lock failed: error -221

(The lock for lv1 is gone, so nothing can be done with it.)