tests: update test to check for race better

Use  delay_dev to slow down mirror sync so we could more
easily check for race and proper reject of parallel mirror
leg addition/reduction.

Also expose fail in mirror allocation of parallel leg.

tests: do not skip test when delay is missing

Rather then skipping whole test - just do not use it.

Failing tests that have required delay need to deal with reality
and shell either check for HAVE_DM_DELAY and skip portion
of test or using should when needed.

cleanup: update comment

dmsetup: cleanup warn for older compilers

Older gcc somehow thinks there is a path of using
subcommand uninitilized.

So make it more obvious there is no such one.

lvmetad: maintain seqno as int

Keep seqno as 32bit value.
Also use '_' prefix for local _update_metadata.

raid: mark intententional copy and paste

Coverity: add this extra comment, to let Coverity know this
slightly changed copy&paste code is intentional.

cleanup: use code in place

Pass const strings to printf(),
and use  struct names directly instead of creating unused vars on stack.

cleanup: reoder rstatus init

In all error paths always initialize *rstatus.

cleanup: coverity quiet

While through all codepaths we never 'read' lock_id unless LCKF_CONVERT,
coverity cannot decrypt this.

As since it's usually better to pass in 'well-defined' data structures
preset lock_id to 0.

cleanup: use fputs for plain strings

Use fputs() when printing plain string,
easier then fprintf which needs to parse it.

Also check fd before close is >= 0 -
it is - but coverity fail to see it, so eliminate
this false-positive warning.

cleanup: drop unneeded assign

prio is always assigned later.

cleanup: keep using enum typedef

Using enum instead of unsigned.

cleanup: use 64bit multiply for print

cleanup: drop unneeded header file

cleanup: use display_lvname

cleanup: use NAME_LEN

Let's have instant check for max name len when creating
subLV name.

cleanup: use NAME_LEN buffer instead of alloca

Drop alloca and use NAME_LEN size to get implicit check
for max len of LV name.

cleanup: do not test alloca for NULL

alloca() never returns NULL.
In case stack is out-of-range the behaviour is undefined.

cleanup: drop unneded assign

Coverity doesn't really like to see subcommand being assigned NULL,
so drop it.

alloc: use own mem pool for alloc_handle

Keep alloc_handle's data in a single mempool and do not
spread them into vgmem pool.

cleanup: relocate error capture

Capture internal error before allocation anything.

toollib: add missing check for lvmcache_init()

Coverity notices lvmcache_init() may fail so check and
error out in case of failure.

devmanager: validate target params

Coverity: ensure we do not read through NULL pointers for
target_type and params.

report: add extra pointer check

Coverity was seeing possible trouble with NULL pointer dereference.
So ensure it may never happen.

lv_manip: do not deref NULL for debug message

Coverity: when 'pv2' would be passed as NULL, do not try to
deref it in debug message.

dev-type: fix TOCTOU order

Doing 'stat' checking first and later opening is racy.
And since we do not really care about any 'status' info
here and we read 'sysfs' here - just drop whole 'stat()'
call and directly handle error from failing 'fopen()'.

thin: fix error path mem leak

Coverity: when parsing of thin-pool status would have failed,
it could have leaked memory pool and dmt struct.

libdm: add test for  dm_task_get_message_response()

Coverity notices dm_task_get_message_response() result should be
checked for NULL which should not be passed to dm_pool_strdup().

libdm: exlicitly check for NULL

Coverity: another explict check for NULL, where coverity fails to
see it.

libdm: ensure vars are initialized

Coverity found potential error path, where code could
have used some unset variables.

libdm: add missing error path check

Coverity: do not continue with section cloning when root node
would a NULL.

lvconvert: add extra check for existance of pointer

Coverity here is not fully-in-picture - but please it
with validation of pointer which currently cannot be null,
since we always return at least empty string.

lvmetad: validate mda is not NULL

Coverity: make it explicitely obvious metadata area is not NULL.

lvmetad: check for pointers not NULL

Check for  arg_vgid_lookup and arg_name_lookup not being NULL.
Drop checking arg_vgid and arg_name for NULL since they
are already dereference earlier - thus mostly must be NOT NULL.

(If that would be possible larger rework of this function would be
required).

lvmetad: require meta_lookup

Coverity: do not call update_pvid_to_vgid() with
meta_lookup == NULL since it is dereferencing it.

lvmetad: check for allocation fail

Coverity: missing check for root != NULL as this pointer is
later dereferenced in add_last_node().

dmsetup: add missing checks for dm_stats_create() ret value

Coverity likes to see a check for dms not being NULL, so
add those missing ones...

dmsetup: check for NULL from dm_task_get_ioctl_timestamp

Coverity: ensure NULL is not passed to dm_timestamp_delta().

clvmd: check for pthread_create status

Coverity: likes to see checked function result.

dmeventd: open fifo in one function

Put calls related to fifo opening into a single function.

Fix  Time-Of-Check-Time-Of-Use and use fstat()
and fchmod() on already opened fd instead of
checking first path and then risking to open something
different.

dmeventd: reorder tou

libdevmapper-event: fix fifo leak on error path

Coverity: when _init_client() fails, client fifo could have
been already openned and needs to be closed on error path.

configure: report whether to build lvmlockd

Report configured status for build with lvmlockd.

post-release

pre-release

test: disable duplicate VG name test for lvmetad

Until we decide how duplicate VG names should be
handled by lvmetad, and implement that.

mirror: Fix log size calc when more than 1 extent.

Currently the code creates the log separately after allocating space for
the data and as no data allocation is needed this second time,
total_extents ends up holding zero so use new_extents directly instead.

vg_read: skip repair and wipe for foreign and shared VGs

When reading a foreign VG we cannot write it, since
it belongs to another host.  When reading a shared VG
we cannot write it because we may not have an ex lock.
(Or we may be reading the shared VG while not using
lvmlockd in which case it's like reading a foreign VG.)

Add the same checks for wiping outdated PVs.  We may
read a foreign or shared VG, or see the PVs, while
another host is part way through writing a new version
of the VG to the PVs.  This might cause us to think
some of the PVs are outdated.  We do not want to
write another host's PVs, especially when we may
wrongly conclude they are outdated.

lvmcache: change log_verbose to log_warn

Without this, some cases miss printing a
warning for duplicate PVs.

lvmetad: log duplicate PVs returned from lvmetad

When the command gets a list of alternate devices
from lvmetad, log each one directly.  This is not
the same as the warnings when adding lvmcache,
which are related to which duplicate is preferred.

tests: skip duplicate vg names test with lvmetad

If two PVs have different VGs with the same name
(different uuids), one of the VGs is ignored by
lvmetad.  A FIXME exists in lvmetad to find a
better response.

lvmetad: refactor and document

update_metadata and pv_found update the cached metadata;
these are both reworked to improve the code, organize it
by each possible state and transition, make it much more
clear what's changing, add more error checking and
handling, and add comments.

The state and content of the cache (hash tables) does not
change (apart from some things that didn't work before),
and the communication to/from commands does not change.
The implementation and organization of the code making
the state changes does change significantly.

One detail related to the content of the cache does change:
different hash tables do not reference the same memory any more;
the target values in each hash table are allocated and freed
individually.

config: fix copy error in examples

The same example was copied without
changing the variable name.

test: api subdirectory is needed in PATH by pytest

test: Run pytest with installed libs

spec: Add python bindings

post-release

pre-release

WHATS_NEW: reporting commands and -o-/-o+ extension

commands: update command help for -o|--options for reporting commands

man: pvs/vgs/lvs and -o+, -o-, -o#

tests: add report-fields.sh test

report: support "-o #field_name1,field_name2,..."

report: recognize known prefix when processing "-o -field_name1,field_name2,..."

report: add report_get_field_prefix function

report: support "-o -field_name1,field_name2,...."

report: make report options defined by "-o" groupable

Also, besides making "-o" groupable, use string lists to store
lists of options temporarily while processing all instances of
the "-o" group.

refactor: move code detecting report options to a separate function

str_list: add str_list_destroy function

The str_list_destroy function may be called to cleanup memory when
the list is not used anymore and the list itself was not allocated
from the memory pool.

str_list: add str_list_to_str and str_to_str_list functions

The str_list_to_str and str_to_str_list are helper functions to
convert string list to a single string and vice versa.

str_list: also allow memory allocation without memory pool

New entries for pvs related fixes.

metadata: format_text: also count with calculated mda size of 0

When checking minimum mda size, make sure the mda_size after alignment
and calculation is more than 0 - if there's no place for an MDA at the
end of the disk, the _text_pv_add_metadata_area does not try to add it
there and it returns (because we already have the MDA at the start of
the disk at least).

tests: add test for minimum mda size

metadata: format_text: better check for metadata overlap

Actually, we don't need extra condition as introduced in commit
00348c0a630a7e5578edf48052ec695b15de752f. We should fix the last
condition:

  (mdac->rlocn.size >= mdah->size)

...which should be:

  (MDA_HEADER_SIZE + (rlocn ? rlocn->size : 0) + mdac->rlocn.size >= mdah->size))

Where the "mdac" is new metadata, the "rlocn" is old metadata.

So the main problem with the previous condition was that it
didn't count in MDA_HEADER_SIZE properly (and possible existing
metadata - the "rlocn"). This could have caused the error state
where metadata in ring buffer overlap to not be hit.

Replace the new condition introduced in 00348c0a630a7e5578edf48052ec695b15de752f
with the improved one for the condition that existed there
already but it was just incomplete.

WHATS_NEW: recent commits

metadata: format_text: check VG metadata do not overlap themselves

We're already checking whether old and new meta do not overlap in
ring buffer (as we need to keep both old and new meta during vg_write
up until vg_commit).

We also need to check whether the new metadata do not overlap
themselves in case we don't have old metadata yet (...because
we're in vgcreate). This could happen if we're creating a VG so
that the very first metadata written are long enough that it wraps
themselves in metadata ring buffer.

Although we limited the minimum metadata area size better with the
previous commit ccb8da404d00288b7d49c7a28006ec5d4687bb55 which
makes the initial VG metadata overlap in ring buffer to be less
probable, the risk of hitting this overlap condition is still there
if we still manage to generate big enough metadata somehow.

For example, users can provide many and/or long VG tags during vgcreate
so that the VG metadata is long enough to start to wrap in the ring
buffer again...

metadata: format_text: check metadata area size is at least MDA_SIZE_MIN

tests: update test for resize

Drop already tested 'threshold & create' which is in
lvextend-thin-full.sh

Count with now match faster 'dmeventd' wakeup on watermark
as it's now nearly instant after crossing threshold value.

tests: replace invalid use of 'fail' with 'die'

tests: let pass bigger readahead

If the underlaying device has actually bigger read-ahead settings,
let it pass.
But anyway switch to 512 strip-size to get really high R-A sector count.

tests: fix wrong line has been commented

tests: no point in using should

lvmetad does not support lvm1 - so expect failure.

cleanup: error is not a WARNING

Drop 'WARNING' from error message.
It's plain error message leading to command failure.

cleanup: remove thin low_water_mark from metadata

This option could never have been printed in lvm2 metadata, so it could
be safely removed as it could have been set only as 0.

These configurable setting is supported via metadata profile.

cleanup: use same type

cleanup: easier error messages

thin: enable usage of kernel low_water_mark

Now with correctly functioning dmeventd enable usage of
low_water_mark for faster reaction on pool's threshold.

When user select e.g. 80% as a threshold value,
dmeventd doesn't need to wait 10 seconds till monitoring
timer expires, but nearly instantly resizes thin-pool
to fit bellow threshold.

thin: dmeventd plugin check number of failures

If plugin's lvm command execution fails too often (>10 times),
there is no point to torture system more then necessary, just log
and drop monitoring in this case.

revert: 3d03e504cda6307f692c5879f6850b2e27af7d71: message about VG metadata size vs. PV mda size

The message needs refinement - it's not correct in all situations.

pvs: don't treat duplicate PVs as missed

The recent addition to check for PVs that were
missed during the first iteration of processing
was unintentionally catching duplicate PVs because
duplicates were not removed from the all_devices
list when the primary dev was processed.

Also change a message from warn back to verbose.

vgs, lvs: ignore error if VG is removed

If a VG is removed between the time that 'vgs'
or 'lvs' (with no args) creates the list of VGs
and the time that it reads the VG to process it,
then ignore the removed VG; don't report an error
that it could not be found, since it wasn't named
by the command.

device: Tidy DASD CDL format detection code.

tests: using matching type

Compare time_t.

tests: use more SKIP

Speed-up check_lvmpolld.

tests: avoid reading utils when skipping

Save even more CPU/time and avoid reading utils, when skipping test.

cleanup: snapshots of snapshots message

No plans to support thick snapshost of snapshots.

pvcreate: don't support unpartitioned DASD devices with CDL formatted

The former patch(dab3ebce4c7) is a little bit strict. For example, it is
OK to create PV on unpartitioned DASD devices with LDL formatted. So
after lvm version containing the patch, LVs created on those devices
could not be found.

Signed-off-by: Lidong Zhong <lzhong@suse.com>

dmeventd: event string parser handles empty field

Improve event string parser to avoid unneeded alloc+free.

Daemon talk function uses '-' to mark NULL/missing field.
So restore the NULL pointer back on parser.

This should have made old tools like 'dmevent_tool' work again.
As now 'uuid' or 'dso' could become NULL and then be
properly used in _want_registered_device() function.

Since lvm2 always fill these parameters, this change should
have no effect on lvm2.

tests: use skip flags

corrected usage of skip flags.