lvs: disable scanning optimization

The scanning optimization can produce warnings from
'lvs' when run concurrently with commands modifying LVs,
so disable the optimization until it can be improved.

Without the scanning optimization, lvs will always
read all PVs twice:

1. read metadata from all PVs, saving it in memory
2. for each VG
3. lock VG
4. reread metadata from all PVs in VG, replacing metadata
   saved from step 1
5. run command on VG
6. unlock VG

The optimization would usually cause step 4 to be skipped,
and PVs would be read only once.

Running the command in step 5 using metadata that was not
read under the VG lock is usually fine, except for the
fact that lvs attempts to validate the metadata by comparing
it to current dm state.  If other commands are modifying dm
state while lvs is running, lvs may see differences between
metadata from step 1 and dm state checked during step 5,
and print warnings.

(A better fix may be to detect the concurrent change and
fall back to rereading metadata in step 4 only when needed.)

tests: add more tracing info

tests: reduce amount of written date

Since we reduced created LV to 4M - dd also just 4M.

revert "dmeventd: vdo plugin link lvm library"

This reverts commit cbabdf2fca6131660cfb5525ed9edb3f7a41525a.
and add extra comment why this code may look unused, but
in runtime is necessary.

Revert "hints: rewrite function"

This reverts commit 70fb31b5d6863248b5adfb2581b706cbb158b30e.

Revert "debug: enhance debug messages"

This reverts commit e92d3bd1f75d335fba5303c433516ea4ebe5cab1.

tests: enusure lib is initilized

debug: enhance debug messages

hints: drop unneeded memset

strncpy will zero buffer itself.

hints: no need to check for NULL before free

free() itself checks for NULL.

cov: use zalloc

Instead of malloc() memset() -> zalloc()

cov: add explicit ret value ignoring

We don't need to check for any error result codes here.

cov: remove unused headers

cov: more checks for failing syscalls

dmeventd: vdo plugin link lvm library

Since we fixed linking of proper version of 'libdevmapper' with
linking lvm2 plugin correctly - we already have correct function
available linked with internal lvm library.
So drop unneeded include of parsing function.

cov: inline _build_desc_write

Embed function into the code, since the function is actually
simpler written this as there are no memleak troubles
with failing allocation error path.

hints: check for _touch_hints

Exit when !_touch_hints().

hints: fix mem leaking buffers

hints: validate allocation result

hints: validate sscanf results

hints: allocate hint only when needed

Avoid mem leaking hint on every loop continue and
allocate hint only when it's going to be added into list.

Switch to use 'dm_strncpy()' and validate sizes.

hints: rewrite function

pvck: check result of dev_get_size

Don't use garbage value for later computations.

cov: fix mem leaking buffer

Free allocated buffer on function's exit.
Also check for fwrite() results.

cov: avoid passing NULL to strstr function

When 'str1' would be NULL, there is no point to run 2nd. strstr().

cov: check for retvalue

cov: fix memleak for duplicate device

For  dev_in_device_list() != 0 allocated  'devl' was
actually leaking - so instead allocate 'devl' only
when !dev_in_device_list() and indent code around.

cov: check for NULL

Since we check for NULL pointers earlier we need
to be consistent across function - since the NULL
would applies across whole function.

When dropping 'mda' check - we are actually
already dereferencing it before - so it can't
be NULL at that places (and it's validated
before entering  _read_mda_header_and_metadata).

devtype: simplify code

Update code with simpler form and check for fclose().

cov: fix memory leak

Reapply 23cc7ddc50e2800a6dc248de897a4c88c1514160 to internal version
of libdm.

fix dev_unset_last_byte after write error

dev_unset_last_byte() must be called while the fd is still valid.
After a write error, dev_unset_last_byte() must be called before
closing the dev and resetting the fd.

In the write error path, dev_unset_last_byte() was being called
after label_scan_invalidate() which meant that it would not unset
the last_byte values.

After a write error, dev_unset_last_byte() is now called in
dev_write_bytes() before label_scan_invalidate(), instead of by
the caller of dev_write_bytes().

In the common case of a successful write, the sequence is still:
dev_set_last_byte(); dev_write_bytes(); dev_unset_last_byte();

Signed-off-by: Zhao Heming <heming.zhao@suse.com>

WHATS_NEW: update

tests: add test of resize of different segtypes

lvextend: fix resizing volumes of different segtype

When resizing 2 volumes like  thin-pool and it's metadata and they
would be of a different type - command would be actually expecting
both LVs being of a same segtype - and would throw an error in
case they are different.

This patch fixes is by setting a new segtype from last segment of
2nd. extented device.

Also it fixes the possible 'percentage' extension setup that
might have been used for 'primary' volume - while the 'secondary'
LV always goes with direct size - as we do not support 'percentage'
setup for them

This affects maily usage of thin-pool where the extension of
thin-pool data size may also lead to extension of metadata size.

tests: add extra settle

To avoid removing, while 'add' might not have been processed yet.
(when emulating reboot in pvmove-restart)

tests: skip unneeded status check

If 'remove' was succesful - we can break loop immediatelly.

daemons: check for non-zero thread_id

Do not call pthread_join if thread_id would be 0.

daemon: better error path handling for shutdown

Report errors for open in better order.
Ensure descriptors are not leaked.

cov: ensure read_ahead is available

Make sure read_ahead pointer is not NULL when quering for RA.

cov: missing checks of syscalls

Check for sigprocmask errors

gcc: avoid declaration shadowing

dev_name is global in device.h

man: adjust 'disks' to 'devices' as used throughout

test: Fix metadata-zero-space with long VG names

tests: be happy with less then 90 percent

Thin metadata evolve between kernel version, so it's not always
precisely predictible its usage - so let's met test happy,
when it gets bellow 90%.

tests: skip test if scsi_debug is not available

tests: slowdown delay of raid

Slowdown 'delay' more.

tests: conversion only of exclusive lv

We can 'cache' only exclusively active LV in cluster.

tests: avoid checking command result in cluster

When running cluster test with clvmd, the actual 'monitoring'
happens in cluster - so the 'already monitored' message
is also logged within clvmd code and the command cannot
see such effect.

clvmd was incapable to report this information back to command
so it cannot be displayed this way.

Add 'lvs -o+seg_monitor' validation which also works in clustered mode.

WHATS_NEW: update

activation: drop removed declaration

Seems this function has been removed long time ago with:
3e781ea446bb7ddc9a494cbba6b6104dd51c3910

tests: reduce space requirements

Test well runs on smaller test machines.

raid: drop internal error

Fix some internal error reports and debug trace returns

manip: optimize lvs_using_lv

Instead of checking all LVs in a VG - do just a direct copy of LVs
from the existing list ->segs_using_thin_lv.

TODO: maybe it could be better to expose seg_list to /tools...

mirror: remove unused code

mirror: directly activate updated mirror

mirror: fix leg splitting

Enhance lv_info with lv_info_with_name_check.
This 'variant' not only check existance if UUID in DM table
but also compares its  DM name  whether it's matching expected LV name.
Otherwise activation may 'skip' activation with rename in case the
DM UUID already exists, just device is different name.

This change make fairly easier manipulation with i.e. detached mirror
leg which ATM is using same UUID - just the LV name have been changed.

Used code was not able to run 'activation' (and do a rename) and just
skipped the call. So the code used to do a workaround and 'tried'
to deactivate such LV firts - this however work only in non-clvmd case,
as cluster was not having the lock for deactivated LV.

With this extended lv_info code will run 'activation' and will
synchronize the name to match expected LV name.

Patch extends _lv_info() with new paramter 'with_name_check',
which is later translated into 'name_check' argument for
_info_run() which in case of name mismatch evaluates the
check as if device does not exists.

Such call is only used in one place _lv_activate() which then
let activation run.  All other invocation of _info() calls
are left intact.

TODO: fix mirror table manipulation (and raid)....

Experimental VDO lvmdbusd support

lvmdbustest.py: Use local data instead of fetching

Avoid making more dbus calls to get information we already have.  This
also avoids us getting an error where a dbus object representation is
being deleted by another process while we are trying to gather information
about it across the wire.

lvmdbustest.py: Improve concurrent test handling

Filter out LVs too, so that we can run more than 1 instance of the
unit test at the same time.

lvmdbustest.py: Add tests for LV interface

Add tests for all the different LV types with the standard LV dbus
interface.  These tests shook out a couple of new bugs.

lvmdbusd: Debug msg. improvements.

lvmdbusd: Fix model inconsistency when LV loses interface

When a LV loses an interface it ends up getting removed and recreated.
This happens after the VGs have been processed and updated.  Thus when
this happens we need to re-check the VGs.

lvmdbusd: Bug fix for activate/deactivate

Prevent the daemon from stalling when it gets stuck on a y/n prompt.

testlib.py: Add interface instance vars.

testlib.py: WS corrections

lvmdbustest.py: Add basic vdo test

testlib.py: Correct dbus signature verification

This allows us to fully verify introspection data matches what we are
getting.

lvmdbusd: VDO Pool LV representation

VDO pool LVs are represented by a new dbus interface VgVdo.  Currently
the interface only has additional VDO properties, but when the
ability to support additional LV creation is added we can add a method
to the interface.

lvmdbustest.py: Create common func. _create_cache_lv

lvmdbustest.py: Add nested helper function major_minor

lvmdbustest.py: WS corrections

lvmdbusd: Prevent running --nojson with VDO support

lvmdbustest.py: Add cache LV rename test

lvmdbusd: Add VgVdo class & assoc. interface

When VDO support is available we will create VG object instances
which will allow the API user to create VDO pool LVs.

lvmdbusd: Add cfg.vdo_support

Will be used to add vdo interfaces on demand.

lvmdbustest.py: Remove 2 TODOs

This issue has been resolved, sizes > 2**32-1 not supported.

lvmdbustest.py: Add func. _pv_scan

lvmdbustest.py: Use existing _create_lv

lvmdbustest.py: Add func. _create_thin_lv

lvmdbustest.py: Add func. _all_pv_object_paths

This is needed in a number of places.

lvmdbustest.py: Add function for lv path check

lvmdbusdtest.py: Use common function for tag add

lvmdbustest.py: Remove duplicate setup code

Remove the same copy & pasted code which simply creates a VG to
use.

man lvmvdo: Correct spellings

man: Include '_vdata' as reserved name

lvmdbusd: Add check for reserved name '_vdata'

Added for vdo support.

lvmdbustest.py: Add blurb about scan_lvs = 1

When developing and testing on a local system, to get the unit
test to pass the test_nesting test, editing the test conf will achieve
the success too.

lvmdbusd: Add d and D to type map for VolumeType

These were added for vdo integration.

lvmdbusd: Remove use of tmp variables

We can use tuple expansion from the command handler functions
directly.

lvmdbusd: Remove duplicate error handling code

vg, lv, pv code had the same function for handling command execution.
Move to utility function and abstract the difference.

[bcache] bcache_invalidate_fd, only remove prefixes on success.

[bcache] reverse earlier patch.

It broke some unit tests, for v. little benefit

[bcache] pass up the error from io_submit rather than using generic -EIO

Author: Heming Zhao

[bcache] add unit test

abort-forces-read

[label] Use bcache_abort_fd() to ensure blocks are no longer in the cache.

The return value from bcache_invalidate_fd() was not being checked.

So I've introduced a little function, _invalidate_fd() that always
calls bcache_abort_fd() if the write fails.

[bcache] add bcache_abort()

This gives us a way to cope with write failures.

WHATS_NEW

tests: explicit testing of thin snapshot

Check merging of old snapshot of thin LV.

snapshot: use single merging sequence

The resume of 'released' 'COW' should preceed the resume of origin.
The fact we need to do the sequence differently for merge was
cause by bugs fixed in 2 previous commits - so we no longer need
to recognize 'merging' and we should always go with single
sequence.

The importance of this order is - to properly remove  '-real' device
from origin LV. When COW is activated as 2nd. '-real' device is
kept in table as it cannot be removed during 1st. resume of origin,
and later activation of COW LV no longer builds tree associated
with origin LV.

snapshot: fix checking of merged thin volume

When merging of thin snapshot is taking place, the origin target will
be of thin type.