lvcreate: add extra synchronization at error path

Put explict udev synchronization before we try to deactive devices.

tests: protect this test for another kernel

Thisi 3.10.0-862 kernel also dies with this test.

tests: tune usage of smaller metadata

While the previous commit c9b40083fc34b5e2a1bfc7b251b38c0b8737483f
decresed version to 1.19 for using bigger datasets,  it's not
been quite right - so from our bb machine it looks like
bigger metadata consumption started with 1.19 and kernel 4.18
(fc27)

tests: raise needed target version

Require higher version to avoid early bugs.

tests: improve cache abort test

Use bigger volume and slowdown writing to cache device.
This allows more simple to reach 'dirty' state.
Also document exactly 1 SIGINT has to fire aborting of flushing.

tests: check in_sync prints also dm status

It's more useful to see how the progress of status checking is moving.

cache: simplier signal handling

Use just single sigint_allow()/restore() within flushing loop
and void one extra signal manipulation.

headers: remove unused headers

configure: just upper case start of sentence

locking: restore blocking signal for VG_GLOBAL lck

During removal of a lot of locking code the signal blocking got lost
and signal processing got broken leading to unpredictable
behavior of i.e. activation code the can get interrupted in the
middle of DM table processing.

lvm2 code always expects signals are blocked while lock is held
unless it is explictelly placed into section of:
sigint_allow();....;sigint_restore();
For checking catched interrupt there is sigint_catched();

tests: avoid using string

String 'TEST WARNING' may not be present in the test script itself.
Add '\ ' to avoid 'grep' matching test as the test with warning.

tests: support for 16T is needed

Likely 32bit machines can't pass here.

tests: change skip to die for upstream crash

So the failing test is not lost from sight.

tests: skip test on failing kernel

cov: drop checking for EWOULDBLOCK

Reduce cov warning and remove this really ancient define
as lvm2 was never compilable on such platform.

cov: check sscanf result

cov: drop model for origin_from_cow

lvconvert: check if LV has cow type

Cow may not be a COW type, the return value of origin_from_cow(cow) may be NULL.

Reported-by: Wu Guanghao <wuguanghao3@huawei.com>
Reported-by: Zhiqiang Liu <liuzhiqiang26@huawei.com>

revert "lvconvert: check if LV has snapshot type"

This reverts commit 7db124774a2b79105e7c9c6b42df88219fc070ca.
Actually we need to check for lv_is_cow().

tests: check for boundary allocation sizes

tests: reduce disk space usage by pvck-dump

Lower disk usage for 'dd'.

tests: lower at_least to version 1.19

With this version already can be seen different metadata usage on
kernel side, so lower the target version.

tests: have_cache function checks for cache-pool

Check for cache-pool segment as plain cache can match writecache.

alloc: improve estimation of sufficient_pes_free

Metadata size was calculated correctly only for raids.

Fixes problem for crash during lvcreate when thin-pool was created
on a VG where remaining free space had the size to only fit a single
metadata LV and not also its _pmspare.

Lvcreate crashed with this assert message:

lvcreate: metadata/pv_map.c:198: consume_pv_area: Assertion `to_go <= pva->count' failed.
Aborted (core dumped)

TODO: there is probably to large overload of several alloc_handle
variables.

Reported-by: Wu Guanghao<wuguanghao3@huawei.com>
Reported-by: Zhiqiang Liu <liuzhiqiang26@huawei.com>

lvconvert: check if LV has snapshot type

Cow may not be a snapshot type, the return value of origin_from_cow(cow) may be NULL

Signed-off-by: Wu Guanghao <wuguanghao3@huawei.com>
Signed-off-by: Zhiqiang Liu <liuzhiqiang26@huawei.com>

lvconvert_poll: ensure LV has snapshot type

LV may not be a snapshot type, the return value of find_snapshot(lv) may be NULL.
Here, we will call stack if LV is not a snapshot type.

Signed-off-by: Wu Guanghao <wuguanghao3@huawei.com>
Signed-off-by: Zhiqiang Liu <liuzhiqiang26@huawei.com>

pvmove: check return value of top_level_lv_name()

The return value of top_level_lv_name() may be NULL, so we should
check return value of top_level_lv_name before calling
strcmp(lv->name, top_level_lv_name(vg, lv_name)).

Signed-off-by: Wu Guanghao <wuguanghao3@huawei.com>
Signed-off-by: Zhiqiang Liu <liuzhiqiang26@huawei.com>

gitignore: ignore all cscope generated files

When using cscope to read code, it will generate below 3 files for speedup
cross-refer: cscope.files, cscope.in.out, cscope.po.out

The .gitignore only contains "/cscope.out". It a little bit messy when
executing 'git status', and other git commands.
This patch add all cscope generated files in .gitignore.

Signed-off-by: Zhao Heming <heming.zhao@suse.com>

thin: compensate metadata size by extra percent

When using --use-policy for automatic extension of thin-pool,
the extension of thin-pool's metadata itself can actually take
some extra space.
Since I'm not aware of exact compensation formula, add just
1% extra to calculated amount and hope it fits.

Wanted target is to always have usable thin-pool that fits
bellow pool_metadata_min_threshold().

lv_manip: even better rounding

tests: aux collects stack trace when stuck is assumed

Automatically collect traces in this case.

tests: adding "" around DM_DEV_DIR

tests: disable dbustest with valgrind testing

cleanup: comment typo

debug: drop debug trace from regular path

Since we query on regular code these:
  lv_raid_has_integrity()
  lv_has_integrity_recalculate_metadata()
without prior checking for lv_is_raid() - these 'return 0' should
not use <stacktrace> as they are expected.

lv_manip: relocate check to proper function

lvextend: improve percentage estimation

Correcting rounding rules for percentage evaluation.

Validate supported range of percentage.
(although ranges are already validated earlier on code path)

configure: compile with vdo and writecache by default

Enable compilation of vdo and writecache support as internaly
supported segment types by default.

For disabling use:

--with-vdo=none
--with-writcache=none

integrity: fix segfault reporting integrity for other lvs

man: correcting vdo issues

Fixing reported bugs within provided examples - so examples
can be used via cut&paste.

man: correctly use configured directories

Revert "raid: add _rimage and _rmeta as origin_only"

This reverts commit 3388e194892e9ab7a36b72e512796c2d218dae6e.
More thinking needed.

Revert "raid: do not enforce flushing of raids when it is not required"

This reverts commit ce5ea07411d57a2bd276d8d29e46ce30b957f657.
More thinking needed.

tests: tune extend test

For proper checking of extension progress require version 1.15

It looks with older versoin extension happens during very slow
resume within lvm command - although speed is still somewhat slow
with latest version.

tests: check for writecache being compiled in

tests: check for cache_version that supports v2

raid: do not enforce flushing of raids when it is not required

This is probably somewhat experimantal patch - but when i.e. raid device
is just extend, there should not be a technical need for flush,
unless the target would stricly need it.  It should allow faster
processing of lvm command not being blocked by possibly longer flush.

raid: add _rimage and _rmeta as origin_only

Since we do not support rimage & rmeta for snapshots - we can
avoid quering for -cow devices and add them as origin_only -
since their snapshots (-cow) could have never existed.
This redumes several ioctl operation during table preloading.

lv_manip: add synchronization points

lvconvert: flip return value of _raid_split_image_conversion

Use '0' for error and '1' as success.
Also drop INTERNAL_ERROR from path - as this error
is ATM used for invalid devices.
(i.e. test lvconvert-raid1-split-trackchanges.sh)

tests: fix pvck repair in hints.sh

tests: use delayzero_dev

Speed-up a bit the first synchronization with just 50ms write delay,
but later set also delay on read to slowdown lvextend.

FIXME: there are still things to look at:

0 229376 raid raid1 2 AA 229376/229376 idle 0 0
0 229376 raid raid1 2 AA 0/229376 frozen 0 0 -
0 262144 raid raid1 2 AA 229376/262144 repair 0 0 -
0 262144 raid raid1 2 AA 229376/262144 repair 0 0 -
0 262144 raid raid1 2 AA 245888/262144 repair 0 0 -

tests: add aux delayzero_dev  support

Just like we have 'writeerror_dev' supporting creation of device
which 'readable' segment and segments where write will fail we
have now support for delay zero mappings.

This is useful if we want to 'fake' large writing areas where we do
not really care about the actual 'disk' content - since we test
operation logic and it doesn't matter we read and write zeroes.
With combination with 'delay' target we can create specific mappings
and avoid using large memory areas of ramdisk.

writecache: allow pvmove on origin

The removed check didn't actually prevent pvmoving the origin,
which was possible by naming the wcorig lv, or naming no lv.

pvck: repair should clear hints

repairing a pv can cause the hint file to become incorrect

hints: remove warning when clearing hint file

When the hint file cannot be accessed, silently
ignore hints, like other instances do.

integrity: improve lv type checks

integrity: fix segfault for lv with no seg

in lv_raid_has_integrity

tests: add new integrity reporting fields

integrity: report mismatches

with lvs -o integritymismatches

reported for integrity images, which may report
different values

integrity: report raidintegritymode randintegrityblocksize

reported for the raid lv and the integrity images

integrity: always default to journal mode

lvconvert was defaulting to bitmap mode,
and lvcreate was defaulting to journal mode.

tests: skip this test for current 5.8 5.9 kernels

Kernel is hitting not yet fixed kernel bug.
Skip the test to avoid killing testing machine.

tests: slightly faster

Use lvm shell to agregrate lots of lvm commands
Reduce initial zeroing.

tests: set skipping autoactivation

On test system with 'default' filter  (aka accept all) test
after enabling device can suffer from automatic system
activation - so for created LVs setup skipping this automatic
activation. This should prevent getting LVs into table
with pvscan service.

tests: skip test when gcore cannot catch securetest

gcc: avoid shadowing of dev_name and pvs

Since we declare dev_name in lib/device/device.h
and pvs in commands.h
rename local dev_name to device_name
and pvs to pvs_list to prevent shadowing warning.

m

gcc: hide warn about possible uninitialized use of dev_ret

Older gcc reports this fp problem.

pvck: add simple check for fwrite

Add at least very light check for result code of fwrite().

pvck: use array of bytes

Fix typo in use array of pointers instead of array of bytes.
This fixes 'break strict-aliasing rules' warning printed with older gcc.

cleanup: better expressing passing key arg to _hash

cleanup: add spaces between literals

cleanup: user force_t enums instead of ints

cleanup: matching declaration order

Cosmetic

cov: avoid duplicated assign

cov: always initialized values

Make sure values are initialized for all possible paths.

cov: explicitely ignore function result

cov: always sure we end with '0'

Use easier dm_strncpy().

gcc: keep using unsigned type

gcc: preserve constness of buffer

gcc: zero-sized array to fexlible array C99

Switch remaining zero sized struct to flexible arrays to be C99
complient.

These simple rules should apply:

- The incomplete array type must be the last element within the structure.
- There cannot be an array of structures that contain a flexible array member.
- Structures that contain a flexible array member cannot be used as a member of another structure.
- The structure must contain at least one named member in addition to the flexible array member.

Although some of the code pieces should be still improved.

gcc: change zero-sized array to fexlible array

this patch makes gcc happy with compiling option: [-Wstringop-overflow=]

Signed-off-by: Zhao Heming <heming.zhao@suse.com>

dmsetup: initilize winsize struct

Ensure winsize struct is always defined.

tests: filefrag needs to support -e

Skip on systems with 'too old' filefrag without -e support

cachevol: correcting 64b math

Widen to 64bit for correct 64b multiplication math.

WHATS_NEW: update

gcc: drop bogus ;

gcc: do not use return with void function

Follow C norm and do not use 'return' in void function to call other
functions.

gcc: use apropriate type for reading and printing values

tools: move struct element before variable lenght list

Move prio field before 'variable' struct array field.
Interesting why this has not been catched yet.

TODO: think about test case

gcc: calc size in compile time

gcc: avoid stack alloc arithmetic

gcc: keep unsigned arithmetic

Avoid conversion to int.

lv_manip: get_default_region_size return uint32_t

lvmcache: use uint32_t for seqno caching

writecache: correct usage of const struct

container_of: drop needless const converion

tests: check we detect lvm.conf read failure

No coredumps with unreadable lvm.conf.

config: drop reading file with mmap

While normally the 'mmap' file reading is better utilizing resources,
it has also its odd side with handling errors - so while we normally
use the mmap only for reading regular files from root filesystem
(i.e. lvm.conf) we can't prevent error to happen during the read
of these file - and such error unfortunately ends with SIGBUS error.
Maintaing signal handler would be compilated - so switch to slightly
less effiecient but more error resistant read() functinality.

Revert "lvdisplay: dispaly correct status when underlying devs missing"

This reverts commit 1d0dc74f9147e3c1f3681efa4166cbe2edcb6571.

We should avoid adding anything new to lvdisplay and report
new information via lvs reporting fields.