tests: ignore incosistent raid status

Just like lvm command ignores  0/xxxx report from judging the status.
Avoid using infinite loop and limit report checking to 100 checks.
If it would need more - something is not right.

tests: skip stray testing on real dev dir

Do not modify /dev dir maintained by udev.

tests: remove more file in teardonw

Our tests may result in producation of huge set of
invalid links in /dev/disk directory depeding on version
of udev and various kinds of failures.

Also we happen to invoke some on-system pvscans generating
local /etc/lvm/archive & backups - remove them when
test is finished.

tests: query info instead of table

No need to access table when we just check presence,
so generate smaller error message about missing device.

tests: this test has race in it depending on kernel

Some kernel seems to keep 'lvextend' busy so long,
that actual resize already happens.

So ATM use 'should'  until something better is invented.

tests: aux clean DM on top of MD

Before cleaning MD, try to remove any DM on top such MD.
Check is made through DM table check.
Maybe parse /proc/mdstat for this???

tests: wipefs with udev_wait

Try to synchronize with colliding udev.
Also retry once if there is some failure with some
sleep between next retry.

Use oflag=direct for wipping without wipefs.

tests: increase required version

Seems like version 1.13.2 remains crashing kernel - so increase
the required version for this reshaping test.

tests: use prefix for VG name

tests: ignore failure of zeroing

Older mdadm fails the command, when the signature is already gone.

tests: use mirror throttling

Combination of throttling and slowed device is a bit faster.

Also add FIXME about the mutliple spawn polling processing
when activating invidual LV for a pvmove.

tests: set default basic flavour

tests: try to move more date

Throttling was not helping with race - try to use more data.

WHATS_NEW: update

tests: test needs to have playable locking dir

tests: aux updates

Select unused md from /proc/mdstat
Check for wipefs once.

tests: enhance mdadm_create

For older mdadm its hard to support new names - to simplify things
keep using  /dev/mdXXX name which is automatically selected.

tests: set known locking dir

Tests running in the system may use locking dir of the system.

make: add few more predef symbols for cflow

configure: use rawhide version

tests: remove unused wait_md_create

tests: avoid sleep on kill path

Before sleeping, check if pid is still there.

tests: convert to use mdadm_create

Flip usage from prepare_md_dev to mdadm_create.

tests: more usage of new aux mdadm_create

Condense tests and use the new mdadm_create.

tests: use mdadm support

Use for testing new mdadm_create  aux wrapper.
Place functionality into a 2 pass loop - one for 'auto' other for 'start'.
Share same tests between raid level 0 and level 1 version of raid.

tests: new aux mdadm_create

Add generic wrapper for mdadm --create which takes
normal 'mdadm' args - but allows us to handle differences of
mdadm usage across various version of mdadm tool.

Resulting MD device is availalble in  $(< MD_DEV).

Automatic cleaning is made through   cleanup_md_dev

Calling of mdadm_create cleans previous MD dev if it exists.

tests: remove local changes

Use aux for preparing profile.
Avoid playing with LVM_BINARY localy - we already
preset this variable in lib/utils.

tests: even more aggressive throttling

Try if the test gets slowed down with slower mirroring (1)
or we would need something better to beat the race.

tests: skip only portion of test

Seems this kernel bug is taking more time to get it fixed,
so skipping only failing portion of test and ending with WARNING.

tests: more system defaults for installed tests

When testing installed binaries on system, use more 'built-in'
predefined settings to usethem with their  compiled-in values.

Also it's better to use same locking dir so the system's pvscan
is not unexpectedly interferring with test commands.

tests: remove incorrect check

We would need to be check same status value - otherwise
we can hit race in validating 2 different states.

gcc: declaration of tmpfile shadows a global

Rename tmpfile to tmppath to avoid declaration shadowing of:

/usr/include/stdio.h:174: warning: shadowed declaration is here

lvm: Fix editline compilation

tests: use mirror throttling

With small mirrors its better to throttle speed of mirror in dm-mirror.

tests: slow down device more

Make the race with too fast merging less likely to occure.

tests: prohibit 4K brd device with integrity

Older kernels hit these errors:

device-mapper: integrity: Bio not aligned on 8 sectors: 0x8ffc, 0x4

tests: add FIXME to raid test

We have here some kind of catch-22 - since older kernels do
use 'resync' while new 'recover' for initial raid synchronization.

So now - how do we recognize in which state of raid we are.
ATM seems to be simplest to simply keep disabled droping of primary raid
leg unless we are in sync.

FIXME: we should add a target version check and enable removal

raid: restore mirror handling in _raid_in_sync

Function is not having the best name since it does check
no just raid LVs to be in sync.

Restore the mirror percentage checking - although without retries,
since only raid target is currently known to need it - for other
types it would be ATM a bug to get inconsistent result.

tests: fix condition for exclusion of /dev

tests: aux reject /dev as testing dir

If LVM_TEST_DIR would be set to /dev, reject such selection.

tests: drop status workaround

lvconvert should now recognize resync from older kernels.

tests: copy more data

Give pvmove --abort bigger aborting window.

tests: require newer raid version

Tests needs reshape support - so require newer target version
as quick fix.

TODO: inspect indiviual supportable conversion with older versions.

make: cflow target works again

Restored 'make cflow' functinality.
Produces some quick referece of function chaining and usage.

make: simplify dependency loading

No need for extra ifdefs around.

make: restore buildir != srcdir support

Our new faster deps generation missed support for
buildirs != srcdir - as it can be usable to have
several builds from unchanged directory with sources.

make: generate

Add new lvmdevices.8_pregen and vgimportdevices.8_pregen.

git: update .gitignore

Hide some files from older builds.

cleanup: reduce code dupliction

gcc: ensure buffer ends with 0

raid: move non dm functions from DEVMAPPER ifdef

When lvm is compiled without device-mapper - this functions
do not need this kernel support so move them from ifdef DEVMAPPER
sections.

raid: resync cannot lose primary leg

Prohibity droping primary leg while resyncing.

raid: interruptible usleep when waiting for sync

Whiel waiting for raid to return consistent status,
use interruptible sleep - so command can break quickly.

Use lv_raid_status() to get percentage easily from status.

WHATS_NEW: updates

tests: check for raid sync in progress

TODO: this needs to be built-in in lvm command itself.

tests: add check for lvconvert without zeroing

Check lvconvert -Zn does not zero thin-pool metadata.
Also check --type zero is usable for thin-pool data.

tests: check mixing striped with error and zero

tests: aux always shift emulated devices by 1MiB

Always shift created virtual PVs on backing device by 1MiB
and leave 1MiB free space at the end of device.

This way the system doesn't see same PV headers at multiple devices.

thinpool: support lvconvert without zeroing

Since lvm does support external users of thin-pool when thin devices
are managed outside it can be useful to support conversion to
thin pool from data and metadata LV without zeroing.
TransactionID will be 0 in lvm2 metadata.

  lvconvert -Zn --thinpool vg/data --poolmetadata vg/meta

pool: allow data on zero and error segtypes

Renables usage of --type zero and --type error LVs to serve as
backend for _tdata device. Clearly not very useful in practice,
as it can't store any real data, but usable for some testing
and some sort of perfomance checking.

  lvcreate --type zero -L1T -n pool vg
  lvconvert --thinpool vg/pool

Will create a thin-pool with zero device backend.

lvresize: allow mixing striped with errors or zero

Enabled extension/mixing of stripes/linears, error and zero
segtype LVs with stripes/linear, error and zero segtypes.

It is not very useful in practice, as the user cannot store any real
data on error or zero segtypes, but it may get some uses in
some scenarios where i.e. some portion of the device should not be
readable. Mixing of types happens on 'extent_size' level:

  lvcreate -L1 -n lv vg
  lvextend --type error  -L+1 vg/lv
  lvextend --type zero   -L+1 vg/lv
  lvextend --type linear -L+1 vg/lv
  lvextend --type striped -L+1 vg/lv

  lvs -o+segtype,seg_size vg

Note: when the type is not specified, the last segment type is
automatically selected.

It's also a small 'can of worms' since we can't tell LVs if
the LV is linear/error/zero or their mixtures. So the meaning behind
them may need some updates.

We already have this types of LV created i.e by:

  vgreduce --removemissing --force

where missing LV segments have been replaced by either
error or zero segtype (lvm.conf).

TODO: it might be worth adding a message while such device is activated.

segtypes: macros for error and zero segtypes

lvremove: extra code for handling thinpool data

Add some extra code to handle differently sized thin-pool
from thin-pool data volume.

ATM this can't really happen, but once we start to use multiple
commits while resizing stacked LV, we may actually get into
the position, where data LV has been already resized,
but thin-pool stayed with old size.

But for now - report difference as internal error.

lvresize: support resize of stacked virtual LV

Update the LV stack with the size also for virtual LVs.

dev_manager: skip also zero targets

Devices made only from 'error' target cannot be used,
but if the device is also combined from 'zero' target
the same rule can be applied as such device cannot be used.

dev_manager: add lv_raid_status

Just like with other segtype use this function to get whole
raid status info available per a single ioctl call.

Also it nicely simplifies read of percentage info about
in_sync portion of raid volume.

TODO: drop use of other calls then lv_raid_status call,
since all such calls could already use status - so it just
adds unnecessary duplication.

dev_manager: status check with info check included

Reduce ioctl count and avoid separate info check,
when we can get the same info from status ioctl.

When devmanager calls return 0, then the exists value 0
means the reason of failure is missing device in table.
In such case we avoid stack trace.

Swap the flush parameter for the vdo status function
to match thin pool status.

thin: ignore parallel merge while polling

If the thin volume has no merging snapshot,
(being already merged) there is nothing to check.

thin: add extra protection

Check explicitely created LV already has thin segment.
As currenlty it's the only user - this patch should have no impact.

cleanup: simplier check first

man: lvmlockd use of lvmlockctl_kill_command

tests: avoid leaking unkilled commands

Between each new test here we want to kill previous commands,
otherwise they will influence results of next test.

tests: wait for Aa status

tests: increase version of targets for progress

tests: workaround for some raid targets

Problem with some target is that shortly after initialization it
returns incorrect status letters.

tests: no further fixes likely to be expected

Skip tests for these kernels.

tests: require newer version of raid target

tests: update mirror test

Log results of uniq.
Remove few unneeded lvs calls.

tests: added check for kernel version

With older kernels this test can't work reliable,
since 'suspend' used to clean all dirty blocks
(taking even several seconds).

debug: start with upper case

Use upper case letter to start sentence.
Also drop unneded check for vg as it's already non-null.

cleanup: use dm_strncpy

Use own function.

device_is_usable: minor improve

Replace allocated buffer with local vg_name which doesn't
pass pointer to allocation.

Join some conditions together.

cleanup: typo

WHATS_NEW: updates

tests: add test for merging

Check we handle mething of thin snapshot that is itself thick snapshot
origin.
Also use  lvpoll to better wait for finish of merging.

tests: wait till fs is synchronized

Adding full filesystem sync, trying to fight with strange error from losetup:

losetup: loopa: failed to set up loop device: Resource temporarily unavailable

loop0: detected capacity change from 0 to 4096
loop_set_block_size: loop0 () has still dirty pages (nrpages=13)

Also reuse internal aux wipefs_a

tests: update handling of thin-pool removal

We shall no longer activate thin-pool, when
it's going away together with all thin volumes.

shellcheck: avoid assign warnings

Shellcheck seems to be happier when assigning variables with quotes.

cov: void unused result

debug: update message

debug: keep microseconds aligned

debug: drop stack from regular code flow

lvpoll: improve merge polling

When multiple polling tasks are watching for same LV, clearly
when some of them wins the game - other polling tasks will fail.
Improve the logic and report success if the merged LV is
actually not a merging origin anymore (since likely someone
else has already finished merging).

pooldaemon: increase min polling interval

Although we support '0' interval - it's highly inefficent to
do so many scans in busy-loop.

So ATM raise minimal rescan time to 100ms.

TODO: revisit whole timing logic here as it does have some sideeffect
hiddent impact and can considerably eat CPU in some cases.

lvremove: use to_remove for snapshot removal

Reuse similar 'acceleration' as used for dependent volumes also
for snapshot  - so when origin is being removed with all thick
snapshots, don't bother with individual 'COW' detachments
and write&commits, and when possible handle this all within
a single commit.

lvremove: use common routine for prompting

Move code for prompting about removed LV to a single function
and use it also to prompt for removal of origin and all its thick
snapshots and also when removing merging origin.

Function does handle postponed write_and_commit so there is
no 'in-flight' operation while waiting on [y|n] answer.

vg_validate: fix validation of merging thin origin

Compat code and handle unusual case, where
thin snapshot is also a 'thick snapshot origin' and such
snapshot gets merged into a thin origin.

However since now lv_is_visible() (which is complex function)
replaced &VISIBLE_LV check, the whole this check seems to be
no longer useful as sum of all 3 will always match??

config: correct option name

config: keep issue_discards in config struct

Avoid quering for this config option and keep it for removing in struct.
Also drop unused cache_vgmetadata variable.

cleanup: move common condition