tests: better check for python libpath

Find also python3 lvm.so name.

And ATM just run a single test, otherwise we get too many cores.

python: specify libdm path for linking

tests: aux fixes

Properly check for kernel version.
Also detect sysfs throttling support.

tests: time limit waiting on lvmetad kill

tests: drop junk

tests: move into generated file

Since python path is evaluated and we cannot use anymore /usr/bin/env
switch to generated file.

build: configure detect libaio

No point to start building lvm without this header file.

Although there could be 'some point' in supporting standalone build
of 'just' libdm  where the libaio might be avoided.

TODO: think about configure option for building libdm only.

WHATS_NEW: updates

conf: update conf

Matching patch 2eba7c77557655cfbd19f191ec5d1ad1025897b3

tests: fix size of COW

Needs to be changed to match 4K extent_size.

tests: dont try to use DAX based brd device

Unfortunatelly on kernels <4.16 lvm2 can't user brd ramdisks
for backend device as number of test is failing with this kernel
message:

device-mapper: ioctl: can't change device type after initial table load.

caused by DAX request-based handling, and lvm2 tries to replace device
with backend 'error' bio-based device and such table reload is being
rejected.

So ATM keep ramdisk only on most recent kernel to experiment a bit,
for older machines just stay safe and keep old slower loop backend.

clean-up: example.conf.in typo

lvmcache: fix loop freeing infos

valgrind was concerned about loop through vginfo->infos,
so grab info from dev.

scan: add some missing frees

some objects had been moved out of mem pools.

tests: old systems do not have even throttling

When even throttling is not available, skip or use  should
with particular test piece.

tests: swith to mkstemp

As mkostemp is only on newer systems, switch to more old version
which effectively does exactly the same thing for given list of
open flags.

tests: start to use 4k mkfs

While newer system can detect need for 4K mkfs, on older test machines
running test suite over 4k is reporting problems.
Some more generic solution is needed thought.

tests: fix check sysfs

Commit 810f856c2490eb1d5db858f26a26621c4a3477e0 missed to move
assign of P after setting maj & min.

tests: do not try to create 1K extents

tests: restore functionality

Forgotten revert of tracing patch. Restoring previous functinality.

tests: aux detecs supported segments

Replace previous compilation detection of present supported segtypes
with runtime check.

build: lcov reporting for unit tests

List also lcov for processed unit tests.

build: install unit-test

tests: add unit-test

Allow unit-test to be run as part of standard 'make check'.

tests: detect running bcache test on tmpfs

When test happens to run in tmpfs, it cannot use O_DIRECT (unsupported
with tmpfs).

CHECKME: unsure if detection of tmpfs is 'valid' but kind of works and
is very simple.

build: rename device-mapper to device_mapper

As Makefiles already do use target with name 'device-mapper'
rename this new device-mapper dir to non-conflicting name.
We also seem to already use '_' in other dir names.

Also rename device_mapper/Makefile to source for generating Makefile.in
so we can use it for build in other source dirs properly.

build: fix build rules for srcdir

It's very hard to use some 'non-recurive' Makefiles with
rest of system running 'recursively'.

So ATM drop inclusion of subdir makefile and add support
for 2 new top-level targets:

unit-test  (builds test/unit dir)
run-unit-test (build & run test/unit/unit-test run)

bcache: do not use libdm header files

Logging for libdm differs from lvm logging - keep using consisten
logging function calls.

build: make generate

tests: drop cache checking

Just like 52656c89fd6e7655b0599e20f90cc9d70561f1fb
when now cache is compiled in 'unditionally'.

This patch is actually enforce by changes in
commit: 2bc896f2a3a0023a4f45f10da3d0a22295a633ee
where CACHE value is not set anymore.

tests: add support to run unit test

build: properly track source file for lmvlockctl

Ensure the source file is tracked by various cleanup functions.

tests: inittest may run without root

If the test does not need root, it can use 'SKIP_ROOT_DM_CHECK'.

For such test no actions needed root to initilize DM devices and
nodes will be take and test can check i.e. functional unit tests.

tests: inittest compare string

Avoid logging warning when compared string is empty with -eq.

tests: aux extra protection for rm -rf

tests: again disable this raid test

Still kills testing machines even with 4.17-rc4 kernels
on reshaping.

tests: drop delaying

Here seem delaying dev has no use.

tests: using throttling

tests: move device discard

tests: use throttle_dm_mirror

In this case it's better to use throttling of mirror sync,
that delay everything with dm_delay.

tests: aux support throttling of dm mirror

Usage of dm_delay looks to be slowing not just 'delayed' portion
of device, but due to the fact it's also slows down ANY flush
operation on such device it's overal speed impact is huge.

In some case we can however user other methods to slowdown disk writes,
in case of old dm 'mirror'  target we can throttle  I/O of mirror
synchronisation giving the next commands enough time to test couple
race conditions.

Usage:

throttle_dm_mirror [percentage]

Thtrottle down sync speed (lowest is '1' which is also default when
unspecified)

restore_dm_mirror

Restores the value of throttling before call of  'throttle_dm_mirror'
Usually it should '100'

tests: try running tests over ramdisk

Currently usage of loop device over backend file in ramdisk (tmpfs)
is actually causing unnecassary memory consution, since just
reading such loop device is causing RAM provisioning.

This patch add another possible way how to use ramdisk directly
through 'brd' device when possible (and allowed).

This however has it's limitation as well -  brd does not support
TRIM, so the only way how to erase is to remove brd module ??

Alse there is 4K sector size limitation imposed by ramdisk.

Anyway - for some mirror test that were using large amount of
disk space (tens of MB) this brings noticable speed boost.
(But could be worth to solve the slowness of loop in kernel?)

To prevent using 'brd' for testing set LVM_TEST_PREFER_BRD=0
like this:

make check_local LVM_TEST_PREFER_BRD=0

tests: crypt test cannot run on ramdisk

This test can't use brd (ramdisk) as backend since for some
weird reason  lsblk is not listing these device.

TODO: test could be probably rewritten to avoid using lsblk somehow??

tests: happy using of 4K backend devices

When the backend device supports only 4K blocks (like ramdisk)
we cannot use for testing any smaller blocksize.

So recalc test for 4K extent size.

We may possibly introduce one list extra test that
can be executed on devices with 512b sectors to
check lvm2 support those min extent sizes...

tests: raise min size for XFS

Seems XFS now requires at least 1605 blocks.

poll: add stdout fflush after poll query

ATM it's a bit ugly to enforce flushing of 'stdio' here, but works as quick
hot-fix.

log_print*() is using buffered I/O.

But for pooling with typical 1s interval this may take a while before
buffer about continues progress gets flushed.
So ATM fflush().

TODO: either add  log_print*_with_flush() or maybe directly use just
line buffering with log_print() and only log_debug() keep using buffered
I/O mode.

scan: ignore duplicates that are md component devs

md devices using an older superblock version have
superblocks at the end of the md device.  For commands
that skip reading the end of devices during filtering,
the md component devs will be scanned, and will appear
as duplicate PVs to the original md device.  Remove
these md components from the list of unused duplicate
devices, so they are treated as if they had been
ignored during filtering.  This avoids the restrictions
that are placed on using PVs with duplicates.

dev_cache: remove the lvmcache check when closing fd

This is no longer used since devices are not held
open in dev_cache.

dev_cache: fix close in utility functions

All these functions are now used as utilities,
e.g. for ioctl (not for io), and need to
open/close the device each time they are called.
(Many of the opens can probably be eliminated by
just using the bcache fd for the ioctl.)

scan: remove unused args from label_read

devs: recognize md devices in subsystem check

If md components appear as duplicate PVs, let the
existing subsystem check recognize the md device.

dev_cache: fix close in dev_get_block_size

dev_cache: drop open_list

devices are now held open only in bcache,
so drop the dev_cache list of open devices
which is unused.

bcache: disable fallback to old io

All io has been converted to bcache.

pvck: allow checking at user specified offsets

with the --labelsector option.  We probably don't
need all this code to support any value for this
option; it's unclear how, when, why it would be
used.

radix-tree: fix a function decl

radix-tree: remove some unneccessary includes

doc: add a little document describing new directory structure.

radix-tree: First drop of radix tree.

An implementation of an adaptive radix tree.  Has the following nice
properties:

  - At least as fast as the hash table
  - Uses less memory
  - You don't need to give an expected size when you create
  - It scales nicely (ie. no large reallocations like the hash table).
  - You can iterate the keys in lexicographical order.

Only insert and lookup are implemented so far.  Plus there's a lot
more performance to come.

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

bcache/sync io engine: handle short ios

io: write log header with bcache

pvscan: remove unused var warning

filter: use bcache for filter reads

Filters are still applied before any device reading or
the label scan, but any filter checks that want to read
the device are skipped and the device is flagged.

After bcache is populated, but before lvm looks for
devices (i.e. before label scan), the filters are
reapplied to the devices that were flagged above.
The filters will then find the data they need in
bcache.

label/lv_manip: squash some warnings

functional-tests/vdo: fix mem leak in test

bcache: Add sync io engine

Something to fall back to when testing.

bcache: knock out err param.

Dave used this for debugging.  Not needed in general.

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

vdo status: Unit tests + fix bugs

Merge branch 'master' into 2018-04-30-vdo-support

doc: add filter info to scanning

io: replace dev_set with bcache equivalents

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

bcache-utils: bcache_set_bytes()

unit-test/bcache-utils: Tweak zero tests

doc: lvm disk reading

tests: bump raid target version in reshape tests

Adjust to target version allowing tests to succeed.

tests: don't rely on cache target in component-raid.sh

Lead to unnecessary skips of the test.

Merge branch 'master' into 2018-04-30-vdo-support

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

Revert "build: Calculate dependencies at same time as compiling."

This reverts commit 0931067dc5549c443e144d599683b53220021f44.

The dep files should be in the build dir, which is not necc. the src dir.

Easy to fix, but reverting for now until I have time to revisit.

clvmd: saved_vg code and comment formatting

clvmd: don't save cft and buf for saved_vg

clvmd: separate saved_vg from vginfo

The clvmd saved_vg data is independent from the normal lvm
lvmcache vginfo data, so separate saved_vg from vginfo.
Normal lvm doesn't need to use save_vg at all, and in clvmd,
lvmcache changes on vginfo can be made without worrying
about unwanted effects on saved_vg.

clvmd: defer freeing saved vgs

To avoid the chance of freeing a saved vg while another
code path is using it, defer freeing saved vgs until
all the lvmcache content is dropped for the vg.

raid: use new internal APIs

Use APIs introduced with commit 4ebfd8e8eb68442efc334b35bc1f22eda3e4dd3d
where appropriate to minimize redundant code.

Merge branch '2018-05-03-improve-bcache-utils'

unit-test: a bunch of tests for bcache-utils

lvconvert: don't return success on degraded -m raid1 conversion

In case "lvconvert -mN RaidLV" was used on a degraded
raid1 LV, success was returned instead of an error.

Provide message to inform about the need to repair first
before changing number of mirrors and exit with error.

Add new lvconvert-m-raid1-degraded.sh test.

Resolves: rhbz1573960

configure.ac: bad configure generated due to stray ;;

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

functional tests: Update have_raid function

No need to check if it's built in.

configure.ac: Remove some more remnants of optional RAID

(It's now always 'internal')

bcache-utils: rewrite

They take care to avoid redundant reads now.

bcache: rename bcache_write_zeroes() -> bcache_zero_bytes()

Now matches the other util functions:

bcache_{prefetch,read,write,zero}_bytes()

bcache: rewrite bcache_write_zeros()

It now uses GF_ZERO to avoid reading blocks that are going to be
completely zeroed.

bcache: switch off_t -> uint64_t

We always want it to be 64bit

bcache: Move the utils to a separate file.

This makes it clearer that they don't access the cache internals.

bcache: add bcache_block_sectors() query fn