scan: ignore duplicates that are md component devs

md devices using an older superblock version have
superblocks at the end of the md device.  For commands
that skip reading the end of devices during filtering,
the md component devs will be scanned, and will appear
as duplicate PVs to the original md device.  Remove
these md components from the list of unused duplicate
devices, so they are treated as if they had been
ignored during filtering.  This avoids the restrictions
that are placed on using PVs with duplicates.

dev_cache: remove the lvmcache check when closing fd

This is no longer used since devices are not held
open in dev_cache.

dev_cache: fix close in utility functions

All these functions are now used as utilities,
e.g. for ioctl (not for io), and need to
open/close the device each time they are called.
(Many of the opens can probably be eliminated by
just using the bcache fd for the ioctl.)

scan: remove unused args from label_read

devs: recognize md devices in subsystem check

If md components appear as duplicate PVs, let the
existing subsystem check recognize the md device.

dev_cache: fix close in dev_get_block_size

dev_cache: drop open_list

devices are now held open only in bcache,
so drop the dev_cache list of open devices
which is unused.

bcache: disable fallback to old io

All io has been converted to bcache.

pvck: allow checking at user specified offsets

with the --labelsector option.  We probably don't
need all this code to support any value for this
option; it's unclear how, when, why it would be
used.

radix-tree: fix a function decl

radix-tree: remove some unneccessary includes

doc: add a little document describing new directory structure.

radix-tree: First drop of radix tree.

An implementation of an adaptive radix tree.  Has the following nice
properties:

  - At least as fast as the hash table
  - Uses less memory
  - You don't need to give an expected size when you create
  - It scales nicely (ie. no large reallocations like the hash table).
  - You can iterate the keys in lexicographical order.

Only insert and lookup are implemented so far.  Plus there's a lot
more performance to come.

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

bcache/sync io engine: handle short ios

io: write log header with bcache

pvscan: remove unused var warning

filter: use bcache for filter reads

Filters are still applied before any device reading or
the label scan, but any filter checks that want to read
the device are skipped and the device is flagged.

After bcache is populated, but before lvm looks for
devices (i.e. before label scan), the filters are
reapplied to the devices that were flagged above.
The filters will then find the data they need in
bcache.

label/lv_manip: squash some warnings

functional-tests/vdo: fix mem leak in test

bcache: Add sync io engine

Something to fall back to when testing.

bcache: knock out err param.

Dave used this for debugging.  Not needed in general.

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

vdo status: Unit tests + fix bugs

Merge branch 'master' into 2018-04-30-vdo-support

doc: add filter info to scanning

io: replace dev_set with bcache equivalents

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

bcache-utils: bcache_set_bytes()

unit-test/bcache-utils: Tweak zero tests

doc: lvm disk reading

tests: bump raid target version in reshape tests

Adjust to target version allowing tests to succeed.

tests: don't rely on cache target in component-raid.sh

Lead to unnecessary skips of the test.

Merge branch 'master' into 2018-04-30-vdo-support

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

Revert "build: Calculate dependencies at same time as compiling."

This reverts commit 0931067dc5549c443e144d599683b53220021f44.

The dep files should be in the build dir, which is not necc. the src dir.

Easy to fix, but reverting for now until I have time to revisit.

clvmd: saved_vg code and comment formatting

clvmd: don't save cft and buf for saved_vg

clvmd: separate saved_vg from vginfo

The clvmd saved_vg data is independent from the normal lvm
lvmcache vginfo data, so separate saved_vg from vginfo.
Normal lvm doesn't need to use save_vg at all, and in clvmd,
lvmcache changes on vginfo can be made without worrying
about unwanted effects on saved_vg.

clvmd: defer freeing saved vgs

To avoid the chance of freeing a saved vg while another
code path is using it, defer freeing saved vgs until
all the lvmcache content is dropped for the vg.

raid: use new internal APIs

Use APIs introduced with commit 4ebfd8e8eb68442efc334b35bc1f22eda3e4dd3d
where appropriate to minimize redundant code.

Merge branch '2018-05-03-improve-bcache-utils'

unit-test: a bunch of tests for bcache-utils

lvconvert: don't return success on degraded -m raid1 conversion

In case "lvconvert -mN RaidLV" was used on a degraded
raid1 LV, success was returned instead of an error.

Provide message to inform about the need to repair first
before changing number of mirrors and exit with error.

Add new lvconvert-m-raid1-degraded.sh test.

Resolves: rhbz1573960

configure.ac: bad configure generated due to stray ;;

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

functional tests: Update have_raid function

No need to check if it's built in.

configure.ac: Remove some more remnants of optional RAID

(It's now always 'internal')

bcache-utils: rewrite

They take care to avoid redundant reads now.

bcache: rename bcache_write_zeroes() -> bcache_zero_bytes()

Now matches the other util functions:

bcache_{prefetch,read,write,zero}_bytes()

bcache: rewrite bcache_write_zeros()

It now uses GF_ZERO to avoid reading blocks that are going to be
completely zeroed.

bcache: switch off_t -> uint64_t

We always want it to be 64bit

bcache: Move the utils to a separate file.

This makes it clearer that they don't access the cache internals.

bcache: add bcache_block_sectors() query fn

bcache: add a comment

filters: increase MAX_FILTERS for new filter

The new signature filter was added without increasing this.

bcache: reorder includes in .c file too

device/bcache: reorder includes

build: add -D_FILE_OFFSET_BITS=64

I don't like having this in a common header because it means you end
up including too much and causing unneccessary dependencies.  eg,
lib/misc/lib.h includes libdevmapper.h, internationalisation, and
logging stuff.

unit-test/matcher_t: Fixup Kabi's test

The matcher matches the regexes in reverse order.

unit-test/matcher_t: add another (failing!) test for Kabi

vdo: get status parser compiling

Merge branch 'master' into 2018-04-30-vdo-support

tests: add gfs-pool test

Put back a test like the old one that was removed
in d709d8445f206b67cfc06266ce7553f9cb6f3df5.

It verifies that lvm will ignore and not use a
gfs-pool device.

devices: ignore lvm1 and pool devices

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

Revert "build: Stop creating the symlinks in include/ on the fly."

This reverts commit cdcea0bf55c170f538c3ffc114792eb3c993f4ac.

tests: remove use of lvm1 metadatatype

tests: remove gfs pool test

tests: update lvmetad-disabled to not use lvm1

bcache_write_bytes needs to be followed by flush

The improved bcache_write_bytes is not flushing, so
the caller needs to do that.

lvmcache: fix typo in lvmcache_get_saved_vg

unit-test/bcache_t: test was using too large a block size

bcache: squash some warnings on rhel6

unit-test/bcache_t: Use a stripped down fixture for some tests

build: update ./configure and configure.h.in

Fallout from Dave's removal of format1 and pool.

bcache: rewrite bcache_{write,zero}_bytes

These are utility functions so should only use the public interface.

Also write_bytes was flushing, which will kill performance.

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

unit-test/io_engine_t: add a little test for bcache_{read,write}_bytes

unit-test/bcache_t: fixup a test.

Problem found with valgrind.

Remove lvm1 and pool disk formats

There are likely more bits of code that can be removed,
e.g. lvm1/pool-specific bits of code that were identified
using FMT flags.

The vgconvert command can likely be reduced further.

The lvm1-specific config settings should probably have
some other fields set for proper deprecation.

clvmd: don't repair vg from vg_read in clvmd

The mixed up vg repair code in vg_read was trying
to repair a vg when vg_read was called by clvmd.
The clvmd daemon isn't supposed to be repairing
or writing a vg.

(This is a temporary workaround; vg repair will soon
be pulled out of vg_read so it can be called in a
controlled way and consolidated instead of spread
around.)

tests: fix THIN built-in check

clvmd: keep old saved_vg if it matches new

There is no need to release the old saved_vg
if it matches the new version.

unit-test/io_engine_t: Improve the read test.

Now verifies what it reads.

unit-test/io_engine_t: use posix_memalign() rather than aligned_alloc()

Not present on older systems.

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

configure: Remove --enable-testing

vdo: Code drop for status parsing.

Doesn't even compile yet.  Squash this patch.

build: fix typo in dmeventd/plugins/Makefile.in

toollib: fix wrong dev reference in process_each_label

build: Remove unused Makefiles from configure.ac

Should have been in earlier patch.

build: remove --with-{snapshots,mirrors,raid,thin,cache} options from ./configure

It now behaves as if the were all set as 'internal'

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

[scripts] remove scripts/vg_convert

- it doesn't do anything other than tell you to run vgconvert
- it used to convert from lvm1 format, which is obsolete

[metadata-liblvm.c] comment out some dead code and add a FIXME

[lvmetad.h] Use static inline functions to stub out functions.

The macros were causing warnings because the arguments were percieved as
unused.

[build] uncomment 'serial 3' in an m4 file.

Squashes another autoreconf warning

build: rename configure.in -> configure.ac

Squashes a warning from autotools

tests: add also snapshot monitoring