Revert "build: Calculate dependencies at same time as compiling."

This reverts commit 0931067dc5549c443e144d599683b53220021f44.

The dep files should be in the build dir, which is not necc. the src dir.

Easy to fix, but reverting for now until I have time to revisit.

Merge branch '2018-05-03-improve-bcache-utils'

unit-test: a bunch of tests for bcache-utils

lvconvert: don't return success on degraded -m raid1 conversion

In case "lvconvert -mN RaidLV" was used on a degraded
raid1 LV, success was returned instead of an error.

Provide message to inform about the need to repair first
before changing number of mirrors and exit with error.

Add new lvconvert-m-raid1-degraded.sh test.

Resolves: rhbz1573960

configure.ac: bad configure generated due to stray ;;

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

functional tests: Update have_raid function

No need to check if it's built in.

configure.ac: Remove some more remnants of optional RAID

(It's now always 'internal')

bcache-utils: rewrite

They take care to avoid redundant reads now.

bcache: rename bcache_write_zeroes() -> bcache_zero_bytes()

Now matches the other util functions:

bcache_{prefetch,read,write,zero}_bytes()

bcache: rewrite bcache_write_zeros()

It now uses GF_ZERO to avoid reading blocks that are going to be
completely zeroed.

bcache: switch off_t -> uint64_t

We always want it to be 64bit

bcache: Move the utils to a separate file.

This makes it clearer that they don't access the cache internals.

bcache: add bcache_block_sectors() query fn

bcache: add a comment

filters: increase MAX_FILTERS for new filter

The new signature filter was added without increasing this.

bcache: reorder includes in .c file too

device/bcache: reorder includes

build: add -D_FILE_OFFSET_BITS=64

I don't like having this in a common header because it means you end
up including too much and causing unneccessary dependencies.  eg,
lib/misc/lib.h includes libdevmapper.h, internationalisation, and
logging stuff.

unit-test/matcher_t: Fixup Kabi's test

The matcher matches the regexes in reverse order.

unit-test/matcher_t: add another (failing!) test for Kabi

tests: add gfs-pool test

Put back a test like the old one that was removed
in d709d8445f206b67cfc06266ce7553f9cb6f3df5.

It verifies that lvm will ignore and not use a
gfs-pool device.

devices: ignore lvm1 and pool devices

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

Revert "build: Stop creating the symlinks in include/ on the fly."

This reverts commit cdcea0bf55c170f538c3ffc114792eb3c993f4ac.

tests: remove use of lvm1 metadatatype

tests: remove gfs pool test

tests: update lvmetad-disabled to not use lvm1

bcache_write_bytes needs to be followed by flush

The improved bcache_write_bytes is not flushing, so
the caller needs to do that.

lvmcache: fix typo in lvmcache_get_saved_vg

unit-test/bcache_t: test was using too large a block size

bcache: squash some warnings on rhel6

unit-test/bcache_t: Use a stripped down fixture for some tests

build: update ./configure and configure.h.in

Fallout from Dave's removal of format1 and pool.

bcache: rewrite bcache_{write,zero}_bytes

These are utility functions so should only use the public interface.

Also write_bytes was flushing, which will kill performance.

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

unit-test/io_engine_t: add a little test for bcache_{read,write}_bytes

unit-test/bcache_t: fixup a test.

Problem found with valgrind.

Remove lvm1 and pool disk formats

There are likely more bits of code that can be removed,
e.g. lvm1/pool-specific bits of code that were identified
using FMT flags.

The vgconvert command can likely be reduced further.

The lvm1-specific config settings should probably have
some other fields set for proper deprecation.

clvmd: don't repair vg from vg_read in clvmd

The mixed up vg repair code in vg_read was trying
to repair a vg when vg_read was called by clvmd.
The clvmd daemon isn't supposed to be repairing
or writing a vg.

(This is a temporary workaround; vg repair will soon
be pulled out of vg_read so it can be called in a
controlled way and consolidated instead of spread
around.)

tests: fix THIN built-in check

clvmd: keep old saved_vg if it matches new

There is no need to release the old saved_vg
if it matches the new version.

unit-test/io_engine_t: Improve the read test.

Now verifies what it reads.

unit-test/io_engine_t: use posix_memalign() rather than aligned_alloc()

Not present on older systems.

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

configure: Remove --enable-testing

build: fix typo in dmeventd/plugins/Makefile.in

toollib: fix wrong dev reference in process_each_label

build: Remove unused Makefiles from configure.ac

Should have been in earlier patch.

build: remove --with-{snapshots,mirrors,raid,thin,cache} options from ./configure

It now behaves as if the were all set as 'internal'

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

[scripts] remove scripts/vg_convert

- it doesn't do anything other than tell you to run vgconvert
- it used to convert from lvm1 format, which is obsolete

[metadata-liblvm.c] comment out some dead code and add a FIXME

[lvmetad.h] Use static inline functions to stub out functions.

The macros were causing warnings because the arguments were percieved as
unused.

[build] uncomment 'serial 3' in an m4 file.

Squashes another autoreconf warning

build: rename configure.in -> configure.ac

Squashes a warning from autotools

tests: add also snapshot monitoring

mirror: improve table update

Shift refresh of mirror table right into monitor_dev_for_events().
Use  !vg_write_lock_held() to recognize use of lvchange/vgchange.
(this shall change if this would no longer work, but requires
futher some API changes).

With this patch  dm mirror table is only refreshed when necassary.

Also update WARNING message about mirror usage without monitoring
and display LV name.

aux: enhance teardown to better handle weird names

When 'dmsetup' reports result with --nameprefixes it currently
incorrectly 'escapes' problematic characters.

Letting pass such string though shell 'eval' function is hard task.
So instead cut away substring.

Once dmsetup will start to properly escape backslash and apostrophe
this function may need further tuning.

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2 into merge

build: Calculate dependencies at same time as compiling.

Speeds up the build slightly.

test: remove pv-duplicate

This wasn't testing duplicate PVs, which are tested by
process-each-duplicate-pvs.sh.

unit-tests: Move to test/unit

build: Stop creating the symlinks in include/ on the fly.

Git handles symlinks, tar handles symlinks.  So I've just put the
links themselves into git.

This simplifies dependencies a little, and stop some build loops I was
hitting.

External build dir now works too.

Revert "build: Stop creating the symlinks in include/ on the fly."

This reverts commit f8f621951315087c4e7720682be495941dc3cf37.

It wasn't taking builds outside the src dir into account.

build: Stop creating the symlinks in include/ on the fly.

Git handles symlinks, tar handles symlinks.  So I've just put the
links themselves into git.

This simplifies dependencies a little, and stop some build loops I was
hitting.

bcache: write some sanity checks for the asyn io engine

Mainly checks aio is installed properly.

[bcache] Some work on bcache_invalidate()

bcache_invalidate() now returns a bool to indicate success.  If fails
if the block is currently held, or the block is dirty and writeback
fails.

Added a bunch of unit tests for the invalidate functions.

Fixed some bugs to do with invalidating errored blocks.

[bcache] Add some unit tests for invalidate block.

Trying to identify dct's lockup.

clvmd: drop old saved_vg when returning new saved_vg

In some pvmove tests, clvmd uses the new (precommitted)
saved_vg, but then requests the old saved_vg, and
expects that the new saved_vg be returned instead of
the old.  So, when returning the new saved_vg, forget
the old one so we don't return it again.

scan: refresh filters before scan

The filters save information about devices that should
be ignored, so if we need to repeat a scan  (unusual,
but happens in clvmd), we need to update the filters.

[bcache] get all unit tests passing again

[unit-test] Push the new unit test framwork.

See doc/unit-test.txt for details.

Some bcache tests failing.  Probably due to dct changing semantics, will
fix in follow up patch.

pvmove: in fork mode destroy bcache in child

When pvmove was run in background mode and forks
instead of using lvmpolld, the child pvmove process
was not clearing the bcache from the parent, so all
the aio ops in the child were failing.

scan: don't use cmd mem pool in scan

Make it consistent with all the other allocations
in scanning.

skip some clvmd-specific code in common cases

This, or something like it, can probably be done
in many other places.

clvmd: skip dev rescan after full scan

When clvmd does a full label scan just prior to
calling _vg_read(), pass a new flag into _vg_read
to indicate that the normal rescan of VG devs is
not needed.

clvmd: reuse a vg struct for sequential LV operations

After reading a VG, stash it in lvmcache as "saved_vg".
Before reading the VG again, try to use the saved_vg.
The saved_vg is dropped on VG lock operations.

lvmcache: rename suspended_vg to saved_vg

The copy of the VG which clvmd stashes in lvmcache should
not only be used between suspend and resume, but between
sequential LV operations in clvmd, so that clvmd does not
need to reread the VG for each one.  Prepare for that by
renaming the stashed VG as "saved_vg".

Merge remote-tracking branch 'sourceware/master' into upstream

tests: more zero usage

Another case where usage of zero backend for mirror legs is more
effective then using delayed_dev.

tests: update testing to not use delay dev

Instead of using delayer device user 'zero' device and let mirror
do some real work which takes some time.

In case the test machine is too fast - mirror might need to be made bigger
to meet needed criteria.

Also move all test needed this 'zero' PV trick to the end of test
so  $dev2  and $dev4 are covered with 'zero' and can take any amount of
write without consuming any real space.

debug: more explanatory error message

lvconvert: preserve regionsize from existing mirror

When adding leg to existing mirror - preserve its regionsize.

lvchange: update mirror table when changing monitoring

Since for non-monitored mirrors we let mirror running without
error handling - when monitoring changes for mirror, updated
table (refresh) is needed.

gcc: remove duplicate typedef

[git] Update .gitignore

clvm: rescan when VG or PV not found

Rescan devices to update lvmcache content when
clvmd vg_read doesn't find a VG or PV.

liblvm2app: missed the addition of lvmcache_label_scan

scan: skip device rescan in vg_read

For reporting commands (pvs,vgs,lvs,pvdisplay,vgdisplay,lvdisplay)
we do not need to repeat the label scan of devices in vg_read if
they all had matching metadata in the initial label scan.  The
data read by label scan can just be reused for the vg_read.
This cuts the amount of device i/o in half, from two reads of
each device to one.  We have to be careful to avoid repairing
the VG if we've skipped rescanning.  (The VG repair code is very
poor, and will be redone soon.)

lvmpolld: update to use new scanning correctly

bcache: intercept test mode before write

Don't allow writes in test mode.  test mode should be
more sophisticated than just faking writes, and this
should be a last defense for cases where test mode is
not being checked correctly.

lvmcache: simplify

Recent changes allow some major simplification of the way
lvmcache works and is used.  lvmcache_label_scan is now
called in a controlled fashion at the start of commands,
and not via various unpredictable side effects.  Remove
various calls to it from other places.  lvmcache_label_scan
should not be called from anywhere during a command, because
it produces an incorrect representation of PVs with no MDAs,
and misclassifies them as orphans.  This has been a long
standing problem.  The invalid flag and rescanning based on
that is no longer used and removed.  The 'force' variation is
no longer needed and removed.

dev_cache: clean up scan

Pull out all of the twisted logic and simply call dev_cache_scan
at the start of the command prior to label scan.

remove unnecessary REQUIRES_FULL_LABEL_SCAN

we always scan all devices

scan: improve io error checking and reporting

bcache: let caller see an error

scan: drop bcache between lvm shell commands

A running lvm shell keeps all lvm devices open
unless the bcache is dropped.

tests: vgck now exits with error for bad vg

lvmetad: more fixes related to bcache

Need to open devs prior to bcache io.