Fix use of orphan lock in commands

vgreduce, vgremove and vgcfgrestore were acquiring
the orphan lock in the midst of command processing
instead of at the start of the command.  (The orphan
lock moved to being acquired at the start of the
command back when pvcreate/vgcreate/vgextend were
reworked based on pvcreate_each_device.)

vgsplit also needed a small update to avoid reacquiring
a VG lock that it already held (for the new VG name).

Remove checking for locked VGs

A few places were calling a function to check if a
VG lock was held.  The only place it was actually
needed is for pvcreate which wants to do its own
locking (and scanning) around process_each_pv.

The locking/scanning exceptions for pvcreate in
process_each_pv/vg_read can be enabled by just passing
a couple of flags instead of checking if the VG is
already locked.  This also means that these special
cases won't be enabled unknowingly in other places
where they shouldn't be used.

lvmlockd: skip repair lock upgrade for non shared vgs

Only attempt lvmlockd lock upgrade for shared VGs.

build: ensure configure.h comes first

Fix header order so configure.h is 1st. included header.

snapshot: improve checking of merging snapshot

Add runtime detection for 'lvs -o+seg_monitor' and 'vgchange --monitor'.
This fix should avoid unnecessary timeout on systemd shutdown.

vgchange: start polling with option

Polling start either with '--refresh'
or with '--poll' option specified.

build: use internal libs for lvm2cmd

build: link dmeventd plugins with internal libs

build: make generate

build: update configure

Remove lvmcache CACHE_LOCKED flag

and the functions that set it.  It's no longer used.

Remove locking for non-vgs

Locks for VGs are the only thing that locking.[ch]
now handles, so references to other variations
can be removed.

tests: remove vgsplit-usage cluster test

Remove unused cluster-related locking flags

Remove unused cache management from locking

This code was for managing lvmcache for clvm
and it no longer does anything.

Removing locking layer from sync_local_dev_names

the indirection is not needed without clvm

tests: remove use of vgcreate -c option

Remove python bindings for liblvm2app

Remove header declarations for removed functions

tests: don't look for liblvm

Remove more code that was only used by liblvm2app

Merge branch '2018-06-04-data-structs'

various: some missing #include zalloc.h

device_mapper: move hash.[hc] to base/data-struct

device_mapper: remove c++ guards from the header

This isn't a public header anymore, so not needed.

device_mapper: remove dbg_malloc.

I wrote dbg_malloc before we had valgrind.  These days there's just
no need.

tests: check pvresize with metadata size

Test new size of a PV can keep also metadata.

tests: updates test for raid scanning

tests: drop unit subdir

Until we resolve top-level making, drop inclusion of subdir Makefile
written for top-level usage so at least integrational tests are running.

tests: initial testing code for lvs while pvmove runs

tests: check proper support of fmt2 with cleaner policy

cleanup: updates message with dots

build: drop exported symbols

This libs are no longer possible to create,
drop maintanence of exported symbols.

cache:  cleaner policy also uses fmt2

Format 2 is also with cleaner policy.

pvresize: update message

There is always at least PV header update even if the size
of PV remains same (so it's not really resized).
Try to make it a slightly less confusing.

pvresize: add missing return

Log error path missed return 0.
Also fix some unneded bactraces (since log_error already shows
position).

pvmove: improve lvs

When pvmoving LV - the target for LV is a mirror so the validation
that checked the type is matching was incorrect.

While we need a more generic enhancment of LVS output for pvmoved LVs,
for now at least stop showing internal errors and  'X' symbols in attrs.

libdm: Stop libdm/misc/dmlib.h from including lib/misc/lib.h

device_mapper: rename libdevmapper.h -> all.h

I'm paranoid a file will include the global one in /usr/include
by accident.

base: Move list to base/data-struct

test/unit: Rename Makefile.in -> Makefile

There's nothing being expanded.

Merge branch '2018-06-05-remove-applib'

Update WHATS_NEW

liblvm: remove lvmapi

This has been deprecated for a while.

Rework lock-override options and locking_type settings

The last commit related to this was incomplete:
  "Implement lock-override options without locking type"

This is further reworking and reduction of the locking.[ch]
layer which handled all clustering, but is now only used
for file locking.  The "locking types" that this layer
implemented were removed previously, leaving only the
standard file locking.  (Some cluster-related artifacts
remain to be cleared out later.)

Command options to override or modify locking behavior
are reimplemented here without using the locking types.
Also, deprecated locking_type values are recognized,
and implemented as if one of the equivalent override
options was set.

Options that override file locking are:

. --nolocking disables all file locking.

. --readonly grants read lock requests without actually
  taking a file lock, and refuses write lock requests.

. --ignorelockingfailure tries to set up file locks and
  uses them normally if possible.  When not possible, it
  behaves like --readonly, but allows activation.

. --sysinit is the same as ignorelockingfailure.

. global/metadata_read_only acquires actual read file
  locks, and refuses write lock requests.

(Some of these options could probably be deprecated
because they were added as workarounds to various
locking_type behaviors that are now deprecated.)

The locking_type setting now has one valid value: 1 which
refers to standard file locking.  Configs that contain
deprecated values are recognized and still work in
largely the same way:

. 0 disabled all locking, now implemented like --nolocking
  is set.  Allow the nolocking option in all commands.

. 1 is the normal file locking setting and is unchanged.

. 2 was for external locking which was not used, and
  reverts to normal file locking.

. 3 was for cluster/clvm.  This reverts to normal file
  locking, and prints messages about lvmlockd.

. 4 was equivalent to readonly, now implemented like
  --readonly is set.

. 5 disabled all locking, now implemented like
  --nolocking is set.

man lvmlockd: remove unnecessary reference to lvmetad

it's optional to use it with lvmlockd

test/unit: activation generator unit tests

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

Implement lock-override options without locking type

The options: --nolocking, --readonly, --sysinit
override, or make exceptions to, the normal file locking
behavior.  Implement these by just checking for the
options in the file locking path instead of using
special locking types.

tests: system_id remove clustered vg test

tests: remove -cn option from some commands

Remove locking infrastructure from activation paths

Basic LV functions:

  activate_lv(), deactivate_lv(),
  suspend_lv(), resume_lv()

were routed through the locking infrastruture on the way to:

  lv_activate_with_filter(), lv_deactivate(),
  lv_suspend_if_active(), lv_resume_if_active()

This commit removes the locking infrastructure from the
middle and calls the later functions directly from the former.

There were a couple of ancillary steps that the locking
infrastructure added along the way which are still included:

  - critical section inc/dec during suspend/resume
  - checking for active component LVs during activate

The "activation" file lock (serializing activation) has not
been kept because activation commands have been changed to
take the VG file lock exclusively which makes the activation
lock unused and unnecessary.

use exclusive file lock on VG for activation

Make activation commands:
  vgchange -ay, lvchange -ay, pvscan -aay

take an exclusive file lock on the VG to serialize
multiple concurrent activation commands which could
otherwise interfere with each other.

Remove VG lock ordering check

Four commands lock two VGs at a time:

- vgsplit and vgmerge already have their own logic to
  acquire the locks in the correct order.

- vgimportclone and vgrename disable this ordering check.

Remove unused clvm variations for active LVs

Different flavors of activate_lv() and lv_is_active()
which are meaningful in a clustered VG can be eliminated
and replaced with whatever that flavor already falls back
to in a local VG.

e.g. lv_is_active_exclusive_locally() is distinct from
lv_is_active() in a clustered VG, but in a local VG they
are equivalent.  So, all instances of the variant are
replaced with the basic local equivalent.

For local VGs, the same behavior remains as before.
For shared VGs, lvmlockd was written with the explicit
requirement of local behavior from these functions
(lvmlockd requires locking_type 1), so the behavior
in shared VGs also remains the same.

Remove more clvm code

lvmlockd: fix missing lock_type null check

Missed checking if vg->lock_type is NULL in commit db8d3bdfa:
  lvmlockd: enable mirror split and merge with dlm lock_type

devices: clean up io error messages

Remove the io error message from bcache.c since it is not
very useful without the device path.

Make the io error messages from dev_read_bytes/dev_write_bytes
more user friendly.

scripts/lvm2_activation_generator_systemd_red_hat: rewrite to use lvmconfig

Unit tested the new code, but not run functional tests (assuming they exist).

Implement lock-override options without locking type

The options: --nolocking, --readonly, --sysinit
override, or make exceptions to, the normal file locking
behavior.  Implement these by just checking for the
options in the file locking path instead of using
special locking types.

tests: system_id remove clustered vg test

tests: remove -cn option from some commands

Remove locking infrastructure from activation paths

Basic LV functions:

  activate_lv(), deactivate_lv(),
  suspend_lv(), resume_lv()

were routed through the locking infrastruture on the way to:

  lv_activate_with_filter(), lv_deactivate(),
  lv_suspend_if_active(), lv_resume_if_active()

This commit removes the locking infrastructure from the
middle and calls the later functions directly from the former.

There were a couple of ancillary steps that the locking
infrastructure added along the way which are still included:

  - critical section inc/dec during suspend/resume
  - checking for active component LVs during activate

The "activation" file lock (serializing activation) has not
been kept because activation commands have been changed to
take the VG file lock exclusively which makes the activation
lock unused and unnecessary.

use exclusive file lock on VG for activation

Make activation commands:
  vgchange -ay, lvchange -ay, pvscan -aay

take an exclusive file lock on the VG to serialize
multiple concurrent activation commands which could
otherwise interfere with each other.

Remove VG lock ordering check

Four commands lock two VGs at a time:

- vgsplit and vgmerge already have their own logic to
  acquire the locks in the correct order.

- vgimportclone and vgrename disable this ordering check.

Remove unused clvm variations for active LVs

Different flavors of activate_lv() and lv_is_active()
which are meaningful in a clustered VG can be eliminated
and replaced with whatever that flavor already falls back
to in a local VG.

e.g. lv_is_active_exclusive_locally() is distinct from
lv_is_active() in a clustered VG, but in a local VG they
are equivalent.  So, all instances of the variant are
replaced with the basic local equivalent.

For local VGs, the same behavior remains as before.
For shared VGs, lvmlockd was written with the explicit
requirement of local behavior from these functions
(lvmlockd requires locking_type 1), so the behavior
in shared VGs also remains the same.

Remove more clvm code

lvmlockd: fix missing lock_type null check

Missed checking if vg->lock_type is NULL in commit db8d3bdfa:
  lvmlockd: enable mirror split and merge with dlm lock_type

devices: clean up io error messages

Remove the io error message from bcache.c since it is not
very useful without the device path.

Make the io error messages from dev_read_bytes/dev_write_bytes
more user friendly.

device_mapper: fixup a couple of includes

"libdevmapper.h" -> "device_mapper/libdevmapper.h"

Remove clvmd and associated code

More code reduction and simplification can follow.

WHATS_NEW

test: add convcenience conversion tests linear <-> striped

Add tests for linear <-> striped|raid* conversions.

Add region_size config to reshape tests to avoid test
failures in case of it being defined unexpectedly in lvm.conf.

Related: rhbz1439925
Related: rhbz1447809

lvconvert: support linear <-> striped convenience conversions

"lvconvert --type {linear|striped|raid*} ..." on a striped/linear
LV provides convenience interim type to convert to the requested
final layout similar to the given raid* <-> raid* conveninece types.

Whilst on it, add missing raid5_n convenince type from raid5* to raid10.

Resolves: rhbz1439925
Resolves: rhbz1447809
Resolves: rhbz1573255

segtype: add linear

Add linear segtype addressing FIXME in preparation
for linear <-> striped convenience conversion support

build: base/Makefile

.gitignore hid it.

build: libbase.a

build: get separate builddir working again

build: More tweaks to python include dirs.

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

build: Get python dir building without the include/ dir

build: fixes

build: remove any leftover file

In case repository is used after building older version of lvm2
(i.e. git bisect) make sure clean erases any possible old symlinks.

build: link lvm2_activation_generator_systemd_red_hat with libdevice-mapper.a

build: compile fixes

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

build: get clvmd building again

scan: clean exit for alloc failure

devs: clear coverity warning about null info

a theoretical possibility.

lvmlockd: clarify lock_type use for coverity

Make it clearer when vg->lock_type will be used so
coverity doesn't worry about it.

lvmlockd: primarily use vg_is_shared

to check if a vg uses an lvmlockd lock_type,
instead of the equivalent but longer is_lockd_type.

build: Link with -lrt

Needed for older version of glibc

build: make sure selinux, udev and blkid libraries are linked.

Fixes breakage from the recent libdm split.  Though these didn't
ever appear to be linked (could they have piggy backed from libdevmapper.so
being linked to them?).

Merge branch 'master' into 2018-05-11-fork-libdm

Merge branch '2018-05-30-bcache-radix-tree'

man lvmlockd: update list of limitations

tests: enable non-working tests with lvmlockd

Those that are failing for reasons other than lvmlockd
restrictions.

tests: enable more working tests with lvmlockd

lvmlockd: improve error message for existing lockspace

When a VG/lockspace already exists with the same name
don't just print the error number.

tests: enable lvcreate-pvtags with lvmlockd