Rework lock-override options and locking_type settings

The last commit related to this was incomplete:
  "Implement lock-override options without locking type"

This is further reworking and reduction of the locking.[ch]
layer which handled all clustering, but is now only used
for file locking.  The "locking types" that this layer
implemented were removed previously, leaving only the
standard file locking.  (Some cluster-related artifacts
remain to be cleared out later.)

Command options to override or modify locking behavior
are reimplemented here without using the locking types.
Also, deprecated locking_type values are recognized,
and implemented as if one of the equivalent override
options was set.

Options that override file locking are:

. --nolocking disables all file locking.

. --readonly grants read lock requests without actually
  taking a file lock, and refuses write lock requests.

. --ignorelockingfailure tries to set up file locks and
  uses them normally if possible.  When not possible, it
  behaves like --readonly, but allows activation.

. --sysinit is the same as ignorelockingfailure.

. global/metadata_read_only acquires actual read file
  locks, and refuses write lock requests.

(Some of these options could probably be deprecated
because they were added as workarounds to various
locking_type behaviors that are now deprecated.)

The locking_type setting now has one valid value: 1 which
refers to standard file locking.  Configs that contain
deprecated values are recognized and still work in
largely the same way:

. 0 disabled all locking, now implemented like --nolocking
  is set.  Allow the nolocking option in all commands.

. 1 is the normal file locking setting and is unchanged.

. 2 was for external locking which was not used, and
  reverts to normal file locking.

. 3 was for cluster/clvm.  This reverts to normal file
  locking, and prints messages about lvmlockd.

. 4 was equivalent to readonly, now implemented like
  --readonly is set.

. 5 disabled all locking, now implemented like
  --nolocking is set.

man lvmlockd: remove unnecessary reference to lvmetad

it's optional to use it with lvmlockd

test/unit: activation generator unit tests

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

Implement lock-override options without locking type

The options: --nolocking, --readonly, --sysinit
override, or make exceptions to, the normal file locking
behavior.  Implement these by just checking for the
options in the file locking path instead of using
special locking types.

tests: system_id remove clustered vg test

tests: remove -cn option from some commands

Remove locking infrastructure from activation paths

Basic LV functions:

  activate_lv(), deactivate_lv(),
  suspend_lv(), resume_lv()

were routed through the locking infrastruture on the way to:

  lv_activate_with_filter(), lv_deactivate(),
  lv_suspend_if_active(), lv_resume_if_active()

This commit removes the locking infrastructure from the
middle and calls the later functions directly from the former.

There were a couple of ancillary steps that the locking
infrastructure added along the way which are still included:

  - critical section inc/dec during suspend/resume
  - checking for active component LVs during activate

The "activation" file lock (serializing activation) has not
been kept because activation commands have been changed to
take the VG file lock exclusively which makes the activation
lock unused and unnecessary.

use exclusive file lock on VG for activation

Make activation commands:
  vgchange -ay, lvchange -ay, pvscan -aay

take an exclusive file lock on the VG to serialize
multiple concurrent activation commands which could
otherwise interfere with each other.

Remove VG lock ordering check

Four commands lock two VGs at a time:

- vgsplit and vgmerge already have their own logic to
  acquire the locks in the correct order.

- vgimportclone and vgrename disable this ordering check.

Remove unused clvm variations for active LVs

Different flavors of activate_lv() and lv_is_active()
which are meaningful in a clustered VG can be eliminated
and replaced with whatever that flavor already falls back
to in a local VG.

e.g. lv_is_active_exclusive_locally() is distinct from
lv_is_active() in a clustered VG, but in a local VG they
are equivalent.  So, all instances of the variant are
replaced with the basic local equivalent.

For local VGs, the same behavior remains as before.
For shared VGs, lvmlockd was written with the explicit
requirement of local behavior from these functions
(lvmlockd requires locking_type 1), so the behavior
in shared VGs also remains the same.

Remove more clvm code

lvmlockd: fix missing lock_type null check

Missed checking if vg->lock_type is NULL in commit db8d3bdfa:
  lvmlockd: enable mirror split and merge with dlm lock_type

devices: clean up io error messages

Remove the io error message from bcache.c since it is not
very useful without the device path.

Make the io error messages from dev_read_bytes/dev_write_bytes
more user friendly.

scripts/lvm2_activation_generator_systemd_red_hat: rewrite to use lvmconfig

Unit tested the new code, but not run functional tests (assuming they exist).

Implement lock-override options without locking type

The options: --nolocking, --readonly, --sysinit
override, or make exceptions to, the normal file locking
behavior.  Implement these by just checking for the
options in the file locking path instead of using
special locking types.

tests: system_id remove clustered vg test

tests: remove -cn option from some commands

Remove locking infrastructure from activation paths

Basic LV functions:

  activate_lv(), deactivate_lv(),
  suspend_lv(), resume_lv()

were routed through the locking infrastruture on the way to:

  lv_activate_with_filter(), lv_deactivate(),
  lv_suspend_if_active(), lv_resume_if_active()

This commit removes the locking infrastructure from the
middle and calls the later functions directly from the former.

There were a couple of ancillary steps that the locking
infrastructure added along the way which are still included:

  - critical section inc/dec during suspend/resume
  - checking for active component LVs during activate

The "activation" file lock (serializing activation) has not
been kept because activation commands have been changed to
take the VG file lock exclusively which makes the activation
lock unused and unnecessary.

use exclusive file lock on VG for activation

Make activation commands:
  vgchange -ay, lvchange -ay, pvscan -aay

take an exclusive file lock on the VG to serialize
multiple concurrent activation commands which could
otherwise interfere with each other.

Remove VG lock ordering check

Four commands lock two VGs at a time:

- vgsplit and vgmerge already have their own logic to
  acquire the locks in the correct order.

- vgimportclone and vgrename disable this ordering check.

Remove unused clvm variations for active LVs

Different flavors of activate_lv() and lv_is_active()
which are meaningful in a clustered VG can be eliminated
and replaced with whatever that flavor already falls back
to in a local VG.

e.g. lv_is_active_exclusive_locally() is distinct from
lv_is_active() in a clustered VG, but in a local VG they
are equivalent.  So, all instances of the variant are
replaced with the basic local equivalent.

For local VGs, the same behavior remains as before.
For shared VGs, lvmlockd was written with the explicit
requirement of local behavior from these functions
(lvmlockd requires locking_type 1), so the behavior
in shared VGs also remains the same.

Remove more clvm code

lvmlockd: fix missing lock_type null check

Missed checking if vg->lock_type is NULL in commit db8d3bdfa:
  lvmlockd: enable mirror split and merge with dlm lock_type

devices: clean up io error messages

Remove the io error message from bcache.c since it is not
very useful without the device path.

Make the io error messages from dev_read_bytes/dev_write_bytes
more user friendly.

device_mapper: fixup a couple of includes

"libdevmapper.h" -> "device_mapper/libdevmapper.h"

Remove clvmd and associated code

More code reduction and simplification can follow.

WHATS_NEW

test: add convcenience conversion tests linear <-> striped

Add tests for linear <-> striped|raid* conversions.

Add region_size config to reshape tests to avoid test
failures in case of it being defined unexpectedly in lvm.conf.

Related: rhbz1439925
Related: rhbz1447809

lvconvert: support linear <-> striped convenience conversions

"lvconvert --type {linear|striped|raid*} ..." on a striped/linear
LV provides convenience interim type to convert to the requested
final layout similar to the given raid* <-> raid* conveninece types.

Whilst on it, add missing raid5_n convenince type from raid5* to raid10.

Resolves: rhbz1439925
Resolves: rhbz1447809
Resolves: rhbz1573255

segtype: add linear

Add linear segtype addressing FIXME in preparation
for linear <-> striped convenience conversion support

build: base/Makefile

.gitignore hid it.

build: libbase.a

build: get separate builddir working again

build: More tweaks to python include dirs.

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

build: Get python dir building without the include/ dir

build: fixes

build: remove any leftover file

In case repository is used after building older version of lvm2
(i.e. git bisect) make sure clean erases any possible old symlinks.

build: link lvm2_activation_generator_systemd_red_hat with libdevice-mapper.a

build: compile fixes

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

build: get clvmd building again

scan: clean exit for alloc failure

devs: clear coverity warning about null info

a theoretical possibility.

lvmlockd: clarify lock_type use for coverity

Make it clearer when vg->lock_type will be used so
coverity doesn't worry about it.

lvmlockd: primarily use vg_is_shared

to check if a vg uses an lvmlockd lock_type,
instead of the equivalent but longer is_lockd_type.

build: Link with -lrt

Needed for older version of glibc

build: make sure selinux, udev and blkid libraries are linked.

Fixes breakage from the recent libdm split.  Though these didn't
ever appear to be linked (could they have piggy backed from libdevmapper.so
being linked to them?).

Merge branch 'master' into 2018-05-11-fork-libdm

Merge branch '2018-05-30-bcache-radix-tree'

man lvmlockd: update list of limitations

tests: enable non-working tests with lvmlockd

Those that are failing for reasons other than lvmlockd
restrictions.

tests: enable more working tests with lvmlockd

lvmlockd: improve error message for existing lockspace

When a VG/lockspace already exists with the same name
don't just print the error number.

tests: enable lvcreate-pvtags with lvmlockd

lvmlockd: fix reverting new lv in error path

The wrong name was being used to free the LV lock
in lvmlockd in the error exit path.

tests: enable metadata-balance with lvmlockd

tests: enable lvmlockd with tests using lvcreate -H -L LV

lvmlockd: enable lvcreate -H -L LV

Allow this command in a shared VG which had previously been
disallowed.

Merge branch 'master' into 2018-05-30-bcache-radix-tree

vgs: add report field for shared

equivalent to a non-empty -o locktype.

tests: change lvcreate syntax to allow lvmlockd

Using the less ambiguous lvcreate syntax for creating a
cache LV allows more tests to run with lvmlockd.

tests: enable lvcreate cache tests with lvmlockd

Tests that want to use lvcreate to create a new
origin LV and then combine it with an existing
cache pool to create a cache LV.

lvmlockd: enable lvcreate of new LV plus existing cache pool

In this command, lvcreate creates a new LV and then combines
it with an existing cache pool, producing a cache LV.  This
command was previously not allowed in in a shared VG.

tests: enable pvmove-restart with lvmlockd

tests: enable vg repair tests with lvmlockd

lvmlockd: enable repairing shared VG while reading it

When the lvmlockd lock is shared, upgrade it to ex
when repair (writing) is needed during vg_read.

Pass the lockd state through additional read-related
functions so the instances of repair scattered through
vg_read can be handled.

(Temporary solution until the ad hoc repairs can be
pulled out of vg_read into a top level, centralized
repair function.)

tests: add missing file

tests: process-each-duplicate-pvs update for lvmlockd

pvremove: skip lvmlockd locks for forced clearing

pvremove -ff to force clear a PV shouldn't care if
lvmlockd locks fail.

lvmlockd: fix vgimportclone of a shared VG

The new VG from the duplicate PV is imported
as a local VG.

tests: vgchange-usage update for lvmlockd

tests: vgcreate-usage update for lvmlockd

tests: enable lvmlockd for passing tests

lvmlockd: enable creation of cache pool with lvcreate

Previously, cache pools needed to be created with lvconvert.

lvmlockd: enable lvcreate of thin pool and thin lv in one command

Previously, thin pools and thin lvs need needed to be
created with separate commands, now the combined command
is permitted.

lvmlockd: enable mirror split and merge with dlm lock_type

config: revert to normal locking when no cluster

and suggest lvmlockd

lvmlockd: do not use an LV lock for some lvchange options

Some lvchange options can be used even if the LV is active.

tests: separate lvmlockd tests with or without lvmetad

lvmlockd: accept repeated global lock requests

It's not an error if a command requests the global lock
when it has already acquired it.  It shouldn't happen,
but there could be cases we've not found.

tests: some missed skip with lvmlockd

tests: fix skipping logic for lvmpolld and lvmlockd

scan: removed failed paths for devices

Drop a device path when the scan fails to open it.

radix-tree: fix some bugs in remove_prefix and iterate

These weren't working if the prefix key was part of a prefix_chain.

bcache: switch to storing blocks in a radix tree.

Rather than a hash table.  This will make invalidate_fd() more
efficient since we can iterate just those blocks that are on
a particular dev.

radix-tree: fix some bugs in remove_prefix and iterate

These weren't working if the prefix key was part of a prefix_chain.

radix-tree: radix_tree_iterate()

radix-tree: radix_tree_remove_prefix()

radix-tree: call the value dtr when removing an entry.

Merge branch '2018-05-29-radix-tree-iterate' into 2018-05-23-radix-tree-remove

data-struct/radix-tree: pass the value dtr into create.

Rather than having to pass it into every method that removes items.

scan: refresh paths and retry open

If scanning fails to open any devices, refresh the
device paths in dev cache, and retry the opens.

format_text: Use versionsort to sort archive files

Ensure that vg_100000-* follows vg_99999-* so that the expiry logic
doesn't stop too early.

   https://bugzilla.redhat.com/1481085

Merge remote-tracking branch 'origin/master'

tests: improve usability on older systems

man: another missed typo for thin plugin

post-release

pre-release