allocation: add check for passing log allocation

Updates previous commit.

tests: check how thin-pool allocation works

Check allocation of thin-pool works on 2PVs, when one is so full,
that even metadata do not fit there (as they need at least 2M,
while 99% of 63MB fills >62MB)

cleanup: use last_seg

More readable code.

build: libdm preload dir is no longer needed

Since we do not build lvm code with libdm, drop preload.

dev_io: no discard in testmode

When lvm2 command is executed in test mode, discard ioctl is skipped.
This may cause even data-loose in case, issuing discard for released
areas was enabled and user 'tested'  lvreduce.

allocator: fix thin-pool allocation

When allocating thin-pool with more then 1 device - try to
allocate 'metadataLV' with reuse of log-type allocation for mirror LV.
It should be naturally place on other device then 'dataLV'.

However due to somewhat hard to follow allocation logic code,
it's been rejected allocation in cases where there was not
enough space for data or metadata on single PV, thus to successed,
usage of segments was mandatory.

While user may use:

allocation/thin_pool_metadata_require_separate_pvs=1

to enforce separe meta and data LV - on default settings, this is not
enable thus segment allocation is meant to work.

NOTE:

As already said - the original intention of this whole  'if()' is unclear,
so try to split this test into multiple more simple tests that are more readable.

TODO: more validation.

vdo: enhance status parser

Add support for using mempool for allocations inside status parser.
Convert some string pointers to arrays.
Reindent tabs.

device_mapper: relocate code for sending messages

To be able to send messages for recently resumed devices,
move code into inner loop.

device_mapper: deactive new nodes when load fails

When node loading fails, there is not much the caller can do,
since there is 'unknown' set of devices preloaded.

Only suspend during preload knows future precommitted 'metadata',
so it's non-trivial to drop 'preloaded' entries with any later call.

However dm tree tracks newly loaded entries - so in this case it
may simplify the recovery path by dropping preloaded entries so
they are not leaked in the DM table.

lv_manip: do not check extents for any virtual target

Allow creation of any virtual segment type with just --virtualsize
specified without any real extent size give.

TODO: likely --type error,zero might be later enhanced to use -V
(along with -L) - but since those targets do not allocate real
space, supporting -V makes sense with them.

lv_manip: add name of failing LV into error message

memlock: extend exception list

Amound of linked libraries grows.
Most of them we don't need to lock in, since we are not using
them in locked section, so skip locking them in memory.

locking: memory locking ONLY with suspending reason

It's important to lock memory beforo running SUSPEND ioctl - but whole
lvm preload runs in memory unlocked environment - as in this phase
memory allocation is allowed and is meant to happen.

Once all targets are preload and ready (confirmed from all targets)
we start suspending tree - and here the memory allocation (or i.e.
opening files) is no longer allowed - as it may cause kernel deadlock.

build: drop some more old files

build: avoid rebuild deps for top-level makefiles

dmsetup: fix error propagation in _display_info_cols()

Commit 3f35146 added a check on the value returned by the
_display_info_cols() function:

  1024         if (!_switches[COLS_ARG])
  1025                 _display_info_long(dmt, &info);
  1026         else
  1027                 r = _display_info_cols(dmt, &info);
  1028
  1029         return r;

This exposes a bug in the dmstats code in _display_info_cols:
the fact that a device has no regions is explicitly not an error
(and is documented as such in the code), but since the return
code is not changed before leaving the function it is now treated
as an error leading to:

  # dmstats list
  Command failed.

When no regions exist.

Set the return code to the correct value before returning.

Revert "man: fix lvreduce example"

 -l -3 is correct, meaning reduce by 3.

This reverts commit d5bcc56eefde8349ffee93d0411c6f9fd71ceb84.

man: fix lvreduce example

bcache: Fix null pointer dereferencing

device_mapper: add new _dm_task_create_device_status

Introduce new function _dm_task_create_device_status for grabbing
status of device for better code sharing.

device_mapper: split code for sending message

Move message sending from _thin_pool_node_message to
new _node_message for possible better code sharing.

device_mapper: split _node_send_message

For better code reuse split _node_send_messages into commont
messaging part and separate _thin_pool_node_send_messages.

Patch makes it possible to better reuse common code for messaging
other targets.

tests: update with --yes

vgcfgrestore needs to confirm restore while LVs from VG are present.

lv_manip: use vgmem pool

Switch to vgmem pool for allocation associated with modification
of particular VG.

cache: use new api function

lv_manip: add new internal api function

cache: set areas count prior using it

Set correct counter, so it's not failing on internal error check.

vcfgrestore: add prompt with active volumes

Add check for active device with names matching restored VG.
When such devices are present in dm table, prompt user, if he
wish to continue.

lv_manip: add extra internal error

Catch error early, when trying to store data into non-allocated area.

utils: add clzll

Check for __builtin_clzll and add wrapper when missing.

tests: fix rules for mke2fs.conf install

build: support --disable-silent-rules

Add support for standardized option for have verbose builds.
Useful for distro builds where more details can be useful.

build: include configure.h

It's important to consistenly include  configure.h as the 1st. header.
It containts #defines influencing behavior of other included header
files.

build: make generate

radix-tree: squash a pointer arithmetic warning

Merge branch 'master' of git+ssh://sourceware.org/git/lvm2

radix-tree: fix bug when erasing elts in remove_prefix

_erase_elt() now zeroes the last element of the array (ie. sets to
UNSET).  Previously remove() was doing this, but not remove_prefix().

filter: use pointers to real addresses

instead of casting values 1 and 2 to pointers
which gcc optimization can have problems with.

Remove code for using files as devices

It appears this has not been used in a long time,
and it seems to have no point since loop devices exist.

lvmlockd: fix another missing lock_type null check

Same as 347c807f8.

radix-tree: More debugging of remove

There's now a pretty printer called radix_tree_dump()

n4, n16, and n48 weren't UNSETting the last entry after
sliding values down.

radix_tree: add new test case

Check that value destructors are called by radix_tree_destroy()

radix-tree: FIx various bugs to do with removal

Add radix_tree_is_well_formed() which does some sanity checking
of the tree.

Call the above a lot in the unit tests.

Fix revealed bugs.

scan: work around udev problems by avoiding open RDWR

udev creates a train wreck of events if we open devices
with RDWR.  Until we can fix/disable/scrap udev, work around
this by opening RDONLY and then closing/reopening RDWR when
a write is needed.  This invalidates the bcache blocks for
the device before writing so it can trigger unnecessary
rereading.

bcache: remove extraneous error message

an error from io_submit is already recognized by
the caller like errors during completion.

Print advice about changing clustered VGs to shared

Drop --ignoreskippedcluster option

It's no longer needed.  Clustered VGs are now handled in
the same way as foreign VGs, and as shared VGs that
can't be accessed:

- A command processing all VGs sees a clustered VG,
  prints a message ("Skipping clustered VG foo."),
  skips it, and does not fail.

- A command where the clustered VG is explicitly
  named on the command line, prints a message and fails.
  "Cannot access clustered VG foo, see lvmlockd(8)."

The option is listed in the set of ignored options for
the commands that previously accepted it.  (Removing it
entirely would cause commands/scripts to fail if they
set it.)

report: show empty lock_type for none

Sometimes lock_type would be displayed as "none"
(after changing it) and sometimes as empty.
Make it consistently empty.

Remove unused device error counting

config: add deprecated version for recently removed settings

assumes that the next version from this branch is 3.0.0

scan: use full md filter when md 1.0 devices are present

The md filter can operate in two native modes:
- normal: reads only the start of each device
- full: reads both the start and end of each device

md 1.0 devices place the superblock at the end of the device,
so components of this version will only be identified and
excluded when lvm uses the full md filter.

Previously, the full md filter was only used in commands
that could write to the device.  Now, the full md filter
is also applied when there is an md 1.0 device present
on the system.  This means the 'pvs' command can avoid
displaying md 1.0 components (at the cost of doubling
the i/o to every device on the system.)

(The md filter can operate in a third mode, using udev,
but this is disabled by default because there have been
problems with reliability of the info returned from udev.)

Add cmd arg to more functions

so that it can be used in the filter code

rpm: drop no longer present clvmd, lvm2app

tests: more tolerable makefile

scripts: clvmd gone

man: stop installing clvmd man page

man-generator: drop macro redefines

tests: drop some clvmd refs

Do not try to link clvmd binary.
Ensure lib is created new and does not refer old binaries.

build: cmirrord with internal dm lib

tests: bigger lv

Although throttling slows down things considerable, it still could
reach the end before next test so use bigger LV.

debug: missing trace

systemd: add conficting sockets

Since we are using "DefaultDependencies=no" we do not get automatic STOP
job on socket connection - so automatically refuse connection on
shutdown by adding this Conflict definition to socket Unit.

vgchange: start polling with activation

Shuffle code for better readability as set of conditions was
hard to follow.

Make it obvious the refresh & activate path is handling
monitoring and polling on its own.

So the only --monitor and --poll option needs explicit care.
Option --monitor without option --poll will now as a result
of this patch NOT start polling.

So command: vgchange --monitor n    is no longer a polling starter.

pvscan: move start of polling into vgchange

Restoring polling for activated volumes lost with my recent commit:
75fed05d3ef648583764ff56cc577e0f3eba1bba and move start of polling
directly into _activate_lvs_in_vg() - as there we know exactly
if there was some volume even activated.

Also make it sharing same code for pvscan -aay.

pvscan: code reshape

vgchange: trace faling activation

Trace failed activation and directly assign 0 returning failure.

vgchange: move active assing

Make eval of activate_ARG reusable.

vgchange: fix error code in error path

This rather hard to hit error path used wrong return value to signal
real error.

device_mapper: drop unneeded function

Subdir without stats.

build: better srcdir builddir support

With the move to top-level makefile - there are some issues
with subdir recursive makefile.
Make the building more tolerant for now until fully resolved.

build: drop libdm referring from lvm code

Avoid adding /libdm  paths into lvm building.

build: drop some lvm references from libdm making

Some simplification, more may follow...

build: ensure libdm is built before dm-tools

Making libs before entering dm-tools subdir,
so the tool will not link i.e. system library if present.

man: update lvmsystemid wording

to refer to "shared VG" instead of "lockd VG".

man: updates to lvmlockd

The terminology has migrated toward using "shared VG"
rather than "lockd VG".

Also improve the wording in a number of places.

device_mapper: remove libdm-stats.c

We don't use it in lvm.

dmfilemapd: Move to libdm/dm-tools

No longer uses any lvm code.

dmsetup: move to libdm/dm-tools/dmsetup

links against libdevmapper again.
no longer includes code from lvm.

lvmlockd: update method for changing clustered VG

The previous method for forcibly changing a clustered VG
to a local VG involved using -cn and locking_type 0.
Since those options are deprecated, replace it with
the same command used for other forced lock type changes:
vgchange --locktype none --lockopt force.

Remove makefile entries for removed script

Remove systemd script for starting shared VG

Shared VGs will generally be started and activated by
the resource agent.  Without the agent, this script doesn't
have a good way to know which LVs to activate.

tests: remove vgconvert usage

tests: remove metadata-dirs

metadata dirs are removed

Remove vgconvert

it has no use without lvm1

filters: remove cache file in persistent filter

It creates problems because it's not always correct,
and it doesn't actually help much.

Remove independent metadata areas

in which metadata is stored in files on the local fs
instead of on PVs.

Remove code for loading other metadata formats

other formats are not used.

tests: lvmetad-pvscan-cache expect command to fail

tests: lvconvert-repair remove cluster test

Remove the unused lock_hash in lvmcache

It kept track of which VGs were locked, but is
no longer used, so remove it.

Clean up repair and result values in vg_read

Fix the confusing mix of input and output values
in the single variable.

Fix use of orphan lock in commands

vgreduce, vgremove and vgcfgrestore were acquiring
the orphan lock in the midst of command processing
instead of at the start of the command.  (The orphan
lock moved to being acquired at the start of the
command back when pvcreate/vgcreate/vgextend were
reworked based on pvcreate_each_device.)

vgsplit also needed a small update to avoid reacquiring
a VG lock that it already held (for the new VG name).

Remove checking for locked VGs

A few places were calling a function to check if a
VG lock was held.  The only place it was actually
needed is for pvcreate which wants to do its own
locking (and scanning) around process_each_pv.

The locking/scanning exceptions for pvcreate in
process_each_pv/vg_read can be enabled by just passing
a couple of flags instead of checking if the VG is
already locked.  This also means that these special
cases won't be enabled unknowingly in other places
where they shouldn't be used.

lvmlockd: skip repair lock upgrade for non shared vgs

Only attempt lvmlockd lock upgrade for shared VGs.

build: ensure configure.h comes first

Fix header order so configure.h is 1st. included header.

snapshot: improve checking of merging snapshot

Add runtime detection for 'lvs -o+seg_monitor' and 'vgchange --monitor'.
This fix should avoid unnecessary timeout on systemd shutdown.

vgchange: start polling with option

Polling start either with '--refresh'
or with '--poll' option specified.

build: use internal libs for lvm2cmd

build: link dmeventd plugins with internal libs

build: make generate