lvmdbustest.py: Add basic vdo test

testlib.py: Correct dbus signature verification

This allows us to fully verify introspection data matches what we are
getting.

lvmdbusd: VDO Pool LV representation

VDO pool LVs are represented by a new dbus interface VgVdo.  Currently
the interface only has additional VDO properties, but when the
ability to support additional LV creation is added we can add a method
to the interface.

lvmdbustest.py: Create common func. _create_cache_lv

lvmdbustest.py: Add nested helper function major_minor

lvmdbustest.py: WS corrections

lvmdbusd: Prevent running --nojson with VDO support

lvmdbustest.py: Add cache LV rename test

lvmdbusd: Add VgVdo class & assoc. interface

When VDO support is available we will create VG object instances
which will allow the API user to create VDO pool LVs.

lvmdbusd: Add cfg.vdo_support

Will be used to add vdo interfaces on demand.

lvmdbustest.py: Remove 2 TODOs

This issue has been resolved, sizes > 2**32-1 not supported.

lvmdbustest.py: Add func. _pv_scan

lvmdbustest.py: Use existing _create_lv

lvmdbustest.py: Add func. _create_thin_lv

lvmdbustest.py: Add func. _all_pv_object_paths

This is needed in a number of places.

lvmdbustest.py: Add function for lv path check

lvmdbusdtest.py: Use common function for tag add

lvmdbustest.py: Remove duplicate setup code

Remove the same copy & pasted code which simply creates a VG to
use.

man lvmvdo: Correct spellings

man: Include '_vdata' as reserved name

lvmdbusd: Add check for reserved name '_vdata'

Added for vdo support.

lvmdbustest.py: Add blurb about scan_lvs = 1

When developing and testing on a local system, to get the unit
test to pass the test_nesting test, editing the test conf will achieve
the success too.

lvmdbusd: Add d and D to type map for VolumeType

These were added for vdo integration.

lvmdbusd: Remove use of tmp variables

We can use tuple expansion from the command handler functions
directly.

lvmdbusd: Remove duplicate error handling code

vg, lv, pv code had the same function for handling command execution.
Move to utility function and abstract the difference.

[bcache] bcache_invalidate_fd, only remove prefixes on success.

[bcache] reverse earlier patch.

It broke some unit tests, for v. little benefit

[bcache] pass up the error from io_submit rather than using generic -EIO

Author: Heming Zhao

[bcache] add unit test

abort-forces-read

[label] Use bcache_abort_fd() to ensure blocks are no longer in the cache.

The return value from bcache_invalidate_fd() was not being checked.

So I've introduced a little function, _invalidate_fd() that always
calls bcache_abort_fd() if the write fails.

[bcache] add bcache_abort()

This gives us a way to cope with write failures.

WHATS_NEW

tests: explicit testing of thin snapshot

Check merging of old snapshot of thin LV.

snapshot: use single merging sequence

The resume of 'released' 'COW' should preceed the resume of origin.
The fact we need to do the sequence differently for merge was
cause by bugs fixed in 2 previous commits - so we no longer need
to recognize 'merging' and we should always go with single
sequence.

The importance of this order is - to properly remove  '-real' device
from origin LV. When COW is activated as 2nd. '-real' device is
kept in table as it cannot be removed during 1st. resume of origin,
and later activation of COW LV no longer builds tree associated
with origin LV.

snapshot: fix checking of merged thin volume

When merging of thin snapshot is taking place, the origin target will
be of thin type.

snapshot: correctly check device id of merged thin

When checking device id of a thin device that is just being
merged - the snapshot actually could have been already finished
which means  '-real' suffix for the LV is already gone and just LV
is there - so check explicitely for this condition and use
correct UUID for this case.

lvmlockd: fix cachevol locking

When a cachevol LV is attached, have the LV keep it's lock
allocated.  The lock on the cachevol won't be used while
it's attached.  When the cachevol is split a new lock does
not need to be allocated.  (Applies to cachevol usage by
both dm-cache and dm-writecache.)

tests: lvmlockd-lv-types handle new cpool renaming

man lvmthin: change wording about mounting xfs

post-release

pre-release

cov: Fix memory leak

build: make generate

improve command definition matching using type

When a user includes "--type foo" in a command, only
look at command definitions with matching type, as
opposed to using matching/mismatching --type as a
vote for/against a given command def.  This means a
command with --type foo will prioritize a command def
with --type foo over other command defs that have
more matching options but an unmatching type.  This
makes it more likely that a closely matching command
def will be recommended.

cache: _cpool is protected suffix now

tests: enable with 6.2.1

Package vdo-6.2.2.18  goes with  kvdo version 6.2.1
Hopefully will get fixed soon.
Meanwhile to get test coverage...

dm: fix compilation of dmsetup

Fix: 889c88e9dab33195efc4dc0400a4b0aaa3383948
Use correct enum DM_DEVICE_GET_TARGET_VERSION.

tests: more suffixes

gcc: older version can't see udev is always set

vgchange: remove bogus option restriction

for -A with -a

cachevol: use cachepool code for metadata size

Based on a more detailed calculation, but because of
extent size rounding, the final result is about the
same.

man: lvmcache naming updates

gcc: avoid warning: declaration of xxx shadows a global declaration

Fix some gcc complaints again shadowing global declarations

gcc: all paths will set ret

Set success on common path.
Fixes random failure on writecache uncaching path.

gcc: older compiler is happier with this initilizer

tests: used cache_pool adds _cpool

cache: use _cpool for used cache-pools

When LV gets cached and uses cache-pool - such cache-pool
will now get _cpool suffix automatically.

Thus 'Pool' column for cached LV will now show either _cvol
or _cpool LV.

cache: drop _cpool suffix from unused cache-pool

Drop _cpool prefix if present and cache-pool is going to be unused.

lvconvert: use new functions

lvm-string: add drop_lvname_suffix

Internal function to drop suffix out of lvname.

lv_manip: add lv_uniq_rename_update

Add function to rename LV to either passed name or if
the name is already in use, generate new lvol% name.

pvck: dump metadata search

Improve the implementation of extracting all text metadata
copies from the metadata area.  Use this for the existing
metadata_all dump option.

Add a new metadata_search dump option which does not use
lvm headers to find metadata, but looks in standard
locations.  This is useful if headers are damaged and
can't be used to locate metadata.

Adding '-v' to metadata_all or metadata_search will add
the description and creation_time to the printed list of
metadata instances that are found.

tests: cachevol needs FORMAT2

FORMAT2 is mandatory with cachevols...

tests: skip when raid is not present

cachevol: support removal of cachevol

Removal of cachevol is equivalent of lvconvert --uncache
and works the same way as with cachepool.

cache: single code for removal of cached volume

Use same routine for dropping cached LV for cachevol and cachepool.

debug: missing trace

cachevol: move cvol rename

Move rename of CVOL after archive().

cachevol: move flag setting after taking archive

Before 'archive()' is called, lvm2 must not touch/modify metadata.
So move setting  CACHE_VOL related flags past this point.

Also make sure reading of cache segtype always restores this
flag properly (even if compatible flag would be lost).

cache: drop validation check

Since now we can cache either with cache-pool LV or
any other LV (being used as cachevol LV) drop the
validation condition.

cache: add more comments for min meta size

Enhance source code with better explanation how the minimal
metadata size is evaluated from data size and chunk size.

cachevol: use CVOL UUID for cdata and cmeta layered devices

Since code is using -cdata and -cmeta UUID suffixes, it does not need
any new 'extra' ID to be generated and stored in metadata.

Since introduce of new 'segtype' cache+CACHE_USES_CACHEVOL we can
safely assume 'new' cache with cachevol will now be created
without extra metadata_id and data_id in metadata.

For backward compatibility, code still reads them in case older
version of metadata have them - so it still should be able
to activate such volumes.

Bonus is lowered size of lv structure used to store info about LV
(noticable with big volume groups).

tests: metadata-zero-space long vgnames

In the hex dump output, grep for the vgname
followed by one space.  This allows for test pids
with up to seven digits, which are used to contruct
the variable vgname used by the test.  Otherwise
the long vgname wraps to the next line and fails to
match in grep.

writecache: add cvol suffix to attached cachevol

When an LV is used as a writecache cachevol, give
it the LV name a _cvol suffix.  Remove the suffix
when the cachevol is detached, restoring the
original LV name.

cache: change default cachevol metadata sizes

The first part of a cachevol LV is used for metadata,
and the rest of the space is used for data.  The
division of space between metadata and data depends
on the total size of the cachevol.

The previous division gave more space than needed to
metadata, it was:

cachevol size 8M to 128M -> metadata size 16M *
cachevol size 128M to 1G -> metadata size 32M
cachevol size 1G and up  -> metadata size 64M

(* if this resulted in over half the LV used as
metadata, then half the cachevol would be used
for metadata, and the other half for data.)

The division of space now gives less space to
metadata, it is:

cachevol size 8M to 16M  -> metadata size 4M
cachevol size 16M to 4G  -> metadata size 8M
cachevol size 4G to 16G  -> metadata size 16M
cachevol size 16G to 32G -> metadata size 32M
cachevol size 32G and up -> metadata size 64M

allow activating known LVs when other LVs have unknown segtypes

When a VG contains some LVs with unknown segtypes, the user
should still be allowed to activate other LVs in the VG that
are understood.

$ lvs foo
  WARNING: Unrecognised flag CACHE_USES_CACHEVOL in segment type cache+CACHE_USES_CACHEVOL.
  WARNING: Unrecognised segment type cache+CACHE_USES_CACHEVOL
  LV    VG  Attr       LSize
  lvol0 foo -wi-------  4.00m
  other foo vwi---u--- 48.00m

$ lvcreate -l1 foo
  WARNING: Unrecognised flag CACHE_USES_CACHEVOL in segment type cache+CACHE_USES_CACHEVOL.
  WARNING: Unrecognised segment type cache+CACHE_USES_CACHEVOL
  Cannot change VG foo with unknown segments in it!
  Cannot process volume group foo

$ lvchange -ay foo/lvol0
  WARNING: Unrecognised flag CACHE_USES_CACHEVOL in segment type cache+CACHE_USES_CACHEVOL.
  WARNING: Unrecognised segment type cache+CACHE_USES_CACHEVOL

$ lvchange -ay foo/other
  WARNING: Unrecognised flag CACHE_USES_CACHEVOL in segment type cache+CACHE_USES_CACHEVOL.
  WARNING: Unrecognised segment type cache+CACHE_USES_CACHEVOL
  Refusing activation of LV foo/other containing an unrecognised segment.

$ lvs foo
  WARNING: Unrecognised flag CACHE_USES_CACHEVOL in segment type cache+CACHE_USES_CACHEVOL.
  WARNING: Unrecognised segment type cache+CACHE_USES_CACHEVOL
  LV    VG  Attr       LSize
  lvol0 foo -wi-a-----  4.00m
  other foo vwi---u--- 48.00m

cache: change cachevol flags for backward compat

A cachevol LV had the CACHE_VOL status flag in metadata,
and the cache LV using it had no new flag.  This caused
problems if the new metadata was used by an old version
of lvm.  An old version of lvm would have two problems
processing the new metadata:

. The old lvm would return an error when reading the VG
  metadata when it saw the unknown CACHE_VOL status flag.

. The old lvm would return an error when reading the VG
  metadata because it would not find an expected cache pool
  attached to the cache LV (since the cache LV had a
  cachevol attached instead.)

Change the use of flags:

. Change the CACHE_VOL flag to be a COMPATIBLE flag (instead
  of a STATUS flag) so that old versions will not fail when
  they see it.

. When a cache LV is using a cachevol, the cache LV gets
  a new SEGTYPE flag CACHE_USES_CACHEVOL.  This flag is
  appended to the segtype name, so that old lvm versions
  will fail to use the LV because of an unknown segtype,
  as opposed to failing to read the VG.

tests: cvol

tests: drop manipulation with 'internal' LV

Cachevol LV is 'internal' LV and should not be 'maintained'  this way
while it's being used as cachevol.

cachevol: drop no longer needed functions

Code is no longer used/needed.

cachevol: use lv_cache_remove

Use same routine for dropping cache.

cachevol: improve manipulation with dm tree

Enhance activation of cached devices using cachevol.
Correctly instatiace  cachevol -cdata & -cmeta devices with
'-' in name (as they are only layered devices).
Code is also a bit more compacted (although still not ideal,
as the usage of extra UUIDs stored in metadata is troublesome
and will be repaired later).

NOTE: this patch my brink potentially minor incompatiblity for 'runtime' upgrade

cachevol: put _cvol as protected suffix.

This revert "drop cvol dm uuid suffix for cachevol LVs"
commit 5191057d9df3e5b92db3f80c412b99aea1074358.
Start using -cvol for  DM UUID.

cachevol: use writethrough for partial removal

Instead of using 'noflush' option, switch cache_mode into WRITETHROUGH
which does not require flushing, when user confirmed he does not
want flushing for WRITEBACK (because of (partially) missing caching PV)

cachevol: drop LV_CACHE_VOL on detach automatically

Move dropping of cachevol flag into detach function.
TODO: this flag should be internal to lvm2.

cachevol: rename converted LV to _cvol

When converting existing public LV to internally used
'CacheVol' LV - rename LV to LV_cvol.

When splitting CacheVol, remove _cvol suffix.

cachevol: wipe 'normal' device

For wiping we activate and clear 'regular' devices,
since in case of whole process interuption (i.e. kill -9)
we leave metadata & DM table and workable state all the time.

cache: enhance removal function to work with cvol

To keep things simple, use same code for all cache removal functions,
not just for cachepools but also cachevols.

cache: correct condition

cache: recognize cachevol with lv_cache_remove

cache: reload only when switched to cleaner policy

Reload cache target only when lvm2 reload table with
cache with clearer policy.

lvconvert: use struct initializer

Always good to keep rest of structure initilized with zeros.

tests: disable caching of VDO

Disable until vdo gets fixed, then require fixed version.
Otherwise test kills kernel

lvconvert: fix return value when zeroing fails

Use correct error return code for fail path.

vgck: let updatemetadata repair mismatched metadata

Let vgck --updatemetadata repair cases where different mdas
hold indepedently valid but unmatching copies of the metadata,
i.e. different text metadata checksums or text metadata sizes.

vgck: fix updatemetadata writing different descriptions

vgck --updatemetadata would write the same correct
metadata to good mdas, and then to bad mdas, but the
sequence of vg_write/vg_commit calls betwen good and
bad mdas could cause a different description field to
be generated for good/bad mdas. (The description field
describing the command was recently included in the
ondisk copy of the metadata text.)

pvmove: remove some cmirror related code

which is no longer used

test: Minimize data written by metadata-zero-space

The test is checking only 2 megabytes, but is rewriting much more. Bad
for limited ramdisk.

man: lvmcache note dm-cache block size issue

vgremove: remove internal lvmlock LV

If a VG is forcibly changed from lock_type sanlock to
lock_type none, the internal lvmlock LV is left behind.
If that LV is not removed before vgremove is run on the
VG, then an internal check will be triggered by the
hidden lvmlock LV.  So, check for and remove a left over
lvmlock LV during vgremove.