pools: workaround hints

Missing code for stacked hint estimation

tests: update cache creation tests

tests: lvcreate-update

Test with old mirror type.

tests: pytest update

lvcreate: delay check for free extents

As the rounding for cache creation may change the value of extents
postpone check for free extents.

cache: support more args

Unlike with thin-pool - with cache we support all args also
directly when create cache volume.

So the result of 'separate' cache-pool creation and setting its
options should give same result as specifying those args
during cache creation.

Cache-pool values are used as defaults if the params are
not specified with cache creation.

thin: simplify thin volume creation

Move code for creation of thin volume into a single place
out of lv_extend().  This allows to drop extra pool arg
for alloc_lv_segment() && lv_extend() and makes code
more easier to read and follow.

cache: apply chunk rounding also for cache creation.

When we create volumes with chunk size bigger then extent size
we try to round up to some nearest chunk boundary.
Until now we did this for thins - use same logic for
cache volumes.

pools: prefetch pool_lv and origin_lv

Load pool_lv and origin_lv at a single place and
use it for more types as they need them.

lvm2app: update to new lv_create_single API

lv_create_single is more type based.

vg_read: Remove unused READ_WITHOUT_LOCK.

Unused since 67a7b7a87da65b2350f975272e581be5f41976e0:
  report: Iterate over labels instead of PVs for label-only reports.
(included in 2.02.105).

tests: syncaction needs kernel fix

Add 'should' as we currently cannot pass this test.

FIXME:
Add properly wrapper to not use 'should' with fixed kernel.

tests: new lvcreate functionality

Fixed syntax parsing means that some commands that used to work are now
failing. Particullary this case:

$ invalid lvcreate -l1 --type thin vg/pool
> Needs to fail becase thin type LV needs  --virtualsize

$ invalid lvcreate --type snapshot vg/lv1
> Needs to fail because old-snapshot segment type needs --size

Some reported error messages have been also updated.

tests: lvcreate usage

mirror: extra parsing for mirrorlog arg

Put validation of mirrorlog arg into a separate function.

man: lvconvert/create updates

More description for cache support.
Introduce --pooldatasize option.

cache: separate func for pool/origin validation

Split validate_lv_cache_create() into 2 function
once is called for pool validation other for origin.

It's less misleading the accepting NULLs.

segments: mark more of them unzeroable

Use segment flags to avoid zeroing of cache, cache pool
snapshot and thin pool segments.

We never want to zero these segment types.

Note:
Snapshot COW and Cache origin are created as stripes
thus are then properly zeroed.

lvcreate: check for conflicting -Zy -Wy

Let the finaly state of zero & wipe_signature to be
resolved later together with all the types.

Don't play with zero assigment and segtype flag
(i.e. thin-pool -Z  has different meaning).

Check if the passed options do allow requested zeroing/wiping.

lvcreate without -Z or -W will fallback to warning if the device
cannot be zeroed, however if user requested them explicitely
it will give user error.

toollib: persistent major minor

Deduce -M from presence of --minor, --major option if
not specified on command line.

lvcreate: new validation code

Refactor lvcreate code.

Prefer to use arg_outside_list_is_set() so we get automatic 'white-list'
validation of supported options with different segment types.

Drop used lp->cache, lp->cache and use seg_is_cache(), seg_is_thin()

Draw clear border where is the last moment we could change create
segment type.

When segment type is given with --type - do not allow it to be changed
later.

Put together tests related to individual segment types.

Finish cache conversion at proper part of lv_manip code after
the vg_metadata are written - so we could correcly clean-up created
stripe LV for cache volume.

pools: error path removes metadata

When pool volume is create - it has already managed to update metadata
once within lv_extend - so revert new created LV here.

lvcreate: handle linear segment

Put in code to accept 'linear' segment type
(when specified stripes cannot be used)

Also report 'error' when unknown type is specified.

pool: better error path handling

Move test for size of new LV names in front before
any creation of LV.

Properly check striped  segtype kernel presence,
since passed 'segtype' is already tested.

Keep deactivation error path local to wiping part of the function.

Create metadata with temporary flag (it's activated, zeroed
and deactivated).

cleanup: code move

Update comment and move code to new place.
Gets updated with next commit.

cleanup: function embeded

It's used just in one place now.

cleanup: better stack tracing

Show proper backtrace on error path.

options: introduce pooldatasize option

Introduce new option to specify pool data size.
This will be user to create i.e.  cache & cachepool at once.
And possible for thin external origin snapshot.

This is only very basic patch to enable options, the
real working code will come later.

cleanup: use matching flags for permissions

Since our status bits are 64b - use uint64_t for permissions.

cleanup: lv_manip drops duplicated internal error

No reason to check the same condition twice with internal error.

cleanup: use arg_is_set

cleanup: don't backup twice

cleanup: move code for checking vg features

Move code that checks for needed VG features into separate
smaller function.

cleanup: simplier lv name construction

Using NAME_LEN max lv name size.

cleanup: sort args alphabetically

Give it some order for easier human lookup for options we do support.

cleanup: move code

cleanup: indent

Various indents and tiny error message improvements.

cleanup: commands.h update descriptions

cleanup: commands.h shorted string

Replace  " "\n"  with simplier  \n"

lv_manip: preserve read-only status in layered volume

lv_manip: improve should_wipe reporting

We want to print smarter warning message only when
the zeroing was not provided on the first zeroable segment
of newly created LV.

Put warning within _should_wipe_lv function to avoid reevaluation
of same conditions twice.

toollib: new arg list functions

Check for negative arg list:
arg_from_list_is_negative()

Check for zero arg in list:
arg_from_list_is_zero()

segments: disable init of free segment

Since it is not needed and would require separate
code for validation disable its initialization.

lvconvert: external detects more conflicts

Check for more prohibited types for external origin conversion.
TODO: Move this function to separate validation code.
(Continuing in release fixes.)

lvcreate: move tests that requires activation

Tests that needs active kernel driver put in single place.

lvcreate: better logging for temporary device

Hide creation of temporary LVs and print them only in verbose mode.

e.g. hides confusing message about creation of _pmspare
device during creation of pool.

segtypes: macro segtype_is_unknown

tools: read yes_no_arg via int_value

yes_no_arg is already parsed so read parsed value as int.

tools: refactor reporter code

Use new libdm macro DM_LIST_HEAD_INIT().
Embeded 'free' segment type (so it's not needed in the list)
Drop assignments of 0,NULL since they are defaults.

libdm: add DM_LIST_HEAD_INIT macro

Support to initialize dm_list struct members.

pool: better error message

pool: fix testmode support with pools

Allow the --test mode to proceed further.

raid: query lock holder

Ask for lock the proper LV.
Use the top-most LV to query for locally exclusive lock.

The rest of operations are then using 'lv_info()'

TODO:
  Check all devices are reloaded from proper level.
  In general any query on lv_is_active is supposed to be running
  ona lv_lock_holder() volume.

cache: better error message

cache: validate for locked

Add extra safety.

cleanup: drop default implementation

Now we reference segment name via  lvseg_name() and
we can drop default implementation and leave its
function pointer to be NULL.

Default give us 'return seg->segtype->name'.

segments: introduce lvseg_name

Instead of segtype->ops->name()  introduce lvseg_name().

This also allows us to leave name() function 'empty' for default
return of segtype->name.

TODO: add functions for rest of ops->

file-locking: skip locking of VG_SYNC_NAMES

VG_SYNC_NAMES is internal name with different meaning,
there is no point to search it in cache.

report: fix selection on {vg,lv}_permissions fields to properly match selection criteria

There was a bug in value and their synonym definition for these two fields
causing selections on these fields to not work correctly - nothing matched
against vg/lv_permissions fields even if selection criteria should have
matched.

Scenario:
$ lvs -o name,lv_permissions vg
  LV    LPerms
  lvol0 read-only
  lvol1 writeable

Before this patch:

$ lvs -o name,lv_permissions vg -S 'permissions=read-only'
(blank)
$ lvs -o name,lv_permissions vg -S 'permissions=writeable
(blank)

With this patch applied:

$ lvs -o name,lv_permissions vg -S 'permissions=read-only'
  LV    LPerms
  lvol0 read-only
$ lvs -o name,lv_permissions vg -S 'permissions=writeable'
  LV    LPerms
  lvol1 writeable

Also synonyms match correctly now:
$ lvs -o name,lv_permissions vg -S 'permissions=rw'
  LV    LPerms
  lvol1 writeable

report: lv_permissions: display read-only/read-only-override instead of blank when LV is not writeable

Before this patch:
$ lvs -o name,lv_attr,lv_permissions
  LV    Attr       LPerms
  root  -wi-ao---- writeable
  swap  -wi-ao---- writeable
  lvol0 -Ri-a-----
  lvol1 -ri-a-----
  lvol2 -wi-a----- writeable
  lvol3 -ri-------

With this patch applied:
$ lvs -o name,lv_attr,lv_permissions
  LV    Attr       LPerms
  root  -wi-ao---- writeable
  swap  -wi-ao---- writeable
  lvol0 -Ri-a----- read-only-override
  lvol1 -ri-a----- read-only
  lvol2 -wi-a----- writeable
  lvol3 -ri------- read-only

("read-only-override" is displayed if the "writeable" permission
is overriden based on "activation/read_only_volume_list" lvm.conf
setting)

NIX: Fix 32b builds (2G of RAM is 1M too much for 32b QEMU).

liblvm2cmd: recognize quotes properly when splitting cmd line string into argv array fields

Fix lvm_split that is called when cmd line string is separated into
argv fields to recognize quote chars ('\'" and '"') properly and
when these quotes are used, consider the text within quotes as one
argument, do not separate it based on space characters inside.

The lvm_split is used during processing lvm shell command line or
when calling lvm commands through cmdlib (e.g. dmeventd plugins).

For example, the lvm shell scenario:

Before this patch:
$lvm
lvm> lvs --config 'global{ suffix=0 }'
  Parse error at byte 9 (line 1): unexpected token
  Failed to set overridden configuration entries.

With this patch applied:
$lvm
lvm> lvs --config 'global{ suffix=0 }'
  LV    VG     Attr       LSize   Pool Origin Data%  Meta%  Move Log  Cpy%Sync Convert
  root  fedora -wi-ao----   9.00g
  swap  fedora -wi-ao---- 512.00m

(Exactly the same problem is hit when calling LVM commands with
quoted arguments via lvm2cmd lib in dmeventd plugins.)

toollib: remove unsed variable in process_each_segment_in_pv

Was left unused from the last change to this function.

toollib: remove dead code

Because of the recent change to process_each_pv(), the vg is always
provided when the pv is in a vg.  is_pv(pv) means the pv is in a vg,
which means that the vg arg will not be NULL, which means the removed
block of code is not needed.

NIX: Give the VMs 2G of RAM (for tmpfs) until the new runner is merged.

vgcreate: Permit non-power-of-2 extent sizes.

Relax validation to permit extent sizes > 128KB that are not powers of 2
with lvm2 format.  Existing code was already capable of handling this.

systemd: remove workaround for lvm2-monitor.service's ExecStop line

Bug https://bugzilla.redhat.com/show_bug.cgi?id=843587 is handled better
now - the hang does not occur anymore. There are still error messages
issued though during shutdown if someone stops lvm2-lvmetad.service
manually that lvm2-monitor.service depends on (even during shutdown).
These errors are correct though and will point to incorrect
configuration (still having use_lvmetad=1 in lvm.conf and stopping
lvm2-lvmetad.service manually).

The workaround to prevent the hang is not needed now. So the
'--config "global{use_lvmetad=0}"' is now removed from the
lvm2-monitor.service's ExecStop line.

device: Fix BLKSSZGET definition check.

lvchange: Allow appropriate actions on cache (in addition to thin) pools.

toollib: validate_restricted_lvname_param

Lets make a separate new function to validate names that has
to follow up restriction rules.

filter-usable: filter out blocked and suspended devices firmly when scanning for lvmetad

We can't hang on blocked or suspended devices when the scan is done
for lvmetad update - when the device gets unblocked or resumed, there's
always CHANGE event generated which will fire the udev rule to run
extra pvscan --cache for that device which makes sure that lvmetad
is up-to-date.

vgremove: Use process_each_lv_in_vg.

test: Fix lvconvert-raid-allocation's use of lvconvert --repair.

metadata: Fix find_pv_in_vg for missing PVs/filtered devices.

lvcreate: regression fix on lv name limits

When we are given an existing LV name - it needs to be allowed
to pass in even restricted name as the LV could have existed
long before we introduced some new restriction on prefix/suffix.i

Fix the regression on name limits and drop restriction to be applied
on any existing LVs - only the new created LV names have to be
complient with current name restrictions.

FIXME: we are currently using restricted names incorrectly in few
other places - device_is_usable() skips restricted names,
and udev flags are also incorrectly set for restricted names
so these LVs are not getting links properly.

cleanup: rename _name, _lv and _size

Use some standard names for lv char * names, logical_volume * lv
and sizes internally.

tests: typos

tests: put devs into ""

tests: check for cache and raid

Skip some tests on systems without cache or raid.

tests: move cache raid to separate file

cleanup: dont hide pv_dev declaration from pv

Just skip using local vars here...

test: Creating a cache on top of active RAID works now.

metadata: add internal error if PV has no existing device attached during find_pv_in_vg

find_pv_in_vg fn iterates over the list of PVs covered by the VG and
each PV's pvl->pv->dev is compared with device acquired from device
cache. However, in case pvl->pv->dev is NULL as well as device cache
returns NULL (e.g. when device is filtered), we'll get incorrect match
and the code calling find_pv_in_vg uses incorrect PV (as it thinks
it's the exact PV with the pv_name). The INTERNAL_ERROR covers this
situation and errors out immediately.

lvconvert: Allow --repair and --splitmirrors on reserved-name LVs.

test: Add process-each toollib tests.

metadata: Use flags to control warnings.

The warnings arg was used to enable logging of warnings
when reading a PV.  This arg is turned into a set of flags
with the WARN_PV_READ flag matching the existing behavior.

A new flag WARN_INCONSISTENT is added that will cause
vg_read_internal() to log the "VG is not consistent"
warning so the various callers do not need to log
this warning themselves.

A new vg_read flag READ_WARN_INCONSISTENT is used from
reporting to enable the WARN_INCONSISTENT flag in
vg_read_internal.

[Committed by agk with cosmetic changes and tweaks.]

vgreduce: Use process_each_pv.

Adapt process_each_pv for use by vgreduce in the non-repair case.

[Committed by agk with cosmetic changes and tweaks.]

toollib: Rewrite process_each_pv.

Process PVs by iterating through VGs, then iterating through
devices if the command needs to process non-PV devices.
The process_single function can always use the VG and PV args.

[Committed by agk with cosmetic changes and tweaks.]

lvmcache: Skip VG_GLOBAL cache lock state update.

Avoids message:
  Metadata cache has no info for vgname: "#global"

man: lvmcache mention automatic pool conversion

When converting an origin to a cache lv, lvm will automatically convert
the specified cache pool into a cache pool if it is not already a cache
pool.

toollib: Shuffle PV functions.

man: lvmcache changes related to removal and splitting

man: lvmthin show the lvcreate -n option for pools

lvcreate of thin pools can now use '-n lv vg' like other lv types,
or it can name the new thin pool in the free arg as 'vg/lv', which
is not allowed with other lv types.

toollib: Remove unused functions from header file.

tests: lvconvert cache usage of thin pool

Checked stacking usage of thin pool data volume being cached.

tests: lvconvert thin pool

More tests.

tests: lvconvert cache

Many new tests

tests: lvcreate external origin

Fix unsupportable case.
We cannot create thinpool and snapshot at the same time.
(-L could not have 2 meanings).

tests: lvcreate thin-pool support --name

tests: lvcreate cache interface updates