thin: disallow creation of too big thin pools

When a combination of thin-pool chunk size and thin-pool data size
goes beyond addressable limit, such volume creation is directly
prohibited.

Maximum usable thin-pool size is calculated with use of maximal support
metadata size (even when it's created smaller) and given chunk-size.
If the value data size is found to be too big, the command reports
error and operation fails.

Previously thin-pool was created however lots of thin-pool data LV was
not usable and this space in VG has been wasted.

cleanup: use DM limit define

For calculation use already defined size in libdm, which give better
estimation of maximal size of thin pool metadata.

cleanup: rename internal define

More descriptive name of #define.

lvconvert: reject RAID conversions on inactive LVs

Only support RAID conversions on active LVs.

If we'd accept e.g. upconverting linear -> raid1 on inactive
linear LVs, any LV flags passed to the kernel aren't properly
cleared thus errouneously passing them on every activation.

Add respective check to lv_raid_change_image_count() and
move existing one in lv_raid_convert() for better messages.

lvmdbusd: Prevent stall when update thread gets exception

If during the process of fetching current lvm state we experience an
exception we fail to call set_result on the queued_requests we were
processing.  When this happens those threads block forever which causes
the service to stall infinitely.  Only clear the queued_requests after
we have called set_result.

lvmdbusd: Add background command to flight recorder

We were not adding background tasks to flight recorder.  Add the meta
data to the flight recorder when we start the command and update the meta
data when the command is finished.  Locking was added to meta data to
prevent concurrent update and returning string representation as these can
happen in two different threads.

lvmdbusd: cmdhandler.py vg_reduce, remove extranous '--all'

vgreduce previously allowed --all and --removemissing together even though
it only actual did the remove missing.  The lvm dbus daemon was passing
--all anytime there was no entries in pv_object_paths.  This change supplies
--all if and only if we are not removing missing and the pv_object_paths
is empty.

Vgreduce has and continues to enforce the invalid combination of supplying a
device list when you specify --all or --removemissing so we do not need
to check for that invalid combination explicitly in the lvm dbus service as
it's already covered.

Ref: https://bugzilla.redhat.com/show_bug.cgi?id=1455471

lvconvert: choose direct path to desired raid level

Remove superfluous raid5_n interim LV type from raid4 -> raid10 conversion.

Resolves: rhbz1458006

print warning about in-use orphans

Warn about a PV that has the in-use flag set, but appears in
the orphan VG (no VG was found referencing it.)

There are a number of conditions that could lead to this:

. The PV was created with no mdas and is used in a VG with
  other PVs (with metadata) that have not yet appeared on
  the system.  So, no VG metadata is found by lvm which
  references the in-use PV with no mdas.

. vgremove could have failed after clearing mdas but
  before clearing the in-use flag.  In this case, the
  in-use flag needs to be manually cleared on the PV.

. The PV may have damanged/unrecognized VG metadata
  that lvm could not read.

. The PV may have no mdas, and the PVs with the metadata
  may have damaged/unrecognized metadata.

disable repairing in-use flag on orphan PVs

A PV holding VG metadata that lvm can't understand
(e.g. damaged, checksum error, unrecognized flag)
will appear as an in-use orphan, and will be cleared
by this repair code.  Disable this repair until the
code can keep track of these problematic PVs, and
distinguish them from actual in-use orphans.

tests: longer delay

Slower sync a bit more and use bigger raid arrays to
be more sure we will catch raid being sychronized.

tests: add some extra udev waits

To get less random results on older systems with systemd (i.e. fc23)
put few extra udev wait operations to avoid any udev event collision.

tests: skip reshaping raid10

Needs newer target  >= 1.10.1 for reshaping of raid10 LVs.

lvconvert: reject changing number of stripes on single core

Reject any stripe adding/removing reshape on raid4/5/6/10 because
of related MD kernel deadlock on single core systems until
we get a proper fix in MD.

Related: rhbz1443999

tests: missed to export lvm binary for fsadm

tests: drop extra debug vvvv

Also show output of mount so when it fails we can check the state.

tests: also check new flag with segtype

Make sure new unknown flag is having same behavior as old unknown segtype.

flags: improve unknown flags logic

Use same logic as with unknown segment type - so preserve such
name fully with all flags just with UNKNOWN segment type bits.

flags: restore same logic with MISSING

Since lvmetad is using 'MISSING' in status for 'another' purpose,
we need to support ATM also flag get from this place.

Until fixed better - we accept both flags - alhough lvm2 will
only print in flags.

flags: add segtype flag support

Switch METADATA_FORMAT flag usage to be stored via segtype
instead of 'status' flag which appeared to cause major
incompatibility troubles.

For backward compatiblity segtype flags are still accepted also
via 'status' bits which were used from version 2.02.169 so metadata
saved by this newer lvm2 version should still work nicely, although
new save version will no longer work on this older lvm2 version.

flags: add read and print of segtype flag

Allow storing LV status bits with segment type name field.
Switching to this since this field has better support for compatibility
with older version of lvm2 - since such unknown segtype will not cause
complete invisiblity of metadata from older lvm2 code - just the
particular LV will become unusable with unknown type of segment.

cleanup: backtrace

Add debug backtrace.

cleanup: separate type and mask

Split misused 'enum' into 2 fields - one for type
of PV, VG, LV and other for mask.

cleanup: bad flag is internal error here

Convert to internal error.

tests: wait for raid in sync

Lvchange needs synchronized raid.

test: Fix dbus testing using testsuite

- Must reread all objects as PVs might be removed.
- Never consider testsuite provided PVs nested, or tearDown fails to
  remove any outstanding VGs on them.

test: Use _pv suffix for nested devices

Testsuite uses global_filter to accept only test devices with
suffix matching /_pv[0-9_]*$/ set by generate_config in aux.sh.

spec: Enable notify-dbus in builds with dbus

Proper dm_snprintf return checks

Fix typo

add comment about PV in-use repair

copied from commit message for
d97f1c89deb9a75452059cd62ebb20cf7d2d6bfa

man lvmsystemid: change some wording

Clarify the wording in a couple cases.

tests: fix test for fsadm

Avoid mountinfo
Pass 'y'  - since ATM lvresize cannot pass --yes to fsadm.

fsadm: avoid hidden --yes

When 'fsadm' was running without terminal (i.e. pipe), it's been
automatically working like in '--yes'.

Detect terminal and only accept empty "" input in this mode.

raid: Drop unnecessary/incorrect use of dm_pool_free

metadata: Unlock VG on more _vg_make_handle error paths

Internal error: VG lock vg0 must be requested before vg3, not after.
Internal error: 3 device(s) were left open and have been closed.

format_text: More internal errors if given invalid internal metadata

Three more messages to ensure each failure in out_areas() results in a
low-level message instead of sometimes just <backtrace>.

man lvmraid: add more indirect conversion info

tests: catch some fsadm tricky paths

When user is renaming a device, we are getting into troubles.
We needs to recognize which case is actually supportable by fsadm.

fsadm: enhance detection of already mounted volumes

Add more validation to catch mainly renamed devices, where
filesystem utils are not able to handle devices properly,
as they are not addressed by major:minor by rather via some
symbolic path names which can change over time via rename operation.

fsadm: always detect mounted fs with extX

Since we add more validation to 'detect_mounted' function make sure
we always use it even with 'resize' action, so numerous validations
are not skipped.

man lvmraid: indirect conversions

Start documenting multi-step conversions.

Don't number examples.

lvconvert: fix logic in automatic settings of possible (raid) LV types

Commit 5fe07d3574ddce3d194f0fa57af9028348a91008 failed to set raid5 types
properly on conversions from raid6.  It always enforced raid6_ls_6
for types raid6/raid6_zr/raid6_nr/raid6_nc, thus requiring 3 conversions
instead of 2 when asking for raid5_{la,rs,ra,n}.

Related: rhbz1439403

lvmdbusd: Fix missed rename

Introduced By: e53454d6 (2.02.169)
Related: RHBZ#1348688

lvconvert: fix indent and typo in last commit

lvconvert: enhance automatic settings of possible (raid) LV types

Offer possible interim LV types and display their aliases
(e.g. raid5 and raid5_ls) for all conversions between
striped and any raid LVs in case user requests a type
not suitable to direct conversion.

E.g. running "lvconvert --type raid5 LV" on a striped
LV will replace raid5 aka raid5_ls (rotating parity)
with raid5_n (dedicated parity on last image).
User is asked to repeat the lvconvert command to get to the
requested LV type (raid5 aka raid5_ls in this example)
when such replacement occurs.

Resolves: rhbz1439403

lvmdbusd: Fix notify_dbus mangling config option

If config option is passed by caller, dbusd appends to the option not to
the value, and also without using delimiter.

Bug: RHBZ#1451612

test: Fix condition

test: Fix skipped cleanup

test: add missing yes option to lvconvert stripe removal

test: Fix previous commit - skip only RAID6 part

test: Update condition for changing RAID regionsize

The test is failing on F23 and F25 with 1.9.1

lvchange: allow changing properties on thin pool data lv

Add an exception to not allowing lvchange to change properties
on hidden LVs.  When a thin pool data LV is a cache LV, we
need to allow changing cache properties on the tdata sublv of
the thin pool.

config: keep description lines under 80

As far as possible, it's nice to keep the config
description lines from going over 80 columns.

lvcreate: Fix last commit for virtual sizes.

Don't stop when extents is 0 if a virtual size parameter was supplied
instead.

lvcreate: Fix mirror percentage size calculations.

Trap cases where the percentage calculation currently leads to an empty
LV and the message:

  Internal error: Unable to create new logical volume with no extents

Additionally convert the calculated number of extents from physical to
logical when creating a mirror using a percentage that is based on
Physical Extents.  Otherwise a command like 'lvcreate -m3 -l80%FREE'
can never leave any free space.

This brings the behaviour closer to that of lvresize.
(A further patch is needed to cover all the raid types.)

man lvmcache: add info about metadata formats

metadata: Fix metadata repair when devs still missing.

_check_reappeared_pv() incorrectly clears the MISSING_PV flags of
PVs with unknown devices.
While one caller avoids passing such PVs into the function, the other
doesn't.  Move the check inside the function so it's not forgotten.

Without this patch, if the normal VG reading code tries to repair
inconsistent metadata while there is an unknown PV, it incorrectly
considers the missing PVs no longer to be missing and produces
incorrect 'pvs' output omitting the missing PV, for example.

Easy reproducer:
Create a VG with 3 PVs pv1, pv2, pv3.
Hide pv2.
Run vgreduce --removemissing.
Reinstate the hidden PV pv2 and at the same time hide a different PV
pv3.
Run 'pvs' - incorrect output.
Run 'pvs' again - correct output.

See https://bugzilla.redhat.com/1434054

vg_read: check for NULL dev to avoid segfault

There are certain situations (not fully understood)
where is_missing_pv() is false, but pv->dev is NULL,
so this adds a check for NULL pv->dev after is_missing_pv()
to avoid a segfault.

tests: better skip

fsadm: all path define MAJOR MINOR

fsadm: some cleanup

Put some extra "" around vars.
Indent.
Error messages with dots.

fsadm: fix test of subshell return value

Subshell is not returning error code value upward thus
error results in this case were actually ignored.
Also add dots to moved error messages.

dmeventd: restore multiple warnings

With recent updates for thin pool monitoring in version 169
we lost multiple WARNINGs to be printed in syslog, when
pool crossed  80%, 85%, 90%, 95%, 100%.

Restore this logic as we want to keep user informed more
then just once when 80% boundary is passed.

dmfilemapd: always initialise 'same' local variable (Coverity)

Fix a regression introduced in 70bb726 that allows a local variable
in the monitored file checking routine to be accessed before its
assignment when the file has already been unlinked.

man lvmetad: mention repair as a reason for disabling

lvconvert --repair now also disables lvmetad.

lvmdbusd: Correct PV lookups

When a user does a Manager.PvCreate they can specify the block device using a
device path that may be different than what lvm reports is the device path.  For
example a user could use:

/dev/disk/by-id/wwn-0x5002538500000000 instead of /dev/sdc

In this case the pvcreate will succeed, but when we query lvm we don't find the
newly created PV. We fail because it's device path is returned as /dev/sdc.  This
change re-uses an internal lookup which can accommodate this and correctly find
the newly created PV.

Corrects https://bugzilla.redhat.com/show_bug.cgi?id=1445654

lvmdbustest.py: Add PV symlink testing

We fixed this issue once before and it's back, add a test to make
sure it never comes back again!

https://bugzilla.redhat.com/show_bug.cgi?id=1318754
https://bugzilla.redhat.com/show_bug.cgi?id=1445654

WHATS_NEW: cache pool options

lvcreate: cachemode writeback and cachepolicy cleaner is invalid

Return an error if lvconvert is used to create a cache pool
with that combination.

dmfilemapd: clear filemap_monitor before calling _parse_args()

If the wrong number of arguments are given, main() will attempt
to free the uninitialised pointer in fm.path.

man lvmconfig: add descriptions for typeconfig and ignorelocal

man vgexport: reference to vgimport

man lvm fullreport and lvpoll references

Add references to lvm-fullreport(8) and lvm-lvpoll(8).

man clvmd: mention lvmlockd is another option

man: reference other man pages with bold

There were a handful of references to other man
pages using the standard command(N) form which were
not in bold, so they were not turned into links
in html formats.

man lvm.conf: say how to get a description of settings

Many will look in 'man lvm.conf' expecting to find a
description of the lvm.conf fields, which are not there.
State at the beginning how to get this (by running
lvmconfig.)

pvscan: define command as taking only -aay

The fact that -an and -ay are not accepted can be
stated in the command definition.

man pvscan: add description for --activate

man vgimport: add description for --all

man pvchange: mention one option is required

man pvchange: add description for --all

commands: check for memory failures

just return for now

man lvmlockd: minor wording updates

post-release

pre-release

man: generate

command: avoid compiler warning

man-generator.c:3243: warning: declaration of ‘stat’ shadows a global
declaration

man: references to lvm entities

Try to reference lvm(8) at the start of topical
man pages, and spell out acronyms early in the
text, descriptions of which can be found in lvm(8).

man lvm: define LVM and its terms

The lvm(8) man page never said what LVM is,
it never defined what the acronym LVM stands for,
it never spelled out other common acronyms VG, PV, LV,
and never described what they are.

This adds a very minimal definition which at least defines
the acronyms and entities, but it could obviously be
expanded on, either here or elsewhere.

man lvmsystemid: general improvements

Mainly improve the readability/wording.
Use "system ID" instead of system_id.
A couple small additions.

dbus: Add --yes when --setphysicalvolumesize is used

commands: fix memory debug for cmd defs

Clean up the handling of memory used for cmd defs
so it doesn't trip up memory debugging.

Allocate memory for commands[] from libmem.

Free temporary memory used by define_commands()
at the end of the function.

Clear all the command def state in in lvm_fin().

fix running commands from a script file

Using any arg with a command name in a script file
would cause the command to fail.

The name of the script file being executed was being passed
to lvm_register_commands() and define_commands(), which
prevented command defs from being defined (simple commands
were still being defined only by name which was enough for those
to still work when run trivially with no args).

WHATS_NEW: pvcreate prompt

WHATS_NEW: pvcreate --setphysicalvolumesize

commands: improve syntax suggestion when no command is found

The logic for suggesting the nearest valid command syntax
was missing the simplest case.  If a command has only one
valid syntax, that is the one we should suggest.  (We were
suggesting nothing in this case.)

pvcreate: add prompt when setting dev size

If the device size does not match the size requested
by --setphysicalvolumesize, then prompt the user.

Make the pvcreate checking/prompting code handle
multiple prompts for the same device, since the
new prompt can be in addition to the existing
prompt when the PV is in a VG.

dbus: log_debug needs qualifier

Adding qualifier makes the only unqualified log_debug occurence
consistent with other uses in the same file.

Other possible ways to fix this:

- using `from .utils import log_debug`
- moving the line below `from . import utils` line

pvresize: Missing a message on error path.