vg_validate: fix seg->extents_copied check introduced with
             commit 8f62b7bfe5 and add comment for the member
             to 'struct lv_segment'

vgsplit: restore check for thin pool external origin

Fix a regression from commit 4420d41f, in which the
check was skipped for splitting a thin pool and an
external origin.

man: lvmthin clean up syntax example

The syntax for converting an LV to a thin LV
included an unnecessary --thin option.  I was
probably still confused about these options
when writing this.

lvcreate.c: respect DEFAULT_RAID_MAX_IMAGES on creation of any RaidLV

vg_validate: segment check enhancements for raids to catch bogus metadata

General RAID and RAID segment type specific checks are added
to merge.c. New static _check_raid_seg() is called on each segment
of a RaidLV (which have just one) from check_lv_segments().

New checks caught some unititialized segment members
which are addressed here as well:

- initialize seg->region_size to 0 in lvcreate.c for raid0/raid0_meta

- initialize list seg->origin_list in lv_manip.c

tests: check we don't warn when converting to thin LV

Tool produced warning for non-zeroing thin-pools.

tests: adapt for new cache-pool zeroing

lvconvert: support --zero for full cache pool conversion.

Add matching support for -Z option also we doing full conversion
to cache-pool.

Extending coversion message to show which pool type is created
and whether the metadata will be wiped or remain unmodified.

lvconvert: tune cache-pool zeroing

Follow-up to 27a767d5e8cedf9cac31eb3562cf8fdd4aa88b7c.
Tunning behavior in a way we always prompt when option --zero is NOT specified.
Without -Z lvm expects user wants to 'reset' cache-pool metadata
(they could have been splitted from some cached LV)

If user doesn't want to zero metadata he needs to specify -Zn.

User may also avoid prompting for zeroing by using -Zy for
cache-pool (basically equals using --yes  without -Z being given)
(unlike full convert case, there is no cache-pool being converted,
so there is not 'uncoditional' prompt in this case).

lvconvert: suppress zeroing warning when converting to thin

When volume was lvconvert-ed to a thin-volume with external origin,
then in case thin-pool was in non-zeroing mode
it's been printing WARNING about not zeroing thin volume - but
this is wanted and expected - so nothing to warn about.

So in this particular use case WARNING needs to be suppressed.

Adding parameter support for lvcreate_params.

So now lvconvert creates 'normal thin LV' in read-only mode
(so any read will 'return 0' for a moment)
then deactivate regular thin LV and reacreate in 'final R/RW' mode
thin LV with external origin and activate again.

tests: add pv-ext-update.sh test

Tests automatic update of PV header (its "extension" part) to recent
version.

metadata: fix automatic updates of PV extension headers to newest version

Before, the automatic update from older to newer version of PV extension
header happened within vg_write call. This may have caused problems under
some circumnstances where there's a code in between vg_write and vg_commit
which may have failed. In such situation, we reverted precommitted metadata
and put back the state to working version of VG metadata.

However, we don't have revert for PV write operation at the moment. So
if we updated PV headers already and we reverted vg_write due to failure
in subsequent code (before vg_commit), we ended up with lost VG metadata
(because old metadata pointers got reset by the PV write operation).

To minimize problematic situations here, we should put vg_write and
vg_commit that is done after PV header rewrites as close to each
other as possible.

This patch moves the automatic PV header rewrite for new extension
header part from vg_write to _vg_read where it's done the same way
as we do any other VG repairs if detected during VG read operation
(under VG write lock).

libdm: report: fix json reporting to escape '"' character that may appear in reported string

lvconvert: --trackchanges requires --splitmirrors 1

lvmlockd: improve error message about missing global lock

If the VG holding the global lock is removed, we can indicate
that as the reason for not being able to acquire the global
lock in subsequent error messages, and can suggest enabling
the global lock in another VG.  (This helpful error message
will go away if the global lock is enabled in another VG,
or if lvmlockd is restarted.)

lvconvert: --trackchanges requires --splitmirrors

lvconvert: remove warnings about deprecated split option

A warning seems too severe for this message, so leave it
out until there's a better idea.

lvmlockd: improve message for lock-start

Only print this for shared VGs, and include the
time it may take for sanlock.

man: add note about 'lastlog' built-in command

segtype: Fix unrecognised flag message.

Show in hex not decimal.

conf: regenerate example.conf.in

raid_manip: Some validation functions.

raid_manip: Fix stripe_size type to uint32_t.

raid_manip: Reorder some functions.

lvmlockd: improve activation locking error message

to include the LV type

lvconvert: change error message

for implicit pool conversion since it's also used
when the lv is already a pool

tests: check thin resize of raid10

man: drop .R

Avoid using .R as its not a valid man macro.

lvconvert: reusing old cache pool metadata needs -Zn

When cache pool is reused for a new cached volume, there is
normally no need to 'keep' old cache-pool metadata as this
could cause major data lose.

Unlike with 'lvcreate -H -LX --cachepool' conversion, this lvconvert
path left the metadata unzeroed - partly for making easier some
debugging, but this was rather a bug.

So to keep possible reattach of 'unzeroed' metadata, user
now has to use 'lvconvert -Zn' for such conversion. In this case
the prompt will appear about possibe data loss and to proceed,
user has to confirm such operation. Without -Zn metadata are wiped.

lvcreate: conditionally set stripesize

Stripe size may not be set unconditionally in
_read_mirror_and_raid_params() or creation of
striped LV will fail

lvconvert: allow implied cache pool convert

Just as with the implied thin pool convert when
given ambiguous command line options.

lvmetad: fix use committed metadata to update

In some cases, the command will update VG metadata
in lvmetad without writing it.  In these cases there
is no vg->vg_committed and it should use 'vg' directly.
This happens when the command finds that the lvmetad
VG has been invalidated, rereads the metadata from disk,
then updates lvmetad with that metadata.  This happens
often with lvmlockd or foreign VGs, and can happen without
lvmlockd if a previous command fails after invalidating
the VG in lvmetad.

lvcreate: raid0 needs default number of stripes

Commit 3928c96a37941d765bf467d82502cd2aec7fd809 introduced
new defaults for raid number of stripes, which may cause
backwards compatibility issues with customer scripts.

Adding configurable option 'raid_stripe_all_devices' defaulting
to '0' (i.e. off = new behaviour) to select the old behaviour
of using all PVs in the VG or those provided on the command line.

In case any scripts rely on the old behaviour, just set
'raid_strip_all_devices = 1'.

- resolves rhbz1354650

scripts: blkdeactivate: fix typo for DEV_DIR when executing blkdeactivate -m disablequeueing

tests: enforce flush of cache target

Since now  lvm command no longer is flushing cache target with status
query - enforce it with extra status.

lvconvert: enable work with partial LVs

Fix printed message and enable handling of missing PVs.

lvmetad: use committed metadata to update

This fixes a regression from commit a7c45ddc5, which moved
the lvmetad VG update from vg_commit() to unlock_vg().

The lvmetad VG update needs to send the version of metadata
that was committed rather than sending the state of struct 'vg'.
The 'vg' may have been partially modified since vg_commit(),
and contain non-committed metadata that shouldn't be sent
to lvmetad.

lvconvert: raid0 replace attempt segfaults

Any failing stripes in raid0/raid0_meta type LVs cause data loss,
thus replacement via 'lvconvert --replace...' does not make sense.

Patch prohibits replacement on raid0/raid0_meta LVs.

- resolves rhbz1356734

dmstats: fix bounds leak in _do_stats_create_regions() (Coverity)

dmstats: check uuid, major, and alldevices before argc (Coverity)

The --uuid, --major and --alldevices arguments were incorrectly tested
after confirming argc is > 0, in a branch that only executes if argc
== 0 (i.e. they were unreachable).

Move all device checks before the test for argc and log an appropriate
error before returning.

libdm: document use of dm_free() with histogram bounds

dmstats: free bounds string in _stats_create_file() (Coverity)

libdm: free hist_arg in _stats_create_file_regions() (Coverity)

lvmetad: free memory on exit

This is unnecessary but it quiets complaints (valgrind).

post-release

pre-release

Revert "lvcreate: raid0 needs default number of stripes"

This reverts commit 3928c96a37941d765bf467d82502cd2aec7fd809.

A new setting is required in lvm.conf to control this.

man: drop lvmraid references from lvconvert

cleanup: local static functions with _

coverity: close socket before closing app

Opened socket descriptor goes out-of-sight still opened.
Close it - but since this happens before app exit, it
just fixed valgrind report.

tests: check fail path on cache creation

tests: require better cache driver

Version 1.4 can't handle this test without killing itself.

string: Add first_substring().

macros: Add lv_is_not_synced.

lvmdump: include major and minor numbers for pvs and lvs reports

Including major and minor numbers in pvs and lvs output when calling
lvmdump -a makes it a bit easier to match these items with possible
system log/journal.

coverity: add some tests for function results

Even though they cannot normally happen...

coverity: cleaning some PW.NOT_COMPATIBLE_WITH_PREVIOUS_DECL

Some very low-prio warns....

coverity: easier to follow set-up of vsn variable

Helping coverity to see 'vsn' really can't be NULL.

tests: skip more cache tests for older driver

tests: resize of filesystem

Test for https://bugzilla.redhat.com/1354396

cleanup: add some dots to messages

lvresize: fix zero size extension

Commit ca878a3426197b629c76e98cfc049948da470cd7 changed behavior
or resize operation. Later the code has been futher changed
to skip fs resize completely when size of LV is already matching
and finaly at the most recent resize changeset for resize the
check for matching size has been eliminated as well so we ended
with a request call to resize fs to 0 size in some cases.

This commit reoders some test so the prompt happens just once before
resize of possibly 2 related volumes.

Also extra test for having LV already given size is added, and
whole metadata update is skipped for this case as the only
result would be an increment of seqno.

However the filesystem is still resized when requested,
so if the LV has some size and the resize is resolved to
the same size, the filesystem resize is called so in case FS
would not match, the resize will happen.

lvcreate: raid0 needs default number of stripes

raid0/raid0_meta type LVs don't have a default number of stripes when
created without '-i/--stripes Stripes' whereas other raid types have one.

Patch sets the default for raid0/raid0_meta to 2 stripes.

The default amount of stripes for raid4/5/10 is changed to 2 and for raid6 to 3
rather than using all PVs in the VG or those provided on the command line.

This is to avoid unintended high number of stripes in case of many PVs.

To select a different amount of stripes from the default,
use 'lvcreate -i/--stripes Stripes'.

- resolves rhbz1354650

man: changes to lvconvert

Generally include more information about options.

lv_manip: extension of raid0 causes livelock

A livelock occurs on extension in lv_manip when adjusting the region size,
which doesn't apply to any raid0/raid0_meta LVs (these don't have a bitmap).

Fix by prohibiting the region size adjustment on any such LVs.

- resolves rhbz1354604

raid_manip: 'vgreduce --removemissing --force ...' segfaults on raid0 LV

An unconditional access to the non-existing MetaLV of a raid0 LV in
lv_raid_remove_missing() was causing the segfault.

Only call log_debug() on replacements of existing MetaLVs.

- resolves rhbz1354646

lvchange: resync attempts on raid0 cause segfaults

Resync attempts on raid0/raid0_meta via 'lvchange --resync ...'
cause segfaults.

'lvchange --syncaction ...' doesn't get rejected either.

Prohibit both on raid0/raid0_meta LVs.

- resolves rhbz1354656

Revert "man: restore lost synopsis for lvconvert"

This reverts commit 80394ae7cd9ae3a9b7523216840a3b4bfca5cd70.

Anything that was missing or in error will be handled differently.

vgsplit: use dm_list_next()

vgsplit: temporary list pointer may be invalid

4420d41fea8 introduced recursive split of lvs which
splits a top-level LV together with it's sub LVs.

This lead to invalid temporary list pointers
causing hangs/OOM situations.

Patch updates the temporary list pointer
referencing a moved sub LV.

- resolves rhbz1354686

man: lvcreate: try to be clearer about -W|--wipesignatures

There was still some confusion report about -W|--wipesignatures
lvcreate option so try to be even clearer. Hopefully, the last edit
here.

tests: remove more test

Try to remove more tests before confusing older driver to death.

tests: cache error message changes too often

Until lvconvert stabilize, avoid testing resulting error message.

man: restore lost synopsis for lvconvert

Synopsis are very useful for quick orientation and also
we provide then for all remaining command.

Also list ALL supported options in a single ordered list,
user should not seek for them.

cleanup: lvconvert  display_lvname and indent updates

Use display_lvname() for printing vg/lv names.
Add some missing dots.
Some indents.

cleanup: gcc warns removal

Ensure vars have always defined value.

blkdeactivate: add -m|--mpathoption disablequeueing and use it for blk-availability systemd service and initscript

blkdeactivate -m disablequeueing causes "multipathd disablequeueing maps"
call inside blkdeactivate script before deactivating devices. This
avoids a situation where blkdeactivate may wait for paths to appear if
multipath is set to queueing and there's a stack of other devices and/or
mount points on top of such multipath device.

See also https://bugzilla.redhat.com/show_bug.cgi?id=1344381.

lvconvert: remove some FIXME comments

man: lvconvert changes

tests: skip some tests for older cache driver

Cache target 1.4 on f19 kernel shows error, skipping some tests...

tests: reduce amount of pvcreates

Reduce number of evualted pvcreate commands.
Since 0 is default value used to fill missing params,
and 0 is also 1st. value in array, it's being tested.

Drop unused data_alignment_offset.

tests: increase max lines for clvmd

Clvmd is a bit more verbose long time running process so
let it live with more logged lines.

Also fix typo in warn message from last commit.

tests: add LVM_LOG_FILE_MAX_LINES

When logging to epoch files we would like to prevent creating too large
log files otherwise a spining command could fulfill available space
very easily and quickly.

Limit for to 100000 per command.

libdm: add configure.in checks for fiemap.h and magic.h

libdm: use 'goto_bad' if extent pool allocation fails

Generate a backtrace if unable to extend the extent table.

libdm: use macro for boundary test in _stats_get_extents_for_file()

doc: update --filemap usage in dmstats.8.in

dmstats: accept multiple arguments to --filemap

Make the --filemap switch take no arguments and instead accept one
or more files on the command line to be mapped and placed into
groups.

This allows --filemap to be used with a glob:

  # dmstats create --filemap *
  rhel5.10-1.qcow2: Created new group with 87 region(s) as group ID 1564.
  rhel5.10.qcow2: Created new group with 8 region(s) as group ID 1651.
  rhel7.0-1.qcow2: Created new group with 11 region(s) as group ID 1659.
  rhel7.0.qcow2: Created new group with 1454 region(s) as group ID 1670.
  vm.img: Created new group with 2 region(s) as group ID 3124.

libdm: use a constant for FIEMAP buffer size

libdm: use SECTOR_SHIFT constant in _stats_add_extent()

man: lvconvert changes

lvconvert: allow splitcache on hidden/used cache pool

lvconvert --splitcache VG/CachePool_corig

Allow the split via the hidden/used cache pool for the time being,
since the new lvconvert code did intend to allow it, but was just
missing the exception in the list of hidden LVs that were allowed.

The preferred method for splitcache is to run it on the visible
cache LV, not the hidden cache pool.  That may eventually become
the only method since we try to avoid running commands on
hidden LVs.

lvconvert: don't show aliases in error output

We want to consistently use the standard command form.
The aliases are now mentioned in the man page for reference.

dmstats: use canonical path when reporting errors

When a 'dmstats create --filemap' operation fails (e.g. during
open(2), close(2), or dm_stats_create_regions_from_fd()), use the
canonical version of the path. This avoids cryptic/confusing error
messages when symbolic links exist in the path argument given:

  # findmnt /var/lib/libvirt/images -otarget,source
  TARGET                  SOURCE
  /var/lib/libvirt/images /dev/mapper/vg_hex-lv_images

  # readlink /var/lib/libvirt/images/my.img
  /boot/my.img

  # dmstats create --filemap /var/lib/libvirt/images/my.img
  Cannot map file: not a device-mapper device.
  Could not create regions from file /var/lib/libvirt/images/my.img
  Command failed

Using the canonical path the error is immediately obvious:

  # dmstats create --filemap /var/lib/libvirt/images/my.img
  Cannot map file: not a device-mapper device.
  Could not create regions from file /boot/my.img
  Command failed

doc: remove obsolete --statstype references from dmstats.8.in

WHATS_NEW_DM: add --segments grouping and resource leak fix

doc: mention --segments grouping in dmstats.8.in

dmstats: group regions by default with --segments

Grouping is also useful in combination with --segments: creating a
group allows both individual segment data and data for the device
as a whole to be presented in the same report.

Support grouping for 'create --segments' in the same manner as for
'create --filemap'; group regions by default, applying an optional
alias specified with --alias, unless the user specifies --nogroup.

WHATS_NEW_DM: add --filemap and histogram aggregation

dmstats: allow --bounds with 'create --filemap'