lvcreate: reject '--nosync' option for RAID6 LVs

The MD raid6 personality being used to drive lvm raid6 LVs does
read-modify-write updates to any stripes and thus relies on correct
P and Q Syndromes being written during initial synchronization or
it may fail reconstructing proper user data in case of SubLVs failing.

We may not allow the '--nosync' option on
creation of raid6 LVs for that reason.

Update/fix 'man lvcreate' in that regard.

add lvcreate-raid-nosync.sh test script.

- Resolves rhbz1358532

lvmcmdline: do not refresh whole cmd context if profile dropped after processing LVM cmd

We don't need to refresh whole cmd context if we drop profile after
processing LVM command - just like we don't refresh cmd context when
we're applying the profile. It's because profiles contain only safe
subset of settings which do not require complete cmd context refresh.

This patch calls process_profilable_config instead of
refresh_toolcontext if there was profile applied for the LVM
command only, not --config which requires toolcontext refresh.
The process_profilable_config just sets proper values based on
values of profilable settings, but it does not do complete
reinitialization of various parts (e.g. filters, logging etc.).

lvconvert: Support raid0<->raid4 and mirror<->raid1.

Only simple takeover cases so far.

raid: Report supported lvconvert conversions if invalid.

raid: Add workaround to prepare for raid4 conversions.

raid: Pass list of LVs to remove into more fns.

raid: Move two functions.

WHATS_NEW: fixup order

raid_manip: fix log print format from commit d2c3b23e6dc3

WHATS_NEW: add '--rebuild PV' option to lvchange to allow for PV selective rebuilds

lvchange: Allow device specification when requesting a repair

'lvchange --resync LV' or 'lvchange --syncaction repair LV' request the
RAID layout specific parity blocks in raid4/5/6 to be recreated or the
mirrored blocks to be copied again from the master leg/copy for raid1/10,
thus not allowing a rebuild of a particular PV.

Introduce repeatable option '--[raid]rebuild PV' to allow to request
rebuilds of specific PVs in a RaidLV which are known to contain corrupt
data (e.g. rebuild a raid1 master leg).

Add test lvchange-rebuild-raid.sh to test/shell doing rebuild
variations on raid1/10 and 5; add aux function check_status_chars
to support the new test.

 - Resolves rhbz1064592

raid: Tell lib whether stripesize was specified

raid: Turn lv_raid_change_image_count into wrapper

Eventually the separate entry point will disappear.

segtypes: Further segtype macros.

raid0: Validate presence of raid0 meta_areas more tightly.

lvconvert: add FIXME

operations are no longer identified correctly.

striped: Add precise macros for original segtype.

The existing striped macros include raid0 segments.

lvconvert: Improve error message when no -m.

man: minor corrections in pvscan

man: include info about disabled lvmetad

lvconvert: Provide entry point for new functionality.

Prepare for new segment type conversion functionality in cases that
currently fail.  In the short-term, we need to do this while limiting
the changes to the code paths for the conversions that are already
supported.

lvconvert: Pass region_size to lv_raid_convert.

lvconvert: Preserve mirror region size with --repair.

lvconvert: Divide into 12 categories.

lvconvert: Treat --repair as an independent case.

lvconvert: Forbid stripe parameters with --repair.

vg_validate: correct min_recovery_rate check message

vg_validate: new RAID segment checks in check_lv_segments()
             introduced with commit 8f62b7bfe56c rely on complete
             defintions of the relations between the LVs of a VG.
             Hence only run these checks when the complete_vg flag
             is set on calls to check_lv_segments().

             lvconvert failed in test lvconvert-thin-raid.sh when
             calling check_lv_segments() from _read_segments() without
             providing a complete definition.

Revert "thin: when converting a thin pool data or metadata LV from"

This reverts commit 237f84e0383c7e3003050be7c072ee0a092fd426.

This case failed:
    lvcreate --type raid1 -m1 -l2 vg99
    lvcreate -aey -l2 -s vg99/lvol0
    lvconvert -m2 vg99/lvol0

lvconvert: Set lp->segtype in only one place.

lvconvert: Rely upon lp->thin and lp->cache.

lvconvert: Fix --type thin recognition.

lp->thin already holds the result of the cmdline arg resolution.

tools: Also recognise segtype with thin and cache.

(--type thin still needs this for lvcreate - more logic should be
shared between lvcreate and lvconvert)

tools: mirror also supports stripesize

lvconvert: Move stripe validation code later.

Simpler to delay it all until the actual LV being changed is available,
rather than having it split in two parts.

tools: Unify stripesize parameter validation.

Move it all into get_stripe_params().
Some code paths missed --stripesize checks.
E.g. lvcreate --type raid4 -i1

lvconvert: Rearrange code that decides segtype.

lvconvert: Only obtain --type parameter once.

lvconvert: Remove hard-coded segment names.

thin: when converting a thin pool data or metadata LV from
      linear to raid1, the linear wasnt't switched to the
      raid1 mapping, thus creating the false impression of
      resilience.

post-release

pre-release

vgsplit: ea90a3d622 added an unconditional call to lv_is_on_pvs()
         on any thin snap external origin LV which caused a segfault
         when none existed as exposed by the vgsplit-thin.sh test.

         Only call lv_is_on_pvs() if an external origin LV actually
         exists and correct the related splitting logic.

lvmdbusd: Add '-y' to lvconvert for lv cache create

When converting to a cache lv, tests were hanging with a prompt for
"Do you want wipe existing metadata of cache pool volume
To preserve cache metadata add option "--zero n".
WARNING: Reusing mismatched cache pool metadata MAY DESTROY YOUR DATA!"

This is new.

lvmdbusd: Fix hang for Job.Wait(n)

When a client is doing a wait on a job, any other clients will hang
when trying to do anything with the service.  This is caused by
the wait code which  was placing the thread that handles
incoming dbus requests to sleep until either the timeout expired or
the job operation completed.

This change creates a thread for the wait request, so that the thread
processing incoming requests can continue to run.

man: lvcreate correction on --stripes explanation and examples
     with respect to the changed, configurable default behaviour
     introduced with commit 7eb79091937d.

     E.g. raid default of 2 stripes rather than number of PVs in the VG
     or on the command line minus one.

tests: updates for new raid allocation logic

(with backward compatible settings user as well to check old logic
is still available when needed).

config: keep new setting commented out

vg_validate: only reject min_recovery_rate in case max_recovery_rate is set and smaller

vg_validate: add missing check for raid6 segment types

vg_validate: fix seg->extents_copied check introduced with
             commit 8f62b7bfe5 and add comment for the member
             to 'struct lv_segment'

vgsplit: restore check for thin pool external origin

Fix a regression from commit 4420d41f, in which the
check was skipped for splitting a thin pool and an
external origin.

man: lvmthin clean up syntax example

The syntax for converting an LV to a thin LV
included an unnecessary --thin option.  I was
probably still confused about these options
when writing this.

lvcreate.c: respect DEFAULT_RAID_MAX_IMAGES on creation of any RaidLV

vg_validate: segment check enhancements for raids to catch bogus metadata

General RAID and RAID segment type specific checks are added
to merge.c. New static _check_raid_seg() is called on each segment
of a RaidLV (which have just one) from check_lv_segments().

New checks caught some unititialized segment members
which are addressed here as well:

- initialize seg->region_size to 0 in lvcreate.c for raid0/raid0_meta

- initialize list seg->origin_list in lv_manip.c

tests: check we don't warn when converting to thin LV

Tool produced warning for non-zeroing thin-pools.

tests: adapt for new cache-pool zeroing

lvconvert: support --zero for full cache pool conversion.

Add matching support for -Z option also we doing full conversion
to cache-pool.

Extending coversion message to show which pool type is created
and whether the metadata will be wiped or remain unmodified.

lvconvert: tune cache-pool zeroing

Follow-up to 27a767d5e8cedf9cac31eb3562cf8fdd4aa88b7c.
Tunning behavior in a way we always prompt when option --zero is NOT specified.
Without -Z lvm expects user wants to 'reset' cache-pool metadata
(they could have been splitted from some cached LV)

If user doesn't want to zero metadata he needs to specify -Zn.

User may also avoid prompting for zeroing by using -Zy for
cache-pool (basically equals using --yes  without -Z being given)
(unlike full convert case, there is no cache-pool being converted,
so there is not 'uncoditional' prompt in this case).

lvconvert: suppress zeroing warning when converting to thin

When volume was lvconvert-ed to a thin-volume with external origin,
then in case thin-pool was in non-zeroing mode
it's been printing WARNING about not zeroing thin volume - but
this is wanted and expected - so nothing to warn about.

So in this particular use case WARNING needs to be suppressed.

Adding parameter support for lvcreate_params.

So now lvconvert creates 'normal thin LV' in read-only mode
(so any read will 'return 0' for a moment)
then deactivate regular thin LV and reacreate in 'final R/RW' mode
thin LV with external origin and activate again.

tests: add pv-ext-update.sh test

Tests automatic update of PV header (its "extension" part) to recent
version.

metadata: fix automatic updates of PV extension headers to newest version

Before, the automatic update from older to newer version of PV extension
header happened within vg_write call. This may have caused problems under
some circumnstances where there's a code in between vg_write and vg_commit
which may have failed. In such situation, we reverted precommitted metadata
and put back the state to working version of VG metadata.

However, we don't have revert for PV write operation at the moment. So
if we updated PV headers already and we reverted vg_write due to failure
in subsequent code (before vg_commit), we ended up with lost VG metadata
(because old metadata pointers got reset by the PV write operation).

To minimize problematic situations here, we should put vg_write and
vg_commit that is done after PV header rewrites as close to each
other as possible.

This patch moves the automatic PV header rewrite for new extension
header part from vg_write to _vg_read where it's done the same way
as we do any other VG repairs if detected during VG read operation
(under VG write lock).

libdm: report: fix json reporting to escape '"' character that may appear in reported string

lvconvert: --trackchanges requires --splitmirrors 1

lvmlockd: improve error message about missing global lock

If the VG holding the global lock is removed, we can indicate
that as the reason for not being able to acquire the global
lock in subsequent error messages, and can suggest enabling
the global lock in another VG.  (This helpful error message
will go away if the global lock is enabled in another VG,
or if lvmlockd is restarted.)

lvconvert: --trackchanges requires --splitmirrors

lvconvert: remove warnings about deprecated split option

A warning seems too severe for this message, so leave it
out until there's a better idea.

lvmlockd: improve message for lock-start

Only print this for shared VGs, and include the
time it may take for sanlock.

man: add note about 'lastlog' built-in command

segtype: Fix unrecognised flag message.

Show in hex not decimal.

conf: regenerate example.conf.in

raid_manip: Some validation functions.

raid_manip: Fix stripe_size type to uint32_t.

raid_manip: Reorder some functions.

lvmlockd: improve activation locking error message

to include the LV type

lvconvert: change error message

for implicit pool conversion since it's also used
when the lv is already a pool

tests: check thin resize of raid10

man: drop .R

Avoid using .R as its not a valid man macro.

lvconvert: reusing old cache pool metadata needs -Zn

When cache pool is reused for a new cached volume, there is
normally no need to 'keep' old cache-pool metadata as this
could cause major data lose.

Unlike with 'lvcreate -H -LX --cachepool' conversion, this lvconvert
path left the metadata unzeroed - partly for making easier some
debugging, but this was rather a bug.

So to keep possible reattach of 'unzeroed' metadata, user
now has to use 'lvconvert -Zn' for such conversion. In this case
the prompt will appear about possibe data loss and to proceed,
user has to confirm such operation. Without -Zn metadata are wiped.

lvcreate: conditionally set stripesize

Stripe size may not be set unconditionally in
_read_mirror_and_raid_params() or creation of
striped LV will fail

lvconvert: allow implied cache pool convert

Just as with the implied thin pool convert when
given ambiguous command line options.

lvmetad: fix use committed metadata to update

In some cases, the command will update VG metadata
in lvmetad without writing it.  In these cases there
is no vg->vg_committed and it should use 'vg' directly.
This happens when the command finds that the lvmetad
VG has been invalidated, rereads the metadata from disk,
then updates lvmetad with that metadata.  This happens
often with lvmlockd or foreign VGs, and can happen without
lvmlockd if a previous command fails after invalidating
the VG in lvmetad.

lvcreate: raid0 needs default number of stripes

Commit 3928c96a37941d765bf467d82502cd2aec7fd809 introduced
new defaults for raid number of stripes, which may cause
backwards compatibility issues with customer scripts.

Adding configurable option 'raid_stripe_all_devices' defaulting
to '0' (i.e. off = new behaviour) to select the old behaviour
of using all PVs in the VG or those provided on the command line.

In case any scripts rely on the old behaviour, just set
'raid_strip_all_devices = 1'.

- resolves rhbz1354650

scripts: blkdeactivate: fix typo for DEV_DIR when executing blkdeactivate -m disablequeueing

tests: enforce flush of cache target

Since now  lvm command no longer is flushing cache target with status
query - enforce it with extra status.

lvconvert: enable work with partial LVs

Fix printed message and enable handling of missing PVs.

lvmetad: use committed metadata to update

This fixes a regression from commit a7c45ddc5, which moved
the lvmetad VG update from vg_commit() to unlock_vg().

The lvmetad VG update needs to send the version of metadata
that was committed rather than sending the state of struct 'vg'.
The 'vg' may have been partially modified since vg_commit(),
and contain non-committed metadata that shouldn't be sent
to lvmetad.

lvconvert: raid0 replace attempt segfaults

Any failing stripes in raid0/raid0_meta type LVs cause data loss,
thus replacement via 'lvconvert --replace...' does not make sense.

Patch prohibits replacement on raid0/raid0_meta LVs.

- resolves rhbz1356734

dmstats: fix bounds leak in _do_stats_create_regions() (Coverity)

dmstats: check uuid, major, and alldevices before argc (Coverity)

The --uuid, --major and --alldevices arguments were incorrectly tested
after confirming argc is > 0, in a branch that only executes if argc
== 0 (i.e. they were unreachable).

Move all device checks before the test for argc and log an appropriate
error before returning.

libdm: document use of dm_free() with histogram bounds

dmstats: free bounds string in _stats_create_file() (Coverity)

libdm: free hist_arg in _stats_create_file_regions() (Coverity)

lvmetad: free memory on exit

This is unnecessary but it quiets complaints (valgrind).

post-release

pre-release

Revert "lvcreate: raid0 needs default number of stripes"

This reverts commit 3928c96a37941d765bf467d82502cd2aec7fd809.

A new setting is required in lvm.conf to control this.

man: drop lvmraid references from lvconvert

cleanup: local static functions with _

coverity: close socket before closing app

Opened socket descriptor goes out-of-sight still opened.
Close it - but since this happens before app exit, it
just fixed valgrind report.