man-generator: Remove unused variable.

man-generator.c:2976:6: warning: variable "sep" set but not used

lvmdbusd: Rename ee to got_external_event

This variable is global, make it more descriptive.

lvmdbusd: Update state during pv move

Periodically update the state during pv move so that all the different
dbus objects reflect something close to reality during the process.

lvmdbusd: Limit state refreshes for udev events

Udev events can come in like a flood when something changes.  It really
doesn't do us any good to refresh the state of the service numerous times
when 1 would suffice.  We had something like this before, but it was
removed when we added the refresh thread.  However, we have since learned
that we need to sequence events in the correct order and block dbus
operations if we believe the state has been affected, thus udev events are
being processed on the main work queue.  This change limits spurious
work items from getting to the queue.

lvmdbusd: Call add_no_notify for *move commands

Missed this in change when "add_no_notify" was added.  This was causing
extra external events to process when we did moves.

lvmdbusd: Only disable notify_dbus after getting external event

If we always disable the sending of notify dbus events then in the case
where all the users are lvm dbus users we will be in udev handling mode
until at least 1 external lvm command occurs.  Instead we will not disable
notify dbus until after we get at least 1 external event.  This makes the
service get into the correct mode of operation faster.

tests: early detect leaking error dev

lvconvert should not leak 'error' device.

(This patch is not fix the problem, just makes it more easily visible
instead of more confusing 'clvmd' trace).

man: advise against mirrored mirror log

help: align option list in pv/lv/vgchange cases

Align one-required options like is done for
optional options.

raid: check target version for shrink support

Starting with dm-raid target version 1.9.0 shrinking of mapped devices is supported.
Check for support being present in lvresize and lvreduce.

Related: rhbz1394048

raid: conditionally reject convert to striped/raid; fix

Fix a logic flaw introduced in commit 17bee733d16e
preventing e.g. striped -> raid5 conversions.

Related: rhbz1191935
Related: rhbz1366296

WHATS_NEW: conditionally reject raid convert

raid: cleanup; remove unused function

Remove unused function (lv_has_constant_stripes() is used instead).

tests: raise min dm cache version

Since we want to test different cache policies with profiles mq&smq
raise version to 1.8.

TODO: maybe split in more tests so older targets can test here as well.
N.B.: passthrough is also not supported with version 1.3

properties: only thin-pool provides discards

Quering non-thin-pool segment for discard property may lead
to intenal error if the segment had set 'out-of-range' value,
so only thin-pool is allowed, for other it returns NULL.

lvm2app: correct internal API changes

Internal library gets more strict about setting discard and
zero_new_blocks parameter.

raid: cleanup

Move function _raid45_to_raid54_wrapper() to avoid superfluous declaration.

raid: name variables consistently

Related: rhbz1191935
Related: rhbz1366296

raid: conditionally reject convert to striped/raid0*

If SubLVs to be removed still exist after an image removing
conversion (i.e. "lvconvert --yes --force --stripes N "
with N < total stripes) any request to convert to a different
striped/raid* level has to be rejected until after those freed
SubLVs got removed by running the aforementioned lvconvert again.

Add tests to check conversion to striped/raid* gets rejected.
Enhance a test comment.

Related: rhbz1191935
Related: rhbz1366296

man: Build man-generator in tools dir.

Use ln to make a copy of command.c for compilation with different DEFS
then handle dependencies the normal way.

man: Preserve template variables in pre-generated pages.

make.tmpl: Support per-object DEFS.

Same as CFLAGS.

tools: Avoid man-generator compilation warnings.

Unused variables and make fns with missing prototypes static.

man: lvmraid(7) clarifications

WHATS_NEW: ensure raid6 upconversion restrictions

WHATS_NEW: adjust mirror+raid DSOs to lvconvert --repair

lvconvert: ensure upconversion restrictions

Ensure minimum number of 3 data stripes on conversions to raid6.

Add test for it.

Resolves: rhbz1432675

test: adjust to proper dm-raid target version

Adjust to final target version 1.10.1 supporting reshape
properly and to recently changed report field specifications
(e.g. rehape_len_le) to allow these tests to run.

Lower mirror region size to suite the tiny test VG.

dmeventd: adjust mirror/raid DSOs to new repair design

Previous commit 506d88a2ec8c introduced disabling lvmetad on repairs.

Avoid calling lvscan and use of any --config options altogether
in the mirror and raid DSOs.

Related: rhbz1380521

lvmetad: fix bug in snprintf of disable reason

WHATS_NEW: disable lvmetad for repair

lvconvert: disable lvmetad for repair

Repairing missing devices does not work reliably
with lvmetad, so disable lvmetad before repair.
A standard lvmetad refresh (pvscan --cache) will
enable lvmetad again.

dmeventd: reintroduce fix mirror DSO to work with lvmetad

Commit 07ded8059cbd assumed that the mirror is blocked which is not the case.

It is accessible, degraded and in need of repair because some of its legs
(partially) failed.  Any auto-repair via dmeventd fails though because
of lvmetad not providing proper data about the failed PV(s).  That's why
this workaround got introduced in commit 76f6951c3e8f until we get to
the lvmetad interaction core issue.

Mind any mirror auto-repair failure is caused by such lvmetad interaction
problems not yet solved so disabling lvmetad works as a resort as elaborated
on in the related bz.

Reintroducing the interim solution.

Resolves: rhbz1380521

spec: Disable sanlock only, keep lockd_dlm enabled

spec: Replace remaining %define by %global

spec: Use %global instead of %define for constants

Using %define is now discouraged by Fedora Packaging Guidelines

spec: Update requirements for lockd

lockd requires sanlock >= 3.3.0

spec: Profiles are not %config(noreplace)

These files are just examples and should not be edited by user.

man: Make dmfilemapd.8 optional

spec: lvmchange is built-in command

man: Handle empty MAN8GENERATED

tests: better disk delay

Delay only writable extents.
Skip zeroing for earlier lvcreate finish.

tests: add missing --yes

tools: Drop unused e2fsadm refs (replaced by fsadm).

man: Include lvmchange/lvmsar/lvmsadc content in lvm.8

Remove separate lvmchange man page as the external command has also been
removed.

man: Reinstate previous lvmsar and lvmsadc pages.

Avoid listing all the common options for obsolete commands.

lvmsar/lvmsadc: Mention dmstats when run.

lvmchange: Move to a built-in command.

Has been obsolete since LVM1 and it's clear we'll never implement this.

man: Remove blank lines from pregenerated files

man: reinstate lvmchange man page for now

mirror: revert 76f6951c3e8f0933df9730a42e9c46f273d1da24

Effectively revert whole  76f6951c3e8f0933df9730a42e9c46f273d1da24.
We need to figure out some other solution.

At this moment usage of --config  with 'repair' of blocked mirror
is 'freezing' combination.

raid: use 64bit arithmetic

Coverity - keep  multiplication for size cals in 64bit
(otherwise it's just 32b x 32b)

coverity: make sure segtype pointer is valid

libdm: fix endless loop

Coverity noticed endless loop (i not being changed).

TODO: test coverage

thin: remove unneeed test for NULL

In this API NULL is not valid parameter so do not check for it.

coverity: update models

Latest versions do get quite  strange - so let's use suggestions
from their authors...

mirror: avoid scanning

While mirror is blocked we can't try to scan device.
Regression introduce by previous commit
76f6951c3e8f0933df9730a42e9c46f273d1da24.

man:  Minor clarifications and grammar corrections for lvmraid.7

man: remove blank lines from end/des files

which produce unwanted blank lines in some output
formats.

help: fix missing newlines

Recent commits to remove newlines from man output
accidentally removed some newlines from help output.

man: remove blank lines in included files

man: remove blank lines

Blank lines in the man source sometimes appear as extra
blank lines in the output, so remove them.

man: specify man-generator path

make: Support for 'make -R'.

Aim to be self-sufficient.

man: remove more unnecessary line breaks

in case they cause extra blank lines in some output formats.

man: remove redundant line breaks

unecessary .br and .P

args: clarify repeated --options lists

man clvmd: mention attempt for deactivate

attempt is always the case, but mention it again

man: Adjust some wording and update examples style.

man: Revise internal man page generation process.

For each section 8 man page, a .8_gen file is created from one of:
  .8_main            - Old-style man page - content used directly
  .8_des and .8_end  - Description and end section of a generated page
  .8_pregen      - Pre-generated page used if the generator fails

Other man sections are not generated and use the suffix .5_main or .7_main.

Developers should use 'make generate' to regenerate the .8_pregen files.

commands: fix command matching for unused options

When a given command:

- matches command definition A based on required options,
  but uses optional options that are not accepted by A.

- matches command definition B based on required options,
  (but fewer required items than A), and uses no
  unaccepted optional options.

then B is the correct choice.  Command A would fail because
of the unaccepted optional options.  The logic was mistakenly
letting A win because it had a greater number of required option
matches, without accounting for the optional option mismatches.

commands: fix lvcreate mirrors/stripes options

Systematically outline every combination of:
--type striped, --type mirror, --type raid, --mirrors, --stripes
and make sure each is assigned to one specific cmd def.

This revealed that a new command def is needed for
lvcreate that uses both --mirrors and --stripes
but no --type option.

The use of LVCREATE_RAID shortcut for an option set
resulted in mirrors/stripes being included in optional
opts set when they were already in the required list.

lvmetad: fix segfault on i386

Sending %d as format argument in lvmetad_vg_remove_pending() will cause
segfaults in config_make_nodes_v() when va_arg() casts to int64_t. Also, it is
clearly advertised in the lvm source code that using plain %d is prohibited, so
let's switch to FMTd64.

Signed-off-by: Christian Brauner <christian.brauner@ubuntu.com>

raid: check more cautious on region size changes

Add additional checks to avoid calling _region_size_change_requested()
with bogus actual arguments.

dmfilemapd: ensure path argument is absolute

Require that the path argument to dmfilemapd be an absolute path
and document this in tool output, libdevmapper.h and dmfilemapd.8.

The check is also enforced by dm_stats_start_filemapd() to avoid
forking a new process with an invalid path argument.

dmfilemapd: return error for wrong number of args

The initial check on argc incorrectly returns 1 when the wrong
number of arguments are present, causing a segfault in main()
when no arguments are given:

  # dmfilemapd
  Wrong number of arguments.
  usage: dmfilemapd <fd> <group_id> <path> <mode> [<foreground>[<log_level>]]
  Segmentation fault (core dumped)

man: fix typo

report: fix lv_size with reshape space allocated

Commit f4b30b0daef3 was about displaying visible LV size
when reshape space is allocated.  Take parity devices
into account when displaying the user visible LV size.

commands: use correct relative signs with mirror option

As was recently done with relative signes for sizes/extents,
limit the signs used with the mirrors option, e.g.
lvcreate --mirrors now does not accept or advertise an
optional minus sign with the value.  lvconvert --mirrors
accepts +|-.

man: add more info/examples to lvmraid(7)

Add a warning about maximum supported numbers of stripes
with striped LVs realtive to RAID conversions.

Add examples for a more elaborate, multi-step conversion
from linear to striped (and vice versa).

Shrink lvs examples output.

Related: rhbz834579
Related: rhbz1191935
Related: rhbz1191978

commands: fix lvconvert options for mirrors/stripes

The LVCONVERT_RAID shortcut for including options ended
up including mirrors/stripes as optional opts in defs where
they were already required, or in defs where they would
not be used.  Remove the option set and specify in each
case only the options wanted.

raid: fix compile time warning

tests: cache profile and metadata2

New tests trying to cover support syntax variants.
A lot it still missing...

cleanup: use FMTu

Replace some PRIu with FMTu for formating strings.

cleanup: easier code

cache: enhance lvdisplay for cache volumes

Better support for lvdisplay.
By default info about running (in kernel) cache status is printed.
To get 'segtype' info, user runs: 'lvdisplay -m',  example:

  --- Logical volume ---
  LV Path                /dev/vg/lvol0
  LV Name                lvol0
  VG Name                vg
  LV UUID                Y4uWuN-TBGk-duer-aPWl-yBWn-iFFR-RU1gg1
  LV Write Access        read/write
  LV Creation host, time linux, 2017-03-01 20:52:39 +0100
  LV Cache pool name     lvol2
  LV Cache origin name   lvol0_corig
  LV Status              available
  # open                 0
  LV Size                12,00 MiB
  Cache used blocks      10,42%
  Cache metadata blocks  0,49%
  Cache dirty blocks     0,00%
  Cache read hits/misses 112 / 34
  Cache wrt hits/misses  133 / 0
  Cache demotions        0
  Cache promotions       20
  Current LE             3
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:0

  --- Segments ---
  Logical extents 0 to 2:
    Type cache
    Chunk size 64,00 KiB
    Metadata format 1
    Mode writethrough
    Policy smq
      Setting migration_threshold=100000

cache: enable usage of --cachemetadataformat

lvcreate and lvconvert may select cache metadata format when caching LV.
By default lvm2 picks best available format.

cache: allow to specify  cachemetadataformat

OO_LVCREATE_CACHE accepts --cachemetadataformat.

Support new option --cachemetadataformat auto|1|2 for caching.
Word 'auto' can be also be given as '0'.

cache: reporting cache metadata format

Report CMFmt column with cache metadata format version.

Report KMFmt column with 'kernel cache metadata format version' for device.
(a value reported from status).

(Update 'CacheMode' to name 'Cache' as primary segtype).

cache: validation for cache_metadata_format

Only  cache-pool segtype may store cache_metadata_format.
Only supported values are 0,1,2
Format 2 requires LV status uses LV_METADATA_FORMAT.
Format 0 (unselected) or 1 shall not set this 'incompatible' status.

cache: use DM_CACHE_FEATURE_METADATA2 with libdm

Call libdm  with new feature flag when metadata format 2 is selected
and available in kernel cache target.

cache: LV supports cache segs with metadata format

Cache pool read/writes metadata_format within its segment type..

For CachePoolLV unselected metadata format is NOT stored in metadata.

For CacheLV when metadata format is not present/selected in lvm2 metadata,
it's automatically assumed to be the version 1 (backward compatible).

To ensure older lvm2 will not 'miss-read' metadata with new version 2,
such LV is marked with METADATA_FORMAT status flag (segment is
specifying metadata format). So when cache uses metadata format 2,
it will become inaccesible on older system without such support.
(kernel dm cache < 1.10,  lvm2 < 2.02.169).

cache: introduce allocation/cache_metadata_format

Add new profilable configation setting to let user select
which metadata format of a created cache pool he wish to use.

By default the 'best' available format is autodetected at runtime,
but user may enforce format 1 or 2 ATM.

Code also detects availability for metadata2 supporting cache target.

In case of troubles user may easily Disable usage of this feature
by placing 'metadata2' into global/cache_disabled_features list.

libdm: maintain binary interface for new FEATURE flag

Older library version was not detecting unknown 'feature' bits
and could let start target without needed option.

New versioned symbol now checks for supported feature bits.
_Base version keeps accepting only previously known features and
mask/ignores unknown bits.

NB: if the older binary passed in 'random' bits, it will not get
metadata2 by chance. New linked binary get new validation function.
Library user is required to not pass 'trash' for unsupported bits,
as such calls will be rejected.

libdm: support cache metadata2 feature flag

Dm cache target version 1.10 introduces new cache metadata format
(upstream kernel >=4.11).

New format is enable by passing new target feature flag metadata2.
Interace side on libdm uses DM_CACHE_FEATURE_METADATA2.
This feature bit is now also recognized on status
and set in 'feature_flags' field of dm_status_cache structure.

Code also adds check for 'highest' supported feature flag bit.
So it rejects properly any 'unknown' feature bit set by application.

libdm: better code to enforce writethrough

Better code to enforce writethrough caching for cleaner policy.
Only check for cleaner when DM_CACHE_FEATURE_PASSTHROUGH or
DM_CACHE_FEATURE_WRITEBACK is set.

libdm: passthrough checks traling space char

When checking for passthrough length, check also for extra ' ' char
just like with other feature strings.

tests: use LVM_SYSTEM_DIR for etc

Instead of hardcoding etc/ dir  use $LVM_SYSTEM_DIR.

cleanup: minor cosmetics

Update some return value to match return type.
Drop unused function and declaration.

cache: improve profile support for cache_set_policy