tools: Drop unused e2fsadm refs (replaced by fsadm).

man: Include lvmchange/lvmsar/lvmsadc content in lvm.8

Remove separate lvmchange man page as the external command has also been
removed.

man: Reinstate previous lvmsar and lvmsadc pages.

Avoid listing all the common options for obsolete commands.

lvmsar/lvmsadc: Mention dmstats when run.

lvmchange: Move to a built-in command.

Has been obsolete since LVM1 and it's clear we'll never implement this.

man: Remove blank lines from pregenerated files

man: reinstate lvmchange man page for now

mirror: revert 76f6951c3e8f0933df9730a42e9c46f273d1da24

Effectively revert whole  76f6951c3e8f0933df9730a42e9c46f273d1da24.
We need to figure out some other solution.

At this moment usage of --config  with 'repair' of blocked mirror
is 'freezing' combination.

raid: use 64bit arithmetic

Coverity - keep  multiplication for size cals in 64bit
(otherwise it's just 32b x 32b)

coverity: make sure segtype pointer is valid

libdm: fix endless loop

Coverity noticed endless loop (i not being changed).

TODO: test coverage

thin: remove unneeed test for NULL

In this API NULL is not valid parameter so do not check for it.

coverity: update models

Latest versions do get quite  strange - so let's use suggestions
from their authors...

mirror: avoid scanning

While mirror is blocked we can't try to scan device.
Regression introduce by previous commit
76f6951c3e8f0933df9730a42e9c46f273d1da24.

man:  Minor clarifications and grammar corrections for lvmraid.7

man: remove blank lines from end/des files

which produce unwanted blank lines in some output
formats.

help: fix missing newlines

Recent commits to remove newlines from man output
accidentally removed some newlines from help output.

man: remove blank lines in included files

man: remove blank lines

Blank lines in the man source sometimes appear as extra
blank lines in the output, so remove them.

man: specify man-generator path

make: Support for 'make -R'.

Aim to be self-sufficient.

man: remove more unnecessary line breaks

in case they cause extra blank lines in some output formats.

man: remove redundant line breaks

unecessary .br and .P

args: clarify repeated --options lists

man clvmd: mention attempt for deactivate

attempt is always the case, but mention it again

man: Adjust some wording and update examples style.

man: Revise internal man page generation process.

For each section 8 man page, a .8_gen file is created from one of:
  .8_main            - Old-style man page - content used directly
  .8_des and .8_end  - Description and end section of a generated page
  .8_pregen      - Pre-generated page used if the generator fails

Other man sections are not generated and use the suffix .5_main or .7_main.

Developers should use 'make generate' to regenerate the .8_pregen files.

commands: fix command matching for unused options

When a given command:

- matches command definition A based on required options,
  but uses optional options that are not accepted by A.

- matches command definition B based on required options,
  (but fewer required items than A), and uses no
  unaccepted optional options.

then B is the correct choice.  Command A would fail because
of the unaccepted optional options.  The logic was mistakenly
letting A win because it had a greater number of required option
matches, without accounting for the optional option mismatches.

commands: fix lvcreate mirrors/stripes options

Systematically outline every combination of:
--type striped, --type mirror, --type raid, --mirrors, --stripes
and make sure each is assigned to one specific cmd def.

This revealed that a new command def is needed for
lvcreate that uses both --mirrors and --stripes
but no --type option.

The use of LVCREATE_RAID shortcut for an option set
resulted in mirrors/stripes being included in optional
opts set when they were already in the required list.

lvmetad: fix segfault on i386

Sending %d as format argument in lvmetad_vg_remove_pending() will cause
segfaults in config_make_nodes_v() when va_arg() casts to int64_t. Also, it is
clearly advertised in the lvm source code that using plain %d is prohibited, so
let's switch to FMTd64.

Signed-off-by: Christian Brauner <christian.brauner@ubuntu.com>

raid: check more cautious on region size changes

Add additional checks to avoid calling _region_size_change_requested()
with bogus actual arguments.

dmfilemapd: ensure path argument is absolute

Require that the path argument to dmfilemapd be an absolute path
and document this in tool output, libdevmapper.h and dmfilemapd.8.

The check is also enforced by dm_stats_start_filemapd() to avoid
forking a new process with an invalid path argument.

dmfilemapd: return error for wrong number of args

The initial check on argc incorrectly returns 1 when the wrong
number of arguments are present, causing a segfault in main()
when no arguments are given:

  # dmfilemapd
  Wrong number of arguments.
  usage: dmfilemapd <fd> <group_id> <path> <mode> [<foreground>[<log_level>]]
  Segmentation fault (core dumped)

man: fix typo

report: fix lv_size with reshape space allocated

Commit f4b30b0daef3 was about displaying visible LV size
when reshape space is allocated.  Take parity devices
into account when displaying the user visible LV size.

commands: use correct relative signs with mirror option

As was recently done with relative signes for sizes/extents,
limit the signs used with the mirrors option, e.g.
lvcreate --mirrors now does not accept or advertise an
optional minus sign with the value.  lvconvert --mirrors
accepts +|-.

man: add more info/examples to lvmraid(7)

Add a warning about maximum supported numbers of stripes
with striped LVs realtive to RAID conversions.

Add examples for a more elaborate, multi-step conversion
from linear to striped (and vice versa).

Shrink lvs examples output.

Related: rhbz834579
Related: rhbz1191935
Related: rhbz1191978

commands: fix lvconvert options for mirrors/stripes

The LVCONVERT_RAID shortcut for including options ended
up including mirrors/stripes as optional opts in defs where
they were already required, or in defs where they would
not be used.  Remove the option set and specify in each
case only the options wanted.

raid: fix compile time warning

tests: cache profile and metadata2

New tests trying to cover support syntax variants.
A lot it still missing...

cleanup: use FMTu

Replace some PRIu with FMTu for formating strings.

cleanup: easier code

cache: enhance lvdisplay for cache volumes

Better support for lvdisplay.
By default info about running (in kernel) cache status is printed.
To get 'segtype' info, user runs: 'lvdisplay -m',  example:

  --- Logical volume ---
  LV Path                /dev/vg/lvol0
  LV Name                lvol0
  VG Name                vg
  LV UUID                Y4uWuN-TBGk-duer-aPWl-yBWn-iFFR-RU1gg1
  LV Write Access        read/write
  LV Creation host, time linux, 2017-03-01 20:52:39 +0100
  LV Cache pool name     lvol2
  LV Cache origin name   lvol0_corig
  LV Status              available
  # open                 0
  LV Size                12,00 MiB
  Cache used blocks      10,42%
  Cache metadata blocks  0,49%
  Cache dirty blocks     0,00%
  Cache read hits/misses 112 / 34
  Cache wrt hits/misses  133 / 0
  Cache demotions        0
  Cache promotions       20
  Current LE             3
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  - currently set to     256
  Block device           253:0

  --- Segments ---
  Logical extents 0 to 2:
    Type cache
    Chunk size 64,00 KiB
    Metadata format 1
    Mode writethrough
    Policy smq
      Setting migration_threshold=100000

cache: enable usage of --cachemetadataformat

lvcreate and lvconvert may select cache metadata format when caching LV.
By default lvm2 picks best available format.

cache: allow to specify  cachemetadataformat

OO_LVCREATE_CACHE accepts --cachemetadataformat.

Support new option --cachemetadataformat auto|1|2 for caching.
Word 'auto' can be also be given as '0'.

cache: reporting cache metadata format

Report CMFmt column with cache metadata format version.

Report KMFmt column with 'kernel cache metadata format version' for device.
(a value reported from status).

(Update 'CacheMode' to name 'Cache' as primary segtype).

cache: validation for cache_metadata_format

Only  cache-pool segtype may store cache_metadata_format.
Only supported values are 0,1,2
Format 2 requires LV status uses LV_METADATA_FORMAT.
Format 0 (unselected) or 1 shall not set this 'incompatible' status.

cache: use DM_CACHE_FEATURE_METADATA2 with libdm

Call libdm  with new feature flag when metadata format 2 is selected
and available in kernel cache target.

cache: LV supports cache segs with metadata format

Cache pool read/writes metadata_format within its segment type..

For CachePoolLV unselected metadata format is NOT stored in metadata.

For CacheLV when metadata format is not present/selected in lvm2 metadata,
it's automatically assumed to be the version 1 (backward compatible).

To ensure older lvm2 will not 'miss-read' metadata with new version 2,
such LV is marked with METADATA_FORMAT status flag (segment is
specifying metadata format). So when cache uses metadata format 2,
it will become inaccesible on older system without such support.
(kernel dm cache < 1.10,  lvm2 < 2.02.169).

cache: introduce allocation/cache_metadata_format

Add new profilable configation setting to let user select
which metadata format of a created cache pool he wish to use.

By default the 'best' available format is autodetected at runtime,
but user may enforce format 1 or 2 ATM.

Code also detects availability for metadata2 supporting cache target.

In case of troubles user may easily Disable usage of this feature
by placing 'metadata2' into global/cache_disabled_features list.

libdm: maintain binary interface for new FEATURE flag

Older library version was not detecting unknown 'feature' bits
and could let start target without needed option.

New versioned symbol now checks for supported feature bits.
_Base version keeps accepting only previously known features and
mask/ignores unknown bits.

NB: if the older binary passed in 'random' bits, it will not get
metadata2 by chance. New linked binary get new validation function.
Library user is required to not pass 'trash' for unsupported bits,
as such calls will be rejected.

libdm: support cache metadata2 feature flag

Dm cache target version 1.10 introduces new cache metadata format
(upstream kernel >=4.11).

New format is enable by passing new target feature flag metadata2.
Interace side on libdm uses DM_CACHE_FEATURE_METADATA2.
This feature bit is now also recognized on status
and set in 'feature_flags' field of dm_status_cache structure.

Code also adds check for 'highest' supported feature flag bit.
So it rejects properly any 'unknown' feature bit set by application.

libdm: better code to enforce writethrough

Better code to enforce writethrough caching for cleaner policy.
Only check for cleaner when DM_CACHE_FEATURE_PASSTHROUGH or
DM_CACHE_FEATURE_WRITEBACK is set.

libdm: passthrough checks traling space char

When checking for passthrough length, check also for extra ' ' char
just like with other feature strings.

tests: use LVM_SYSTEM_DIR for etc

Instead of hardcoding etc/ dir  use $LVM_SYSTEM_DIR.

cleanup: minor cosmetics

Update some return value to match return type.
Drop unused function and declaration.

cache: improve profile support for cache_set_policy

pool: rework handling of passed args

As now we can properly recognize all paramerters for pool creation,
we may drop PASS_ARG_  defines and rely on '_UNSELECTED' or 0 entries
as being those without user given args.

When setting are not given on command line - 'update' function
fill them from profiles or configuration. For this  'profile' arg
was needed to be passed around and since  'VG' itself is not needed,
it's been all replaced with 'cmd, profile, extents_size' args.

thin: single formula for estimation

Share the same formula for estimation chunk size or metadata size.
Use uint32_t matching type.

parser: enable --metadataprofile for pool lvconvert

Lvconvert can use values from profile when caching.

parser: allow --zero for pool conversion

lvconvert: share function for cache params

Reuse same code for getting/setting cache parameters with lvcreate.

So there is single one place how to get vars from profiles and configs.

Variables declarations are moved to start of function and
there is no need to initialize them as they are always
defined by functions get_cache_params() and get_pool_params().

lvcreate: do not round cache volumes on cache chunks

Since cache chunk might be huge and there is no technical need
to enforce rounding and there is actually more 'real' VG space
used then necessary - keep rounding on 'chunk' bounrary only
for thin volumes - where it's the space used anyway.

NB: we support conversion of any-size 'existing' LV into cached LV.

lvcreate: respecting profile settings

cache: extend usability of cache_set_params

Fix missing reset of '*settings' pointer when no args were given.

Handle cache_chunk settings like all other settings, so it is properly
updated only with non-zero settings and the existing cache-pool
chunk_size is not being reconfigured.

cache: improve support for profile for cache settings

User can specify metadata profile which stores important cache
geometry data for easy configuration.

Fix missing support for getting chunk_size, cache_mode, cache_policy
for a cache/cache pools volumes from configuration or metadata profile.

cache: get and set cache params

lvconvert: replacing with goto

Split-off patch that just replaces returns with 'goto bad'
so there is single place to release  policy_settings.

In the next patch we will start to use some shared
function call between lvconvert and lvcreate
(effectively restoring previous logic which has got lost).

cache: set chunk_size as first param

cache: use UNSELECTED enum

Switch from _UNDEFINED to _UNSELECTED which is more describing
its value 0, while value -1 is better match for UNDEFINED.

thin: add new ZERO/DISCARDS_UNSELECTED

To more easily recognize unselected state from select '0' state
add new 'THIN_ZERO_UNSELECTED' enum.
Same applies to THIN_DISCARDS_UNSELECTED.

For those we no longer need to use PASS_ARG_ZERO or PASS_ARG_DISCARDS.

pool: drop duplicated sign test

Avoid duplicate testing of '-' sign.
Already checked with arg_from_list_is_negative().

pool: split chunk size validation

Move cache and thin bits into their respective manipulation files.
When possible directly call respective chunk_size validator.

thin: getting default chunk_size from single place

Basically code moving operation to have a single place resolving
thin_pool_chunk_size_policy.

Supported are generic & performance profiles.

Function is now shared between thin manipulation code and configuration
_CFG logic to obtain defaults and handle correct reporting upward coding
stack.

cache: properly translate DM_THIN_DISCARDS

DM status uses DM defines which need to be translated to LVM enum.

lvcreate: avoid rejecting  --metadataprofile

Likely user normaly have used 'shortcut' --profile option which
is (for lvcreate) decoded as metadataprofile.

However full option was rejected.

lvconvert: validate name before prompt

Before prompting make sure name fits.

lvconvert: indent and code simplification

Simple modifications to existing  _lvconvert_to_pool().

raid: enhance lv_raid_convert() header relative to reshaping

lvcreate: fix "striped" limit

Fix regression limiting number of stripes to 8.
Raise back to 128 as before.

Resolves: rhbz1389546

commands: fix missing skip condition in coverity fixes

Fix for commit 5e6ea4b7

daemons: use DEFAULT_PROC_DIR in dmfilemapd

Include defaults.h and use it to obtain the default procfs mount
point in dmfilemapd.

daemons: cleanup dmeventd references from dmfilemapd/Makefile.in

commands: coverity fixes

libdm: use correct value for NR_FILEMAPD_ARGS

The argument count for the file mapping daemon needs to account
for the program's name in argv[0] to avoid indexing off the end
of the argument array.

dmsetup: always initialise 'dms' in _stats_update_file()

libdm: make dm_stats_destroy(NULL) a no-op

Test for NULL in dm_stats_destroy() and return immediately if
the struct dm_stats pointer is NULL (similar to free(NULL)).

This simplifies cleanup code which otherwise needs to:

  out:
    if (dms)
        dm_stats_destroy(dms);
    return;

libdm: dm_stats_start_filemapd() mode can never be < 0

raid: fix compile time warning

man: add man-generator and build artefacts to .gitignore

tools: add generated headers to .gitignore

dmsetup: always initialise 'mode' in filemap create functions

Older compilers cannot tell that the 'mode' variable is only
used in branches in which it is assigned:

dmsetup.c:5651: warning: "mode" may be used uninitialized in this function
dmsetup.c:5023: warning: "mode" may be used uninitialized in this function

Avoid this by always assigning the variable a value.

libdm: move initialisation of group_id in _aggregate_histogram()

Older compilers are not able to determine that although group_id
is only assigned in one branch of a conditional, it is never used
used when the other branch is taken:

  libdm-stats.c:3319: warning: "group_id" may be used uninitialized in this function

Avoid this by always initialising the variable when it is
declared.

lvmdbustest.py: Correct debug & assert order

If we do the assert first we won't get to the print statement.

lvmdbustest.py: Correct call_lvm doc

lvmdbusd: Simplify add_no_notify for loop

lvmdbusd: Correct utils.add_no_notify doc

lvmdbusd: Add debug message to lvm ID lookup

lvmdbustest.py: Add unit test for external PV create

Ensure a PV created outside of the dbus service is immediately found by
service user.

lvmdbustest.py: Add unit test for external LV create

Ensure a LV created outside of the dbus service is immediately found by
service user.