udev: also print subsystem udev flags in debug message about udev flags + fix typo DM_SUBSSYTEM_UDEV_FLAG7 -> DM_SUBSYSTEM_UDEV_FLAG7

tests: support thin_restore configurable

Currently this tool is used only in tests.

tests: update aux disable_dev

disable_dev can't use transaction - since it may lead occasionaly to
weird error - example could be nomda-missing.sh test case.
Here occasionaly device instead of being removed was left as
error device and testing different code path (which is unfortunatelly
buggy)

When we want to test 'error' device -  'aux error_dev()' should be used.

cleanup: internal error for impossible path

Add 'default' path for impossible execution code path.

man: cleanup dmsetup

Add few bold texts.

dmsetup: add warning

Warn when --udevcookie/DM_UDEV_COOKIE is used with 'dmsetup remove --force'.

When command is doing multiple ioctl operations on a single device,
it may invoke udev activity, that is colliding with further ioctl commands.
The result of such operation becomes unpredictable.
Use of --retry could partially help...

cleanup: use const for endptr in dm_units_to_factor

tests: improve command coverage

tests: add unusable kernel for raid5 testing

tests: increase min version for raid testing

Seems smaller version are causing weird kernel lookups.

vgextend: allow --yes to skip prompt

cleanup: indent

cleanup: use directly segtype->name

Simplify printing of segtype name.

cleanup: add seg_is_pool macro

Simplify code querying for pool segtype.

dev_manager: disable extra udev loop

Disable code which has postprocessed whole tree and reset udev flags.
We need to find out which case was troublesome - since this loop
was just hidding bug in other code parts (most probably preload tree)

tests: check more things with vgchange

tests: swap tests

tests: add check vg_attr_bit

Similar function like  'check lv_attr_bit'

tests: detect raid presence

cleanup: use y/n instead of y|n

Use same for of yes no query everywhere.

lvm_init: don't use name mangling for LVM

LVM has restricter character set that is allowed for VG-LV names
and the dm names constructed do not contain any blacklisted characters
that would require name mangling.

Also, when any other device-mapper device is scanned that could
possibly contain such blacklisted characters, we reference the
device by its major:minor instead of dm name (e.g. _device_is_usable fn).

tests: raid and dmeventd

tests: more pvchange tests

tests: more vgcfgrestore testing

Check '-l' and archiving.

cleanup: make error message more readable

cleanup: indent

vgcfgrestore: return invalid cmd line

When error is detected on command line options, return '3'.

tests: restore disable_dev behavior

Notify needs to go  with major:minor before device disappears.

tests: skips on unsupported systems

man: missing space between option name and value name

man: more man page updates for --commandprofile and --metadataprofile split

man: update lvm.conf man page for latest changes

profiles: remove default.profile and add {command,metadata}_profile_template.profile

The "default.profile" name was misleading. It's actually a helper
*template* that can be used for copying and further editing to create
a new profile.

Also, we have separate command and metadata profiles now so the templates
are separated as well - we can't mix profile settings from one group with
another - such profile is rejected by lvm tools.

tests: notify loop needs maj:min

Missed in previous commit.

tests: notify lvmetad after udev transation

Delay udev notification after the point udev transaction
is finished - since otherwise some device may still
be found missing until udev transaction is finished.

man: update dumpconfig man page for latest changes

man: call installers only when there are set vars.

When MAN7, MAN8CLUSTER or MAN8SYSTEMD_GENERATORS would be empty,
don't call respective INSTALL tools.
On older systems they even generate error causing abort
of makefile target.

cleanup: remove duplicate --commandprofile reference in dumpconfig's help string

systemd: use umask 022 for generated systemd units by lvm2-activation-generator

systemd: install lvm2-cluster-activation script as executable

tests: checking mirror_remove_missing

FIXME:

Seems like conversion of log is not supported in clustered VG
and needs to be fixed.

tests: lvconvert needs --yes

spec: configurable cache build

Install lvmcache man page when being configured with cache support.
Install lvmthin man page only with thin support.

tests: rebuild paths when Makefile is updated

tests: add have_cache and have_raid

Need to be aware of build options, when system would be
configure without raid or cache support

tests: wait before down-convert

tests: update lvconvert test

Split raid test to separate file
Add --yes flag to automated testing

thin: improve lvconvert messages

Add more info into printed message.

cleanup: use print when displaying info

Use error or warn only when we really have some problem in the code.

cleanup: indent

cleanup: unneeded initialization

Move or drop initialization where it is not needed.

man: cleanup style

debug: fix backtracing

lvconvert: check ret code of mirror_remove_missing

When mirror_remove_missing() fails, stop repairing mirror.

thin: lvconvert warn before conversion

Warn user before converting volume to different type.

  WARNING: Converting vg/lvol0 logical volume to pool's meta/data volume.
  THIS WILL DESTROY CONTENT OF LOGICAL VOLUME (filesystem etc.)

Since the content of volume is lost we have to query user to confirm
such operation.  If user is 100% sure, he may use '--yes' to avoid prompts.

tests: update profiles.sh test for latest changes

dumpconfig: add --type profilable-command/profilable-metadata, --metadataprofile/--commandprofile

The dumpconfig now understands --commandprofile/--profile/--metadataprofile

The --commandprofile and --profile functionality is almost the same
with only one difference and that is that the --profile is just used
for dumping the content, it's not applied for the command itself
(while the --commandprofile profile is applied like it is done for
any other LVM command).

We also allow --metadataprofile for dumpconfig - dumpconfig *does not*
touch VG/LV and metadata in any way so it's OK to use it here (just for
dumping the content, checking the profile validity etc.).

The validity of the profile can be checked with:
      dumpconfig --commandprofile/--profile/--metadataprofile --validate

...depending on the profile type.

Also, mention --config in the dumpconfig help string so users know
that  dumpconfig handles this too (it did even before, but it was not
documented in the help string).

config: differentiate command and metadata profiles and consolidate profile handling code

- When defining configuration source, the code now uses separate
  CONFIG_PROFILE_COMMAND and CONFIG_PROFILE_METADATA markers
  (before, it was just CONFIG_PROFILE that did not make the
  difference between the two). This helps when checking the
  configuration if it contains correct set of options which
  are all in either command-profilable or metadata-profilable
  group without mixing these groups together - so it's a firm
  distinction. The "command profile" can't contain
  "metadata profile" and vice versa! This is strictly checked
  and if the settings are mixed, such profile is rejected and
  it's not used. So in the end, the CONFIG_PROFILE_COMMAND
  set of options and CONFIG_PROFILE_METADATA are mutually exclusive
  sets.

- Marking configuration with one or the other marker will also
  determine the way these configuration sources are positioned
  in the configuration cascade which is now:

  CONFIG_STRING -> CONFIG_PROFILE_COMMAND -> CONFIG_PROFILE_METADATA -> CONFIG_FILE/CONFIG_MERGED_FILES

- Marking configuration with one or the other marker will also make
  it possible to issue a command context refresh (will be probably
  a part of a future patch) if needed for settings in global profile
  set. For settings in metadata profile set this is impossible since
  we can't refresh cmd context in the middle of reading VG/LV metadata
  and for each VG/LV separately because each VG/LV can have a different
  metadata profile assinged and it's not possible to change these
  settings at this level.

- When command profile is incorrect, it's rejected *and also* the
  command exits immediately - the profile *must* be correct for the
  command that was run with a profile to be executed. Before this
  patch, when the profile was found incorrect, there was just the
  warning message and the command continued without profile applied.
  But it's more correct to exit immediately in this case.

- When metadata profile is incorrect, we reject it during command
  runtime (as we know the profile name from metadata and not early
  from command line as it is in case of command profiles) and we
  *do continue* with the command as we're in the middle of operation.
  Also, the metadata profile is applied directly and on the fly on
  find_config_tree_* fn call and even if the metadata profile is
  found incorrect, we still need to return the non-profiled value
  as found in the other configuration provided or default value.
  To exit immediately even in this case, we'd need to refactor
  existing find_config_tree_* fns so they can return error. Currently,
  these fns return only config values (which end up with default
  values in the end if the config is not found).

- To check the profile validity before use to be sure it's correct,
  one can use :

    lvm dumpconfig --commandprofile/--metadataprofile ProfileName --validate

  (the --commandprofile/--metadataprofile for dumpconfig will come
   as part of the subsequent patch)

- This patch also adds a reference to --commandprofile and
  --metadataprofile in the cmd help string (which was missing before
  for the --profile for some commands). We do not mention --profile
  now as people should use --commandprofile or --metadataprofile
  directly. However, the --profile is still supported for backward
  compatibility and it's translated as:

    --profile == --metadataprofile for lvcreate, vgcreate, lvchange and vgchange
                 (as these commands are able to attach profile to metadata)

    --profile == --commandprofile for all the other commands
                (--metadataprofile is not allowed there as it makes no sense)

- This patch also contains some cleanups to make the code handling
  the profiles more readable...

config: add CFG_PROFILABLE_METADATA flag

Mark profilable settings with a separate CFG_PROFILABLE_METADATA
flag where the profile can be attached to VG/LV. This makes it possible
to differentiate global command-profilable settings (CFG_PROFILABLE flag)
and contextual metadata-profilable (per VG/LV) settings (CFG_PROFILABLE_METADATA flag).

commands: do not register profile_ARG for lvcreate/lvchange separetely

The --profile is globally available for all commands.

dumpconfig: fix dumpconfig --type diff used in lvm shell as second and later command

The dumpconfig reuses existing config_def_check results in case
the check is done during general lvm command context initialization
(when enabled by config/checks=1) so dumpconfig does not need to run
the same check again during its execution, hence saving some time.

However, we don't check for differences from defaults during general
lvm command initialization as it's useless at that time. It makes
sense only in case when such a check is directly requested (like in
the case of lvm dumpconfig --type diff). We need to take care that
the reused information was already produced with this "diff" checking
before and if not, we need to force the check so the check status also
gathers the new "diff" info now.

Also, do not do diff checking for any other dumpconfig command that
is run after dumpconfig --type diff.

config: fix incorrect profile initialization on cmd context refresh

When cmd refresh is called, we need to move any already loaded profiles
to profiles_to_load list which will cause their reload on subsequent
use. In addition to that, we need to take into account any change
in config/profile configuration setting on cmd context refresh
since this setting could be overriden with --config.

Also, when running commands in the shell, we need to remove the
global profile used from the configuration cascade so the profile
is not incorrectly reused next time when the --profile option is
not specified anymore for the next command in the shell.

This bug only affected profile specified by --profile cmd line
arg, not profiles referenced from LVM metadata.

config: attach cft_check_handle to each config tree instead of global cmd_context

Before, the cft_check_handle used to direct configuration checking
was part of cmd_context. It's better to attach this as part of the
exact config tree against which the check is done. This patch moves
the cft_check_handle out of cmd_context and it attaches it to the
config tree directly as dm_config_tree->custom->config_source->check_handle.

This change makes it easier to track the config tree check results
and provides less space for bugs as the results are directly attached
to the tree and we don't need to be cautious whether the global value
is correct or not (and whether it needs reinitialization) as it was
in the case when the cft_check_handle was part of cmd_context.

config: add CONFIG_FILE_SPECIAL config source id

Add CONFIG_FILE_SPECIAL config source id to make a difference between
real configuration tree (like lvm.conf and tag configs) and special purpose
configuration tree (like LVM metadata, persistent filter).

This makes it easier to attach correct customized data to the config
tree that is created out of the source then.

tests: drop nosync

Mirrors currently do not support any conversion,
when they are created no-sync.

man: lvmcache

separate man page for lvm cache

cleanup: device extent_size first

debug: backtrace error path

Add backtrace for 'n' answer.

man: lvmcache

Migrate cache description into  man(7) entry
(like lvmthin).

display: print skipped prompt

Since decisions in the silent mode may not be always obvious,
print skipped prompt with answer 'n'.

Also document  '-qq' behaviour (single -q only shuts
logging, while -qq sets silent mode).

tests: speedup

Avoid some expencive raid/mirror synchronization when testing
just allocation sizes.
Use lv_attr_bit

man:misc updates

report: export DM_REPORT_FIELD_RESERVED_NAME_{HELP,HELP_ALT} and show help on '<lvm_command> -O help'

Share DM_REPORT_FIELD_RESERVED_NAME_{HELP,HELP_ALT} between libdm and
any libdm user to handle reserved field names, in this case the virtual
field name to show help instead of failing on unrecognized field.
The libdm user also needs to check the field name so it can fire
proper code in this case (cleanup, exit etc.).

report: Add metadata_percent to lvs_cols.

man: lvmthin cover snapshot merge and xfs

also fix a couple inconsistent example values.

man: more lvmthin discard references

and some fixes from Tom.

allocation: Fix alloc anywhere with parity.

Take account of parity areas with alloc anywhere in
_calc_required_extents.  Extents beyond area_count were treated
incorrectly as mirror logs.

man: Fix man7 dir dependency.

https://bugs.gentoo.org/510202

cleanup: improve error message

Update impossile to happen error message.

tests: updates

Move thin test out of listing.

tests: replance hostname call

cleanup: drop unused header

cleanup: cast int to typedef

conf: document new thin_check option

coverity: catch unwanted path

We validate this path already earlier.

configure: improve needs_check thin_check test

Improve testing for needs_check - when old tools are installed,
issue proper warning from configure, but stop sending needs_check
flag to the old tool.

configure: drop siginterrupt

Not used anymore

cleanup: use enum return codes

cleanup: constify pointers

clenaup: drop unused assigns

cleanup: missed conversion to dm_malloc/free usage

Few missed unconverted dm_malloc/free calls.

cleanup: cosmetics.

Initialized attrs so analyzers are less confused
(since currently our method calls should always initialize attrs on
return).

cleanup: drop uneeded headers

coverity: ignore ret val

Since we intentionaly do not want to check them,
cast result values to void.

coverity: error for undefined origin

If we would have been missing origin here, it would
be an internal error - since these values are validated
earlier.

coverity: check for profile

Ensure str is not NULL for analyzer.

cache: avoid expression overflow

Cast data_extents to 64bit so calculation is in 64b arithmetic.

signals: better nesting support

Support upto 3 levels os nesting signal blocking.
As of today - code blocks signals immediatelly when it opens
VG in read-write mode - this however makes current prompt usage
then partially unusable since user may not 'break' command
during prompt (something most user would expect).

Until a better fix for prompting is implemented, put in support
for signal nesting - thus when prompt enables signal acceptance,
make it possible to really break command at this point.

debug: add more debug message for signal handling

Adding log_sys_debug for eventual logging of system errors.
(Using debug level, since currently signal handling functions
do not fail when any error is encoutered).

locking: use sigaction signal handling

Use sigint_allow/restore function instead of duplicating code
and switch to use only sigactiction based signal handling.