vgimportclone: replace awk with dumpconfig to generate temporary lvm.conf for vgimportclone

With current dumpconfig, we can generate lvm.conf easily - we can merge
current lvm.conf with the config given on cmd line:
  lvm dumpconfig --mergedconfig --config "..."

This is a bit simpler than using awk and it also avoids problems when some of
the configuration is missing in existing lvm.conf file and hardcoded defaults
are used instead. The dumpconfig handles this transparently.

WHATS_NEW: f94f846 actually fixes DM issue, not LVM issue

libdm: report: fix incorrect memory use while using --select with --unbuffered for reporting

Under certain circumstances, the selection code can segfault:

$ vgs --select 'pv_name=~/dev/sda' --unbuffered vg0
  VG   #PV #LV #SN Attr   VSize   VFree
  vg0    6   3   0 wz--n- 744.00m 588.00m
Segmentation fault (core dumped)

The problem here is the use of --ubuffered together with regex used in
selection criteria. If the report output is not buffered, each row is
discarded as soon as it is reported. The bug is in the use of report
handle's memory - in the example above, what happens is:

  1) report handle is initialized together with its memory pool

  2) selection tree is initialized from selection criteria string
     (using the report handle's memory pool!)

    2a) this also means the regex is initialized from report handle's mem pool

  3) the object (row) is reported

    3a) any memory needed for output is intialized out of report handle's mem pool
    3b) selection criteria matching is executed - if the regex is checked the
        very first time (for the very first row reported), some more memory
        allocation happens as regex allocates internal structures "on-demand",
        it's allocating from report handle's mem pool (see also step 2a)

  4) the report output is executed

  5) the object (row) is discarded, meaning discarding all the mem pool
     memory used since step 3.

Now, with step 5) we have discarded the regex internal structures from step 3b.
When we execute reporting for another object (row), we're using the same
selection criteria (step 3b), but tihs is second time we're using the regex
and as such, it's already initialized completely. But the regex is missing the
internal structures now as they got discarded in step 5) from previous
object (row) reporting (because we're using "unbuffered" reporting).

To resolve this issue and to prevent any similar future issues where each
object/row memory is discarded after output (the unbuffered reporting) while
selection tree is global for all the object/rows, use separate memory pool
for report's selection.

This patch replaces "struct selection_node *selection_root" in struct
dm_report with new struct selection which contains both "selection_root"
and "mem" for separate mem pool used for selection.

We can change struct dm_report this way as it is not exposed via libdevmapper.

(This patch will have even more meaning for upcoming patches where selection
is used even for non-reporting commands where "internal" reporting and
selection criteria matching happens and where the internal reporting is
not buffered.)

configure: fix automatic use of configure --enable-udev-systemd-background-jobs

Fix incorrect test in configure which sets --enable-udev-systemd-background-jobs
automatically if proper systemd version is available.

The UDEV_SYSTEMD_BACKGROUND_JOBS variable was not properly set to "yes" in
case systemd is available and we had "maybe" for this variable before.

libdm: report: return immediately from dm_report_compact_fields without error if there are no rows

Let's make dm_report_compact_fields consistent with dm_report_output fn
which also returns with success immediately if there are no rows.

libdm: report: compact output applicable only if report is buffered

raid: properly rename split image

When we split leg from raid - we take a proper new lock for a new LV.
However for now activation checks only 'existince' of device UUID,
but it's not validating device has a proper name.

As a quick fix call suspend()/resume() to rename after split mirror.

config: add report/compact_output lvm.conf setting to enable or isable field compacting

$ lvm dumpconfig report/compact_output
compact_output=0

$ lvs vg
  LV    VG   Attr       LSize Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  lvol0 vg   owi-a-s--- 4.00m
  lvol1 vg   -wi-a----- 4.00m
  lvol2 vg   swi-a-s--- 4.00m      lvol0  0.00

$ lvm dumpconfig report/compact_output
compact_output=1

$ lvs vg
  LV    VG   Attr       LSize Origin Data%
  lvol0 vg   owi-a-s--- 4.00m
  lvol1 vg   -wi-a----- 4.00m
  lvol2 vg   swi-a-s--- 4.00m lvol0  0.00

libdm: report: add dm_report_compact_fields

Add new dm_report_compact_fields function to cause report outout
(dm_report_output) to ignore fields which don't have any value set
in any of the rows reported. This provides support for compact report
output where only fields which have something to report are displayed.

libdm: remove unimplemented dm_report_set_output_selection fn

The dm_report_set_output_selection was not implemented in the end -
we have dm_report_init_with_selection instead. This is just a remnant
from development code that got into libdevmapper.h by mistake.

pool: fix typo in error message: then -> than

mirror: Validate raid region size config setting.

If necessary, round down to a power of 2 the raid/mirror region size
taken from the config files.

mirror: Restrict region size to power of 2.

post-release

pre-release

libdaemon: Fix some client leaks.

Free (and clear) h.protocol string on daemon_open() error paths
so it's OK for caller to skip calling daemon_close() if returned
h.socket_fd is -1.

Close h.socket_fd in daemon_close() to avoid possible leak.

https://bugzilla.redhat.com/1164234

Update WHATS_NEW.

lvcreate: Implement --cachepolicy/--cachesettings.

metadata: Add cache_policy to lvcreate_params and honour it.

toollib: Fix uninitialised config value type in get_cachepolicy_params.

toollib: fix regression in parsing /dev/mapper/vg-lv

Commit b0dde9e8f026ddd679 introduced regression in parsing
/dev/mapper prefix - and tried to check for '/' one char behind.

coverity: remove dead code in lv_info_with_seg_status (continued)

coverity: fix possible NULL dereference

The call to dm_config_destroy can derefence result->mem
while result is still NULL:

struct dm_config_tree *get_cachepolicy_params(struct cmd_context *cmd)
{
...
int ok = 0;
...
if (!(result = dm_config_flatten(current)))
goto_out;
...
ok = 1;
out:
 if (!ok) {
dm_config_destroy(result)
...
}
...
}

coverity: remove dead code in lv_info_with_seg_status

Just call return 0 directly on error path, without using
"goto" - the code is short, no need to use it this way
(the dead code appeared as part of further changes in this
function).

makefiles: avoid regeneration of Makefile

When Makefile.in is touched, it's been matched by 'man' rule
and it's been wrongly regnerated.

Put in explicit rules to avoid Makefile sed processing.

thin: add missing 64KB rounding

When chunk size needs to be estimated, the code missed to round
to proper 64kb boundaries  (or power of 2 for older thin pool driver).
So for some data and metadata size (i.e. 10GB and 4MB) it resulted
in incorrect chunk size (not being a multiple of 64KB)

Fix it by adding proper rounding and also use 1 routine for 2 places
where the same calculation is made.

Fix also incorrect printed warning that has used 'ffs()'
(which returns first 'least significant' bit in word)
and it was not really giving any useful size info and replace it
with properly estimated chunk size.

initscripts: fix typo in clvmd initscript causing CLVMD_STOP_TIMEOUT variable to be ignored

pvresize: fix size in 'Resizing to ...' verbose message to show proper result size

post-release

pre-release

cache: comment out unsupported pooldatasize

Support for pooldatasize is not yet finished, so keep it commented out
for now.

man: update

Improve lvconvert.
Put ENV section downward in lvm.8.

tests: use proper LVMTEST prefix for VG name

Cleaner needs prefix to do its jobs and clean any left VG from python
test as well.

lvconvert: earlier detection of conflicting names

Detect same LV names for lvconvert prior opening VG.
i.e. lvconvert --thinpool vg/lvol0  -T lvol0

man: fix pages for generators

Properly generate man page for systemd generators on make.
Simplified  install_clusters

libdm: there is no element in item 0

Items[0] holds only counter in .len.
So don't zero already zeroed items[0].len assigned above.

(finishing fc935495c813b7577ac8237459a2cc65ea291ac2)

report: add some comments about how string list is stored internally

report: add some comments about how string list is stored internally

man/lvchange: Mention --cachepolicy and --cachesettings.

man/lvm.conf: Update to reflect changes in config parser.

Update WHATS_NEW.

cleanup: add missing error path check

New code misses error path check.

cleanup: warning: declaration of 'remove' shadows a  global declaration

Don't shadow stdio.h declaration.

libdm: report fix memleak on error path

When _alloc_selection_node() fails, rh should be destroyed.

Use 'bad:' label since we have goto_bad with stack embeded.

pool: prevent pool conversion with same name

When same name is given for converted volume and pool volume,
stop further command processing.

tests: reduce thin test

tests: use old virt snaps in the test

Don't use thin with its thin requirements for the test.

libdm: fix reporting of empty string list

Don't write behind the allocated array when list is empty.
Use index 0 for the allocated element.

Error triggered by i.e.:  lvs -a -o all,lv_modules

makefiles: standard usage of make.tmpl

Use lvm2 standard TARGETS.

Make liblvm_python.c as intermediate target (gets deleted after use)

Properly delete build dir on make distclean.

Mark install_python_bindings as .PHONY.

dev_manager: fix mknodes

Fix regression introduced with a2c1024f6ac7e22ac5c010a267d0c1df331ee416

_setup_task(mknodes ? name : NULL...

has been replaced with:

_setup_task(type != MKNODES ? name : NULL....

Use '=='

configure: fix CLVMD_PATH location

Commit d2c116058e72d365802eb5641be60a615daacb96 introduced regression
with CLVMD_PATH.

+        CLVMD_PATH="$clvmd_prefix/sbin/clvmd"
         test "$prefix" != NONE && clvmd_prefix=$prefix

It has set CLVMD_PATH before clvmd_prefix got its final value.
Move it one line below.

cleanup: drop unused vars

test: Also test repeated --cachesettings in lvchange-cache.

cache: Implement 'default' as a policy settings value to clear the record.

toollib: Split --cachesettings from --cachepolicy.

test: Add a test for lvchange --cachepolicy.

lvchange: Accept --cachepolicy.

toollib: Add --cachepolicy and implement get_cachepolicy_params.

cache: Add lv_cache_setpolicy to cache_manip.c.

libdm-config: Warn about duplicate keys.

libdm-config: Implement dm_config_remove_node.

libdm-config: Interpret barewords after '=' as strings.

libdm-config: Implement dm_config_flatten.

libdm-config: Re-link config trees to reflect file order of keys/sections.

libdm-config: Allow paths (section/key = value) in config files.

The order of the resulting tree is based on the first appearance of
sections. With no section repeats, the sections stay as listed in the
config file. Sections using the brace syntax 'section { key = value }' are
treated the same way: 'section { x = 1 } section { y = 2 }' is the same as
'section/x = 1 section/y = 2' is the same as 'section { x = 1 y = 2 }'

cache: check for internal error

Don't try to duplicate NULL on internal error path.

toollib: release vg on ignore path

Missing call to release_vg().

revert: 7639eae and 4a52a92

Revert 7639eae8919e5872143562db8118d039f5a41225 and
4a52a9212cc5d3ae90196776f28dbfb319002c74. We need a better fix here.

tests: use snapshot targets

tests: prepare control node before clvmd

Make sure there is 'control' node before clvmd is started.
Somehow  'clvmd' is not allowed by selinux to create one.

TODO: Check is selinux policy is right here...

thin: fix error path

Print pool name and not the origin name.

systemd: clvmd and cmirrord systemd unit - use usrsbindir instead of sbindir

configure: expand prefix and exec_prefix directly in configure

In case someone wants to use @some_path@ that contains
prefix or exec_prefix and it's used in other files than Makefiles
(Makefiles used make.tmpl to expand these).

configure: make configure --enable-udev-systemd-background-jobs only for systemd >= 205

systemd-run is available in systemd>=205. Also, this fix prevents
systemd-specific udev rules in 69-dm-lvm-metad.rules to appear in
case systemd environment is not available - make configure to check
this automatically and use these systemd specific rules only if it
is applicable.

man: clvmd updates

- closer to the recommendation of man-pages (7) if possible
- Add crossrefs
- Sort options and crossrefs
- Fix default timeout (60 secs) of -t
- Documents -I[auto]

Signed-off-by: Stéphane Aulery <saulery@free.fr>

man: clvmd help output

Closer to the recommendation of groff_man (7) if possible

Signed-off-by: Stéphane Aulery <saulery@free.fr>

man: blkdeactivate help output

- Closer to the recommendation of man-pages and groff_man (7) if
  possible
- Sort options and crossrefs
- Relocate sub-options on the right places

Signed-off-by: Stéphane Aulery <saulery@free.fr>

man: lvchange update

Fix \fI usage.

cleanup: drop unused var

locking: rename LCK_CONVERT

All 'MODE' bits are using _MODE suffix so rename to LCK_CONVERT_MODE
(part of rhbz 735445).
No functional change.

toollib: improve ignore_vg case in _process_pvs_in_vgs

ignore_vg now returns 0 for the FAILED_CLUSTERED case,
so all the ignore_vg 1 cases will return vg's with an
empty vg->pvs, so we do not need to iterate through
vg->pvs to remove the entries from the devices list.

Clean up whitespace problems in that area from the
previous commit.

memlock: Make malloc reserve more robust against glibc tricks.

tests: deactivate repaired before swap

tests: thin repair testing

More checks for thin related tools.
Add same functionality for cache related tools.

tests: reduce number of sync waiting

Lets assume faster systems, if we have too big raid arrays,
reduce them.

tests: skip another older kernel from raid456

toollib: fixes and cleanup of recent changes

- Fix problems with recent changes related to skipping in:
  . _process_vgnameid_list
  . _process_pvs_in_vgs

- Undo unnecessary changes to the code structure and readability.

- Preserve valid but minor changes:
  . testing FAILED bit values in ignore_vg
  . using "skip" value from ignore_vg instead of "ret" value
  . applying the sigint check to the start of all loops
  . setting stack backtrace when ECMD_PROCESSED is not returned,
    i.e. apply the following pattern:

ret = process_foo();
if (ret != ECMD_PROCESSED)
stack;
if (ret > ret_max)
ret_max = ret;

toollib: ignore_vg() with skip is not locked

Extend/fix d8923457b82456ebee3e333b3fcc26087483cd01 commit.

'skip'-ed VG is not holding any lock - so don't unlock such VG.

At the same time simplify the code around and relase VG at a single
place and unlock only not skiped and not ignored VGs.

tests: explicit raid sync

debug: switch to verbose

When there is no real error from the function - avoid using log_error().

debug: better message for pool zeroing state

cleanup: add '.' to log messages

vg_read: correct warning

Use log_warn when we are effectively not creating an error -
we 'allowed' inconsistent read for a reason - so it's just warning
level we process inconsistent VG - it's upto caller later to decide
error level of command return value and in case of error it needs
to use log_error then.

toolib: fix ignore_vg

Rework ignore_vg() API so it properly handles
multiple kind of vg_read_error() states.

Skip processing only otherwise valid VG.

Always return ECMD_FAILED when break is detected.

Check sigint_caught() in front of dm iterator loop.

Add stack for _process failing ret codes.

vg_read: use new error flag

Failed recovery provides different (NULL) VG then FAILED_INCONSISTENT.
Mark it with different failure bit - since FAILED_INCONSISTENT is
supposed to contain something 'usable' (thought inconsistent).

lvmcache: remove unnecessary line break syntax

lvmcache.7: remove unwanted line continuation syntax

lvconvert.8: fix bold and italic syntax mistake

Signed-off-by: Stéphane Aulery <saulery@free.fr>

cleanup: remove unused headers

cleanup: validate pointers

Mostly on almost impossible to happen paths - but stay safe.