libdm: Fix a data race in dm_pool_{create,destroy}.

libdm: Link to libpthread unconditionally.

filters: Add NVM Express (nvme).

WHATS_NEW: commit 0decd75

lvmetad: Do not try to lock a NULL vgid.

test: Correctly trigger inconsistent metadata repair in lvmcache-exercise.

Since lvconvert --repair sets handles_missing_pvs, it will not repair
inconsistent metadata automatically. Calling lvs instead should do the trick.

metadata: Fix metadata repair paths when lvmetad is used.

test: Make comma a separator as in make check T=lvconvert,lvcreate

WHATS_NEW: commit d888a05 and 808a5d9

cleanup: remove 'discards 'const' qualifier' compilation warning

libdaemon: Fix an invalid memory read.

lvmetad: Properly grab locks in pv_gone.

lvmetad: Clean up pvid->vgid map when last PV in a VG disappears.

tests: needed --type mirror

Avoid testing raids here (would need kernel module)

tests: reappering device

Simulation of problem for:
https://bugzilla.redhat.com/show_bug.cgi?id=995440

udev: add support for "NOSCAN" flag

Recognize DM_SUBSYSTEM_UDEV_FLAG0 which for LVM is the "LVM_NOSCAN"
flag that causes the scanning to be skipped (mainly blkid) and
also directs all the foreign rules to be skipped as well.

Important thing here is that the "watch" udev rules is still set
as well as the /dev/disk/by-id content created (which does not
require any scanning to be done). Also, the flag is dropped on
any subsequent event and scanning done...

activation: add support for flagging an LV to skip udev scanning during activation

A common scenario is during new LV creation when we need to wipe the
newly created LV and avoid any udev scanning before this stage otherwise
it could cause the device (the LV) to be claimed by some other subsystem
for which there were stale metadata within LV data.

This patch adds possibility to mark the LV we're just about to wipe with
a flag that gets passed to udev via DM_COOKIE as a subsystem specific
flag - DM_SUBSYSTEM_UDEV_FLAG0 (in this case the subsystem is "LVM")
so LVM udev rules will take care of handling that.

tests: lvconvert more thin extorg conversions

Add test for conversion of pool and thin lv at the same time.

tests: vgrename duplicate rename

Test for rename of duplicated vgname (with different UUID)

thin: fix lvconvert in external origin conversion

Patch 562ad293fd52b8f3096b28bcac20e32aa1e8c1b0 introduced code regression
when LV was converted to a thin LV with external origin and at the same time,
conversion of LV to a thin pool has been requested.
(RHBZ: #997704)

data_lv needs to be assigned after test for external conversion find pool.

vgrename: run fullscan

For vgrename run full scan so the command is able to properly
detect name collision.

lvchange: improve discards when pool active error

Existing message deemed misleading:
  Cannot change discards state for active pool volume

https://bugzilla.redhat.com/show_bug.cgi?id=994315

post-release

release 2.02.103

52 files changed, 598 insertions(+), 264 deletions(-)

lvmetad: Fix vgname->vgid hash updates w/ duplicate VG names.

WHATS_NEW: renamed thin_pool_chunk_size_calculation -> policy

thin: rename thin_pool_chunk_size_calculation -> ..size_policy and rename "default" policy to "generic"

Just to be consistent with existing naming we use.

cmdline: Add --ignoreskippedcluster.

Accept --ignoreskippedcluster with pvs, vgs, lvs, pvdisplay, vgdisplay,
lvdisplay, vgchange and lvchange to avoid the 'Skipping clustered
VG' errors when requesting information about a clustered VG
without using clustered locking and still exit with success.

The messages can still be seen with -v.

libdm: export DM_UDEV_SUBSYSTEM_FLAG names for subystem udev flags

Just like we have symbolic names assigned to general DM udev flags
(DM_UDEV_* flags), we have the same for any subsystem flags now
(DM_SUBSYSTEM_UDEV_FLAG*), making it easier to use.

udev: make subsystem rules responsible for importing subsystem flags

Each subsystem rule that needs to import any of DM_SUBSYSTEM_UDEV_FLAG*
flags is responsible for doing so. This simply moves control of these
flags from general 10-dm.rules to any subsystem rule using these flags
as each subsystem knows better how to handle these flags on its own.

thin: better dbg msgs and avoid uninit. value on chunk size recalc

fix: also make commit b4637 work without dmeventd

udev: fix 3min udev timeout so that it is applied for all LVM volumes

The timeout should be set before any volume skipping.

fix: make it possible to compile with --disable-devmapper again

Some code has been added recently which makes it impossible to compile
when "configure --disable-devmapper" is used. This patch just shuffles
the code around so it's under proper #ifdef DEVMAPPER_SUPPORT.

RAID: Fix _sufficient_pes_free calculation for RAID

lib/metadata/lv_manip.c:_sufficient_pes_free() was calculating the
required space for RAID allocations incorrectly due to double
accounting.  This resulted in failure to allocate when available
space was tight.

When RAID data and metadata areas are allocated together, the total
amount is stored in ah->new_extents and ah->alloc_and_split_meta is
set.  '_sufficient_pes_free' was adding the necessary metadata extents
to ah->new_extents without ever checking ah->alloc_and_split_meta.
This often led to double accounting of the metadata extents.  This
patch checks 'ah->alloc_and_split_meta' to perform proper calculations
for RAID.

This error is only present in the function that checks for the needed
space, not in the functions that do the actual allocation.

WHATS_NEW: description for previous commit

commit 098896fb2905cd02d02b7271be489e32d86c073d failed to include
description of what was fixed.

"Conversion from linear to mirror or RAID1 now honors
 mirror_segtype_default."

mirror/RAID: Honor mirror_segtype_default when converting from linear

1) When converting from an x-way mirror/raid1 to a y-way mirror/raid1,
the default behaviour should be to stay the same segment type.

2) When converting from linear to mirror or raid1, the default behaviour
should honor the mirror_segtype_default.

3) When converting and the '--type' argument is specified, the '--type'
argument should be honored.

catch such conditions, but errors in the tests caused the issue to go
unnoticed.  The code has been fixed to perform #2 properly, the tests
have been corrected to properly test for #2, and a few other tests
were changed to explicitly specify the '--type mirror' when necessary.

profile: add thin-performance.profile

Define a "performance" profile for thin pools which is exactly:
  - allocation/thin_pool_zero = 0
  - thin_pool_chunk_size_calculation = "performance"

thin: calculate thin pool chunk size based on device IO hints

If "default" thin pool chunk size calculation method is selected,
use minimum_io_size, otherwise optimal_io_size for "performance"
device hint exposed in sysfs. If there appear to be PVs with
different hints presented, use their least common multiple.

If the hint is less than the default value defined for the
calculation method, use the default value instead.

thin: use appropriate default value based on allocation/thin_pool_chunk_size_calculation setting

If thin_pool_chunk_size_calculation is set to "default", use 64KiB,
otheriwse 512KiB for "performance".

conf: add allocation/thin_pool_chunk_size_calculation

Add allocation/thin_pool_chunk_size_calculation lvm.conf
option to select a method for calculating thin pool chunk
sizes and define two possible values - "default" and "performance".

Test/clean-up: Indent clean-up and additional RAID resize test

Better indenting and a test for bug 1005434 (parity RAID should
extend in a contiguous fashion).

RAID: Fix broken allocation policies for parity RAID types

A previous commit (b6bfddcd0a830d0c9312bc3ab906cb3d1b7a6dd9) which
was designed to prevent segfaults during lvextend when trying to
extend striped logical volumes forgot to include calculations for
RAID4/5/6 parity devices.  This was causing the 'contiguous' and
'cling_by_tags' allocation policies to fail for RAID 4/5/6.

The solution is to remember that while we can compare
ah->area_count == prev_lvseg->area_count
for non-RAID, we should compare
(ah->area_count + ah->parity_count) == prev_lvseg->area_count
for a general solution.

lvmconf: use_lvmetad=0 on --enable-cluster, reset to default on --disable-cluster

lvmetad is not yet supported in clustered environment so
disable it automatically if using lvmconf --enable-cluster
and reset it to default value if using lvmconf --disable-cluster.

Also, add a few comments in lvm.conf about locking_type vs. use_lvmetad
if setting it for clustered environment.

tools: don't install separate command symlink for lvm devtypes

lvs: Add seg_size_pe field.

Requested
https://www.redhat.com/archives/linux-lvm/2013-July/msg00112.html

Merge branch 'master' of /data/agk/git/lvm2-upstream

cmdline: Accept PE ranges as start+length.

pvmove: clean exit on failed pvmove restart

At present, before the pvmove command can be used to restart pvmove
polling, the LVs concerned need to be activated e.g. with lvchange
-ay.

pvmove: Accept PE ranges as start+length.

pvmove: clean exit on failed pvmove restart

At present, before the pvmove command can be used to restart pvmove
polling, the LVs concerned need to be activated e.g. with lvchange -ay.

post-release

release 2.02.102

18 files changed, 137 insertions(+), 203 deletions(-)

clvmd: Fix node up/down handing in corosync module

The corosync cluster interface for clvmd did not correctly
deal with node up/down events so that when a node was removed
from the cluster clvmd would prevent remote operations
from happening, as it thought the node was up but not
running clvmd.

This patch fixes that code by simplifying the case to node
being  up or down - which was the original intention
and is supported by pacemaker and CPG in the higher layers.

Signed-off-by: Christine Caulfield <ccaulfie@redhat.com>

tests: drop extra loop

Loop was added as a result of unworking singlenode locking, since
this should be now fixed - remove this workaround.

tests: drop pointeless test

Writing directly to thin-pool and reading it is not a good idea.

tests: fix typo VEROSE->VERBOSE in Makefile.in

tests: hide expected error message

Makefile: add missing deps

Add missing deps for device-mapper build of scripts dir.
Cleanup multiple SUBDIR lines together.

activation: use improved lv_info

Call lv_info() with info == NULL to query for local active presence.

lvinfo: allow to use lv_info with NULL info

When NULL info struct is passed in - function is usable
as a quick query for  lv_is_active_locally() - with a bonus
we may query for layered device.

So it could be seen as a more efficient lv_is_active_locally().

raid: add lv_is_raid()

More readable then status bit flag masking...

dmeventd: simplify fifos init

Simplier code.

cleanup: drop unused report parameter

Do not pass unused dm_report pointer.

cleanup: add log_error error path messages

cleanup: shorter code

Put assignment on declaration line.

cleanup: release all memory in error path

Just ensure no memory will stay in pool even in error path.

cleanup: skip call of detect...

SInce we know the pool was locked and we want to reloc pool again,
just use '1' directly.

cleanup: monitoring more readable

Put continue path into one code segment.

test: Blacklist fedora-19 kernel for RAID4/5/6 dev replace tests

A know issue with kmem_cach is causing failures while testing
RAID 4/5/6 device replacement.  Blacklist the offending kernel
so that these tests are not performed there.

release 2.02.101

112 files changed, 4131 insertions(+), 1312 deletions(-)

udev: remove unused line in 69-dm-lvm-metad.rules

The explicit check for *_raid_member is not actually needed as
this gets filtered out by the ENV{ID_FS_TYPE}!="LVM2_member|LVM1_member" rule.

RAID: Don't allow syncaction changes on non-RAID LVs

Don't allow syncaction or other RAID-type messages on non-RAID
logical volumes.

clvmd: Avoid a 3-way deadlock in dead-client cleanup.

vgconvert: Do not call lvmetad_vg_remove (path shared with vgcfgbackup).

vgcfgrestore: Remove VG rom lvmetad later, to better deal with errors.

vgcfgrestore: Remove the VG from lvmetad before overwriting it.

man: lvs man page was not accurate on the volume health bit of lv_attr

The 'm'ismatches flag only shows after a "check" scrubbing operation -
not after a "check" or "repair" as indicated by the man page.

dmsetup: Detect invalid sector supplied to message.

atoll doesn't check for errors, so invalid sector numbers were silently
accepted in the "dmsetup message" command.

(Mikulas)

tools: Avoid overflow in _get_int_arg.

Use strtoull instead of strtol so that argument size is not cut
to 31 bytes on machines with 32-bit long.

(Mikulas)

libdm: avoid leak if dm_task_set_* fn called again

(Mikulas)

reporting: Add devtypes command.

Add internal devtypes reporting command to display built-in recognised
block device types.  (The output does not include any additional
types added by a configuration file.)

> lvm devtypes -o help
  Device Types Fields
  -------------------
    devtype_all            - All fields in this section.
    devtype_name           - Name of Device Type exactly as it appears in /proc/devices.
    devtype_max_partitions - Maximum number of partitions. (How many device minor numbers get reserved for each device.)
    devtype_description    - Description of Device Type.

> lvm devtypes
  DevType       MaxParts Description
  aoe                 16 ATA over Ethernet
  ataraid             16 ATA Raid
  bcache               1 bcache block device cache
  blkext               1 Extended device partitions
...

WHATS_NEW: Better description for commit 82228ac

More correct description of changes made to disallow thin+mirror.

debug: Use // for commented out debug #defines

The traditional style used for optional editable definitions
/* #define X /* */
produces a bogus warning from gcc -Wall.

Rather than suppressing this with -Wno-comment, switch over to
the // comment style.

Makefiles: Fix CC variable override.

The CC override in commit f42b2d4bbf16345e5b5457f4298e751d5c134776
caused the built-in value to be used instead of the configured value
when it wasn't being overridden.

The behaviour is explained here:
http://stackoverflow.com/questions/18007326/how-to-change-default-values-of-variables-like-cc-in-makefile

filters: Add bcache.

N.B. Using bcache devices as PVs is still experimental.
Problems should be reported to the appropriate mailing lists.

doc: add a note about device filtering while lvmetad is used

tests: no activate LV

Since our current vgcfgbackup/restore doesn't deal
with difference of active volumes between current and
restored set of volumes -  run test with inactive LVs.

tests: update vgcfgrestore test

Test vgcfgrestore when seqno of restored mda is smaller then current
metadata on device.

systemd: run lvm2-activation-net.service after lvm2-activation.service

The lvm2-activation-net.service was ordered only with respect to iscsi
and fcoe service before. In addition to that, we also need ordering
with respect to lvm2-activation.service to prevent parallel vgchange -aay
runs which may cause some problems during activation.
See also https://bugs.gentoo.org/show_bug.cgi?id=480066.

With this patch, the ordering is firmly set to:
lvm2-activation-early.service -> lvm2-activation.service -> lvm2-activation-net.service

Thanks to Alexander Tsoy for the original patch (modified a bit here):
https://www.redhat.com/archives/lvm-devel/2013-September/msg00049.html

tests: enhance pvmove testing

Rewrite check lv_on  and add new  lv_tree_on
Move more pvmove test unrelated code out to check & get sections
(so they do not obfuscate trace output unnecesserily)

Use new lv_tree_on()
NOTE: unsure how the snapshot origin should be accounted here.

Split pmove-all-segments into separate tests for raid and thins
(so the test output properly shows what has been skipped in test)

tests: use check for raid test

Use test-suite built-in check command for this test
(creates better logs, and reduces amount of valgrind-ed commands)

tests: update check and get

Update usage of "" around shell vars.
trim needs to trim both sides now.
trim also removes debug.log since it's only called when lvm command
has finished properly (so if something fails afterward, there
is no missleading debug trace in the log)

tests: update die

'die' evaluates given string - so \n could be used for
multiline error report

Also remove debug.log since the command finished properly when we
call 'die'

Note: we should not call 'die' after lvm command failure.

tests: add help function

Add mkdev_md5sum to create and checksum given LV.
Add dev_md5sum to verify device has matching md5 sum.

TEST: Unaccounted possible output causing failure

lvchange-raid.sh checks to ensure that the 'p'artial flag takes
precedence over the 'w'ritemostly flag by disabling and reenabling
a device in the array.  Most of the time this works fine, but
sometimes the kernel can notice the device failure before it is
reenabled.  In that case, the attr flag will not return to 'w', but
to 'r'efresh.  This is because 'r'efresh also takes precedence over
the 'w'ritemostly flag.  So, we also do a quick check for 'r' and
not just 'w'.

WHATS_NEW: some missing lines

udev: keep DM_ACTIVATION and DM_UDEV_PRIMARY_SOURCE_FLAG meaning as before commit 8d1d835

The DM_ACTIVATION and DM_UDEV_PRIMARY_SOURCE_FLAG needs to be kept the
way it was for backward compatibility (e.g. the old rules are still
in initramfs). This way the check in whether the device should be
scanned in 69-dm-lvmetad.rules is even easier.

tests: extend harness with output of /var/log/messages

Add a very simple hack for embeding /var/log/messages into
the tests output - it's not ideal since it sometimes breaks lines,
but still gives valuable info.

tests: singlenode cleanup for prev commit

Add few more comments and cleanup some warnings.