Change pvresize code to work with new metadata handling interface and allow
resizing a PV with two metadata areas.

Change pv_write code to work with the changes in metadata handling interface
and changes in format_instance.

Remove unused _mda_setup fn. This functionality is covered by new pv_add_metadata_area fn.

Change the code throughout to use new pv_initialise and modified pv_setup fn.
Change pv_create code to work with these changes together with using new
pv_add_metadata_area fn to add metadata areas for a PV being created.

Separate new pv_initialise function out of the original pv_setup code.

pv_initiliase initialises a new PV
pv_setup sets up an existing PV with a VG

Add new pv_remove_metadata_area interface function.

Add new pv_add_metadata_area interface function.

Remove useless mdas parameter for pv_read (from now on, we store mdas in a
format instance)

Add format instance support for pv_read code.

Initialise a new PV-based format instance for a PV that is being created.

Add vg_set_fid function to change VG format instance.

This function also sets a reference to a new VG format instance for all PVs
that are part of the VG so the PV-VG interconnection is consistent after the
change.

Change the code throughout for recent changes in format_instance handling.

Change create_instance to create PV-based as well as VG-based format instances.
Add supporting functions to work with the format instance and metadata area
structures stored within the format instance. Add support for simple indexing
of metadata areas using PV id and mda order (for on-disk PV only for now, we
can extend the indexing even for other mdas if needed - we only need to define
a proper key for the index).

Change and generalise struct format_instance for PV and VG use.

Handle decimal digits with --units instead of ignoring them silently.
Fix remaining warnings and compile with -Wpointer-arith.

Fix gcc warnings for unused variables

Put dead assigment code into comment.

Add debug message for open_count failure

Report  open_count problem as debug.

Function using _node_has_closed_parents decides whether
it's error or could be ignored.

Use return_0 to get bactrace

Add some backtraces for error paths in process_each_lv

Memory unlock allows 1 page difference

As the kernel seems to be doing weird things during
mlock -> munlock -  allow 1 page locking difference without
warning - and log just debug message for a 1 page difference.

Allocation happens outside critical section probably during
log_warn printing.

Should make tests passing for now.

Const fixing

Fixing some const warnings - with API change in:

int vg_extend(struct volume_group *vg, int pv_count, const char *const *pv_names,

Change is needed - as lvm2api expects const behaviour here.
So vg_extend() is doing local strdup for unescaping.

skip_dev_dir return const char* from const char* vg_name.

Rest of the patch is cleanup of related warnings.

Also using dm_report_filed_string() API change to simplify
casting in _string_disp and _lvname_disp.

API change - support more const arg

As dm_report_field_string() doesn't modify content of data pointer,
it can be marked as const.

It's slight API change - but doesn't require any change on the user side
and supports wider range of arguments without const casting.
(i.e. we may use as paramater const lv struct this way:  &lv->name)

Void* arithmetic replaced with char*

Fix !DEVMAPPER_SUPPORT build

Fix build when devmapper is disabled.

Remove fs_unlock after failed suspend

Explicit fs_unlock() after failed suspend is not need -
as it will happen automatically with nearest lv_info()
or vg_unlock().

Critical section

New strategy for memory locking to decrease the number of call to
to un/lock memory when processing critical lvm functions.

Introducing functions for critical section.

Inside the critical section - memory is always locked.
When leaving the critical section, the memory stays locked
until memlock_unlock() is called - this happens with
sync_local_dev_names() and sync_dev_names() function call.

memlock_reset() is needed to reset locking numbers after fork
(polldaemon).

The patch itself is mostly rename:

memlock_inc  -> critical_section_inc
memlock_dec  -> critical_section_dec
memlock      -> critical_section

Daemons (clmvd, dmevent) are using memlock_daemon_inc&dec
(mlockall()) thus they will never release or relock memory they've
already locked memory.

Macros sync_local_dev_names() and sync_dev_names() are functions.
It's better for debugging - and also we do not need to add memlock.h
to locking.h header (for memlock_unlock() prototyp).

Replace PV_MIN_SIZE with function pv_min_size()

Add configurable option to define minimal size of
of block device usable as a PV.

pv_min_size() is added to lvm-globals and it's being
initialized through _process_config.

Macro PV_MIN_SIZE is unused and removed.

New define DEFAULT_PV_MIN_SIZE_KB is added to lvm-global
and unlike PV_MIN_SIZE it uses KB units.

Should help users with various slow devices attached to the system,
which cannot be easily filtered out (like FDD on /dev/sdX):
https://bugzilla.redhat.com/show_bug.cgi?id=644578

Support 64bit ints in config

Fix for bug 677739: removing final exclusive cmirror snapshot,
                    results in clvmd deadlock

When a logical volume is activated exclusively in a cluster, the
local (non-cluster-aware) target is used.  However, when creating
a snapshot on the exclusive LV, the resulting suspend/resume fails
to load the appropriate device-mapper table - instead loading the
cluster-aware target.

This patch adds an 'exclusive' parameter to the pertinent resume
functions to allow for the right target type to be loaded.

Fix an lv_postorder bug where it failed to clear temporary flags, making it
impossible to use twice with the same LV(s). Discovered by Milan.

Avoid flooding syslog with redundant messages when a snapshot is invalidated
(reported by Corey).

bug 659264: more examples for pvmove

Allow overriding the DM_DEV_DIR used by the test suite (fixes BZ 672796). Use
like this:

# LVM_TEST_DEVDIR=/tmp/dev make check

Fix a typo in pvmove.8 (fixes BZ 673618, spotted by John Bradshaw).

post-release

pre-release

orginal WHATS_NEW entry was changed to be less in-line with change it
was associated with.  Update entry to be clearer than both.

Revert DEBUG_MEM cleanup commit

As functions compiled within this define are apparently stil part of the public API,
(though lvm2 code is never using them unless this define is used for compilation),
keep functions available in the code for now -> revert.

Fix CRC32 calculation on big endian CPU

Fix regresion from 2.02.75 speedup - so currently crc32 is a little bit
more complicated on big-endian CPU as the uint32_t needs to be shifted
on here.

post-release

pre-release

Add configure option --with-device-nodes-on

Make configurable default behaviour how to deal with device node creates.
With udev system natural options should be  'resume'.
For older systems where user expect there is node in /dev/mapper immediately
after  dmsetup create --notable  -  use 'create'

FIXME:
Code needs fixing passing this flag through udev cookie.

pre-release

Warn if secure data flag requested but not supported by kernel.

Place back some common options

Until man pages are generated keep some common options with all commands.

Allow snapshots in a cluster as long as they are exclusively
activated.

In order to achieve this, we need to be able to query whether
the origin is active exclusively (a condition of being able to
add an exclusive snapshot).

Once we are able to query the exclusive activation of an LV, we
can safely create/activate the snapshot.

A change to 'hold_lock' was also made so that a request to aquire
a WRITE lock did not replace an EX lock, which is already a form
of write lock.

Add --addnodeonresume, --addnodeoncreate

Add new function dm_task_set_add_node() to select between 2 types
of node creation in device directory.

DM_ADD_NODE_ON_RESUME is now default and ensures node is created on
resume. Old original behavior is accessible with DM_ADD_NODE_ON_CREATE.
In this case node would be created during dmsetup create --notable.

For the user 2 new options for dmsetup create are added:
[{--addnodeonresume | --addnodeoncreate }]

Properly working node creation on resume is needed for proper operation
stacking and ability to correctly check in which state the device should
after whole udev transation.

Remove extra sync calls.

Remove temporaly added fs_unlock() calls to fix clmvd usablity.
Now when the message passing is properly working - they are no longer needed.
Simplify no_locking  check for VG unlock - as message is always send
for all targets - clustered & non-clustered.

Use cluster-wide message to request device name sync

Thanks to CLVMD_CMD_SYNC_NAMES propagation fix the message passing started
to work. So starts to send a message before the VG is unlocked.
Removing also implicit sync in VG unlock from clmvd as now the message
is delievered and processed in do_command().
Also add support for this new message into external locking
and mask this event from further processing.

Fix operation node stacking for consecutive dm ops

With the ability to stack many operations in one udev transaction -
in same cases we are adding and removing same device at the same time
(i.e. deactivate followed by activate).

This leads to a problem of checking stacked operations:
i.e. remove /dev/node1 followed by create /dev/node1

If the node creation is handled with udev - there is a problem as
stacked operation gives warning about existing node1 and will try to
remove it - while next operation needs to recreate it.

Current code removes all previous stacked operation if the fs op is
FS_DEL - patch adds similar behavior for FS_ADD - it will try to
remove any 'delete' operation if udev is in use.

For FS_RENAME operation it seems to be more complex. But as we
are always stacking FS_READ_AHEAD after FS_ADD operation -
should be safe to remove all previous operation on the node
when udev is running.

Code does same checking for stacking libdm and liblvm operations.

As a very simple optimization counters were added for each stacked ops
type to avoid unneeded list scans if some operation does not exists in
the list.

Enable skipping of fs_unlock() (udev sync) if only DEL operations are staked.
as we do not use lv_info for already deleted nodes.

Suport DM_SECURE_DATA_FLAG.

It will be user for cryptsetup to ensure buffers are properly
wiped when sending sensitive data (key).

Increase hash table size to 1024 lv names and 64 pv uuids

Remove fs_unlock from lv_resume path

Keep it within clvmd until message for SYNC starts to work.

Fix wipe size when seting up mda.

Do not check for open_count when not needed.

Disable open_count checking in lv_info it it's not used.

Fix previous commit (comment out unsable code for now).

Synchronize with udev for lv_info

In case the open_count is requested via lv_info - check if there
are any udev operations in-progress - and wait for them
before checking for lv_info

a few more comments

Allow CLVMD_CMD_SYNC_NAMES to be propagated around the cluster if requested.

Better fix for no-locking udev sync and clvmd

This is better way how to fix clustered synchronization with udev.
As the code for message passing needs fixed - put currently
fs_unlock() after every active/deactive command in clvmd to
ensure nodes are properly created in time.

Revert wrong fix for nolock locking missing fs_unlock

Patch was wrond and introduced recursive lock_vol
Reverting it.

Update WHATS_NEW for lvmdump change.

Add "dmsetup ls --tree" output to lvmdump.

It would be most useful to add "dmsetup ls --tree" to the commands run.
This command helps in answering the question "which devices are actually
underneath a given LV?"

Although the info is available with other existing dmsetup commands,
adding this command gives a much clearer summary of complex setups.

Here's an example of an LVM mirror, with mirror images on partitions
created on top of multipath devices.  The multipath devices are on
simple block devices.  As you can see, it is easy to see the stacking
from the "dmsetup ls --tree" output:

vgmpathtest-lvmpathmir (253:14)
 ├─vgmpathtest-lvmpathmir_mimage_1 (253:13)
 │  └─mpath5p1 (253:5)
 │     └─mpath5 (253:2)
 │        ├─ (8:16)
 │        └─ (8:0)
 ├─vgmpathtest-lvmpathmir_mimage_0 (253:12)
 │  └─mpath6p1 (253:6)
 │     └─mpath6 (253:3)
 │        ├─ (8:48)
 │        └─ (8:32)
 └─vgmpathtest-lvmpathmir_mlog (253:11)
    └─mpath7 (253:4)
       ├─ (8:80)
       └─ (8:64)
VolGroup00-LogVol01 (253:1)
 └─ (202:2)
vgtest-lvmir (253:10)
 ├─vgtest-lvmir_mimage_1 (253:9)
 │  └─ (7:1)
 ├─vgtest-lvmir_mimage_0 (253:8)
 │  └─ (7:0)
 └─vgtest-lvmir_mlog (253:7)
    └─ (7:3)
VolGroup00-LogVol00 (253:0)
 └─ (202:2)

But it is much harder to see the stacking with only the commands today
("dmsetup info", "dmsetup status", and "dmsetup table").  We could
piece together the stacking from "dmsetup table" but it requires
further processing (take output from "dmsetup info to get
map name to major/minor, then parse "dmsetup table", etc).

fix bad 'strcmp's in 'decode_lock_type' - missing !'s

There was no effect from having this wrong yet, because the
tree of callers only ever cared about the answer to the first
condition (!response), which determines whether a lock is
held or not.  Correct responses, however, are needed soon.

Skip sysinit test for cluster
Add #bin/bash to utils.sh
and update fsadm test to current version of aux script

Fix udev synchronization for no-locking mode

Instead of implicitly syncing udev operation in clustered and
file locking code -  call synchronization directly in lock_vol() when
the operation unlocks VG

The problem is missing implicit fs_unlock() in the no_locking code.
This is used with --sysinit on read-only filesystem locking dir.
In this case vgchange -ay could exit before all udev nodes are properly
synchronised and may cause problems with accessing such node right after
vgchange --sysinint command is finished.

Add test case for vgchange --sysinit.

Add a debug message when uevent is not generated and we call udev_complete internally.

Lower device size of pvmove test

Lower the size of devices in this test for speedup.
And check only once that  LVs are prepared properly.

Lower disk space usage of inconsistent mda test

Smaller size of devices speedups this test.

Replacei sleep wait with udev settle

Use new udev_wait command instead of unpredictable sleep waiting.
As with more devices in the system, udev processing is slower.

Query only test related vg name

Add command to wait for udevadm settle

Do not break pipes

As the option 'set -e -o pipefail' is very sensite on pipe breaking
stop using '-q' for grep commands.

Otherwise this command (with large enough table) would fail:

 dmsetup table | egrep -q

with exit code 141 (128 + SIGPIPE)

As Peter suggested, he prefers to keep '-o pipefail' - so make sure all
piped commands will read the whole output and will not exit too early.

Accelerate mirror tests

Instead of recreation of whole device set for each test round,
just cleanup created LVs to empty VG.
Lower the size of PV devices to 16MB

Display duration of tests when it passed.

Enhance output with info about the test duration.
Cleanup few declarations in the code.

Updating man pages

Compile code for memory debuging only with DEBUG_MEM

When it's not in use - do not compile this code.
Improves lcov code coverage results for this code a lot :)

Set DM_UDEV_DISABLE_OTHER_RULES_FLAG for suspended DM devices in udev rules.

This is to avoid any scanning and processing of DM devices while they are in
suspended state (e.g. a rename while the device is suspended - a CHANGE event
is generated!). Otherwise, any scanning in the rules could end up with locking
the calling process until the device is resumed and so we don't receive a
notification about udev rules completion until then (and that effectively
locks out the process awaiting the notification!).

However, we still keep 'disk' and any 'subsystem' related udev rules running.
We trust these and these should check themselves whether a device is suspended
or not, not trying to run any scanning if it is.

Use memcpy and add error message

strncpy (which check each byte for \0) is not need as we always copy
the length size - so using memcpy is a bit cheaper.

Add missing log_error message for failed allocation.

Skip NULL check before dm_free

dm_free checks for NULL itself.

Avoid rebuilding of uuid validation table

Small CPU relax...

Improve lvcreate "insufficient extents" errors to "insufficient free space".

Use O_DIRECT when reading block devices.

Add missing lvm_quit in test

Fix occasional confusing memory leak report in testing.

Initialize pool object for each row

Fix assert abort of dmsetup (when compiled with pool debug)
dmsetup splitname --nameprefixes --noheadings --rows gvg-a2

Move pool begin in the inner loop - otherwise it would using
already 'ended' pool object.

post-release

pre-release

Bring lvscan man page up-to-date.

Fix lvchange --test to exit cleanly.

Add change_tag to toollib.
Allow multiple pvchange command line options to be specified together.

If other process finishes (or aborts) pvmove operation and
polling function cannot find any lv with PVMOVE flag, return
success and do not print  "aborting" message.

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=602389

In some versions (RHEL6) dlm_create_lockspace() always
return lockspace reference (even if lockspace already exists)
and thus increases DLM lockspace count. It means that after
clvmd restart the lockspace is still in use.

(The only way to clean environment to enable clean cluster
shutdown is call "dlm_tool leave clvmd" several times.)

Because only one clvmd can run in time, we can use simpler logic,
try to open lockspace with dlm_open_lockspace() and only if it fails
try to create new one. This way the lockspace reference doesn not
increase.

Very easily reproducible with  "clvmd -S" command.

Patch also fixes return code when clvmd_restart fails and fixes
double free if debug option was specified during restart.

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=612862

Remove duplicate statement (pasted twice by patch at some point?)

Add test to make sure that a log device is retained when a
mirror image fails and the policies are set to:
 mirror_image_fault_policy = "replace"
 mirror_log_fault_policy = "remove"

Remove DEBUGLOG from dmeventd.

Add -f (don't fork) option to clvmd and fix clvmd -d<num> description.

remove unused definitions

post-release

pre-release

Remove -f from list of targets for cleanup

rm -f is already in used for this cleanup.

Do not scan devices unnecessarily for reseting error counter

For reseting error counter use directly btree cached elements and do not
create whole dev_iterator.