Replicator: extend volume_group with list of VGs and flag

Add pointer to linked list of opened VGs. List temporarily keeps
the information about needed or locked and opened VGs for replicator target.

Also add cmd_missing_vgs flag information for quick check and
also for possible continuos process_each_lv() usage where we need
to detect whether failure has been caused by missing VG or
some other reason.

Replicator: extend _lv_each_dependency() with dependencies for Replicator devices

Replicator: check replicator segment

Check for possible problems within replicator structures.
Used also by vg_validate.

Replicator: new files for Replicator target

Replicator: base lvm2 support

Adding configure.in support for Replicators.
Adding basic lib lvm support for Replicators.
Adding flags REPLICATOR and REPLICATOR_LOG.
Adding segments SEG_REPLICATOR and SEG_REPLICATOR_DEV.
Adding basic methods for handling replicator metadata.

Replicator: check open_count for parents of presuspend_node

For deactivation of Replicator check in advance that all heads
have open_count == 0. For this presuspend_node is used as all
head nodes are linking this control node.

Replicator: support deactivate of replicator-dev nodes

Introducing dm_tree_node_set_presuspend_node() for presuspending child
node (i.e. replicator control target) before deactivation of parent node
(i.e. replicator-dev target).

This patch presents no functional change to current dtree - only
replicator target currently sets presuspend node for dev nodes.

Replicator: libdm support

Introducing new API calls:
dm_tree_node_add_replicator_target()
dm_tree_node_add_replicator_dev_target().

Define new typedef dm_replicator_mode_t.

API change for args of process_each_lv_in_vg()

Patch adds failed_lvnames to the list of parameters for process_each_lv_in_vg().
If the list is not NULL it will be filled with LV names of failing LVs
during function execution.

Application could later reiterate only on failed LVs.

Return ECMD_FAILED for break in process_each_lv() and process_each_segment_in_lv()

post-release

Fix $(INSTALL_SCRIPT)

backup->cache

pre-release

If unable to obtain snapshot percentage leave value blank on reports.

Add make install_initscripts

Add install_system_dirs makefile target.
Add configure options for system and locking directories.

Generate example.conf so default lvm.conf contents can be configured.

Install lvmconf script by default.
Remove unnecessary versioned dmeventd plugin symlinks.

Remove another pvchange hack involving orphan VG names.

Unnecessary as a result of recent changes.

Remove hack in pvchange to unlock orphan VG.

With agk's recent changes, the lock/unlock APIs can properly handle
orphan VG names.

Fix warnings with conversion of uuid.

More cleanup of uuid casting / structures is needed but for now just
cast like the rest of the code.

Update WHATS_NEW

Test lvm_vgname_from_{pvid|device}.

Add lvm2app interfaces to lookup a vgname from a pvid and pvname.

lvm2app forces applications to start with a volume group name,
open the volume group, then operate on individual pvs.  In some
cases the application may want to start with a device name rather
than the volume group name.  Today, if an application wants to
do this, it must iterate through all the volume groups to find
the volume group that the specific device is attached to.
These new interfaces allow the application to avoid such overhead.
Bump the lvm2app version number to 3.

Update pvchange to always obtain a vg handle for each pv to process.

Earlier patches added some infrastructure to lookup a vgname from
a pvname.  We now can cleanup some of the pvchange and other code
by requiring callers that want to modify some pv property:
1) lookup the vgname by the pvname
2) use the vgname to obtain a vg handle
3) get the pv handle from the vg handle

This should work going forward and be a much cleaner interface,
as we move away from pvs as standalone objects.

Add find_vgname_from_{pvname|pvid} functions.

Some commands start with a pvname, but we'd like to force users to
start with a vg handle to obtain a pv handle.  Our best option seems
to be providing a way to look up the vgname from the pvname, and then
require them to use vg_read/vg_open.

In addition to the pvname lookup function, this patch also provides a
lookup by pvid.  The lookup by pvid can be used in conjunction with
lvmcache_get_pvids to process all pvs in the system.

The pvid find function first calls lvmcache_vgname_from_pvid, which may
cause the label to be read if it is not in the cache.  If the vgname is
returned is an orphan, we then check to see if there are metadata areas,
and if not, we scan every PV on the system by calling scan_vgs_for_pvs().
In most cases we should not need to do this, and by using the info->mdas
count, we avoid calling pv_read() as prior code did.  So this patch is a
bit cleaner and should allow us to refactor more of the pv code.

Signed-off-by: Dave Wysochanski <dwysocha@redhat.com>

Add lvmcache_vgname_from_pvid().

Add lvmcache function to lookup a vgname from a pvid.

Add pvid_from_devname() lvmcache function.

Add supporting function for mappings from devname -> pvid -> vgname.

Add is_global_vg and split out from is_orphan_vg.

Validate orphan and VG_GLOBAL lock order too.

Note that orphan lock is always obtained last

Accept orphan VG names as parameters to lock_vol() and related functions.

Use is_orphan_vg in place of hard-coded prefix tests.

post-release

pre-release

Fix clvmd init script stop function to not deactive non-clustered volume groups.

https://bugzilla.redhat.com/show_bug.cgi?id=592362

Disallow toggling the cluster attribute of a volume group if there
are active mirrors or snapshots.

We don't have the mechanisms in place to change the device-mapper
tables for those targets that have behavioral differences between
cluster and single machine instances.  Allowing users to change
the attribute but not changing the target's behavior can lead to
data corruption.

The following bugs are fixed/avoided by this patch:
235123 - vgchange -c [ny] do not change target types when necessary
289331 - RFE: switching from cluster domain to local domain needs to deactivate volume somehow
289541 - when changing from local to cluster, volumes can not appear to be deactivated

Use -d to control level of messages sent to syslog by dmeventd.
Change -d to -f to run dmeventd in foreground.
(mornfall)

Fix static build.

For lcov target there is no need to include source file dependencies

Another one internal device layer fix...

Fix empty layer detection is scan devices.

Fix device_is_usable to properly detect only internal LV names.

Use /bin/bash for scripts with bashisms

Skip also special lvm devices in scan (if ignore suspended is used).

This should avoid various races between dmeventd on multiple nodes
in cluster where one node already repairing device and another
run full scan and locks the device.

Do not print encryption key in message debug output.

Currently if clvmd is running and user issues vgscan,
the device cache file is dumped both in vgscan and clvmd process.

Unfortunately, clvmd calls lvmcache_label_scan,
it properly destroys persistent filter, but during
persistent_filter_dump it merges old cache content back!

This causes that change in filters is not properly propagated
into device cache after vgscan on cluster.
(Only new devices are added.)

https://bugzilla.redhat.com/show_bug.cgi?id=591861

Chop up the big t-lvconvert-mirror-basic loop across 4 separate test scripts
(and use sourcing to avoid code duplication).

Run tests in alphabetical (and thus stable across machines) order.

Bump the debug.log level from 4 to 9 (the numbering is different from verbose).

Revert the "repeat failed tests with -vvvv" feature. Instead, dump debug logs
to a file using log/file, with log/overwrite set and dump this file in
STACKTRACE. The overall effect is that only the command that ran last before
the failure has been triggered will get its debug output logged. This is
similar to how we treat coredumps.

A fairly extensive refactor of the mirror testing code. The exhaustive
lvconvert testing is now in its own test, t-lvconvert-mirror-basic ... it
doesn't do anything fancy but it does run lvconvert through a lot of
combinations.

I have also merged the remaining t-mirror-lvconvert tests into
t-lvconvert-mirror and abolished the former. The latter will be split again
later into more thematic divisions. (The previous split was rather arbitrary,
may I even say random...)

Revert the huge device creation in t-lvconvert-mirror and downgrade the
race-induced failure to a warning, until we have a better fix for this.

Add a test for activation in presence of missing devices. This partially covers
the robustness requirements for system startup that we have.

Rename t-partial-activate to t-activate-partial (more activation tests coming).

The "should" testing utility should actually only give a warning when the
command fails.

Improve the "check" testing utility: slightly refactor and provide
active/inactive checks.

If we are checking if '--nosync' was called with the mirror argument,
then let's also check if '--mirrorlog' was called with the mirror
argument.

Add pkgconfigdir for placement of .pc files

Use easily overideable make install pkgconfigdir variable.

Switch to use Requires.private for devmapper.pc and lvm2app.pc

Use Requires.private: instead of Libs.private:
Use UDEV_PC and SELINUX_PC for Require.private:

It looks like usage of Requires.private is prefered from Libs.private.
However pkg-config documentation is really poor here. But here is
short outcome:

There is a difference in Libs.private: and Requires.private: where
we specify libselinux instead of  -lselinux -lsepol.

We leave resolving of query like 'pkg-config --libs --static devmapper'
on taking proper selinux and udev libs to their .pc files instead of
hardcoding them into our .pc file which is might give incorrect answer.
- i.e. dependency of libselinux package might change and we may return
wrong list of linked libraries.

http://bugs.freedesktop.org/show_bug.cgi?id=4738
http://err.no/personal/blog/tech/2008-03-25-18-07_pkg-config,_sonames_and_Requires.private

Add UDEV_PC and SELINUX_PC substituted variables

Use Require.private: field for devmapper-event.pc

Move devmapper to Require.private: field and remove unneeded libs
from Libs.private: as they are dependencies of devmapper library.

Skip unneeded 'cat' command execution.

Plugins do not use pthread or lvm2cmd directly.

Plugins are using pthread and lvm2cmd libraries indirectly
through devmapper-event-lvm2, so link only with libraries used by them.

Link libdevmapper-event.so with libdevmapper.so.
For now using $(LIBS) for a list of linked libraries to $(LIB_SHARED) library.

Link liblvm2cmd.so with devmapper-event and devmapper libs.
and remove generic %.so: %.a target.

Headerfile <pthread.h> is no longer needed here

Fix truncated total size displayed by pvscan.

Add a basic test for dmeventd triggering lvconvert --repair. Needs improvement.

Add some basic provisions for automated testing of dmeventd.

Add new --sysinit option for vgchange and lvchange.

A shortcut for --ignorelockingfailure, --ignoremonitoring, --poll n options
and LVM_SUPPRESS_LOCKING_FAILURE_MESSAGES environment variable used all at
once in initialisation scripts (e.g. rc.sysinit or initrd).

Add dm_list_splice() to join two lists.

Install plugins to subdirs

Target install_dm_plugin installs files to libdir/device-mapper.
Target install_lvm2_plugin installs files to libdir/lvm2.

Both targets creates relative links to libdir to keep the code
compatible with current dlopen handling.

Once we will be able to read plugins from subdir, links
could be removed.

What's new.

Suppress duplicate error messages about read failures and missing devices.

Specify exactly which ioctl doesn't have a cookie set (for better debugging).

Synchronize "remove" dm task while reverting unsuccessful "create" dm task
(with table provided).

This remove ioctl generates udev events like any other hence it needs to be
synchronized properly as well. Also, add dm task type in debug log when
setting a cookie (for better debugging).

post-release

typo

pre-release

Add a "should" alongside "not" to the test utilities. When a "should" command
fails, the test will carry on but will issue a warning. The harness detects
such warnings from tests and marks tests that passed with warnings with a
special status.

change awk path

And be consistent with return code as well (previous commit).

Don't run any complex initialisation for the "version" lvm2 command.

We can use it even in read-only environment where a try to initialise
file-based locking fails (not to mention other processing related with
lvm2 init). Simply, we want to output the version only, nothing else.
And this should always work.

Initialise _vginfos list staticaly so there is no problem with using uninitialised
variables in case, lvmcache_destory() is called without lvmcache_init().

Release pools for regex if there is error during processing
(fixes error messages about unreleased pools).

Show string with invalid pattern
and start error message with capital letter.

.

.

Remove no-longer-used arg_ptr_value.
Fix -M and --type to use strings not pointers that change on config refresh.

Test all combinations of mirror conversion, both while the LV
is active and while it is in-active.

+for i in $(seq 0 4); do
+       for j in $(seq 0 4); do
+               for k in core disk mirrored; do
+                       for l in core disk mirrored; do

The testing code still needs some improvement.  I'd like to add
the ability to test specifying the PVs to be added/removed during
a convert.  It will also be important to test partial PV
specification during down converts (i.e. request to remove more
mirror images than we have provided PVs for).

Don't attempt to convert the log type of an LV if the LV
is not a mirror.

Add support for new IMPORT{db} udev rule.

This rule appeared in udev v152 and it helps us to support spurious events
where we didn't have any flags set (events originated in udevadm trigger
or the watch rule). These flags are important to direct the rule application.
Now, with the help of this rule, we can regenerate old udev db content.
To implement this correctly, we need to flag all proper DM udev events with
DM_UDEV_PRIMARY_SOURCE_FLAG. That happens automatically for all ioctls
generating events originated in libdevmapper.

Small indent change

Fix comment from last commit.  Additionally, there is no need
to put a comment into the WHATS_NEW file if it is a regression
that was created and fixed inside the same release window.

Patch to fix bug 586021 and mantain historical behavior of
being able to remove more images from a mirror than the
number of PVs directly specified for removal.

The effort to fix bug 581611 corrected a bug that was unnoticed
at the time.  The loop in _remove_mirror_images that looks over
the specified PVs was allowing devices that were previously
counted and moved to the end of the list to be double-counted.
This resulted in the number of devices needed for removal always
being satisfied - even if the user did not specify enough PVs
for removal to satisfy the request.  When 581611 was fixed, this
double-counting no longer took place and the result was to remove
only the minimum of the number of PVs specified or the number
that was asked to be removed.

By simply always setting 'new_area_count' (as used to be done
only in the else statement), we return to the previous behavior.
Indeed, this is exactly what the double-counting was allowing
to happen before the fix of 581611.

Mention how to get PV to LV mappings.

Fix lvconvert error message when existing mirrored LV is not found.

add comments