[REGEX] reduce the number of charset nodes that are produced

[REGEX] another matcher_t test with a larger set of regexes, only interested in the fingerprint

[REPORT-GENERATORS] cut down stylsheet.css to what we actually use

[REGEX] add a fingerprinting facility to allow test code to compare dfas

[UNIT-TEST] test for recent dm_bit_and() function

[UNIT-TESTS] add test for the recent dm_bitset_equal() function

Add a unit test for the recent changes to dm_bit_get_next()

Wire the regex tests up to the reports

Move tests from old-tests/regex to unit-tests/regex.  unit-tests will
contain tests that currently work.

Report generators for unit tests and memory checks.  Configure with
--enable-testing.

Fix for bug 614164: No check for existing name when splitting mirror

The user could use the same name as an existing LV when specifying a
name for an LV split off from a mirror.  This causes all sorts of
issues.

Fix reversal of LV list before performing a split mirror.

When splitting off mirror images from a mirror, we always take
LVs from the end of a list.  For example, if the mirror sub-devices
are lv_mimage_[012], we should select lv_mimage_2 if splitting off
one image.  However, lv_mimage_0 was being selected instead.

The problem came from calling '_move_removable_mimages_to_end'
when it was unnecessary to do so.  When the user /does/ specify
specific devices to be removed, this function properly moved the
appropriate LVs to the end of the list for extraction.  However,
if the user /doesn't/ give any specific PVs, the function should
do nothing.  '_move_removable_mimages_to_end' was keying off of
whether 'removable_pvs' was NULL or not and this value was
improperly being populated with the set of all available PVs.
This was causing '_move_removable_mimages_to_end' to completely
reverse the list, which in turn caused us to extract the
hithertofore front-of-the-list LVs.

Fix for bug 612311: Split of linear provides no error msg

An unhandled condition allowed the command to terminate
cleanly without a warning.  Added a check for the
'--splitmirrors' argument to allow execution to the lower
level function that has the check to see if the user is
trying to split a linear device.  You should now see a
message if you try to use --splitmirrors on a linear device.

Fix for bugs: 612248 & 612291 Split mirror issues

The main problem with these bugs was that the newly split
off LV was not being suspended properly.  This meant that
the memlock count was not being balanced, the DM devices
were not being renamed, and some DM devices which should
have been removed were not.

I've also renamed some of the variables and added comments
to make things clearer as to what is going on.  (I can break
this patch in two if it means easier review.)

Minor man page updates related to metadataignore and vgmetadatacopies.

pvchange: Add --metadataignore description
vgchange: Fix minor formatting
pvcreate: Update metadataignore description to refer to pvchange
lvm.conf: Refer to pvcreate and pvchange for metadata options.

Add dm_create_lockfile to libdm to handle pidfiles for all daemons.
Switch dmeventd to use dm_create_lockfile and drop duplicate code.
Allow clvmd pidfile to be configurable.
Switch cmirrord and clvmd to use dm_create_lockfile.

More comment updates in lvm2app.h.

Update comments about memory handling in lvm2app.h.

Addendum for previous patch - show VG/LV name everywhere so the messages
are consistent.

Add more verbose messages while checking volume_list and hosttags settings.

This should bring less confusion when there are some settings left and
people just forgot about it and then they run into problems. These messages
should give them a hint of what's really going on.

Failed to test for the case where a log was requested to be removed
even though there was no log.  A simple run through the in-tree test
suite would have caught this.  :(

-               if (lv_is_mirrored(detached_log_lv) &&
+               if (detached_log_lv && lv_is_mirrored(detached_log_lv) &&

Also, made some cosmetic changes suggested by kabi after my last check-in
(e.g. s/return 0/return_0/ and adding an error message).

Update WHATS_NEW

Add log_error when strdup fails in {vg|lv}_change_tag().

Signed-off-by: Dave Wysochanski <dwysocha@redhat.com>

Remove unnecessary list of includes in liblvm files.

Signed-off-by: Dave Wysochanski <dwysocha@redhat.com>

Use __attribute__ consistently throughout.

Fix redundant declarations and always compile with -Wredundant-decls.

Remove superfluous fn prototypes.

Finish fix for bug 607347: failing both redundant mirror log legs...

A previous check-in added logic to handle the case where both images
of a mirrored log failed.  It solved the problem by simply removing
the log entirely - leaving the parent mirror with a 'core' log.  This
worked for most cases.  However, if there was a small delay between
the failures of the two mirrored log devices, the mirror would hang,
LVM would hang, and no additional LVM commands could be issued.

When the first leg of the log fails, it signals the need for repair.
Before 'lvconvert --repair' is run by dmeventd, the second leg fails.
'lvconvert' would see both devices as failed and try to remove the
log entirely.  When it came time to suspend the parent mirror to
update the configuration, the suspend would hang because it couldn't
get any I/O through the mirrored log, which was plugged waiting for
corrective action.  The solution is to replace the log with an error
target to clear any pending writes before removing it.  This allows
the parent mirror to suspend and make the proper changes.

Pass metadataignore to pv_create, pv_setup, _mda_setup, and add_mda.

Pass metadataignore through PV creation / setup paths.
As a result of this cleanup, we can remove the unnecessary setting
of mda_ignore bits inside pvcreate_single(), after call to pv_create.
For now, just set metadataignore to '0' in some places.  This is
equivalent to the prior functionality, although the 0 is given
by the caller not hardcoded in _mda_setup() call.

Signed-off-by: Dave Wysochanski <dwysocha@redhat.com>

Init mda->list in mda_copy.

This patch should be no functional change as all callers initialize
mda->list.

Fix format string from patch apply mistake

Revert previous commit as it would return also for incorrect syntax.

Update for dmsetup

Set return value 0 for 'dmsetup -c -o help'

Small update of memlock debug messages.
Gives slightly better alligned lines for reading.

Do not log backtrace in valid _lv_resume() code path

Minor optimalization of _test_word.
Skip ffs() if  (test >> bit) is 0.

Cleanups for configure:
 Indent updates.
 Use AC_HELP_STRING for help string.
 Start help string with lower letter.
 Add [] around some default values i.e. [TYPE=internal].
 Skip some "" around shell assigment when not needed.
 Fix typo --with-device-gid=UID string.

Shorten prompt for pvchange and vgextend.

Add --force to pvchange, and allow override of prompt involving metadataignore.

Signed-off-by: Dave Wysochanski <dwysocha@redhat.com>

Add prompt if using --metadataignore argument with vgmetadatacopies.

When using vgmetadatacopies value other than "umanaged" (0), prompt
the user if the usage of --metadataignore would change the value of
vgmetadatacopies.  The main 2 cases are:
1) pvchange --metadataignore
2) vgextend --metadataignore

We leave the prompt check in the tools, and do not change anything
if the user says 'n'.

Examples:
vgextend --metadataignore y vgtest /dev/loop0
Setting metadataignore will override preferred number of copies of VG vgtest metadata.
Are you sure? [y/n]: y
  No physical volume label read from /dev/loop0
  Physical volume "/dev/loop0" successfully created
  Volume group "vgtest" successfully extended

pvchange --metadataignore y /dev/loop3
Setting metadataignore on /dev/loop3 will override preferred number of copies of VG vgtest metadata.
Are you sure? [y/n]: y
  WARNING: Changing preferred number of copies of VG vgtest metadata from 3 to 2
  Physical volume "/dev/loop3" changed
  1 physical volume changed / 0 physical volumes not changed

Signed-off-by: Dave Wysochanski <dwysocha@redhat.com>

Add warning to vgextend and pvchange if metadataignore given on cmdline.

Warn the user then change the value of vg_mda_copies.

Signed-off-by: Dave Wysochanski <dwysocha@redhat.com>

Test failed commit of mda on new pv - failed vgextend.

Test the auto-repair capability when we fail committing to an mda
on a new pv adding to a vg.  This test should fail until we fix
the auto-repair in this case.

Use "nowatch" udev rule for known inappropriate devices.

For now, this is just a precaution. Normally, all the other (non-dm) rules
should check DM_UDEV_DISABLE_OTHER_RULES_FLAG and therefore avoid setting
any inotify watches as well. But let's make sure.

Support for final assignment of the "nowatch" rule (the use of ":=") will
appear in next udev release, v160. This should also work in previous udev
versions but the setting won't be sealed so any further OPTIONS="watch" will
always prevail there.

We may want to add more specific "nowatch" rules later if needed.

Adjust auto-metadata repair and caching logic to try to cope with empty mdas.

- If a PV contained empty mdas, the auto-recovery code was not kicking in.
- The 'inconsistent' state was getting lost when metadata was cached so
  recovery didn't kick in.  But leave the behaviour alone when using
  precommitted metadata because of a warning in a confusing FIXME.

In my testing, pvs and vgs didn't repair inconsistent metadata like they
used to do.  (How many other tools fail similarly now?)

And there should be no need to cache inconsistent metadata because it is
supposed to get repaired under the protection of a write lock immediately it is
discovered.

This code is in need of a redesign based on first principles.
I still see bugs in this code and this commit is risky.

post-release

.

fix code in 2nd mda unignore loop to match 1st loop

s/flags/mda/

shorten mesg

fix jumbled args in 'Adjusting' message

Fix for bug 607347: failing both redundant mirror log legs...

Rather than attempting to remove all the images of a mirrored
log volume via remove_mirror_images, simply remove the log
if all its devices have failed.

Taka was the first to report that there is still an outstanding
issue with handling this case.  I've managed to reproduce it
only very rarely, and am still working on identifying the problem.
Failing to handle the problem rarely is better than not handling
the scenario at all, so I'm checking this in.

pre-release

Fix dmlosetup snprintf %llu compiler warning.

Randomly select which mdas to use or ignore.
Add some missing standard configure.in checks.

Add parentheses to some libdevmapper.h macro arguments.

Add printf format attributes to yes_no_prompt & dm_{sn,as}printf and fix a calle

.

Minor changes to man pages for --metadataignore.

Move the definition from pvchange to pvcreate - the location of
other metadata options.

remove unneeded header

Always pass unsuspended dm devices through persistent filter to other filters.
Move test for suspended dm devices ahead of other filters.

Fix another segfault in clvmd -R if no response from daemon received.

Missed the same problem in another function...

Remove superfluous suspended device counter from clvmd.

Moreover, in current mirror handling, when it calls activate
on removed but suspended detached log this counter drops below zero
and confuses debug log.

Fix lvm shell crash when input is entirely whitespace.  (Xinwei Hu)

Move dmeventd man page from install_lvm2 to install_device-mapper. (1.02.50)

Restore the "removemissing" behaviour of lvconvert --repair --use-policies.

Update metadata-balance test for --vgmetadatacopies 0.

Should be equivalent to "unmanaged".

.

Maintain memlock balance in clvmd.

When a mirror is being downconverted in a cluster, a series of suspends and
resumes is executed.

With the change to using UUIDs in dev_manager instead of names, the behaviour
has changed with regards to including an _mlog in the deptree of a logical
volume. In the old (pre-UUID-enabled) code, the _mlog would appear in a deptree
of any volume purely based on a name match: a linear volume foo would include
foo_mlog in its dependencies if that happened to exist. This behaviour was
fixed and the mlog is now only included for mirrors.

By a coincidence, this mlog bug had been hiding a different bug in clvmd. When
a mirror is being dismantled (and converted to a linear volume), it is first
suspended as a whole, then later resumed in parts. Nevertheless, the overall
memlock balance is maintained in this operation. The problem kicks in, because
even though the mirror log was suspended as part of the mirror, when the
dismantled mirror is resumed again, it is no longer a mirror and therefore the
mirror log stays suspended. This would not be a problem in itself, since
_delete_lv (from metadata/mirror.c) is called on it subsequently, which does an
activate/deactivate cycle and removes the LV. The activate/deactivate cycle
correctly prompts clvmd to resume the device: however, in doing this, it will
issue an unpaired resume operation (the suspend that caused the mirror log to
be suspended is paired with resuming the dismantled mirror later). We have
concluded that the path in clvmd should never affect memlock_count, since there
should never be an unmatched explicit suspend preceding this resume.

Fix --[vg]metadatacopies arg processing

improve vgmetadatacopies unmanaged message

Check for missing_pv in vg_remove loop.

If a pv is missing, we should just skip it rather than checking the
device size and failing the vgremove.

more mda ignore cleanups

Refactor vg_remove_check to place pv removal into separate function.

more metadataignore message/code cleanup

  Update partial mode warning message.

revert that

suppress useless compiler warning

post-release

Only attempt to guarantee 1 mda ignored if there's at least one mda in the vg.

 Only attempt to guarantee 1 mda ignored if there's at least one mda in the vg.

pre-release

Fix vgremove to allow removal of VG with missing PVs. (2.02.52)

Improve various log messages.

Update nightly tests for vgextend --metadataignore.

Update nightly tests for vgextend --metadataignore.

Add --metadataignore to vgextend and man pages.

Add pvmetadatacopies to lvm.conf and pvcreate man pages.

Update pvcreate tests for --metadataignore.

Add --metadataignore to pvcreate.

Allow metadataignore flag to be passed in to pvcreate.
Ideally, more refactoring of the mda allocation / initialization
is warranted, but for now, we just add another parameter to 'add_mda'
to take an existing mda ignored flag.  We need to do this or pv_write
loses the state of the mda 'ignored' flag before copying and writing
to disk.

Improve logging for setting --vgmetadatacopies.

Example of logging:
metadata/metadata.c:1127     Setting mda_copies = 3 on vg vgtest
metadata/pv_manip.c:296         /dev/loop2 0:      0     25: NULL(0:0)
metadata/pv_manip.c:296         /dev/loop3 0:      0     25: NULL(0:0)
metadata/pv_manip.c:296         /dev/loop4 0:      0     25: NULL(0:0)
metadata/metadata.c:1072     Adjusting ignored mdas on vg vgtest, vg_mda_used_count=5, vg_mda_copies=3
metadata/metadata.c:1015     Setting ignore flag for 2 mdas on vg vgtest
metadata/metadata.c:4151     Setting mda ignored flag for metadata_locn /dev/loop2.
metadata/metadata.c:4151     Setting mda ignored flag for metadata_locn /dev/loop3.

Improve logging for metadata ignore by printing device name.

Print device name when setting or clearing metadata ignore bit.
Example:
label/label.c:160       /dev/loop2: lvm2 label detected
cache/lvmcache.c:1136         lvmcache: /dev/loop2: now in VG #orphans_lvm2 (#orphans_lvm2)
metadata/metadata.c:4142     Setting mda ignored flag for metadata_locn /dev/loop2.
format_text/text_label.c:318     Skipping mda with ignored flag on device /dev/loop2 at offset 4096

Add some log_verbose debug statements related to metadataignore.

Logging isn't ideal, especially for mda_set_ignore.  Ideally we'd
like to display the device name and offset in this case but this
requires a bit more work and a per-format 'mda_description' function
pointer definition (we don't have access to mda_context in
metadata.c).

Move code into pv_change_metadataignore library function.

In preparation to call this from both pvcreate as well as pvchange,
move the guts of metadataignore into a library function.

Signed-off-by: Dave Wysochanski <dwysocha@redhat.com>

Add error message if backup_to_file fails because of empty in_use mdas list.

Add more initializations of 'mda->flags' field.

Mda allocation needs refactored into a single function but as an
interim step, ensure mda->flags is initialized properly.

Attempt to fix intermittent failure with non-debug configured vgcfgbackup.

There's an intermittent failure with vgcfgbackup that seems to have been
introduced with the metadataignore / vgmetadatacopies patchset.
Intermittent failures are often the result of uninitialized data,
so this patch calls zalloc in a few places it might matter.

Update WHATS_NEW for --metadataignore and --vgmetadatacopies changes.

Update t-covercmd pvck to take proper device argument.

Fix compile warning in vgchange.c regarding mda_copies initialization.