python-lvm: seg. fault in liblvm_lvm_percent_to_float

The first parameter needs to be present even if it isn't being
used, otherwise the one any only parameter we get is null
which causes PyArg_ParseTuple to seg. fault.

Signed-off-by: Tony Asleson <tasleson@redhat.com>

udev_sync: cookie_set=1 on each dm_task_set_cookie call

cookie_set variable found in the struct dm_task should be always
set to 1 after dm_task_set_cookie_call, even if udev_sync is disabled
as the cookie itself carries synchronization informations *as well as*
extra flags to control other aspects of udev support.

For example, one could disable the synchronization itself, but still
direct the libdm code to disable library fallback via
DM_UDEV_DISABLE_LIBRARY_FALLBACK flag. These extra flags still need
to be carried out!

A concrete example:
  $ dmsetup create test --table "0 1 zero" --noudevsync

This disables synchronization with udev. As the --verifyudev option is
not used, we don't want to do any corrections. In other words, we
need DM_UDEV_DISABLE_LIBRARY_FALLBACK flag to be used. However,
with --noudevsync this was not the case - the flag was ignored!

This patch fixes the case when noudevsync is used but there are still
some extra flags passed within the cookie flag part. The synchronization
part of the cookie stays zero (which is ok as dm_udev_wait call on such a
cookie is simply a NOOP).

version: update

clvmd: fix parsing of -d argument

clvmd -d option parsing was not working properly.

clvmd -d 2   (with space) has been ignored because of
'::' used in getopt string, and as failsafe it's been used '1'.

Later this debug_arg has been ignored and debug_opt was used
instead which happend to have value '1'.

Submitted-by: Robert Milasan <rmilasan at suse.com>
Reported-by: Robert Milasan <rmilasan at suse.com>

lvchange: support --yes option for --persistent

Support using command: lvchange --yes --persistent
to skip y|n prompt.

cleanup: fix typo in error message

yes -> yet

pvcreate: fix leak on error path

Missing vg release on error path.
Add tests for few more error cases.

python-lvm: Implement proper refcounting for parent objects

Our object nesting:

lib -> VG -> LV -> lvseg
          -> PV -> pvseg

Implement refcounting and checks to ensure parent objects are not
dealloced before their children. Also ensure calls to self or child's
methods are handled cleanly for objects that have been closed or removed.

Ensure all functions that are object methods have a first parameter named
'self', for consistency

Rename local vars that reference a Python object to '*obj', in order to
differentiate from liblvm handles

Fix a misspelled pv method name

Signed-off-by: Andy Grover <agrover@redhat.com>

Use lv_is_active instead of lv_info()

Usage of lv_is_active makes it more obvious what is being checked.

cleanup: move log_error upward in code stack

Report log_error earlier.

cleanup: switch log_error to log_warn

Use log_warn to print non-fatal warning messages.

Use of log_error would confuse checker for testing
whether proper error has been reported for some real error.

cleanup: swap return values

Use lvm standard return code for success/fail  1/0.

python-lvm: Update example to work with lvm object removal.

Signed-off-by: Tony Asleson <tasleson@redhat.com>
Signed-off-by: Andy Grover <agrover@redhat.com>

python-lvm: whitespace and Yoda conditionals

Signed-off-by: Andy Grover <agrover@redhat.com>

python-lvm: Remove liblvm object

Instead of requiring users to create a liblvm object, and then calling
methods on it, the module acquires a liblvm handle as part of
initialization. This makes it impossible to instantiate a liblvm object
with a different systemdir, but there is an alternate envvar method for
that obscure use case.

Signed-off-by: Andy Grover <agrover@redhat.com>

TEST:  Re-add testing of lvconvert-raid for kernels < 3.2

I'm not sure what 'BUG's were being encountered when the restriction
to limit lvconvert-raid.sh tests to kernels > 3.2 was added.  I do know
that there were BUG's that could be triggered when testing snapshots and
some of the earliest DM RAID available in the kernel.  I've taken out
the 3.2 kernel restriction and added a dm-raid >= 1.2 restriction instead.
This will allow the test to run on patched production kernels.

RAID:  Add "raid10" to lvcreate man page.

In addition to reference to raid10 under the '--type' argument, an
example creating a RAID10 LV has been added.

Clean-up:  Adjust message to be clearer on action taken and why

A message is printed when the region_size of a RAID LV is adjusted
to allow for large (> ~1TB) LVs.  The message wasn't very clear.
Hopefully, this is better.

release: prepare for release

scripts: blk-availability - use full name for clarity

"Stopping blk-availability" -> "Stopping block device availability:"

libdm: fix comments in libdevmapper.h

lvmetad: rename DEBUG() to DEBUGLOG()

DEBUG is already defined by -DDEBUG

Makefiles: fix distclean dir dependency

test distclean uses tools so must distclean tools after test

scripts: blk-availability should be stopped before FCoE

test: resync is for mirror devices

lvchange: resync returns error on usupported volumes

thin: disable conversion of thin-pool to read-only

This change is not yet supported.

test: detect compilation with readline

check lvm shell functionality only if compiled with readline.

thin: allow to create read-only thin-volumes

Useful for i.e. read-only thin snapshots.

scripts: blk-availability - use the same name for lock file

Remove pvscan --cache from lvm2-lvmetad init script.

This is not needed anymore as the scan is called transparently
within the first LVM command that queries lvmetad.

lvmetad: Only print scanning messages when scanning 1 device.

lvmetad: use -l for logging level not -d

lvmetad: empty types string is ok

Since now return code is test - return OK for this case.

lvmetad: document and tidy cmdline args

Try to bring the lvmetad usage text and man page closer to the code.
There seem to be 3 useful ways to use -d with lvmetad at the moment:
  -d all
  -d wire
  -d debug
(They can also be comma-separated like -d wire,debug.)
Prior to the last release, -d, -dd and -ddd were supported.
Fail if an unrecognised debug arg is supplied on the command line.
Change -V to report the same version as the lvm binary: previously it
just reported version 0.

lvmetad: fix previous commit

Ooops patch conversion for gcc cleanup missed this line.

cleanup: readable test to check for 32bit overflow

also swap return value 0 - fail, 1 - success.

thin: add support to unmount volumes

Reset counter after thin pool resize failure.

If the pool goes above threshold, support unmounting
of all thin volumes if the lvextend fails to avoid
overfilling of the pool.

test: speedup a bit

Do not wait full 10s if the invalid snapshot is already dropped.

thin: lvextend will fail is autoextend is 0%

Since extending by 0% will not increase the size of pool,
return failure.

test: coverage

Improve a bit code coverage.
Use lvm shell to reduce a bit CPU time.

lvmetad: fix leak of append on error path

cleanup: resolve dereferencing type-punned pointer

fix gcc warning:
dereferencing type-punned pointer will break strict-aliasing rules
Replace call by value and pass just const pointer to pvid.

lvmetad: fix memory leaks in error paths

Destroy interator in error path.
Releasy any possible allocated buffer from buffer_append_f
and buffer_append_vf  in error path.

cleanup: used old C standard

cleanup: drop unused assignment

Since 'n' is later reassigned and unused between, drop it's first
assign.

lvmetad: move initialization in the inner loop

Set append to NULL in the front of cycle, so the INTERNAL error path
is not leading to double-free of append pointer.

cleanup: add gcc printf __attribute__

cleanup: remove unneeded headers

Header do not provide any needed symbols.

test: update global_filter

use simplier filter for test suite

test: typo fix from last commit

test: move global_filter only to mdata_string test

Tries to help with lvmetad test and pvdisplay and unknown device.

lvmetad: release_token without lvmetad

Missing wrapper when not building with lvmetad support

test: use global_filter with initial content

debug: do not play with fds with valgring

When valgrind usage is desired by user (--enable-valgrind-pool)
skip playing/closing/reopenning with descriptors - it makes
valgridng useless.

Make sleep delay for clvmd start longer.

lvmetead: release token

Release allocated memory when destroing toolcontext

blkdeactivate: fix long form of options

Actually, long form for -d and -l option is --dmoption and --lvmoption respectively.

WHATS_NEW: update

configure: autoreconf

scripts: introduce blkdeactivate

blkdeactivate - utility to deactivate block devices

Traverses the tree of block devices and tries to deactivate them.
Currently, it supports device-mapper-based devices together with LVM.
See man/blkdeactivate.8 for more info.

It is targeted for use during shutdown to properly deactivate the
whole block device stack - systemd and init scripts are provided as
well. However, it might be used directly on command line too.

Please, see the commentary at the top of the blkdeactivate script
for dependencies and versions of other utilities required.

systemd: add deps to order units more properly

lvm2-activation-early.service (generated by activation generator) should
be ordered before cryptsetup.target.

lvm2-monitor.service should be ordered after lvm2-activation.service,
if used. The lvm2-activation.service will replace fedora-storage-init.service
and fedora-storage-init-late.service in the end, but let's have it
prepared now.

Update WHATS_NEW.

thin: prohibit lvcreate --thinpool with mirrors

Disable --thinpool to be used with mirror on lvcreate.

thin: lvm2api return origin property for thin LV

libdm: remove dm dev without error even with malformed UUID

On each ioctl return, the device UUID is decoded from \xNN format.
If the UUID of the device being *removed* is malformed (e.g. it
hasn't been corrected before), just remove it without any error
as the UUID is not needed anymore - the device is gone anyway.

Otherwise a misleading error message would be issued just after
the removal:
  # dmsetup remove test
  The UUID "a b" should be mangled but it contains blacklisted characters.
  Command failed

lvmetad: fix test for dm_asprintf

lvmetad: Fix the fix for 813766 (lvmetad connection warning).

lvmetad: validate dm_asprintf in buffer_append_vf

Check result of dm_asprintf
Check buffer_append result
Declare vars in front

lvmetad: check result of buffer_realloc

lvmetad: initialize cft value

the error should not test garbage value.

lvmetad: Make --sysinit suppress connection failure warnings.

cleanup: fix compiler warnings

remove unused vars
move var declarations into the front of functions.
fix some sign warnings

python: Add bindings for liblvm2app.

Use configure --enable-python_bindings to generate them.

Note that the Makefiles do not yet control the owner or permissions of
the two new files on installation.

lvmdump: Add -l, to collect a state dump from lvmetad.

lvmdump: Fix systems with tr on PATH outside of /usr/bin.

test: Add lvmetad-dump.sh.

lvmetad: Implement a "dump" request to capture lvmetad state.

test: Skip lvconvert-raid on kernels < 3.2 since they BUG out.

libdaemon: Make buffer handling asymptotically more efficient.

lvm2api: add defined lvm_percent_to_float

Implement function which was somehow missing from it's original
placement in the header file lvm2api.h.

thin: raise required version to 1.4

Stay safe and require 1.4 (kernel 3.6) for non-power-of-2
support for thin pool chunk_size.

test: Skip the topology test if setting up scsi_debug fails.

pvscan --cache: Also read metadata from LVM1 PVs (BZ 863401).

lvmetad: Fix help output (flags and their meaning).

test: use exclusive activation for created mirrors

test: thin support for non power of 2 chunk size

test: drop clustered flag control from thin tests

test: move common code for thin init

cleanup: fix typos

thin: support non power of 2 chunk size

Support thin chunk size with multiple of 64KiB if user has
thin-pool target version at least 1.2.

TEST:  Add lvchange-partial.sh and vgchange-partial.sh to the test suite

Commit 3501f17fd0fcec2a1fbb8aeecf228e86ee022d99 enables a limited set
of metadata updates for partial LV/VGs when issuing lvchange or vgchange.
These tests verify those changes operate as intended.

[lv|vg]change:  Allow limited metadata changes when PVs are missing

A while back, the behavior of LVM changed from allowing metadata changes
when PVs were missing to not allowing changes.  Until recently, this
change was tolerated by HA-LVM by forcing a 'vgreduce --removemissing'
before trying (again) to add tags to an LV and then activate it.  LVM
mirroring requires that failed devices are removed anyway, so this was
largely harmless.  However, RAID LVs do not require devices to be removed
from the array in order to be activated.  In fact, in an HA-LVM
environment this would be very undesirable.  Device failures in such an
environment can often be transient and it would be much better to restore
the device to the array than synchronize an entirely new device.

There are two methods that can be used to setup an HA-LVM environment:
"clvm" or "tagging".  For RAID LVs, "clvm" is out of the question because
RAID LVs are not supported in clustered VGs - not even in an exclusively
activated manner.  That leaves "tagging".  HA-LVM uses tagging - coupled
with 'volume_list' - to ensure that only one machine can have an LV active
at a time.  If updates are not allowed when a PV is missing, it is
impossible to add or remove tags to allow for activation.  This removes
one of the most basic functionalities of HA-LVM - site redundancy.  If
mirroring or RAID is used to replicate the storage in two data centers
and one of them goes down, a server and a storage device are lost.  When
the service fails-over to the alternate site, the VG will be "partial".
Unable to add a tag to the VG/LV, the RAID device will be unable to
activate.

The solution is to allow vgchange and lvchange to alter the LVM metadata
for a limited set of options - --[add|del]tag included.  The set of
allowable options are ones that do not cause changes to the DM kernel
target (like --resync would) or could alter the structure of the LV
(like allocation or conversion).

WHATS_NEW: update

 man: dmsetup mangle also processes UUIDs now

dmsetup: also apply 'mangle' command for UUIDs

Compared to names, UUIDs can't be renamed once they are created
for a device. The 'mangle' command will just issue an error message
about a need for manual intervention in this case - reactivating the
device (remove + create) does the job as the defualt mangling mode
used is "auto" and that will assign a correct mangled form the UUID.

dmsetup: add mangled/unmangled_uuid to for info -c

Following the same logic already used for name mangling.

libdm: introduce and use DEV_UUID macro

To automatically prefer mangled UUID over unmangled UUID. The same
logic that is already used for dm name mangling...

libdm: unmangle dm UUIDs on dm ioctl return

libdm: add mangling support for dm_task_set_newuuid

libdm: add mangling support for dm_task_set_uuid

Also, add a new field to struct dm_task called "mangled_uuid" that
will store mangled form of uuid if it differs from original uuid.