Support improperly formated device numbers

There are kernel drivers (smblk) which set '-1' as their device major number.
This number is listed in /proc/devices then - but the kernel itself is using
just 12 bits - thus device is accessible via 4095 - there is posted patch
for 3.4 to fix this behavior (0 for auto allocation was mean to be used).

However to still allow using such devices with older kernels add some code
to use same behavior - so cut 12 bits from the major number from /proc/devices.

For now use log_warn() - maybe the severity of the message could be lowered
to just verbose level.

Do exit if LISTEN_PID environment variable not correct during systemd handover.

Add comment about slow startup of dmeventd

Separat lvm dumpconfig on extra line, so the shell trace output
is not mixed with dump.

Skip dmeventd restart test

If dmevendt is not in /sbin, do not try to run restarting test.
FIXME: add some workaround for testing.

Regression fix kernel version check

got changed improperly with large update patch.

Longer sleep after clvmd start

Use pvscan --cache instead of vgscan in lvmetad init script and systemd unit.

Switch condition for dmeventd check

Update tests

Indent

Shell improvements - use internal function for checks

Use PVs in ""   (LV and VG cannot have spaces)

Several test very starting 'dmeventd' without annoucing
it via prepade_dmeventd.

Fix some of test actually.

Update test.sh check.sh utils.sh get.sh

Indent
Better shell usage
Function simplification
More usage of 'get' functions
Don't use valgrind tracing for check and get function (faster)
Update shell debugging (PS4, better stacktrace)
Support paths with spaces
Export SCRIPTNAME for external usage
Watch for dmeventd unexpectedly started during test

Update aux.sh lvmwrapper

Indent

Add valgrind support:
 env LVM_TEST_VALGRIND={0123} (the higher level, more commands tested)
 env LVM_TEST_CLVMD=1   runs clvmd within valgrind.
 env VALGRIND  script name executed for each lvm command (def. is valg).

Smarted teardown - should minimize occurence of left dev entries
 (using dmsetup remove -f only as last resort)
 sort removed devices by open count before actual removal

Use "" around string that may contain spaces.

Set log/verbose and activation/retry_deactivation to defined value.

Remove  debug.log after successful lvm command (easier to check output).

Test suite skip md_detection

Not normally needed - lets' enable it only for test that
really needs it.

Allow to use also special prefixed names for test

Currently we could not test special prefixes in our test suite.
As teardown will not find such device and basicaly busyloops here,
as at cannot remove such names.

This patch adds possibity to use:

vgcreate  V_$vg1 $dev

Note: you still need to use $PREFIX somewhere in the name.
(And of course, it's really bad idea to use $PREFIX (=LVMTEST)
 for normally used LVs)

The only purpose of this patch is to allow testing cluster with
special vg names that begins with V_ , P_....

Fix string parsing

Fix propagation of -e option - pass it via internal shell variable.
Fix parsing of /proc/mounts files (don't check for substrings).
 as reported by O.Mangold with suggested patch:
 https://www.redhat.com/archives/linux-lvm/2012-February/msg00030.html
Properly pass arguments with spaces ("$@")
Add validation for YES and EXTOFF variable content.

Relax the active-minor test a bit.

It's new.

Fix a regression in handling --major/--minor arguments to lvcreate & lvchange,
by allowing arg_int_value to be used with groupable options.

Fix name conflicts that prevent down-converting RAID1 when specifying a device

When down-converting a RAID1 device, it is the last device that is extracted
and removed when the user does not specify a particular device.  However,
when a device is specified (and it is not the last), the device is removed and
the remaining sub-LVs are "shifted down" to fill the hole.  This cause problems
when resuming the LV because if the shifted devices were resumed (and thus
renamed) before the sub-LV being extracted, there would be a name conflict.
The solution is to resume the extracted sub-LVs first so that they can be
properly renamed preventing a possible conflict.

This addresses bug 801967.

Remove dmeventd fifos on exit if they are not managed by systemd.

Update configure change

Always define THIN_CHECK_CMD define - since for now we compile thin code
in more places.

Just move declaration

Use proper "" for absolute paths

Cleanup for conf file

Improve thin_check option passing

Update a way we handle option passing - so we now support path and options
with space inside.
Fix dm name usage for thin pools with '-' in name.
Use new lvm.conf option thin_check_options to pass in options as string array.

Add --with-thin-check configure option

If specified - use given path without test (Path could be empty)
If autodetection is in use - check for command in available PATH.

Use SD_ACTIVATION env. var. in systemd units to better detect systemd in use.

LISTEN_PID and LISTEN_FDS environment variables are defined only during systemd
"start" action. But we still need to know whether we're activated during
"reload" action as well - we use the reload action to call "dmeventd -R"/"lvmetad -R"
for statefull daemon restart. We can't use normal "restart" as that is simply
composed of "stop" and "start" and we would lose any state the daemon has.

WHATS_NEW

Do not run a new dmeventd instance on restart if there's no existing one.

Fix error message when pvmove LV activation fails with name already in use.

Add a toplevel check_lvmetad target.

We need longer window for checking read from fifo.

Seems like some dmeventd startups are taking more time then expected,
so make the time window longer here.

Removing call of release_vg(NULL)

Since we are in error path were vg must be always NULL,
skip call of release_vg() like we do in other places.

Using %u modifier to print unsigned values.

Better structure layout for device_info

Save some relocation entries and use directly char[].
Since we do not need yes more then 127 partitions per device, use just int8_t.
Move lvm_type_filter_destroy into local static function.

Simplify error path code for filter initialization

Use 'int' counter.
Use 'bad' with goto_bad macro.

Improve harness code

Support timestamping with harness -  using VERBOSE=2
Fix also logging in several situation
(i.e. continue logging multiple test in VERBOSE mode,
do not coredump with empty output).

Switch to normal log_verbose message

Here it's not an error case - so do not push this message to stderr.

Fix error path for create_toolcontext

Never return unfinished toolcontext - since error path is hit on
various stages of initialization we cannot leave it partially uninitialized,
since we would need to spread many more test across the code for config_valid.
Instead return NULL and properly release udev library resources as well.

Detect the lvm binary path in lvmetad udev rules.

We can't use 'DM_SBIN_PATH'. This one is set only for DM devices but not
for all block devices - the pvscan is run on all relevant block devices!

This LVM_SBIN_PATH (as well as DM_SBIN_PATH) detection should be removed
eventually but for upstream solution, we still have to do that as there are
known cases where the binaries are put either in /sbin or /usr/sbin
(some installation systems, initrd systems etc.).

Remove some whitespaces.
(Test commit.)

Remove some whitespaces.
(test commit)

Do not unlink the socket on daemon shutdown if activation is done via systemd.

Add 'Restart: on-abort' for lvmetad systemd service.

Restart lvmetad automatically if it exits due to reception of uncaught signal,
leaving a track in systemd log/syslog.

Fix warn message and update man page

Fix regression in man page. The chunk size is in kilobyte units on command line
input though in the source code we work with sector size unit
so make it clear in the man page.

Update chunksize for thin pool in man page - it's max value is 1024M == 1G.

Fix warning range message to show proper max value.

post-release

update reworded string

close ]

Change pvscan --cache syntax

pre-release

Adjust wording

re-word warnings to be clearer to user

Switch pvscan --cache major:minor to --major --minor.

Some more missing supposedly 64bit operations.

Avoid use 32bit math for extent_size.

Use already acquired variable...

Fit thin pool metadata into 128MB

If the lvcreate may decide some automagical values for a user,
try to keep the pool metadata size into 128MB range for optimal
perfomance (as suggested by Joe).

So if the pool metadata size and chunk_size were not specified,
try to select such values they would fit into 128MB size.

Improve warning

Use thin_dump --repair suggestion in log error message
and use just warning on  deactivation path without repair info
(since node has been deactivated).

Also check whether there is not 16 args for thin_check configured.

Use 64bit math

Prevent 32bit overflow and resulting weird error reports when working
with TB sizes..

Add test for name mangling functionality.

Check for multiple mangled names in auto mangling mode.

Auto mode can't deal with multiple mangled names. We can do that while working
in hex mode, but in auto mode, this would lead to device name ambiguity.

Fix dm_task_get_name_unmangled to not unmangle already unmangled name.

In 'auto' and 'hex' mode, these names are already unmangled on ioctl return.
There's no point on trying to do that once again (actually it's a bug!).

Check whether device names are properly mangled on ioctl return.

Be more strict when unmangling names on ioctl return - require the name to be
properly mangled in 'auto' and 'hex' mode. There really should not be any
blacklisted character since the names should be renamed already (by means of
renaming it directly or running 'dmsetup mangle' for automatic rename).

Clean up internal mangling interface.

Validate udev structures

Avoid using NULL pointers from udev. It seems like some older versions of udev
were improperly returning NULL in some case, so do not silently break here,
and give at least a warning to the user.

Return success for deactivation of thin pool

if the thin_check fail on thin pool - still return successful deactivation,
since lvremove would currently fail.

TODO: find some way to not run check with lvremove.

Remove part of FIXME

(and reindent a code below)

Update thin test for thin_check

Test if thin_check is present in system and disable its use, when its missing.

Add testing for poolmetadatasize.

FIXME: Allocation policy for metadata pool might need some relaxing.
(For now it needs to put all block on one PV.)

Speedup test run by a few minutes

Reduce disc excercise for some test and focus on LVM testing by
using smaller extent size.

Reduce number of teardown_devs calls and use vg/lvremove instead.

Don't sleep for seconds on pvmove.

FIXME: shell/lvconvert-mirror-basic.sh seems to need more checking.
Test fails for smalled extent size then 512k.

Add FIXMEs

Processing loop needs some thinking

Just make error message more clear

Make more obvious, the origin LV for snapshot must be active.

Scan all devices for lvmetad if 'pvscan --cache' used without device list.

Obtain VG list from lvmetad before relying on get_vgs, otherwise PVs in VGs
don't appear.

Reinstate accidentally-deleted line.

post-release

.

pre-release

Code refactoring

Properly test for dm_asprintf result.
Keep unlocking of mutex in the same function and do not spread lock and
unlock over functions.

Just space moving

Don't leave space on EOL.

List _thread_registry missed mutex

Operation on _thread_registry needs to be covered by mutex.
Cosmetic move a die code after free for valgind short leak list.

a fixme

Support 16GB for thin pool metadata

Add some hack math to allow 16GB devices to be passed as thinpool metadata.
Since kernel has put in limit to not allow which are just bigger then
some predefined constant in kernel but not matching 16GB so any device bigger
is rejected.

FIXME: Current code still might need more tweaks to be more generic.

fix non-lvmetad pvscan macro

Add support for thin check

Use libdm callback to execute thin_check before activation
thin pool and after deactivation as well.

Supporting thin_check_executable which may pass in extra options for
the tool.

Purge remaining trim bits from code

missing reply frees

Pass struct device around internally rather than dev_t.
Add 3rd daemon return state "unknown" for lookups that are carried out
successfully but don't find the item requested.
Avoid issuing error messages when it's expected that a device that's
being looked up in lvmetad might not be there.

Merge metadata size checking

Move the code for poolmetadatasize operation into one place.
Report override for minimum and maximum size.
Drop _read_thin_params function its error reporting is handled elsewhere.

Change pvscan --lvmetad to pvscan --cache.

Added dm_tree_node_set_callback() for preload and deactivation hooks

Run users hook after preload for the node is finished,
or after the node has been deactivated.

Fix estimation of pool metadata device size

If no size was give the later added minimal size check efectively
disable this code. Also the argument for size now must be kept
in sector_size, so adding division by SECTOR_SIZE (moved into
a const expression)

Allow multiple device names with pvscan --lvmetad.
Hold global lock in pvscan --lvmetad.  (This might need refinement.)
Add PV name to "PV gone" messages.
Adjust some log message severities.  (More changes needed.)

Remove support for TRIM message

It's been unsupporte for now - and it's not going to be
implemented for thin pool kernel driver - so dropping
appearence of TRIM from libdm and lvm.

Reinstate error if e.g. daemon comms fails.

Wait for mirror in sync

1s could be too short

Check for error from dup2

Do not take correct fd as error result.

Add traceback for failpath

Skip zero length messages

In case of zero length message, there would be a memory leak on
return path from _do_process_request.

Check allocated pointers

Test pointers from allocation against NULL.
Error paths should be checked, some of them probably need
some extesions.

Improve logging

Use %m for strerror.
Switch to use 0 for fail return code.

Check pointer before deref in debug message

Explicitely ignore fail from this label_read