report: select: add --select arg to dmsetup

report: select: use _check_report_selection in dm_report_object to report only objects that satisfy the report selection

This is rebased and edited version of the original design and
patch proposed by Jun'ichi Nomura:
  http://www.redhat.com/archives/dm-devel/2007-April/msg00025.html

This activates the actual selection process in dm_report_object.

report: select: add _check_selection fn to support checking fields against given selections

This is rebased and edited versions of the original design and
patch proposed by Jun'ichi Nomura:
  http://www.redhat.com/archives/dm-devel/2007-April/msg00025.html

The _check_selection implements the actual field checking against the
selection tree.

report: select: add dm_report_init_with_selection to libdm

This is rebased and edited version of the original design and
patch proposed by Jun'ichi Nomura:
  http://www.redhat.com/archives/dm-devel/2007-April/msg00025.html

The dm_report_init_with_selection is the same as dm_report_init
but it contains an additional argument to set the selection
in the form of a string that contains field names to check against and
selection operators. The selection string is parsend and a selection
tree is composed for use in the checks against individual fields when
the report is processed. The parsed selection tree is stored in dm_report
structure as "selection_root".

report: select: add supporting infrastucture for token parsing in report selections

This is rebased and edited version of the original design and
patch proposed by Jun'ichi Nomura:
  http://www.redhat.com/archives/dm-devel/2007-April/msg00025.html

Add support for parsing numbers, strings (quoted or unquoted), regexes
and operators amogst these operands in selection condition supplied.

report: select: add structs for report selection

This is rebased and edited version of the original design and
patch proposed by Jun'ichi Nomura:
  http://www.redhat.com/archives/dm-devel/2007-April/msg00025.html

This patch defines operators and structures that will be used
to store the report selection against which the actual values
reported will be checked.

  Selection operators
  -------------------
    Comparison operators:
        =~  - Matching regular expression.
        !~  - Not matching regular expression.
         =  - Equal to.
        !=  - Not equal to.
        >=  - Greater than or equal to.
         >  - Greater than
        <=  - Less than or equal to.
         <  - Less than.

    Logical and grouping operators:
        &&  - All fields must match
         ,  - All fields must match
        ||  - At least one field must match
         #  - At least one field must match
         !  - Logical negation
         (  - Left parenthesis
         )  - Right parenthesis

report: select: add DM_REPORT_FIELD_TYPE_SIZE to make a difference between NUMBER and SIZE

This makes it easier to check against the fields (following patches for
report selection) and check whether size units are allowed or not
with the field value.

tests: check new snapshot skills

tests: detect version of thin_restore command

Skip test when missing.

tests: wait for udev

Before test exits, wait for udev.

cleanup: we already know max device name size

Use NAME_LEN constant to simplify creation of device name.
Since the max size should be already tested in validation,
throw INTERNAL_ERROR if the size of vg/lv is bigger then NAME_LEN.

cleanup: use stack for small buffer

Avoid error checking of allocation error when just few bytes are needed
for short string and use stack.
Stacktrace lvmetad_pv_gone() fail path.

snapshot: %ORIGIN is relative to data size

Let's use the size of origin as the real base for percenta calculation,
and 'silenly' add needed metadata space for snapshot.

So now command   'lvcreate -s -l100%ORIGIN vg/lv' should always create a
snapshot to handle full device overwrite.

snapshot: report proper error message

Expresing -lXX%LV is not valid for snapshot, but error message for
snapshost case was not complete and missed %ORIGIN.
Also document correct settings for in manpage properly where
it missed %PVS.

snapshot: do not spawn when origin is not active

Since the code is not doing anything when origin is not active,
avoid spawning polling thread.

snapshot: check snapshot exists

Return 0 if the LV is not even snapshot.

snapshot: check it's still snapshot

While polling for snapshot, detect first the snapshot still
exits.  It's valid to have multiple polling threads watching
for the same thing and just 1 can 'win' the finish part.
All others should nicely 'fail'.

poll_daemon:  Cleanly exit polling if the LV is no longer active

If the we are polling an LV due to some sort of conversion and it
becomes inactive, a rather worrisome message is produced, e.g.:
"  ABORTING: Mirror percentage check failed."

We can cleanly exit if we do a simple check to see if the LV is
active before performing the check.  This eliminates the scary
message.

cache: Properly rename origin LV tree when adding "_corig"

When creating a cache LV with a RAID origin, we need to ensure that
the sub-LVs of that origin properly change their names to include
the "_corig" extention of the top-level LV.  We do this by first
performing a 'lv_rename_update' before making the call to
'insert_layer_for_lv'.

systemd: use RemoveOnStop for dm-event.socket and lvm2-lvmetad.socket

Systemd version 214 introduced new "RemoveOnStop" option for socket
units to remove the socket/FIFO when the particular unit is stopped.

Also https://bugzilla.redhat.com/show_bug.cgi?id=802748.

spec: new thin-generic.profile

profile: add thin-generic.profile

The thin-generic.profile contains settings for thin/thin pool volumes
suitable for generic environment/use containing default settings.
This allows users to change the global lvm.conf settings at will
and still keep the original settings for volumes that have this
thin profile assigned already.

test: pvs bz1108394

libdm: dm_report_object report error for no data

NULL data would cause problems....

libdm: dm_report_object avoid duplicat strlen call

Remember strlen result.

report: avoid passing NULL label

Internal reporting function cannot handle NULL reporting value,
so ensure there is at least dummy label.

So move dummy_lable from tools/reporter.c and use it for all
report_object() calls in lib/report/report.c.
(Fixes RHBZ 1108394)

Simlify lvm_report_object initialization.

tests: change to inittest

tests: update vgchange -c

Vgchange now detects runnig clvmd - so update test to reflect this.

man: dmsetup manglename

More updates to manglename option.
Add reference to LVM2 resource page, since for a long time,
this is the right places for sources for libdevmapper....

man: kiB uppercase

man: update lvmthin

Improve graphics form of page and use shorter correct and suggested
forms of thin pool manipulation commands.

man: more compliant

man: properly escape -

Dash should be using '\' to be typographically correct.

man: use bullets

man: advertise  lvmcache, lvmthin

Add references to new man pages so they get known.

tests: some more renames lib/test -> lib/inittest

tests: rename test to inittest

We are getting into problem when we use 'test' for commands like
should/not/...

So avoid overloading test name and change it to inittest.

tests: make timeouts longer

Add more time for tests, since debug kernels are getting slower...
and we add more and more tests.

However many test should be shortened to avoid testing disk-perfomance
and focus on lvm functionality...
(Often we should probably test with inactive volumes when we check
metadata operation of lvm2)

We may need to support option for 'DEEP' longer testing.

Also something like LVM_TEST_TIMEOUT_FACTOR might be useful
though it would be much better if test suite could approximete
from system perfomance test lenght...

cleanup: add missing log_error

log_error about no change in volume group with 'n' prompt answer.
(in-release fix)

cleanup: drop inline keyword

Inline would need function body in header file.

activation: retry cleanup deactivation

Enable 'retry' deactivation also in 'cleanup' phase.
It shouldn't be mostly needed - however udev now produces
more and more completelny non-synchronizable device opens,
so even for orphan devices we can't easily predict where
udevd opens devices.

So it's more preferable here to log error about device being open
and retry clean, but let the command proceed.

lvmetad: Drop active connection upon lvmetad_set_active(0).

libdaemon: Keep track of client threads, wait before shutdown.

test: Reflect that --sysinit only treats lvmetad specially with -aay (not -ay).

pvremove: Update lvmcache => avoid spurious error messages.

lvmetad: Avoid "connect failed" spamming when lvmetad is not available.

test: Try harder to vgremove in lvmetad-lvm1.sh.

lvm1: Fail vg_write graciously when devices are missing.

test: Fix the vgck test after vg_write change.

test: Fail devices silently in lvconvert-repair-transient.sh.

test: Make it possible to enable/disable devices silently.

metadata: Make it possible to write partial VGs obtained from lvmetad.

cleanup: move the "daemon is running" checks to lvm-wrappers

And use ifdefs there, not exposing it in the tool code itself.
Later in the future, we should probably make the PIDFILE and
daemon checking code available also in case the daemon itself
is not built.

configure: update libcpg test

PKG_CHECK_MODULES needs old-way if;then;fi.

cleanup: default.profile is not used (and it was split in two and renamed anyway)

cleanup: commit c0f9c79 to work also with for non-clustered configuration

vgchange:  With '--yes', don't prompt the user

If the user supplies a '--yes' argument, then don't bother them with
a question to confirm whether to change the cluster attribute (even
if clvmd isn't running).

WHATS_NEW:  For commit 9399b743 (prompt for VG cluster attr change)

Minor change, but put a comment in WHATS_NEW anyway.

vgchange: Prompt when setting VG cluster attr if cluster is not setup

If clvmd is not running or the locking type is not clustered and someone
attempts to set the cluster attribute on a volume group, prompt them to
see if they are sure.  (Only prompt for one though.  If neither are true,
simply ask them once.)

tests: disable python failing test

Aborts and needs fixes...

tests: fix test compare

Comparing 64T can't use -eq

tests: adapt test for newline delimit

content of DEVICES is now delimited by newlines

configure: do not exit with error code

Since the test is the last command make a test in a form it will be
after its finished 0.
(regression from last configure cleanup)

tests: typo

tests: use get_devs

Check how get_devs is usable with shell array DEVICES

tests: use manglename none for dmsetup

tests: add get_devs function

Instead of rereading device list via cat - keep
the list in bash array. (Also solves problem
with spaces in device path)

Move usage of  "$path" out of lvm shell usage,
since we don't support such thing there...

tests: use shell arrays to keep device names

Better preserving spaces in device path name,
though admitely rest of test suite need
more repairs...

tests: fix use of double apostrophes in get

Need to put "" around parameters.

configure: reconfigure

configure: cleanups

Replace AC_PATH_PROG with AC_PATH_TOOL.
Drop 'x' when already using "" around shell variable.
Simlify some long line and ifs.
Merge multiple test evaluation with '-a', '-o'.
Use 'case' instead if several ifs when it's more elegant.
Improve usage of pkg_config_init and add it where it's been missing.
Check for UDEV_HAS_BUILTIN_BLKID and when building udev-rules.

configure: accept 'none' as mangling mode

Since we advertise 'none' as mangling name, accept it.
Keep it backward compatible and leave disabled option still working
(though I guess there is likely no user of this option...)

man: document DM_DEFAULT_NAME_MANGLING_MODE

Document DM_DEFAULT_NAME_MANGLING_MODE environmental variable.
(its default setting is build time configurable)

test: use direct I/O when injecting bad data into RAID images

When directly corrupting RAID images for the purpose of testing,
we must use direct I/O (or a 'sync' after the 'dd') to ensure that
the writes are not caught in the buffer cache in a way that is not
reachable by the top-level RAID device.

report: fix report field type for lv_kernel_major/minor

Should be defined as numeric field, not string field.

activation:  Remove empty DM device when table fails to load.

As part of better error handling, remove DM devices that have been
sucessfully created but failed to load a table.  This can happen
when pvmove'ing in a cluster and the cluster mirror daemon is not
running on a remote node - the mapping table failing to load as a
result.  In this case, any revert would work on other nodes running
cmirrord because the DM devices on those nodes did succeed in loading.
However, because no table was able to load on the non-cmirrord nodes,
there is no table present that points to what needs to be reverted.
This causes the empty DM device to remain on the system without being
present in any LVM representation.

This patch should only be considered a partial fix to the overall
problem.  This is because only the device which failed to load a
table is removed.  Any LVs that may have been loaded as requirements
to the DM device that failed to load may be left in place.  Complete
clean-up will require tracking those devices which have been created
as dependencies and removing them along with the device that failed
to load a table.

tests: rename test

revert: restore original timeout

Accidently it's been commited - but it has also shown,
that on heavy loaded systems (like our test machine could be)
slightly bigger timeouts which waits longer for udev rules
processing does help and avoids occasional refuse of deactivation
because device is still being open.
(i.e. lvcreate...; lvchange -an...)

Unsure how we could now synchronize for this. On very slow(/loaded)
system 5 second timeout is simply not enough.

TODO: introduce at least lvm.conf configurable setting to
allow longer 'retry' loops.

tests: dd needs to hit disk

Unsure if this is feature or bug of syncaction,
but it needs to be present physically on the media
and it ignores content of buffer cache...

(maybe lvchange should implicitely fsync all disks
that are members of raid array before starting test??)

tests: raid syncaction activation race

Demonstrace problem of syncaction being called right after activation.

tests: detect same uuid on PV

Check we know how to handle same UUID
Test  currently does NOT work on lvmetad
(or it's unclear it even should - thus test error
is currently lowered to 'test warning')

TODO: replace lib/test with a better shell script name

raid: cleanup error messages

Add log_error messages on error paths.

activate: cleanup lv_check_not_in_use

Reindent lv_check_not_in_use to simplify internal loop code.
Also return always '0/1'  (drop -1) - since we only
check for failure (0) - and we don't really know
why  lv_info() has failed.

udev: also print subsystem udev flags in debug message about udev flags + fix typo DM_SUBSSYTEM_UDEV_FLAG7 -> DM_SUBSYSTEM_UDEV_FLAG7

tests: support thin_restore configurable

Currently this tool is used only in tests.

tests: update aux disable_dev

disable_dev can't use transaction - since it may lead occasionaly to
weird error - example could be nomda-missing.sh test case.
Here occasionaly device instead of being removed was left as
error device and testing different code path (which is unfortunatelly
buggy)

When we want to test 'error' device -  'aux error_dev()' should be used.

cleanup: internal error for impossible path

Add 'default' path for impossible execution code path.

man: cleanup dmsetup

Add few bold texts.

dmsetup: add warning

Warn when --udevcookie/DM_UDEV_COOKIE is used with 'dmsetup remove --force'.

When command is doing multiple ioctl operations on a single device,
it may invoke udev activity, that is colliding with further ioctl commands.
The result of such operation becomes unpredictable.
Use of --retry could partially help...

cleanup: use const for endptr in dm_units_to_factor

tests: improve command coverage

tests: add unusable kernel for raid5 testing

tests: increase min version for raid testing

Seems smaller version are causing weird kernel lookups.

vgextend: allow --yes to skip prompt

cleanup: indent

cleanup: use directly segtype->name

Simplify printing of segtype name.

cleanup: add seg_is_pool macro

Simplify code querying for pool segtype.

dev_manager: disable extra udev loop

Disable code which has postprocessed whole tree and reset udev flags.
We need to find out which case was troublesome - since this loop
was just hidding bug in other code parts (most probably preload tree)

tests: check more things with vgchange

tests: swap tests