activation: optimize away lv_has_target_type

It's actually not needed to call extra lv_has_target_type() to detect
snapshot merge is in progress - decode this right during status
capturing and save even few extra ioctl calls.

activation: lv_info_with_seg_status API change

Drop LV from passed API arg - it's always segment being checked.
Also use_layer is now in full control of lv_info_with_seg_status().
It decides which device needs to be checked to get 'the most info'.

TODO: future version should be able to expose status from

activation: lv_info_with_seg_status unify status selection

Start moving selection of status taken for a LV into a single place.
The logic for showing info & status has been spread over multiple
places and were doing too complex decision going agains each other.

Unify selection of status of origin & cow scanned device.

TODO: in future we want to grab status for LV and layered LV and have
both statuses present for display - i.e. when 'old snapshot'
of thinLV is takes and there is ongoing merge - at some moment
we are not capable to show all needed info.

cleanup: swap test order

Check for lv != lvseg->lv.
Make the logic of following patches look better and easier to read.

activation: improve error handling for status reading

When lvm2 wants to see a status, it needs to validate,
segment for status reading is matching whan lvm2 expects in
metadata.

Also ensure status failure will not cause '0' from info reading
when actual info was collected properly.
Failure in 'status' reading is considered to be
a 'log_warn()' event only.

activation: status check switch to warn

When we can't parse status, switch to warning as this is not
considered an errornous case.  LVS is not supposed to return
error status code when  device is not what it's been expected to
be - but it should be WARNING a user there is something unexpected.

lv: always check status type

Always validate status type has an expected value,
before accessing status struct members.

striped: implement compatible target name

Linear is handled by striped target.

snapshot: reporting uses statusinfo

Convert lvs -o lv_merge_failed,lv_snapshot_invalid to use
lv_info_and_status function.

This makes it equal to attr value showing this info
(as they were different since they were derived from
different data set and different logic as well).

Also saves couple extra ioctl that were needed to obtain this info.

report: order fields by type for field defintions in columns.h

When displaying <reporting_command> -o help, we'd like to have fields
grouped nicely, not starting having groups interleaved as it was before.
The code that displays the help output for fields takes the order as
written in columns.h file - this caused output like:

$ lvs -o help

Logical Volume Fields
---------------------
...field list...

Logical Volume Device Info and Status Combined Fields
-----------------------------------------------------
...field list...

Logical Volume Fields
---------------------
...field list...

Logical Volume Device Status Fields
-----------------------------------
...field list...

Logical Volume Fields
---------------------
...field list...

Instead, let's have it without groups interleaved which may be
a bit confusing, so:

Logical Volume Fields
---------------------
...field list...

Logical Volume Device Status Fields
-----------------------------------
...field list...

Logical Volume Device Info and Status Combined Fields
-----------------------------------------------------
...field list...

..and so on.

post-release

pre-release

raid: fix sync percent on large RaidLVs

Resolves: rhbz1400301

lvmdbusd: Only allow 0..N for --blackboxsize argument

WHATS_NEW: New argument --blackboxsize

WHATS_NEW: Allow a transiently failed RaidLV to be refreshed

lvmdbustest.py: Rename env test variable

Use LVM_DBUSD_TEST_MODE env variable to customize what we test.
Default is the same where we try to test all combinations of all
modes.  Renamed to make it consistent with the other env variables
that are used in the unit test.

lvmdbustest.py: Remove redundant import

lvmdbustest.py: Remove outdated TODOs

- We check that all properties match the introspection data.  We
don't verify values for every property as only lvm knows what they
should be.

- We are testing vg.Move

lvmdbustest.py: Re-enable test_vg_uuid_gen

This looks to be working now, not sure when it was resolved.

lvmdbusd: Emit signal on Job completion

Added a properties changed signal on the job dbus object so that client
can wait for a signal that the job is complete instead of polling or
blocking on the wait method.

lvmdbusd: Remove TODO on concurrent access to properties

As the code now uses a single thread to handle all changes to the
dbus model we no longer need to handle this potential race
condition.

lvmdbusd: Supress protected member access warning

We want _run to be protected so that users outside of the class
don't mistakenly use it.  It's for internal use only.

lvmdbusd: Add --blackboxsize command line argument

Allows the user to override the number of commands that get dumped
to the log when we encounter a lvm error.  Also useful during
development when you don't want to see the blackbox output.

lvmdbusd: Remove unused variable

This variable has been un-used for a long time.

lvchange: allow a transiently failed RaidLV to be refreshed

In case any SubLV of a RaidLV transiently fails, it needs
two "lvchange --refresh RaidLV" runs to get it to fully
operational mode again.  Reason being, that lvm reloads all
targets for the RaidLV tree but doesn't resume the SubLVs
until after the whole tree has been reloaded in the first
refresh run.  Thus the live mapping table of the SubLVs
still point to an "error" mapping and the dm-raid target
can't retrieve any superblock from the MetaLV(s) in processing
the constructor during this preload thus not discovering the
again accessible SubLVs.  In the second run, the SubLV targets
map proper (meta)data, hence the constructor discovers those
fine now.

Solve by resuming the SubLVs of the RaidLV before
preloading the respective top-level RaidLV target.

Resolves: rhbz1399844

lvmdbusd: Remove debug log_error

lvmdbusd: WS fix

lvmdbusd: Simplfy reading streams

Remove redundant code and make code paths the same for all streams.

lvmdbusd: Make lvm shell read more robust

Make sure JSON is correct before we stop trying to read.

tests: ensure there is dbus config file

Copy lvmdbusd.profile to lib as installed place.
Use  TESTOLDPWD and avoid add new 'same' variable test_data_dir.

makefiles: drop file source and indent

gcc: quiet warning about unused function

Once this function will need to be used, git revert.

cleanup: indent

cleanup: add missing WARNING into log_warn

cleanup: add some dots and use display_lvname

Just some more VG/LV printing.

debug: more stacktrace corrections

Continue previous patch dropping some unneeded stack traces
after printed log_error/warn messages.

scripts: fix comment about blk-availability init script

The original comment got there as copy-paste error and it wasn't edited
properly for blk-availability.

lvmdbusd: Only read whats buffered

When reading data from stdout & stderr we were reading until the
reading until we got None back which really isn't needed as the
read will return everything that is available.

debug: stack tracing corrections

cleanup: indent changes

cleanup: defines

cleanup: use predefined macro for tmp image name

cleanup: deactivate has builtin check for active lv

cleanup: add doc for raid status states

Show possible values for raid fields user may get ATM.

cleanup: single LVM_SYSTEM_DIR string

cleanup: hide gcc warning

cleanup: use lv_update_and_reload

Avoid code duplication and use exiting commonly used
lv_update_and_reload() function.

There is still one place left where mirror is doing strange
double suspend call - needs there more thinking what's wrong with
that code.

cleanup: make this error an internal error

We shouldn't get here with wrong type.

cleanup: use display_lvname and msg cleanup

Use display_lvname in tracing messages.
Add some missing 'dots' to messages.

mirror: preserve MIRRORED status for temporara image

When lvconvert adds a new leg - it's doing it free 'temporary' image
layer - however this temporary 'internal' mirror is also MIRRORED LV.
But the status bit was not properly transfered through layer.

raid: lvconvert uses transient check for raid

Also check if the raid status isn't teling us there is something wrong
with any raid image device.

raid: implement transient status check

Take into acount reported state from 'raid' targets.
When raid leg is marked with 'D' - take it as missing leg.

man: remove duplicate paragraph about selection criteria from lvm(8) man page

The paragraph about selection criteria together with all the related
context is now documented in lvmreport(7) man page completely.

lvmdbusd: Remove extraneous finally

The print statement is incorrect.

lvmdbusd: Fix source documentation

lvmdbusd: cmdhandler.py, fix imports

Use the correct py3 syntax for handling imports.  Also use print instead
of log_debug which in this context will produce no output.

lvmdbusd: Remove debug JSON file

lvmdbustest: Reduce dbus object churn

Instead of creating a new dbus object each time we get an interface object
we will use the same one.

lvmdbustest: Move std_err_print to testlib

So we can re-use it in the testlib too.

lvmdbusd: Place Manager.UseLvmShell request on queue

We need to acquire a lock which can block us which in turn causes
the dbus request handling to block as well.  Place the request on
the work queue instead.

lvmdbusd: Extra report FD read on no data

Our expectation was that when using the lvm shell that when the lvm prompt
was read from stdout, that all other ouput had been written and flushed.
However, this doesn't appear to be the case.  Add extra read passes to
retrieve delayed report data.

lvmdbusd: Bubble up invalid JSON

If we get invalid JSON, lets bubble that up to the user.

lvmdbustest.py: Reduce test client introspection calls

The default dbus python library mode of operation is to leverage
introspection.  However, this introspection data isn't accessible
for users of the library and they have to specifically retrieve
the introspection data too. This resulted in many introspection
calls being made.  This change eliminates introspection calls if
we are testing multiple concurrent test clients.  If it's a single
client we will leverage a reduced amount of introspection data to
verify the introspection data is correct.  Typically clients don't
leverage introspection data nearly as much as this test client.

lvmdbusd: Remove un-used import

lvmdbusd: WS corrections

Fix mixed spaces & tabs and other ws issues.

lvmdbusd: Add cfg.load to pv remove

The global dbus state does not match lvm with simply removing the pv
dbus object.

lvmdbusd: _lv_create, simplify return path

lvmdbustest.py: Support concurrent test runs

The env variable LVM_DBUSD_PV_DEVICE_LIST when present and filled in
with at least 4 physical devices will run concurrently with other
instances running as long as they specify different devices in their
env variable.

When the env variable is not present the test runs as it did before.

lvmdbusd: Long running operations use own thread

Anything that ends up using polld will be done in a unique thread
so that we don't hold off other operations from running concurrently.

lvmdbusd: Use one thread to fetch state updates

In preparation to have more than one thread issuing commands to lvm
at the same time we need to serialize updates to the dbus state and
retrieving the global lvm state.  To achieve this we have one thread
handling this with a thread safe queue taking and coalescing requests.

lvmdbus: Make bus name configurable

Add env LVM_DBUS_NAME to change what the bus name is.

lvmdbustest.py: Remove raid4 use

Looks like this isn't support across versions.  Need to add functionality
to service to return the supported segment types, so we only use the
supported ones.

libdm: separate dm_stats_populate() error cases

There are two possible errors in _dm_stats_populate_region():

  * No region struct in dms->regions[region_id]
  * Failure to parse data from @stats_print

These have very different causes: the first occurs where a client
program is populating one region at a time (region_id is a single
region identifier), and has not previously called dm_stats_list()
to dimension the region tables; this is an API usage error.

The second occurs when either we read unparseable data from the
kernel (kernel bug), or where various resource allocations fail.

Separate these two cases out and log separate messages for each
(allocation failures in the path already have their own distinct
message), since the "failed to parse.." message in the un-listed
handle case is confusing and misleading.

raid: Remove fixed FIXME

dbus: also recognize error state for missing service that comes from original D-Bus

dbus: only log msg as debug if lvm2-lvmdbusd unit missing for D-Bus notification

Do not emit warning message but only log debug message if
lvm2-lvmdbusd.service unit is missing and at the same time
we have global/notify_dbus=1 (which is used by default if we
configured sources with "--enable-notify-dbus"). We don't want
hard dependency between LVM2 and lvmdbusd so it's enough to log
only debug message in this case.

tests: fix checking for pvmove LV

Use consitently egrep.

TODO: make probably aux func

cleanup: debug trace and indent change

cleanup: avoid using double __ in extracted image name

cleanup: add dots to debug messages

tests: do not set zero interval in aux lvm.conf

0 interval leads as of now to a busy loop with lvmetad and command.

Avoid testing this patological case.

TODO: Code should possibly translate zero interval into some small
sleep. With lvmpolld it's already 1/10s

tests: avoid using polling

tests: update make targets

Add  new targets:

make check_lvmpolld
make check_cluster_lvmpolld
make check_lvmetad_lvmpolld
make check_all_lvmpolld

So check_lvmetad runs only base lvmetad test - to much
logic of remaining targets.

Previous behavior is available via  check_all_lvmpolld.

conf: support zero for missing_stripe_filler

Make it easier to replace missing segments with 'zero' returning
target - otherwise user would have to create some extra target
to provide zeros as /dev/zero can't be used (not a block device).

Also break code loop when segment is found and make it an INTERNAL_ERROR
where it's missing.

cleanup: skip checking for just assigned string

When 'stripe_filler' has been just set to 'error',
do not check it again for not being 'error'.

lvconvert: repair accepts interval and background

For mirror and raid we expose --interval and --background on
command line (instead of using just always using compiled-in defaults).

lvconvert: Introduce enum to separate cases.

Start to separate out the different things that lvconvert does by using
an enum to identify 12 distinct cases.

dmsetup: [v2] return 0 for [--]{version,help}

Leverage 0b1c79642061 to cope with "dmsetup SubCommand --{help,version}"
and bail out directly when _report_init() fails.

Related: rhbz1393692

dmsetup: return 0 for [--]{version,help}

dmsetup regressed returning 1 when properly processing
version or help subcommands.

Resolves: rhbz1393692

tests: for repair we need neewer version

Older cache targets were not able to report write failures.

tests: test raid0_meta type

Enable testing of raid0_meta type.
Also slow down devices a bit more.

raid: faster rmeta clearing

Instead of clearing multiple rmeta device with sequential activation
process and waiting for udev for every _rmeta device separately,
activate all _rmeta devices first and then clear them and deactivate
afterwards.

Also update some tracing messages.

When anyhing goes wrong during clearing process, always try to
deactivate as much _rmeta devices as possible before fail.

post-release

pre-release

tests: Disable 3-leg raid1 pre-sync repair attempt

Test fails as it doesn't ensure device isn't already in sync.

lvmdbusd: Remove the periodic timer task

This code is no longer needed because the back ground task has been
removed.  Will add back if we change the design and end up utilizing
multiple worker threads.

lvmdbusd: Take out background thread

There is no reason to create another background task when the task that
created it is going to block waiting for it to finish.  Instead we will
just execute the logic in the worker thread that is servicing the worker
queue.

dmeventd: provide message context

Show device name with printed message.
Also use different level for printing error message and
standard informational message.

cleanup: use WARNING prefix for log_warn

Use capital WARNING prefix for log_warn() messages.