libdaemon: fix typo in last log enable commit

libdaemon: allow all debug levels for stderr

The parsing code for log levels was missing
some levels.  Also ignore an unrecognized
level name rather than failing.

tests: add lvmetad shutdown on idle test

lvmetad.8.in: update man page with timeout info

lvmetad: add optional timeout option

tests: add test for missing mirror in-sync info

polldaemon: fix missing mirror in-sync info with lvmpolld

CONVERTING status flag is a tricky one. It's not set when converting
a non-mirror LV type to the mirror type, i.e.: linear -> two leg mirror.
Also the conversion itself is instant and doesn't require to be polled.
When mirror reaches sync state there's no final update on VG metadata
for lvmpolld to be made thereby report_progress in fact doesn't report
percentage of mirror being converted but percentage of mirror
being in sync. Perhaps we should reword the lvconvert output here.

On the other hand CONVERTING is set while we upconvert the mirror
from i.e. two leg mirror to four leg mirror. In such case the operation
is required to be polled so that lvmpolld can cleanup temporary
conversion log when the conversion is over.

Ignore CONVERTING lv_type for the moment and match LVs only by uuids
during 'mirror conversion'/'waiting for a sync to finish'.

conf: clarify compact output settings

pvscan: use process_each_pv

The old code made two loops through the PVs: in the first
loop it found the max PV and VG name lengths, and in the
second loop it printed each PV using the name lengths as
field widths for aligning columns.

The new code uses process_each_pv() which makes one loop
through the PVs.  In the *first* call to pvscan_single(),
the max name lengths are found by looping through the
lvmcache entries which have been populated by the generic
process_each code prior to calling any _single functions.
Subsequent calls to pvscan_single() reuse the max lengths
that were found by the first call.

conf: regenerate

cleanup: typo in comment: compact_output_fields should be compact-output_cols

config: add report/compact_output_cols to control which columns to compact in report output

The new report/compact_output_cols setting has exactly the same effect
as report/compact_output setting. The difference is that with the new
setting it's possible to define which cols should be compacted exactly
in contrast to all cols in case of report/compact_output.

In case both compact_output and compact_output_cols is enabled/set,
the compact_output prevails.

For example:

$ lvmconfig --type full report/compact_output report/compact_output_cols
compact_output=0
compact_output_cols=""

$ lvs vg
  LV    VG   Attr       LSize Pool Origin Data%  Meta%  Move Log Cpy%Sync Convert
  lvol0 vg   -wi-a----- 4.00m

---

$ lvmconfig --type full report/compact_output report/compact_output_cols
compact_output=0
compact_output_cols="data_percent,metadata_percent,pool_lv,move_pv,origin"

$ lvs vg
  LV    VG   Attr       LSize Log Cpy%Sync Convert
  lvol0 vg   -wi-a----- 4.00m

---

$ lvmconfig --type full report/compact_output report/compact_output_cols
compact_output=1
compact_output_cols="data_percent,metadata_percent,pool_lv,move_pv,origin"

$ lvs vg
  LV    VG   Attr       LSize
  lvol0 vg   -wi-a----- 4.00m

libdm: add dm_report_compact_given_fields

dm_report_compact_given_fields is the same as dm_report_compact_fields,
but it processes only given fields, not all the fields in the report
like dm_report_compact_field does.

lvmlockd: use flag to avoid blocking in sanlock_acquire

If a host failed while holding a sanlock lease,
sanlock_acquire will by default block and wait
for the lease to expire before returning.  We
want it to return with an error so we can retry
instead of blocking, which allows us to process
other lock operations.

(Enclose this in an ifdef until the new flag
appears in a sanlock release.)

dmeventd: use matching function

Respect lvm2_log_fn prototype. The idea of 'reusing' print_log with
plain cast is causing very strange crashes with some older 'gcc'  compilers.
So just do it cleanly...

thin: enforce local activation when creation new thin

As we need to check how full thin-pool is - require thin-pool is
locally active.

makefiles: switch to rpath-link

Plain rpath is to invasive and gets into binary.
We only want to provide hint for linker.

dmeventd: fix missing '!'

During recent code changes '!' was badly converted.

makefiles: older gcc needs hint with rpath

gcc 4.3 seems not to be able to find linked library without
specifying -rpath to linker  (plain -L) is not enough.

dmeventd: compilable without DEBUG CFLAG

Missed compilability without DEBUG.

Revert "log: no file for external logging"

This reverts commit 1b1c01a27b359f8e91c3c9e08684c435d8fd51c2.

This caused messages to get dropped instead of logged into the log file.

(The log file and log function are independent at the moment.)

tests: more extend testing

tests: wait for initial sync

Raid should be in-sync ATM for any gaming.

tests: start logging dmeventd output

Log dmeventd output from test - keep output logging in test
and avoid sending messages to syslog.

tests: better regex check

Enhance check for matching prefix.

tests: show status in in_sync

Make visible actual status line when returing 'raid' is in sync.
Useful to prove when kernel is wrong.

makefiles: src dirs have depth 5

For tags generation scan depth 5.

makefiles: drop explicit linking

Nothing in /sscripts needs devmapper-event library so drop its linking.

makefiles: generate Local

Use same  exported symbols list for other generated symfile
as it appeared to be the right way for libdm.

Local {
local:
*;
};

dmeventd: rework raid plugin

Switch to per-thread mem-pool and lock only for lvm2 calls.
Use libdm parser for raid status line.

dmeventd: less locking mirror

Rework mirror plugin to use per-thread mem-pool.
This allows to use locking only for lvm2 library calls.

dmeventd: less locking for snapshot and thin

Use lvm lock for lvm library calls.

dm functions in-use are 'thread-safe' since we use
local per-thread mem pool.

dmeventd: add local mempool for raid and mirror

Using local mempools allows to drop locks when such memory is needed.

dmeventd: use new macros to init mempool

For thin and snapshot use new macros
to simplify mempool init and destroy

dmeventd: introduce macro for init

Simplify commonly used pool creation.

dmeventd: new initialization of plugin threads

Rework thread creation code to better use resources.

New code will not leak 'timeout' registered thread on error path.

Also if the thread already exist - avoid creation of thread
object and it's later destruction.

If the race is noticed during adding new monitoring thread,
such thread is put on cleanup list and -EEXIST is reported.

cleanup: typo in comment

cleanup: move system defines before structs

cleanup: avoid using private

Switch private to user.

cleanup: remove multilog

cleanup: always set nsec

cleanup: more readable code

dmeventd: support logging on stdout

Add new supported option '-l' log to stdout/stderr.

It has to be paired with '-f' (foreground run).

cleanup: static with _

Document ? is printing to stderr.

dmeventd: handle snapshot overflow

When snapshot reports overflow, handle it in the same way as Invalid.
Until better ideas are implemented.

man: dmeventd update

dmeventd: add more debug messages

dmeventd: drop changing logging

As we now use 'unified' logging macro system - we no longer need
to protect from change of logging function pointer - it's set
once at the start of dmeventd and not change anymore
(as lvm2 library no longer interferers here).

dmeventd: enable new logging

dmeventd: enable new logging

dmeventd: use log_ macros in plugins

Convert from syslog to standard log_() macros in plugins.

dmeventd: syslog -> log_xxxxx

Convert logging of dmeventd to libdm logging macros.

libdmevent: add dm_event_log

Add dm_event_log() logging function.
Controled by dm_event_log_set().

dmeventd: log all commands with CMD: prefix

For easier grep of all processed command - add CMD: prefix to them.

Use  >>>  for entring command processing
and  <<<  when command is processed.

dmeventd: fix loging report

msg.cmd holds return value from processing after _do_process_request,
so save it before call.

log: no file for external logging

When external logging is set do not bother creating log file,
as it's not going to be used.

toolcontext: do not change already set dm_log

If the dm_log is already set to non-default logger,
avoid to change it.

thin: enhance logging

Add debug message with more details about threshold overflow.

dmeventd: correct ret code for fail

As  _do_register_device() calls  register_device() function that returns
1 success & 0 fail -  ret = -ENOMEM for fail case instead of 0.

thin: check for overflown pool earlier

Check for pool early before we actually start to modify metadata.
This requires locally active thin-pool.

libdm: enforce writethrough mode for cleaner

With "cleaner" policy always use 'writethrough' mode.

wiping: make libblkid detect all copies of the same signature if use_blkid_wiping=1

Some signatures are spread around the disk in several copies, mainly for
backup. Make libblkid to detect these extra copies - there was missing
"blkid_probe_step_back" fn call after successful wipe of previous signature
copy.

An example with FAT table which has copies:

$ mkfs.vfat /dev/sda1

Before this patch:

$ pvcreate /dev/sda1
WARNING: vfat signature detected on /dev/sda1 at offset 54. Wipe it? [y/n]: y
  Wiping vfat signature on /dev/sda1.
  Physical volume "/dev/sda1" successfully created

With this patch applied:

$ pvcreate /dev/sda1
WARNING: vfat signature detected on /dev/sda1 at offset 54. Wipe it? [y/n]: y
  Wiping vfat signature on /dev/sda1.
WARNING: vfat signature detected on /dev/sda1 at offset 0. Wipe it? [y/n]: y
  Wiping vfat signature on /dev/sda1.
WARNING: vfat signature detected on /dev/sda1 at offset 510. Wipe it? [y/n]: y
  Wiping vfat signature on /dev/sda1.
  Physical volume "/dev/sda1" successfully created

tests: test vgimportclone and -n option

vgimportclone: make sure there's no prefix in VG name list

Make sure log/prefix is set to "" when getting the list of VG names.
We need this for the format to be correct so it's properly searched
through later on.

vgimportclone: fix vgimportclone with -n to not add number unnecessarily to base VG name

$ vgcreate vgA /dev/sda
  Volume group "vgA" successfully created

$ dd if=/dev/sda of=/dev/sdb bs=1M
$ dd if=/dev/sda of=/dev/sdc bs=1M

(the new VG name is prefix of existing VG name)
$ vgimportclone -n vg /dev/sdb

(the new VG name is suffix of existing VG name)
$ vgimportclone -n gA /dev/sdc

Before this patch:
------------------
(we end up with "vg1" and "gA1" names with the "1" suffix which is not needed)
$ vgs -o vg_name
  VG
  gA1
  vg1
  vgA

With this patch applied:
------------------------
(we end up with "vg" and "gA" names as they're unique already and no extra suffix is added)
$ # vgs -o vg_name
  VG
  gA
  vg
  vgA

Of course, if the name supplied is not unique, the number is added correctly:
$ dd if=/dev/sda of=/dev/sdb bs=1M
$ vgimportclone -n vgA /dev/sdb
$ vgs -o vg_name
  VG
  vgA
  vgA1

Fix segfault when lvmlockd is running but not lvmetad

If lvmlockd is running, lvmetad is configured (use_lvmetad=1),
but lvmetad is not running, then commands will seg fault
when trying to send a message to lvmetad.

The difference is lvmetad being "active", not just "used".

vgimportclone: cleanup the script and remove dependency on awk, grep, cut and tr

We can replace the expressions with awk/grep/cut/tr with --select now and
more suitable reporting options and modes. Also, we don't need to check
the temporary lvm.conf generated within vgimportclone script since we're
generating it ourselves now using lvmconfig, not using sed anymore like
it was before (so we can be pretty sure it's correct - we use lvmconfig
now even for generating the lvm.conf itself).

report: add vg_missing_pv_count field

We already have pv_count to report number of PVs that a VG has based
on metadata.

This patch exposes the information about how many of these PVs are
missing which is also useful information for a VG. Wwe could count
the sum of pv_missing reporting fields for each PV in the VG before,
but the new field is practical when reporting VG as a whole and there's
no need to process each PV from VG alone.

man lvmsystemid: fix typos

man lvmsystemd: fix typo

vgcreate: improve error message for multiple lock managers

If 'vgcreate --shared' finds both sanlock and dlm are running,
print a more accurate error message:
"Found multiple lock managers, select one with --lock-type."

When neither is running, we still print:
"Failed to detect a running lock manager to select lock type."

vgcreate: allow both --shared and --lock-type options

Using --lock-type sanlock|dlm implies --shared.

Using --shared selects lock type sanlock|dlm
(by choosing the one that's running.)

Using both --shared and --lock-type sanlock|dlm should
also be allowed (--shared is just redundant information.)

metadata: format_text: provide more detailed error message when metadata too large for PV mda

Also, leave out the note about "circular buffer" which is
an internal imeplementation detail anyway and not quite
informational for users:

Before this patch:
$ vgcreate vg1 /dev/sda
  VG vg1 metadata too large for circular buffer
  Failed to write VG vg1.

With this patch applied:
$ vgcreate vg1 /dev/sda
  VG vg1 metadata too large: size of metadata to write is 691 bytes while PV metadata area size on /dev/sda is 512 bytes.
  Failed to write VG vg1.

report: identify LV hodling sanlock locks as 'private,lockd,sanlock' within lv_role report field

Before this patch:
$ lvs -a -o name,layout,role test/lvmlock
  LV        Layout     Role
  [lvmlock] linear     public

With this patch applied:
$ lvs -a -o name,layout,role test/lvmlock
  LV        Layout     Role
  [lvmlock] linear     private,lockd,sanlock

tests: check devices with prefix aren't in use

Avoid running tests, when prefix already exist in the system.
As prefix just uses  PID number, we may hit a case for long
running tests, where devices from some previous runs were not
properly cleared away - detect this and fail early.
(Such machine should be inspected and fixed).

man: lvcreate continue

Finish remaing bits of updating pages for better rendering
with -Thtml, -Tps.

man: fsadm

cleanup: fix compiler warning

blkdeactivate: recognize and deactivate MD devices too

lockd: add error message for EEXIST

The EEXIST error for LV locks is unusual, and
was missing an explanatory error message.

raid_manip: fix wrong image size allocation on raid10 "lvconvert --replace ..."

raid: Add metadata dev information to reports.

Add metadata_devices and seg_metadata_le_ranges report fields.
Currently only defined for raid, but should probably be extended
to all other segment types that don't report all their device
usage in the 'devices' field.

man lvmcache: updates for mode and policy

Correct some things, e.g. set mode and policy on
the cache lv, not the pool, lvm.conf field for
mode changed.

Add smq which was missing.

Make the sections on cache mode and cache policy
consistent in structure and style.

config: improve cache_settings description

tests: ensure test will not block

This test is somewhat 'stupid' and simulates mostly unsupported
situation - so avoid blocking here.

tests: use proper target name for check

man: update lvm pages

man: update dmsetup and dmstats pages

Try to provide properly rendered pages no just with
plain 'man' but also for:

man -Tps
man -Thtml
man2html

alloc: fix update or area_len

Commit: 192d9ad97769f2c16f3ebe67e51cfb287e67f67c
changed logic for area_len formula - so it returns
different values.

Placing () to restore previous behaviour and make it
explicit.

test: Fix timeout handling

Timeouts were considered as warnings only. Signalling failure is
preferred.

lockd: add VG name to debug logging

Add the VG name to the new debug logging in
the previous commit.

lockd: add debug logging for metadata error

When lvmetad_pvscan_vg() reads VG metadata from each PV,
it compares it to the last one to verify it matches.
If the VG metadata does not match on the PVs, an error
is printed and it fails to read the VG.  In this error
case, use log_debug to show the differences between
the two unmatching copies of the metadata.

lockd: fix rescanning VG metadata

One host changes a VG, making the cached VG on another
host invalid.  The other host then rereads the VG from
disk to get the latest copy.  If the first host removed
a PV from the VG, the second host attempts to reread the
VG from old PV when rescanning.  Reading the VG from the
removed PV fails, causing vg_read to return "VG not found".
The fix is to simply not fail when a VG is not found while
rereading a PV and continue without it.

(This doesn't happen if the second host happens to first
run a command like 'vgs' that triggers a global revalidation
of metadata.)

raid: Introduce DEFAULT_RAID_MAX_IMAGES

Prepare to allow for the number of images in a raid set to be
larger than the limit for old-style dm raid1.

raid: Fail if kernel status denominator is zero.

libdm: Move status fns from deptree to targets.

libdm-deptree is only for functions working with dm tree nodes.

raid: Use loop for text uint32_t parameter import.

Plus some other tidying up of the same file.

test: Cope with stripe rounding message change.

segtypes: Use flags in raid segtype macros.

raid: Add a segtype flag for each raid type.