makefiles: switch to rpath-link

Plain rpath is to invasive and gets into binary.
We only want to provide hint for linker.

dmeventd: fix missing '!'

During recent code changes '!' was badly converted.

makefiles: older gcc needs hint with rpath

gcc 4.3 seems not to be able to find linked library without
specifying -rpath to linker  (plain -L) is not enough.

dmeventd: compilable without DEBUG CFLAG

Missed compilability without DEBUG.

Revert "log: no file for external logging"

This reverts commit 1b1c01a27b359f8e91c3c9e08684c435d8fd51c2.

This caused messages to get dropped instead of logged into the log file.

(The log file and log function are independent at the moment.)

tests: more extend testing

tests: wait for initial sync

Raid should be in-sync ATM for any gaming.

tests: start logging dmeventd output

Log dmeventd output from test - keep output logging in test
and avoid sending messages to syslog.

tests: better regex check

Enhance check for matching prefix.

tests: show status in in_sync

Make visible actual status line when returing 'raid' is in sync.
Useful to prove when kernel is wrong.

makefiles: src dirs have depth 5

For tags generation scan depth 5.

makefiles: drop explicit linking

Nothing in /sscripts needs devmapper-event library so drop its linking.

makefiles: generate Local

Use same  exported symbols list for other generated symfile
as it appeared to be the right way for libdm.

Local {
local:
*;
};

dmeventd: rework raid plugin

Switch to per-thread mem-pool and lock only for lvm2 calls.
Use libdm parser for raid status line.

dmeventd: less locking mirror

Rework mirror plugin to use per-thread mem-pool.
This allows to use locking only for lvm2 library calls.

dmeventd: less locking for snapshot and thin

Use lvm lock for lvm library calls.

dm functions in-use are 'thread-safe' since we use
local per-thread mem pool.

dmeventd: add local mempool for raid and mirror

Using local mempools allows to drop locks when such memory is needed.

dmeventd: use new macros to init mempool

For thin and snapshot use new macros
to simplify mempool init and destroy

dmeventd: introduce macro for init

Simplify commonly used pool creation.

dmeventd: new initialization of plugin threads

Rework thread creation code to better use resources.

New code will not leak 'timeout' registered thread on error path.

Also if the thread already exist - avoid creation of thread
object and it's later destruction.

If the race is noticed during adding new monitoring thread,
such thread is put on cleanup list and -EEXIST is reported.

cleanup: typo in comment

cleanup: move system defines before structs

cleanup: avoid using private

Switch private to user.

cleanup: remove multilog

cleanup: always set nsec

cleanup: more readable code

dmeventd: support logging on stdout

Add new supported option '-l' log to stdout/stderr.

It has to be paired with '-f' (foreground run).

cleanup: static with _

Document ? is printing to stderr.

dmeventd: handle snapshot overflow

When snapshot reports overflow, handle it in the same way as Invalid.
Until better ideas are implemented.

man: dmeventd update

dmeventd: add more debug messages

dmeventd: drop changing logging

As we now use 'unified' logging macro system - we no longer need
to protect from change of logging function pointer - it's set
once at the start of dmeventd and not change anymore
(as lvm2 library no longer interferers here).

dmeventd: enable new logging

dmeventd: enable new logging

dmeventd: use log_ macros in plugins

Convert from syslog to standard log_() macros in plugins.

dmeventd: syslog -> log_xxxxx

Convert logging of dmeventd to libdm logging macros.

libdmevent: add dm_event_log

Add dm_event_log() logging function.
Controled by dm_event_log_set().

dmeventd: log all commands with CMD: prefix

For easier grep of all processed command - add CMD: prefix to them.

Use  >>>  for entring command processing
and  <<<  when command is processed.

dmeventd: fix loging report

msg.cmd holds return value from processing after _do_process_request,
so save it before call.

log: no file for external logging

When external logging is set do not bother creating log file,
as it's not going to be used.

toolcontext: do not change already set dm_log

If the dm_log is already set to non-default logger,
avoid to change it.

thin: enhance logging

Add debug message with more details about threshold overflow.

dmeventd: correct ret code for fail

As  _do_register_device() calls  register_device() function that returns
1 success & 0 fail -  ret = -ENOMEM for fail case instead of 0.

thin: check for overflown pool earlier

Check for pool early before we actually start to modify metadata.
This requires locally active thin-pool.

libdm: enforce writethrough mode for cleaner

With "cleaner" policy always use 'writethrough' mode.

wiping: make libblkid detect all copies of the same signature if use_blkid_wiping=1

Some signatures are spread around the disk in several copies, mainly for
backup. Make libblkid to detect these extra copies - there was missing
"blkid_probe_step_back" fn call after successful wipe of previous signature
copy.

An example with FAT table which has copies:

$ mkfs.vfat /dev/sda1

Before this patch:

$ pvcreate /dev/sda1
WARNING: vfat signature detected on /dev/sda1 at offset 54. Wipe it? [y/n]: y
  Wiping vfat signature on /dev/sda1.
  Physical volume "/dev/sda1" successfully created

With this patch applied:

$ pvcreate /dev/sda1
WARNING: vfat signature detected on /dev/sda1 at offset 54. Wipe it? [y/n]: y
  Wiping vfat signature on /dev/sda1.
WARNING: vfat signature detected on /dev/sda1 at offset 0. Wipe it? [y/n]: y
  Wiping vfat signature on /dev/sda1.
WARNING: vfat signature detected on /dev/sda1 at offset 510. Wipe it? [y/n]: y
  Wiping vfat signature on /dev/sda1.
  Physical volume "/dev/sda1" successfully created

tests: test vgimportclone and -n option

vgimportclone: make sure there's no prefix in VG name list

Make sure log/prefix is set to "" when getting the list of VG names.
We need this for the format to be correct so it's properly searched
through later on.

vgimportclone: fix vgimportclone with -n to not add number unnecessarily to base VG name

$ vgcreate vgA /dev/sda
  Volume group "vgA" successfully created

$ dd if=/dev/sda of=/dev/sdb bs=1M
$ dd if=/dev/sda of=/dev/sdc bs=1M

(the new VG name is prefix of existing VG name)
$ vgimportclone -n vg /dev/sdb

(the new VG name is suffix of existing VG name)
$ vgimportclone -n gA /dev/sdc

Before this patch:
------------------
(we end up with "vg1" and "gA1" names with the "1" suffix which is not needed)
$ vgs -o vg_name
  VG
  gA1
  vg1
  vgA

With this patch applied:
------------------------
(we end up with "vg" and "gA" names as they're unique already and no extra suffix is added)
$ # vgs -o vg_name
  VG
  gA
  vg
  vgA

Of course, if the name supplied is not unique, the number is added correctly:
$ dd if=/dev/sda of=/dev/sdb bs=1M
$ vgimportclone -n vgA /dev/sdb
$ vgs -o vg_name
  VG
  vgA
  vgA1

Fix segfault when lvmlockd is running but not lvmetad

If lvmlockd is running, lvmetad is configured (use_lvmetad=1),
but lvmetad is not running, then commands will seg fault
when trying to send a message to lvmetad.

The difference is lvmetad being "active", not just "used".

vgimportclone: cleanup the script and remove dependency on awk, grep, cut and tr

We can replace the expressions with awk/grep/cut/tr with --select now and
more suitable reporting options and modes. Also, we don't need to check
the temporary lvm.conf generated within vgimportclone script since we're
generating it ourselves now using lvmconfig, not using sed anymore like
it was before (so we can be pretty sure it's correct - we use lvmconfig
now even for generating the lvm.conf itself).

report: add vg_missing_pv_count field

We already have pv_count to report number of PVs that a VG has based
on metadata.

This patch exposes the information about how many of these PVs are
missing which is also useful information for a VG. Wwe could count
the sum of pv_missing reporting fields for each PV in the VG before,
but the new field is practical when reporting VG as a whole and there's
no need to process each PV from VG alone.

man lvmsystemid: fix typos

man lvmsystemd: fix typo

vgcreate: improve error message for multiple lock managers

If 'vgcreate --shared' finds both sanlock and dlm are running,
print a more accurate error message:
"Found multiple lock managers, select one with --lock-type."

When neither is running, we still print:
"Failed to detect a running lock manager to select lock type."

vgcreate: allow both --shared and --lock-type options

Using --lock-type sanlock|dlm implies --shared.

Using --shared selects lock type sanlock|dlm
(by choosing the one that's running.)

Using both --shared and --lock-type sanlock|dlm should
also be allowed (--shared is just redundant information.)

metadata: format_text: provide more detailed error message when metadata too large for PV mda

Also, leave out the note about "circular buffer" which is
an internal imeplementation detail anyway and not quite
informational for users:

Before this patch:
$ vgcreate vg1 /dev/sda
  VG vg1 metadata too large for circular buffer
  Failed to write VG vg1.

With this patch applied:
$ vgcreate vg1 /dev/sda
  VG vg1 metadata too large: size of metadata to write is 691 bytes while PV metadata area size on /dev/sda is 512 bytes.
  Failed to write VG vg1.

report: identify LV hodling sanlock locks as 'private,lockd,sanlock' within lv_role report field

Before this patch:
$ lvs -a -o name,layout,role test/lvmlock
  LV        Layout     Role
  [lvmlock] linear     public

With this patch applied:
$ lvs -a -o name,layout,role test/lvmlock
  LV        Layout     Role
  [lvmlock] linear     private,lockd,sanlock

tests: check devices with prefix aren't in use

Avoid running tests, when prefix already exist in the system.
As prefix just uses  PID number, we may hit a case for long
running tests, where devices from some previous runs were not
properly cleared away - detect this and fail early.
(Such machine should be inspected and fixed).

man: lvcreate continue

Finish remaing bits of updating pages for better rendering
with -Thtml, -Tps.

man: fsadm

cleanup: fix compiler warning

blkdeactivate: recognize and deactivate MD devices too

lockd: add error message for EEXIST

The EEXIST error for LV locks is unusual, and
was missing an explanatory error message.

raid_manip: fix wrong image size allocation on raid10 "lvconvert --replace ..."

raid: Add metadata dev information to reports.

Add metadata_devices and seg_metadata_le_ranges report fields.
Currently only defined for raid, but should probably be extended
to all other segment types that don't report all their device
usage in the 'devices' field.

man lvmcache: updates for mode and policy

Correct some things, e.g. set mode and policy on
the cache lv, not the pool, lvm.conf field for
mode changed.

Add smq which was missing.

Make the sections on cache mode and cache policy
consistent in structure and style.

config: improve cache_settings description

tests: ensure test will not block

This test is somewhat 'stupid' and simulates mostly unsupported
situation - so avoid blocking here.

tests: use proper target name for check

man: update lvm pages

man: update dmsetup and dmstats pages

Try to provide properly rendered pages no just with
plain 'man' but also for:

man -Tps
man -Thtml
man2html

alloc: fix update or area_len

Commit: 192d9ad97769f2c16f3ebe67e51cfb287e67f67c
changed logic for area_len formula - so it returns
different values.

Placing () to restore previous behaviour and make it
explicit.

test: Fix timeout handling

Timeouts were considered as warnings only. Signalling failure is
preferred.

lockd: add VG name to debug logging

Add the VG name to the new debug logging in
the previous commit.

lockd: add debug logging for metadata error

When lvmetad_pvscan_vg() reads VG metadata from each PV,
it compares it to the last one to verify it matches.
If the VG metadata does not match on the PVs, an error
is printed and it fails to read the VG.  In this error
case, use log_debug to show the differences between
the two unmatching copies of the metadata.

lockd: fix rescanning VG metadata

One host changes a VG, making the cached VG on another
host invalid.  The other host then rereads the VG from
disk to get the latest copy.  If the first host removed
a PV from the VG, the second host attempts to reread the
VG from old PV when rescanning.  Reading the VG from the
removed PV fails, causing vg_read to return "VG not found".
The fix is to simply not fail when a VG is not found while
rereading a PV and continue without it.

(This doesn't happen if the second host happens to first
run a command like 'vgs' that triggers a global revalidation
of metadata.)

raid: Introduce DEFAULT_RAID_MAX_IMAGES

Prepare to allow for the number of images in a raid set to be
larger than the limit for old-style dm raid1.

raid: Fail if kernel status denominator is zero.

libdm: Move status fns from deptree to targets.

libdm-deptree is only for functions working with dm tree nodes.

raid: Use loop for text uint32_t parameter import.

Plus some other tidying up of the same file.

test: Cope with stripe rounding message change.

segtypes: Use flags in raid segtype macros.

raid: Add a segtype flag for each raid type.

lockd: fix changing lock type on VG with pool

vgchange --lock-type iterates through LVs to ensure
no LVs are active before changing the lock type of
the VG, but the loop was not checking that an LV
actually has a lock before trying it, so it would
fail if the VG had any LVs that don't use locks,
e.g it would fail on a tmeta LV from a pool.

raid: Detect whether or not kernel supports raid0.

alloc: Move _calc_area_multiple.

stripes: Introduce _round_to_stripe_boundary.

segtypes: Add and use new segtype macros.

Includes fixing an inverted raid10 segtype check in _raid_add_target_line.

style: lv_manip.c changes

libdm: fix bogus macro causing false parameter count

raid: Fix raid target write_behind parameter.

Now uses correct "max_write_behind" instead of "writebehind".
(Includes some tidying up.)

libdm: Improve raid segment parameter handling.

style: Miscellaneous tidying up of metadata/lv*

systemd: use {local,remote}-fs-pre.target instead of {local,remote}-fs.target

We want most of our units to be started before any local/remote mount
points are mounted - we used {local,remote}-fs.target for this purpose
before, but it was not 100% correct as there's even {local,remote}-fs-pre.target
special systemd unit reserved for this exact purpose.

See also man 7 systemd.special and "local-fs-pre.target"/"remote-fs-pre.target"
description.

segtypes: Make constants ULL.

man lvmthin: use --poolmetadatasize option

when extending a pool metadata lv, rather than
referencing the _tmeta device.

segtypes: Use SEG_TYPE_NAME_ string constants.

segtypes: Extend flags to 64 bits.

post-release