Add LVMetaD init script.

Add skeleton for lvmetad udev rules - 69-dm-lvm-metad.rules.

Why using the order 69:

  - Storage processing in general happens in 60-persistent-storage.rules,
    including the blkid call that adds some usable information we can use
    for filtering and speedup (these rules are part of upstream udev and
    the order is preserved on most distros)

  - There's still some other storage-related processing done after
    60-persistent-storage.rules in general. These might add some detailed
    storage-related information we might use to filter devices effectively
    (e.g. MD udev rules, ...).

  - We need lvmetad rules to be processed before any consumers can use the
    output - so the metadata cache is ready soon enough (e.g. udisks rules).

  - There's no official (upstream udev) document about assigning the order,
    so this number is chosen in best belief it will suit all scenarios.

Fix server-side leaks in lvmetad.

Clean up the lvmetad state more thoroughly upon shutdown.

Fix an error path in daemon_open.

Make the calls to pvscan --lvmetad in the testsuite slightly more civilised.

Couple of improvements in the daemon (common + lvmetad) code:
- some client-side memory leak fixes
- announce and check protocols and protocol versions

Limit sscanf params with size

Make sure parsed string fits given char buffer.

Unit testing for some string libdm functions

TODO: more functions need to be unit tested.

Introduce dm_strncpy

Should be faster then strncpy - since we could avoid clearing 4KB pages
with each strncpy(...,PATH_MAX).
Also it's easy to check whether string fit - and eventually avoid
to continue working we incomplete string.

Use const for lv

lv_is_active doesn't needs modifiable LV struct so keep it const.

Remove lv_send_message() left bits from code -
they were never released in 2.02.89.

Keep same sign for 's' counter

Drop const modifier from fb

It's not useful here to use const - since we need non-const value for unmap.
Also remove now unneeded cast.

Add explicit cast for time() ret value

To keep all numbers with same sign

Use same signed numbers

Keep unsigned aritmetic.

TODO: we should probably switch dm_split_words() to return unsigned numbers.
(minor API libdm change mostly compatible)

Drop backtrace after log_error

Just a minor change to not give backtrace when log_error has been just
reported.

Remaing code suffling

Move declaration to the front of function to follow coding rules.

Fix regression from cleanup commit

baton is being modified, so needs to be cleared before each use.

post-release

pre-release

Missed dm_free in last commit

Limit number of mem allocs and copies

If we have good enough glibc to return number of needed chars, do not
loop try to reach good size, but use this size directly for allocation,
saving also last strdup.

Since now we start with 16 bytes - skip buffer realloc for shorter string.

Some reformating for lvmetad uddates

cleanup gcc warning,
use PRIu64
header cleanups
const pointer fixes.

Require number of stripes to be greater than parity devices in higher RAID.

Also, add some comments to code that I recently added that may be unclear
otherwise.

Add a vgscan to lvcreate-repair.sh. The old test applied device filter hacks to
make devices invisible to lvm, but the behaviour of those is slightly different
than of actual missing devices. Running vgscan after re-enabling the device
triggers a metadata repair which is not done by vgremove -ff. This is not a
regression, merely an odd behaviour that has been around even before lvmetad.

Use 'd' instead of 'D' in tmpfiles configuration to not overwrite any existing directory.

...that happens when systemd creates it first (e.g. based on a .socket unit)
before the tmpfiles.d content is executed.

Kick out a debugging call to valgrind in lvmcache-exercise.sh.

Add a missed dependency that is required to pull in dameons/common in an early
part of the build.

We need daemons/common now even if the lvmetad server side is not built.

Remove the old systemd socket file, we're using the .in template now.

Use DEFAULT_RUN_DIR instead of hardcoded value in lvmetad systemd units
and add ExecStartPost=vgscan to actually run the first scan that will
fill the metadata daemon with metadata information.

Add -ldaemon to make.tmpl.in.

Missed update for include/.symlinks.in to include lvmetad.h.

The lvmetad client-side integration. Only active when use_lvmetad = 1 is set in
lvm.conf *and* lvmetad is running.

Also use DEFAULT_RUN_DIR for the lvmetad socket on the client side.

Add LVMetaD systemd units.

Install lvm2 monitoring init script and systemd units only if dmeventd is built.

Clean intermediate files.

Fix allocation code to allow replacement of single RAID 4/5/6 device.

The code fail to account for the case where we just need a single device
in a RAID 4/5/6 array.  There is no good way to tell the allocation functions
that we don't need parity devices when we are allocating just a single device.
So, I've used a bit of a hack.  If we are allocating an area_count that is <=
the parity count, then we can assume we are simply allocating a replacement
device (i.e. no need to include parity devices in the calculations).  This
should make sense in most cases.  If we need to allocate replacement devices
due to failure (or moving), we will never allocate more than the parity count;
or we would cause the array to become unusable.  If we are creating a new device,
we should always create more stripes than parity devices.

Check all tags and LV names are in a valid form in vg_validate.

Add lvm2 tmpfiles.d configuration file.

Add configure --with-tmpfilesdir and lvm2 tmpfiles.d configuration file itself.

/etc/tmpfiles.d directory holds configuration files for temporary/volatile
files and directories that should be automatically managed. For example,
if we have some parts of the fs hierarchy on tmpfs, we'd like to recreate
some files or directories on every boot so they're always prepared for use.

Systemd can read such configuration files. For now, the lock and run directory
are the ones that are most probably placed on tmpfs. If this is the case, we
can install the configuration by 'make install_tmpfiles_configuration'.

Allow 'lvconvert --repair' to operate on RAID 4/5/6.

The higher level RAIDs should be allowed for repair along with 'mirror' and
'raid1' segment types.

*** empty log message ***

Add some messages that indicate completion of RAID device replacement.

There were no messages printed upon completiion of RAID device replacement.
This could cause confusion/concern during automated recovery, because the
user sees the failure messages but no other messages indicating correction.

Fix a bad return code in 'lvconvert_raid'

Functions at this level do return 0 or 1, not ECMD_* values.

Tweak lvmetad a bit more:
- allow at most one PV on any given device
- allow PV lookup by device
- merge the pvmeta info into VG metadata when responding to vg_lookup

post-release

Call built-in blkid conditionaly (udev version >= 176), call standard blkid
with full path otherwise.

pre-release

Check whether udev supports built-in blkid.

Built-in blkid is supported since udev v176 - set the UDEV_HAS_BUILTIN_BLKID
variable appropriately so we can use it in the rules to call the built-in
blkid conditionaly.

Switch to using built-in blkid in 13-dm-disk.rules.

Available in udev since version 176.

Drop the now-redundant pvid_to_status hash.

Update lvmetad: use device major/minor pair to track devices. Keep a pvmeta
config tree per PV which is mostly provided by the client, so it can be used to
keep track of things like label_sector, PV format, mda count / offsets and so
on.

Initialize dmeventd monitoring for every command

Read lvm.conf setting for monitoring for each command. So we should not
activate monitoring if the default compilation is set to monitor during
lvconvert commnads.

Patch also removes check for  clustered VG and allows to disable monitoring
for clustered VG with the assumption, the problem with monitoring and dmeventd
flag passing for INGNORE is already fixed.

typo

Add watch rule to 13-dm-disk.rules.

We don't have anything better yet...

The problems the watch rule caused when removing devices should be covered
now with the "retry remove" logic. It's also better to have this maintained
by us, rather than having this rule anywhere else without proper control.

Simplify with dm_strdup

Run tests with lvmetad if we have it.

Fix segfault in dmsetup when using table specification with --table.

Segfault introduced with the patch that added dm_free(_table) at the
end of dmsetup (in this release).

(lvmetad) Remove unused variable.

In lvmetad, also nuke VGs when all their PVs are stolen by another VG (vgmerge
& vgsplit do this).

Detect failing fifo

If the fifo died because of dmeventd restart - do not wait for 20s
in select  - it will not get better and return error immediately.

Deal with slower test processing

If the merge was faster then query - deal with it and pass the test.

Initialize monitoring support only for thin pools

Update cut&paste error message

Turn a warning to an error in vgreduce --removemissing, since we exit with a
failure status there.

Add dmsetup manpage entries for mangle command and --manglename option.

Add DM_DEFAULT_NAME_MANGLING_MODE env. variable to override configured value.

Just in case of emergency when name mangling code causes any problems so
we can override the default value and switch off the mangling globally.

Replace any '\' char with '\\' in table specification on input.

Device-mapper in kernel uses '\' as escape character so it's better
to double it to avoid any confusion when using existing device names
with '\' in the table specification.

For example:

dmsetup create x --table "0 8 linear /dev/mapper/a\x20b 0"

should pass just fine now without a need to explicitly escape the '\' char
like this:

dmsetup create x --table "0 8 linear /dev/mapper/a\\x20b 0"

Add mangle command to dmsetup to provide renaming to correct mangled form.

Add 'mangled_name' and 'unmangled_name' fields to dmsetup info -c -o.

Add --manglename option to dmsetup to select the name mangling mode.

Unamngle dm device name list automatically on ioctl return.

If dm_task_get_name or dm_task_get_names gets called, these will return
unmangled form of the names so the name mangling stays totally transparent
to any libdevmapper user (unless DM_STRING_MANGLING_NONE is used in which
case the name is not touched and it is is returned as it is in kernel).

For example:

dmsetup create "a b" - will create a\x20b device in kernel and so udev will
create /dev/mapper/a\x20b

dm_task_get_name/names will still return "a b"

In AUTO mode, the libdevmapper user can still query the device by using
the mangled ("a\x20b") or unmangled form of the name when calling dm_task_set_name.
If mangled name is provided, it's detected and the name is kept as it is.
If unmangled name is provided, it will be mangled. IOW in AUTO mode it's
totally transparent and it should not require any changes in the code
using libdevmapper.

However, any libdevmapper user must be aware of the fact that the mangled form
of the name appears in /dev/mapper (udev just can't deal with those blacklisted
characters).

lvmetad server-side update:
- rename the hashes to be explicit about the mapping
- add VG/PV listing calls to the protocol
- cache slightly more of the per-PV state
- filter cached metadata
- compare the metadata upon metadata_update

Add dm_task_get_name_mangled/unmangled to libdevmapper.

dm_task_get_name_mangled will always return mangled form of the name while
the dm_task_get_name_unmangled will always return unmangled form of the name
irrespective of the global setting (dm_set/get_name_mangling_mode).

This is handy in situations where we need to detect whether the name is already
mangled or not. Also display functions make use of it.

Add DEV_NAME macro.

Use the DEV_NAME macro to use the mangled form of the name if present,
use normal name otherwise (we store both forms - mangled and unmangled in
struct dm_task). Mangled form should be always preferred over unmangled
with the exception of the situations where we divide one task into several
others (like "create and load") - we need to avoid mangling the name twice
(because of multiple dm_task_set_name calls)!

Mangle device name on dm_task_set_name/newname call if necessary.

If dm_task_set_name/newname is called, the name provided will be
automatically translated to correct encoded form with the hex enconding
so any character not on udev whitelist will be mangled with \xNN
format where NN is hex value of the character used.

By default, the name mangling mode used is the one set during
configure with the '--with-default-name-mangling' option.

autoreconf

Add configure --with-default-name-mangling.

This option configures the default name mangling mode used, one of:
AUTO, NONE and HEX.

The name mangling is primarily used to support udev character whitelist
(0-9, A-Z, a-z, #*-.:=@_) so any character that is not on udev whitelist
will get translated into an encoded form \xNN where NN is the hex value
of the character.

Do not forget to initialise the error value in daemon_reply.

Fix pool names of the format1/format_pool orphan VGs.

In the test harness, do the back-substitution (@TESTDIR@, @PREFIX@) also on the
live VERBOSE output, not just the post-mortem dumps.

Make conversion from a synced 'mirror' to 'raid1' not cause a full resync.

It was not possible to pass down the DM_[FORCE|NO]SYNC flags to
'dm_tree_node_add_raid_target'.  This meant that converting to 'raid1' from
'mirror' would cause a full resync.  (It also meant that '--nosync' was
ineffective when creating a 'raid1' LV.)

I've taken the 'reserved' parameter in 'dm_tree_node_add_raid_target' and
used it for the "flags" parameter.  Now it is possible to pass the sync
flags and any other flags that may come up.

Change confusing message that is printed when a RAID device fails.

s/Issue/Use/, otherwise it is easy to misread "Issue" as "Issuing" - causing
the user confusion as to whether the action was performed automatically or
whether they need to issue the command.

Fix possible NULL pointer dereferences when updating mirror log.

'_lv_update_log_type' takes a lvconvert_params argument so that it can pass
down the user's preference of 'region_size' and allocation_policy.  When
'mirror_remove_missing' was introduced (commit ID
95986e42a18ca98c9b1d777346978b7297c85558) it didn't make sense to pass down
user preferences - so NULL was given instead.  While it may never happen in
practice, static analysis reveals that this argument could be dereferenced.
So, if the user preferences were not passed in, glean the necessary fields
from what is already set in the LV.

Reported-by: Zdenek Kabelac <zkabelac@redhat.com>
Signed-off-by: Jonathan Brassow <jbrassow@redhat.com>
(Not updating WHATSNEW for this simple clean-up.)

Fix bug that caused RAID devices to be unable to activate if sub-LV was missing.

Commit 02f6f4902fd90709f55e2e97e969ee28c2945c81 introduced a bug that caused
RAID devices to fail to activate if the device for a single sub-LV failed.
The special case of LVM mirror was handled, but not LVM RAID.
EXAMPLE:
[root@bp-01 ~]# devices vg
  LV            Copy%  Devices
  lv            100.00 lv_rimage_0(0),lv_rimage_1(0)
  [lv_rimage_0]        /dev/sde1(1)
  [lv_rimage_1]        /dev/sdh1(1)
  [lv_rmeta_0]         /dev/sde1(0)
  [lv_rmeta_1]         /dev/sdh1(0)
[root@bp-01 ~]# vgchange -an vg
  0 logical volume(s) in volume group "vg" now active
[root@bp-01 ~]# off.sh sdh
Turning off sdh
[root@bp-01 ~]# vgchange -ay vg --partial
  Partial mode. Incomplete logical volumes will be processed.
  Couldn't find device with uuid fbI0YO-GX7x-firU-Vy5o-vzwx-vAKZ-feRxfF.
  Cannot activate vg/lv_rimage_1: all segments missing.
  0 logical volume(s) in volume group "vg" now active

AFTER this patch:
[root@bp-01 ~]# vgchange -ay vg --partial
  Partial mode. Incomplete logical volumes will be processed.
  Couldn't find device with uuid fbI0YO-GX7x-firU-Vy5o-vzwx-vAKZ-feRxfF.
  1 logical volume(s) in volume group "vg" now active
[root@bp-01 ~]# devices vg
  Couldn't find device with uuid fbI0YO-GX7x-firU-Vy5o-vzwx-vAKZ-feRxfF.
  LV            Copy%  Devices
  lv            100.00 lv_rimage_0(0),lv_rimage_1(0)
  [lv_rimage_0]        /dev/sde1(1)
  [lv_rimage_1]        unknown device(1)
  [lv_rmeta_0]         /dev/sde1(0)
  [lv_rmeta_1]         unknown device(0)
[root@bp-01 ~]# dmsetup table vg-lv; dmsetup status vg-lv
0 1024000 raid raid1 3 0 region_size 1024 2 253:2 253:3 - -
0 1024000 raid raid1 2 AD 1024000/1024000

No WHATSNEW update necessary because this is an intrarelease fix.

 brassow

Superfluous '/' in systemd_dir path.

Fix missing temp_buf init for error path

In previous commit this was missing, also deallocate in reversed order.

Add internal error to guard vgname2 NULL dereference

Add some FIXME around allocation code

Remove also unreachable break..

Never try to test character past given buffer

In case units[0] would be already '\0', do not check units[1].

Make sure dereferenced words[0] and words[1] are defined

Add configure --with-systemdsystemunitdir.

Handle all succefull values from open()

Ensure allocated device does not leak on error path

For unimplementd canonicalize_file_name set to NULL

Add internal error for unsupported code paths

Patch mainly helps static analyzers to better work with code paths
lvm code should never trigger.

Check for missing reply_uuid

Check for allocation failure

Add check for allocation failure