WHATS_NEW: update

label: use dev iterator directly

Avoid preparing 'extra' dm_list with devices, and just
use the iterator result directly.

dev_cache: replace dm_hash with radix_tree

For large device sets our dm_hash can produce larger amounf of mapping
collision and we would need to further increase our has size.

So instead use the radix_tree code which is immune agains growing size
of devices and uses memory more effiecently to store all the paths.

dev-cache: replace btree with radix_tree usage

Instead of less efficient 'btree' switch dev_cache to use
radix_tree, that is generating more efficient tree mapping.

Some direct use of btree iteration replace with our dev_iter code.

filter-persistent: convert to use radix_tree

Convert the persisten filter to use more memory compact radix_tree as
dm_hash is bound to preallocated number of slots and stores whole
key together with value.

dev_manager: check if uuid isn't already in cache

When DM uuid cache is available, we can possibly avoid unnecessary
status ioctl() when we check the device for 'usable' uuid.

If this test passes the existing code will got through the full check.

device_mapper: refactor code to lvm library

Move the code around caching active dm device devno, name and uuid
from device_mapper/libdm-iface to dev_cache file - as libdm layer
cares about 'decoding' ioctl data from kernel and caching for use by
lvm stays within lvm.

Introduce:
dev_cache_update_dm_devs
dev_cache_get_dm_dev_by_devno
dev_cache_get_dm_dev_by_uuid

Use radix_tree for searching.

dev_manager: no layer suffix for component

Do not attach layer suffix to the UUID when activating component LV.

In this case we want to see allow this LV to be public, thus
such LV should not be using -layer suffix in its UUID.

This also requires that our 'cached' access will check for
both UUID (with & without suffix) which was unnoticed issue before.

This change is now necesssary since our udev rule automatically expects
any LV with -layer suffix is private and will prevent generaring
any systemd unit even when there are no 'DM' flags bits passed via
cookie mechanism while creating such LV.

gcc: pipe error path

Close opened descriptors on failed fork path.

gcc: check cv pointer when needed

As 'cv' was already dereferenced, check for NULL with do {} while();
loop.

gcc: ensure all fmt struct element are initialized

gcc: ensure reset of fd on error path

raid_manip: prevent reshape with freed component SubLVs

In order to free SubLVs after a stripe removing reshape, lvconvert has
to be run without layout changes.   Prevent a layout changing request
in case any such freed SubLVs exist and inform the user about the fact
requesting to release them first.

tests: adjust lvconvert-raid-reshape-size.sh delays/timeouts

tests: add reshape size consistency tests script lvconvert-raid-reshape-size.sh

Calculates expected size before/after reshapes adding/removing stripes
to/from RaidLVs with levels 4/5/6/10 and compares it with the actual
one the block layer shows.  Stripes reshaped to are listed in the
tst_stripes variable.  mkfs/fsck/resize2fs the respective RaidLVs
to confirm ext4 can be resized accordingly without issues.

udev: ignore private LVM devs in udev and systemd

We automatically ignore these devs, when lvm2 create devs,
whoever when lvm2 database is dropped or someone just
created these devs with such formated UUID, there is no
other informantion then to check DM UUID.

tests: fix wrong pos with CONFIG_PRINTK_CALLER

SUSE kernels distribution enables CONFIG_PRINTK_CALLER by default.

One line of cat /dev/kmsg is like:

6,904,9506214456,-,caller=T24012;loop8: detected capacity change from 0
to 354304

If CONFIG_PRINTK_CALLER is off:

6,721,53563833,-;loop0: detected capacity change from 0 to 354304

',caller=T24012' is the redundant part needed to be handled.
Otherwise pos will be lager than buf size causing sz underflowed.
Then constructor of std::string will throw a exception to break
tests:
$ make  check_local  T=shell/000-basic.sh
VERBOSE=0 ./lib/runner \
        --testdir . --outdir results \
        --flavours ndev-vanilla --only shell/000-basic.sh --skip @

running 1 tests
running: [ndev-vanilla] shell/000-basic.sh
            0:00.000Exception: basic_string::_M_create
make[1]: *** [Makefile:148: check_local] Error 1
make[1]: Leaving directory '/root/lvm2/test'
make: *** [Makefile:89: check_local] Error 2

Fix it with strchr for ';' as delimiter to get pos.

Reported-by: Su Yue <glass.su@suse.com>

radix_tree: add radix_tree_values

To more easily adopt radix_tree over existing code base, add
abstraction over 'radix_tree_iterate' which basically builds
an array of all traversed values, and then it's just easy to
go over all array elements.

TODO: code should be converted to use  radix_tree_iterate()
directly as it's more efficient.

Note: it can be possibly to rewrite recursive _iterate() usage
to linear travesal, not sure whether it's worth the effort
as conversion to 'radix_itree_iterator' is relatively simple.

radix_tree: add radix_tree_lookup/insert_ptr

Add simple 'wrapper' inline functions to insert or return ptr lookup value.
(So the user doesn't need to deal with 'union radix_value' locally and
also it makes easier to translage some lvm2 functions to use radix_tree).

Note: If the stored 'value' would NULL, it cannot be recognized
from a case of 'not found'. So usable only when 'values' stored with
tree are not NULL.

radix_tree: constify _iterate

Use nodes as const.
Swap order of arguments.

radix_tree: debug updates

Some updates to _dump()  debugging function so the printed result
can be more easily examined by human.

Also print 'prefix' as string when all chars are printable.

Add 'simple' variant of _dump also to 'simple' version of radix tree
(which is however normally not compiled).

radix_tree: api change

Instead of using 'key state & key end' uint8_t* switch to use
void* key, & size_t keylen.  This allows easier adaptation with
lvm code base with way too much casting with every use of function.

Also correctly mark const buffers to avoid compiled warnings and
casting.

Adapt the only bcache user ATM for API change.

Adapt unit test to match changed API.

radix_tree: indent

Some minor indent changes to more easily read code.

gcc: drop const specifier from allocated string

Use nornal (char*) for pointers we should free().

cov: annotate already validated lv name

cleanup: use _ for static var

Add missing '_' for some static vars.

cleanup: remove unneded headers

As the common code was refactored to toollib, this header file
no longer needs to be included here.

device_id: more use of device_get_uuid

Use function that is caching UUID if kernel provides functionality
from a single ioctl() call.

dev-mpath: check uuid with device_get_uuid

typo: fix typos

Typo and indent.

cleanup: some more MAJOR MINOR unsigned

Finish remaing missing cases where MAJOR/MINOR was casted to (int)
while we can now use it directly as 'unsigned'.

lvremove: reuse existing dm_build_dm_uuid

Use existing dm_build_dm_uuid() to generate LV's DM UUID.

vgimportdevices: skip global lockd locking

Fix commit b65a2c3f3a767 "vgimportdevices: skip lvmlockd locking"
which intended to disable lvmlockd locking, but the lockd_gl_disable
flag was mistakenly set after lock_global() so it wasn't effective.
This caused vgimportdevices to fail unless locking was started.

README: remove old branch names

make: generate

tests: accept new vdoformat output

There is slight change in the printed size number.

args: generate configurable path

tests: quoted DM_DEV_DIR

tests: use single aux lvmconf

Reduce log size as lvmconf can process multiple settings at once.

device_id: use faster dm_strncpy

device_mapper: solve no devices path

Malloc needs to use sane value when names would be NULL.
Also for devices without 'uuid' return empty string instead of NULL.

lvremove: initilize struct list

lvremove: check for handle

Get lvremove_params from non NULL handle.
Introduced in commit 47f8bda05.
TODO: any more thing needed ?

WHATS_NEW: update

make: generate

cov: replace enum report_type_t with unsigned

Another enum used as bitfield mask.

cov: convert some more enternal field masks

Some more 'internal' masks misusing enums for bitfields.

cov: cleanup mask from enum to unsigned

Enums are single 'values' so not a proper type for bitfields.
(Probably better to use such values as defines).

Although here 'daemon_talk()' is part of library API, it's hidden
non-public API call - and moreover 'enum' and 'unsigned' are
using the same size, so linker shouldn't have any issue with
this symbol usage.

For this reason there are no 'versioning' tricks applied.

cov: annotate known use of validated lv name

cleanup: remove blank spaces

cleanup: refactor common code

Refactor shared code from _get_rootvg_dev() between vgchange
and vgimportdevices to get_rootvg_dev_uuid() in toollib.c

tests: add some lvm shell testing

Check lvm shell for autocomplete functionality and error reporting.

cleanup: print MAJOR and MINOR as unsigned

Print directly as %u instead of %d with (int) casting.

libdm: use 'unsigned' for major minor

Although linux uses 'dev_t' as 'unsigned long int' on 64bit,
it's easier to print with just '%u' instead of '%lu'.

cleanup: replace strlen with sizeof

Use the string size from compile time.

cleanup: use const for sizeof values

cleanup: simplier loop condition

Check char for != 0.

cleanup: use correct log_sys_debug

cleanup: struct reorder

Better alignments.

cleanup: some typos

Collection of some typos or invalid uppercase or doublespace cases.

hash: increase some default hash table size

Size of these hashes was quite small, so raise the size of
hashed entries to reduce amount of hash collistion.
Select some unique/unused number for hash_create below 8192.

libdm: drop allocation

Use structure allocated on local stack.

mirror: drop unneeded call

Major,minor,patchlevel are already set from previous call.

device: use device_get_uuid

Replace call to get_dm_uuid_from_sysfs() with use of
device_get_uuid() which gets the same information,
but instead of several syscalls it need either 1 or even 0
when the information is cached with newer kernels.

dev_manager: remove disable_dm_dev flag

Lvm currenly drops cache before first table manipulation
there is no need for this flag ATM.

dev_manager: drop cache for dm tree manipulation

We've got cached DM list before grabbing lock, so there
is some chance, that DM table has changed and we would
need to refresh this info.

TODO: benchmark, whether it would even make sense to refresh cache
and keep it content instead of using individual ioctl() for tree build.

label: cache dm dev list earlier

Cache (when possibly with newer kernel) earlier within label
scanning loop, so the cache information can be also used by
hints file.

device_manager: add device_get_uuid

Function that is working with DM target is located within
lib/activate directory.

This function is able to use cached  dm_device_list when possible
to quickly resolve checks for device's UUID.

Function can fully replace get_dm_uuid_from_sysfs() and instead
of syscalls for open/read/close get the UUID with single ioctl.

When there is cached dm devs list, we can get many UUID from
a single syscall.

device: propagate struct cmd_context

For better use of cached data located within cmd_context,
pass this structure from the top level function.
Also add missing '_' for static _dev_cache_index_devs.
No other change here.

device_mapper: use const for this API

Allow using constified version of devs_list.
Internal loop does not need to modify anythin in this stucture.

device_mapper: add dm_device_list_find_by_dev

Introduce function to find device's name and uuid for
a given major:minor.

This information is cached with dm_device_list which reads all the
info from single ioctl(DM_DEVICE_LIST).
Lvm keeps major:minor name & uuid for active devices in the system.

dev-type: use if..else if...

Compare strings till the first match.

command: reorder vals order

Keep most frequently used val names in front.

command: store val_name with its size

Compile length of val_name during compilation.

dev-cache: skip scanning known blockless dirs

Skip scan and stat() for dirs and nodes within known /dev/ paths,
where no block devices are located.

Also strlen(_cache.dev_dir) just once.

TODO: add more dirs to _no_scan (configurable via lvm.conf ?)

dev-cache: collapsing slashes counts string size

_collapse_slashes() already goes through the whole string,
so just return now already known string length.

cleanup: use single array for idtype string

Share string array for de/coding idtype.

error: try with modprobe

If the error target would be built as module,
ask modprobe to load it if the target is not present.

cleanup: relocate section

Move _features[] structure from .data.rel.ro to .rodata.

cleanup: use ALTERNATIVE_EXTENTS

Instead of comparing string of command names,
introduce ALTERNATIVE_EXTENTS command flags.

cleanup: use ARG_LONG_OPT

Just like with _VAL strings, also _ARG strings do not need to
be present - as we can easily check for LONG opt version just
by adding attribute.

With attribute ARG_LONG_OPT string arg name[] becomes unused
and can be safely removed.

Also within _find_command_id_function() we do not need to handle
'command_enum == CMD_NONE' as separate case and just use single loop.

cleanup: do not store _VAL name string

String enum_name[] is unused so remove is with
all generated strings.

Reoder struct members, so there are no holes.

libdm: parse only block section for proc_devices

Check for begining of 'B'lock section in /proc/devices file
before starting to sscanf() for major.

lvmcmdline: use known lvm_command_enum

lvm command is already decoded (when found),
so use lvm_command_enum directly and avoid
comparing all strings again...

command: return proper unsigned value

Use better 'unsigned' value, so we don't have any 'casting' troubles.

lvm: fix shell completion

Previous commit 82617852a4d3c89b09124eddedcc2c1859b9d50e
introduce bug in complession - as the rl_completion_matches()
needs to always advance to next element where the index
is held in static variable.

Add comment about this usage.

lvremove: remove device_id for PVs on LVs

When PVs are created on LVs, remove the devices file entries
for the PVs when the LVs are removed.  In general, the devices
file entries should be removed with lvmdevices --deldev when
the LVs are removed (lvremove is the equivalent of detaching
a device from the system when layering PVs on LVs.)
This change is effectively an automatic lvmdevices --deldev
command that is built into lvremove when the LV has a PV on it.

Allow system.devices to be automatically created on first boot

An OS installer can create system.devices for the system and
disks, but an OS image cannot create the system-specific
system.devices.  The OS image can instead configure the
image so that lvm will create system.devices on first boot.

Image preparation steps to enable auto creation of system.devices:
- create empty file /etc/lvm/devices/auto-import-rootvg
- remove any existing /etc/lvm/devices/system.devices
- enable lvm-devices-import.path
- enable lvm-devices-import.service

On first boot of the prepared image:
- udev triggers vgchange -aay --autoactivation event <rootvg>
- vgchange activates LVs in the root VG
- vgchange finds the file /etc/lvm/devices/auto-import-rootvg,
  and no /etc/lvm/devices/system.devices, so it creates
  /run/lvm/lvm-devices-import
- lvm-devices-import.path is run when /run/lvm/lvm-devices-import
  appears, and triggers lvm-devices-import.service
- lvm-devices-import.service runs vgimportdevices --rootvg --auto
- vgimportdevices finds /etc/lvm/devices/auto-import-rootvg,
  and no system.devices, so it creates system.devices containing
  PVs in the root VG, and removes /etc/lvm/devices/auto-import-rootvg
  and /run/lvm/lvm-devices-import

Run directly, vgimportdevices --rootvg (without --auto), will create
a new system.devices for the root VG, or will add devices for the
root VG to an existing system.devices.

post-release

pre-release

pages: Use gitlab pages and ikiwiki for doc

doc: Update TESTING file

makefiles: use properly defined varitable

Variable used for tracking dependencies is USE_TRACKING.

tests: add basics for dm_hash unit testing

Better code coverage.

gcc: clean cast with -Wbad-function-cast

Makes gcc happier.

gcc: same signess

gcc: use proper commnent

gcc: better initilizer for older gcc compilers

So use  { { } }.

activation: log_debug_activation

Correcting debug class.

tests: reduce number of created LVs

lvm2 for a while already optimizes 'vgremove' operation to
a single commit when possible if all LVs can be
easily deactivated.

So the number of LVs doesn't matter much - but the tested
case 'test_delete_non_complete_job' seems to be taking
some time anyway to capture the exception.

So just reducing the running time of the test significatanly
as we don't need to create 64LVs for 4 'execution mode' runs.