makefiles: improved hyphenation replacement

Sed replacements script missed to properly replace several '-' to '\-'.
Replace it with simpler set of regexes.

Also add new target 'make checksed' for testing with examples,
where the replacement should or should not occure for easier testing.

remove unused flag DEV_UDEV_INFO_MISSING

man/help: change LV type listing

Previously, accepted LV types were presented as a series of suffixes
after the "LV" on the command line.  The addition of many new types
resulted in this becoming too long, e.g

  lvconvert --type cache --cachepool LV LV_linear_striped_thinpool_vdo_vdopool_vdopooldata_raid

For man pages, move these types from the command line to a new line
dedicated to listing accepted LV types:

  lvconvert --type cache --cachepool LV LV1
  ...

  LV1 types: linear striped thinpool vdo vdopool vdopooldata raid

The special "LV1" is used as a reference to avoid confusion
with other LVs that may appear on the command line.  There
are currently no commands with more than one typed LV, but
if there are cases with more, then "LV2" could also be used.

For command line usage/-h output, drop the LV types from the
command line specification.  The more detailed is not needed
in the help output and can be found in the man page.

man: typography

With to use .TP where it's easy and doesn't change layout
(since .HP is marked as deprecated) - but .TP is not always perfetc match.

Avoid submitting empty lines to troff and replace them mostly with .P
and use '.' at line start to preserve 'visual' presence of empty line
while editing man page manually when there is no extra space needed.

Fix some markup.

Add some missing SEE ALSO section.

Drop some white-space at end-of-lines.

Improve hyphenation logic so we do not split options.

Use '.IP numbers' only with first one the row (others in row
automatically derive this value)

Use automatic enumeration for .SH titles.

Guidelines in-use:
https://man7.org/linux/man-pages/man7/groff.7.html
https://www.gnu.org/software/groff/manual/html_node/Man-usage.html
https://www.gnu.org/software/groff/manual/html_node/Lists-in-ms.html

makefiles: fix replacing path for LVM_PATH

Man pages were generated with incorrect LVM_PATH.

WHATS_NEW: update

Revert "thinpool: support lvconvert without zeroing"

This reverts commit 8e7690b7980ad3bc6e7c38d6e2028f885751c355.

Actully this was bad idea - to make it on pair.
-Zn for thin-pools is already used - so here user must have
create new pool and swap existing thin-pool metadata into.

So reverting this commit to avoid any possible regression.

Revert "tests: add check for lvconvert without zeroing"

This reverts commit accf324ccba681ad06cd8bcb27ead17ec191a471.

tests: race on md raid still being hit on 5.12-rc6

Still hits the race in initialization:

kernel BUG at drivers/md/raid5.c:7549!
invalid opcode: 0000 [#1] SMP PTI
CPU: 0 PID: 525149 Comm: dmsetup Tainted: G           OEi
    --------- ---  5.12.0-0.rc6.184.fc35.x86_64 #1
Hardware name: Red Hat KVM, BIOS 0.5.1 01/01/2007
RIP: 0010:raid5_run+0x40b/0x4b0 [raid456]
Code: 00 8b 83 3c 01 00 00 39 83 bc 00 00 00 0f 85 ac 00 00 00
      48 c7 44 24 08 00 00 00 00 8b bb 30 01 00 00 85 ff 0f 84
      88 fd ff ff <0f> 0b 48 8b 43 48 48 c7 c6 40 93 92 c0 48
      c7 c7 70 2c 93 c0 48 85
Call Trace:
 md_run+0x4d6/0xbc0
 ? super_validate+0x2e1/0x4b0 [dm_raid]
 raid_ctr+0x133e/0x281b [dm_raid]
 dm_table_add_target+0x167/0x330
 table_load+0x103/0x350
 ctl_ioctl+0x1b4/0x430
 ? dev_suspend+0x2c0/0x2c0
 dm_ctl_ioctl+0xa/0x10
 __x64_sys_ioctl+0x82/0xb0
 do_syscall_64+0x33/0x40
 entry_SYSCALL_64_after_hwframe+0x44/0xae

make: generate

Oops, previous generate was not correct.

tests: enable for 5.12+ kernels

Should not longer kill kernel.

makefiles: add devmapper  for devmapper-event

Older linkers do not take this dependency automatically from
libdevmapper-event so need to be passed with linker command.

WHATS_NEW: updates

make: generate

man: hyphenation improvements

man-generator: spaces

man-generator: option description indented

Left indention is needed only for options, but is actually
unwanted for decription itself.

man-generator: remove ',' between some options

It would be complicated to handle ',' alignment after hyphenation
changes ATM, but these commas seems to be there rather unneeded
so remove them and make the man output more clear.

man-generator: improve hyphenation for longer option list

Disable hyphenation around longer option lists (>42 chars)
and use \: to markup places for line splits.

The code ATM is somewhat mixtured so it's not easy to encapsulate
section .nh ... .hy.

ATM global _was_hyphen is used to properly finish sections after
disabled hyphenation.

man: use commas in SEE ALSO

Add ',' between each ref.
Use left alignment and no hyphenation.

makefiles: no need for double Q

We already use $(Q) while calling macros

makefiles: reuse CSCOPE_DIRS for ctags

Create ctags only from real source files.

makefiles: deps also for cxx

Generate deps also for .cxx.
Remove include dir deps - there is nothing to build.

libdm: replace deprecated security_context_t

Use 'char *' instead of deprecated security_context_t.
In more details i.e.:

https://gitlab.gnome.org/GNOME/glib/-/merge_requests/1776

configure: make aio optional

Add support for external AIO_CFLAGS and AIO_LIBS so user
can point to his own build - this might be useful when
user wants to use own libaio library.

configure: better support for use of --without

When --with-... option is used as --without-... it gets
assigned value 'no' - so support it better where we can.

Also remove 'shared' from help as it's not supported.

makefiles: static linking enhancements

tests: skip autoactivation-metadata with lvmlockd

shared vgs are not autoactivated

Add metadata-based autoactivation property for VG and LV

The autoactivation property can be specified in lvcreate
or vgcreate for new LVs/VGs, and the property can be changed
by lvchange or vgchange for existing LVs/VGs.

 --setautoactivation y|n
 enables|disables autoactivation of a VG or LV.

Autoactivation is enabled by default, which is consistent with
past behavior.  The disabled state is stored as a new flag
in the VG metadata, and the absence of the flag allows
autoactivation.

If autoactivation is disabled for the VG, then no LVs in the VG
will be autoactivated (the LV autoactivation property will have
no effect.)  When autoactivation is enabled for the VG, then
autoactivation can be controlled on individual LVs.

The state of this property can be reported for LVs/VGs using
the "-o autoactivation" option in lvs/vgs commands, which will
report "enabled", or "" for the disabled state.

Previous versions of lvm do not recognize this property.  Since
autoactivation is enabled by default, the disabled setting will
have no effect in older lvm versions.  If the VG is modified by
older lvm versions, the disabled state will also be dropped from
the metadata.

The autoactivation property is an alternative to using the lvm.conf
auto_activation_volume_list, which is still applied to to VGs/LVs
in addition to the new property.

If VG or LV autoactivation is disabled either in metadata or in
auto_activation_volume_list, it will not be autoactivated.

An autoactivation command will silently skip activating an LV
when the autoactivation property is disabled.

To determine the effective autoactivation behavior for a specific
LV, multiple settings would need to be checked:
the VG autoactivation property, the LV autoactivation property,
the auto_activation_volume_list.  The "activation skip" property
would also be relevant, since it applies to both normal and auto
activation.

libdm: fix compiling with older gcc

WHATS_NEW: updates

tests: pvmove updates

Switch to plain 'kill' we should no longer need SIGKILL
as polling can be interrupted.

Resolve problem in aux wait_pvmove_lv_ready() that was using
lvm command to check for UUID - but this was interferring with
VG lock and it's been delaying confirmation.

So reducing slow-down of test - so it can run faster.

lib: remove unused macros

Internally lvm2 is not using versioning for device-mapper.

makefiles: remove unneeded var changes

makefiles: cscope only predefined dirs

Avoid scanning for source duplicates in various build dirs.

makefiles: plugins can be build after shared library

polldaemon: improve support for interruptions

Enhance handling of interruptions of polling process and lvmpoll daemon.
Daemon should now react much faster on interrups (i.e. shutdown
sequence) and avoid taking lenghty sleep waiting on pvmove signaling.

mirror_percent: support interruptible check

When checking for mirror percentage with WAITEVENT (i.e. during pvmove)
handle intrruption (^C) of such wait.

daemon-server: handle reaping threads better

Avoid sleeping in pselect when thread missed reap() handling.
This speedup handling of daemon shutdown sequences.

signals: support also SIGTERM for breaking command

If we are signaled with SIGTERM it should be at least as good
as with SIGINT - as the command should stop ASAP.
So when lvm2 command allows signal handling we also
enable SIGTERM handling. If there are some other signals
we should handle equally -  we could just extend array.

lvreduce: support --yes

Missed support for --yes with 'lvreduce' to answer 'y' to prompt.

libdm: eliminate some abi-dumper errors

ABI dumper does not like missing enum/union/struct names,
so add them with _e, _u suffix.

Usage reference:

https://doc.dpdk.org/guides-16.04/contributing/versioning.html

symver: sorting

symver: restore and uncomment some symbols

makefiles: add check for versioned symbols

Simple check produced library has the latest symbol as well as its versioned
older version with check for dm_stats_create_region().

makefiles: slight change in .export.sym

Avoid emitting Local symbol and sort symbols from
start and add dependency on previous version
Should not change anything, just better followup
linkage guidlines.

libdm: move dm_task_get_info_with_deferred_remove

Version is only needed for dm_task_get_info().
dm_task_get_info_with_deferred_remove() shall be compiled for
non-versioned library as well.

libdm: symbol versioning with -flto

Gcc10 introduced different strategy how to build
shared libraries with their new LTO optimizer.

Insired by:

https://akkadia.org/drepper/symbol-versioning
https://sourceware.org/pipermail/elfutils-devel/attachments/20200414/1c0c2903/attachment.bin
https://github.com/InBetweenNames/gentooLTO/issues/459
https://github.com/linux-rdma/rdma-core/blob/master/util/symver.h
https://gcc.gnu.org/bugzilla/show_bug.cgi?id=48200

hints: don't use hints when --sysinit is used

Devices are not in a steady state during system init,
so hints are repeatedly invalidated, and hardly used,
so maintaining them is wasted effort.

all: fix typos

man: show config options with comments

man: describe profile support lvmcache.7

Add missing description for profile usage with cache pool.
List cache-pools as first option for dm-cache as it provides
better performance and more functionality over cachevols.

man: writecache missed for --type

Add missing writecache type into man pages.

libdm: use libdm header util.h

Avoid using lvm header for libdm build.

device_mapper: remove unused lines

No need for versioning history in internal version.

configure: support builds without versioning

Not all libc (like musl, uclibc dietlibc) libraries support full symbol
version resolution in runtime like glibc.
Add support to not generate symbol versions when compiling against them.

Additionally libdevmapper.so was broken when compiled against
uclibc. Runtime linker loader caused calling dm_task_get_info_base()
function recursively, leading to segmentation fault.

Introduce --with-symvers=STYLE option, which allows to choose
between gnu and disabled symbol versioning. By default gnu symbol
versioning is used.
__GNUC__ check is replaced now with GNU_SYMVER.
Additionally ld version script is included only in
case of gnu option, which slightly reduces output size.

Providing --without-symvers to configure script when building against
uclibc library fixes segmentation fault error described above, due to
lack of several versions of the same symbol in libdevmapper.so
library.

Based on:
https://patchwork.kernel.org/project/dm-devel/patch/20180831144817.31207-1-m.niestroj@grinn-global.com/

Suggested-by: Marcin Niestroj <m.niestroj@grinn-global.com>

tests: sleep tunning

Check different sleep properties for lvmpolld.
Use aux remove_dm_devs.

tests: add aux remove_dm_devs

Add function to remove DM devices and dies
if some device can't be removed.

tests: bash quotes

tests: test_pv_symlinks works only with /dev dir

Skip test with LVM_TEST_DEVDIR != /dev

tests: fix unfinished check for 4.18 kernel

tests: ensure raid is synchronized

tests: reoder killing order

We need to stop pvmove while still in progress,
so restart lvmpolld after pvmoving devices are gone

tests: fight with losetup creation error

Try losetup few times in loop if we can succeed.

tests: restore removed prefix

During debugging this prefix was unintentionally lost, restore.

tests: use known path for test in find

Actually make sure which 'test' binary is executed.
Since we used to have 'test' binary in tests.

tests: for 4.18 use already 1.20 logic

Looks like there was some missed versioning increase during devel.
So with kernel >= 4.18 version 1.19 is enough to look like 1.20

However backported 1.19 targets seems to not provide all
the capabilities.

tests: correct thin-pool version

Use thin-pool target version 1.20 for changed behavior.

tests: increase mirror throttling

tests: more skipped tests for lvmpolld

tests: use shell comment

tests: update dbus test_nesting

Test has to use PV with suffix  pv[0..9]  otherwise
it's ignored by test suite filter.

Better fix for VG names to use prefix LVMTEST.

Skip the test for runs without LVM_TEST_DEVDIR != /dev

tests: update for newer thin-pool

Newer thin-pool handle metadata read-only recovery better.

tests: use blkid without caching

Always use blkid without caching to avoid poluting
cache stored in /run/blkid or /etc on older distros

tests: use aux mdadm_assemble wrapper

tests: add aux mdadm_assemble

Wrapper for slowed version of mdadm --assemble

tests: better reporting of problematic services

tests: skip more tests for lvmpolld pass

These test do not test polling, so skip them for lvmpolld pass.

tests: add commented example

How to run individual test.

tests: dbus update

Always use  PREFIX for vg header - all tests must use this prefix,
VGs without are not allowed.

Modify pv_symlink test - as the test was checking unsupportable
combination - since lvm2 commands withing testsuite are only
allowed to manipulate with /dev/mapper/LVMTESTXXXX path -
nothing else allowed and fails on being filtered.

tests: try to observe some unusual problem

Lets see, why it's very occasionaly able to active LV.

tests: move setting of dmeventd pid

Added comment the  'lvs' already initiates dmeventd

Note: we don't have any query mechanism to check if dmeventd
is already running except access of socket which basically
starts dmeventd if it's not running.

tests: add basic validation of running services

For determinist test results lvm2/dm service shall not be present
and running in the system as it may randomize test results.

In case they are found present, this test ends with warning (not failure).

tests: add should for racy test

Depending on kernel, the race may or may not happen.

tests: add workaround for older mdadm

Some older instancies of 'mdadm' opened legs in RW and
closed and opened again and expected exlusive access.
But here udev rule can be fired - so on these versions
slow down whole mdadm runtime by using strace, to
give system a bit more time to finish udev rule.

tests: aux fix check_lvmpolld_init_rq_count

Make check_lvmpolld_init_rq_count() more compatible with older gawk,
where some functionality was not working properly.
Also change 'not not' condition.

WHATS_NEW: updates

tests: improve  check raid_leg_status

Enhance function to wait until raid status gets consisten
(shifts from 0/xxxxx to something else)

If it would took too long fail the check.

tests: handle case of missing /dev/disk

In case there is no symlink - udev can optimize /dev/disk away,
thus find would fail in teardown.

tests: check fsadm with missing filesystem

fsadm: handle error from blkid

Fsadm wants to print its own error message when it can't detect
type of the filesystem on a block device.
Otherwise fsadm exits with no message on an unused block device.

fsadm: fix condition when using --getsize64

When blocksize --getsize64 gives empty result we want to fallback
to ancient  --getsize * --getss  calculation (RHBZ #1942486).

Reported by: ajschorr@alumni.princeton.edu

tests: ignore incosistent raid status

Just like lvm command ignores  0/xxxx report from judging the status.
Avoid using infinite loop and limit report checking to 100 checks.
If it would need more - something is not right.

tests: skip stray testing on real dev dir

Do not modify /dev dir maintained by udev.

tests: remove more file in teardonw

Our tests may result in producation of huge set of
invalid links in /dev/disk directory depeding on version
of udev and various kinds of failures.

Also we happen to invoke some on-system pvscans generating
local /etc/lvm/archive & backups - remove them when
test is finished.

tests: query info instead of table

No need to access table when we just check presence,
so generate smaller error message about missing device.

tests: this test has race in it depending on kernel

Some kernel seems to keep 'lvextend' busy so long,
that actual resize already happens.

So ATM use 'should'  until something better is invented.

tests: aux clean DM on top of MD

Before cleaning MD, try to remove any DM on top such MD.
Check is made through DM table check.
Maybe parse /proc/mdstat for this???

tests: wipefs with udev_wait

Try to synchronize with colliding udev.
Also retry once if there is some failure with some
sleep between next retry.

Use oflag=direct for wipping without wipefs.

tests: increase required version

Seems like version 1.13.2 remains crashing kernel - so increase
the required version for this reshaping test.