Bug 472875 - s390x regtest: Rework dfp-1

The dfp-1 test case has two main issues:

* It doesn't initialize the condition code before executing the DFP
  instructions for "multiply" and "divide", but asserts a certain value
  afterwards.  (See Bug 472875.)

* It doesn't compile with Clang.  (See Bug 465782.)

Fix these with a rework.  The first issue can be fixed by initializing the
condition code before executing the DFP instructions.  The second issue
requires avoiding any `_Decimal*' types, since they are not supported by
Clang.

s390x regtest: Fix issues with DFP_VAL_PRINT()

The DFP_VAL_PRINT macro used by the dfp test cases has some issues:

* It performs illegal pointer type aliasing.

* It suppresses zero digits in 128-bit integers, since it prints their
  second halves with "%08lx" instead of "%016lx".

Fix these.  Due to the latter, this affects the output of all DFP test
cases, so adjust them as well.

s390x regtest: Reduce pfpo test case output

The `pfpo' test case prints floating-point values with the "%f" and "%Lf"
formats.  Sometimes also "%lf" is used, but that's equivalent to "%f"
since the "l" length modifier doesn't affect floating-point formatting.

These "f"-style formats are not well suited for such a test case:

* They generate excessively long output for numbers with large absolute
  values.  This makes `pfpo.stdout.exp' difficult to handle.

* They can lose precision, in particular for numbers close to zero, where
  they just print zeros.

Use the formats "%a" and "%La" instead and adjust pfpo.stdout.exp
accordingly.

Solaris regtest: aligned / sized expecteds and an improved filter

A couple of testcases fail due to ever changing output for floating
point infinity.

Add memalign and aligned_alloc expecteds for Solaris 11.3
(which doesn't have aligned_allloc).

coverity: various fixes

Null check, uninitialized variable and several print format uses of size_t.
clang-tidy also complains about most of them.

FreeBSD: clarify which package GNU cp is in (needed for nightly tests)

coverity: fix a couple of forward nulls

In the new sized/aligned memcheck code.

coverity: a few bits of dead code and one vgdb command line leak

regtest: silence some more warnings

A massif test that checks that --ignore-fn
Sadly neither C nor C++ has a standard way of specifying functons
to _never_ inline, and GCC and LLVM seem to have different extensions.
GCC complains about __attribute__((optnone)).

regtest: silence a few warnings

A couple of testcases that use 'new' that will throw an
uncaught exception. The variable doesn't get used, there
is only an assert to check that nothing is reached after the
new expressions.

Add memcheck errors for aligned and sized allocations and deallocations

Bug 433857 Add validation to C++17 aligned new/delete alignment size
Bug 433859 Add mismatched detection to C++ 17 aligned new/delete
Bug 466105 aligned_alloc problems, part 2
Bug 467441 Add mismatched detection to C++ 14 sized delete

Memcheck now tests and warns about the values used for
alignment and size. These apply to various functions: memalign,
posix_memalign and aligned_alloc in C and various overloads
of operators new and delete in C++. The kinds of error that can
be detected are
- invalid alignment, for instance the alignment is usually required
  to be a power of 2
- mismatched alignment between aligned allocation and aligned
  deallocation
- mismatched size when sized delete is used
- bad size for functions that have implementation defined behaviour
  when the requested size is zero

An example of the new errors is:

int *pi = memalign(31, 100);

which will generate the following error

==96206== Invalid alignment value: 31 (should be power of 2)
==96206==    at 0x485195E: memalign (vg_replace_malloc.c:1886)
==96206==    by 0x20200E: main (memalign.c:59)

regtest: make memcheck sem test quiet

On Solaris the summary shows 7 allocations causing a diff.

Solaris: fix a few compiler warnings

FreeBSD: Add support for building on FreeBSD 15.0

Explicitly load libc and any sonames that contain mandatory specs

We really need symtab for glibc and ld.so libraries early for redir.
Some distros move these into separate debuginfo files, which means
we need to fully load them early.

https://bugs.kde.org/show_bug.cgi?id=473745

Fix lazy debuginfo loading on ppc64le

Lazy debuginfo loading introduced in commit 60f7e89ba32 assumed that
either describe_IP or find_DiCfSI will be called before stacktrace
printing.  describe_IP and find_DiCfSI cause debuginfo to be lazily
loaded before symtab lookup occurs during stacktraces.

However this assumption does not hold true on ppc64le, resulting
in debuginfo failing to load in time for stacktraces.  Fix this
by loading debuginfo during get_StackTrace_wrk on ppc arches.

Fix 473944  Handle mold linker split RW PT_LOAD segments correctly

Condition to consider segments will be merged has to be more specific
than just having a page rounded file offset p_offset.

Regtested on debian, somewhat poorly due to the amount of tests
failing due to:
473745 must-be-redirected function - strlen - for valgrind 3.22 but not 3.21

FreeBSD: add common failure causes to README.freebsd

Also fix the name of one of the fields of vki_kinfo_vmentry.

Bug 473870 - FreeBSD 14 applications fail early at startup

FreeBSD recently started adding some functions using @gnu_indirect_function,
specifically strpcmp which was causing this crash.

When running and encountering this ifunc Valgrind looked for the
ifunc_handler. But there wasn't one for FreeBSD so Valgrind asserted.

FreeBSD: a bit of cleanup of README.freebsd

FreeBSD: add memcheck suppression for libc newlocale still reachable memory

Linux: remove a couple of cpmpiler warnings

FreeBSD: remove testing code

FreeBSD: add an extra libc filter for _start in massif deep-D test

Remove merge file added by mistake

FreeBSD: Add a new testcase for FreeBSD 14 _umtx_op set timeout

Uses an existing testcase with pthread APIs that use timeouts
and sets LIBPTHREAD_UMTX_MIN_TIMEOUT to 100 (ns, so almost no
effect other than exercising the syscall).

FreeBSD: add 2 new _umtx_op op codes for FreeBSD 14

regtest: fix compiler warnings with clang 16

Mostly warnings about deprecated use of K&R function definitions.

FreeBSD regtest: add suppression to bug392331_supp for FreeBSD 14.0

Allow spaces in .valgrindrc files

The patch for m_commandline.c comes from the Debian package files.
Also add a regtest and allow --command-line-only=no to override
--command-line-only=yes

FreeBSD regtest: use a filter to make eventfd2 consistent

Solaris: remove cxx17_aligned_new expected

No longer needed after last cleanup

Fix various clang warnings

Mostly missing 'void' in function prototypes.

Bug 473677 - make check compile failure with Clang 16 based on GCC 13.x

Solaris: update cxx17_aligned_new expected

regtest: fix wrong interfaces in calls to operator delete

Will update Solaris later

Fix an error in `docs/README`.

Update Cachegrind description in the usage message and header comments.

This matches an earlier change to the description in the user manual.

And fix indentation of the license in a couple of files.

Correct an error in Cachegrind's usage message.

Bug 473604 - Fix bug472219.c compile failure with Clang 16

Add bug 426751 to NEWS

gdb --multi mode stdout redirecting to stderr

When in stdio mode (talking to gdb through stdin/stdout, not
through a socket), redirect stdout to stderr and close stdin
for the inferior. That way at least some output can be seen,
but there will be no input.

This is workaround till we have real terminal handling.

     * coregrind/vgdb.c (main): Pass in_port to do_multi_mode.
     (do_multi_mode): Pass in_port to fork_and_exec_valgrind.
     (fork_and_exec_valgrind): Close stdin, redirect stdout to
     stderr if in_port <= 0.

https://bugs.kde.org/show_bug.cgi?id=471311

musl: enable libstdc++ freeres

Both libc and libstdc++ freeres were disabled for musl.
That means that libstdc++ was showing still reachable
memory on systems like Alpine.

FreeBSD: try to make eventfd2 testcase deterministic

Add a sleep to give child 1 a chance to run.
Flush stdout every time.

FreeBSD: complete loading debuginfo if entering capability mode

Always cleanup on exit from ML_(read_elf_object)

I'm still a but baffled as to why this wasn't seen earlier.
A FreeBSD testcase started failing with kernel 13.2 patch 2,
which is quite a minor change. The testcase gets an fd from
pdfork and the parent does a printf with the fd then zaps the
process with pdkill. Standalone the fd is 3, and that's what
the expected contains. However, when it started failing I saw
with lsof that fds 3 and 4 were associated with the guest exe
and ld-elf.so.1.

Solaris: explain configure detection of scf repository door version

Bug 472963 - Broken regular expression in configure.ac

Was extracting the last two decimal digits from a hex humber.

I switched to using grep and sed because the proposed solution
didn't work on Solaris 11.3.

Support lazy reading and downloading of DWARF debuginfo

Currently valgrind attempts to read DWARF .debug_* sections as well
as separate debuginfo files for ELF binaries as soon as a shared library
is loaded.  This might also result in the downloading of separate debuginfo
files via debuginfod.

This is inefficient when some of this debuginfo never ends up being used
by valgrind while running the client process.

This patch adds support for lazy reading and downloading of DWARF
debuginfo.  When an ELF shared library is loaded, the reading of .debug_*
sections as well as separate or alternate debuginfo is deferred until
valgrind handles an instruction pointer corresponding to a text segment
of the shared library.  At this point the deferred sections and separate
debug files are loaded.

This feature is only supported on ELF platforms.

https://bugs.kde.org/show_bug.cgi?id=471807

ChangeLog
* debuginfo.c (di_notify_ACHIEVE_ACCEPT_STATE): Replace
read_elf_debug_info with read_elf_object.
(addr_load_di): New function.  Attempts to load deferred debuginfo
associated with a given address.
(load_di): New function.  Attempts to load a given deferred
debuginfo associated with a given address.
(describe_IP): Add calls to load_di and addr_load_di.
(find_DiCfSI): Add call to load_di.

* priv_readelf.h (read_elf_object): New declaration.
(read_elf_debug): Ditto.

* priv_storage.h (struct _DebugInfo): New field 'bool deferred'.

* readelf.c (read_elf_debug_info): Split into read_elf_object and
read_elf_debug.
(read_elf_object): Read non .debug_* section from an ELF binary.
(read_elf_debug): Read .debug_* sections from an ELF binary as
as well any separate/alternate debuginfo files.

* storage.c (canonicaliseSymtab): Remove assert in order to support
canonicalization of deferred _DebugInfo.
(finish_CFSI_arrays): Add early return if _DebugInfo is
deferred in order to avoid freeing memory that will be needed
when reading debuginfo at a later time.
(canonicaliseTables): Ditto.

* pub_core_debuginfo.h (addr_load_di): New declaration.
(load_di): New declaration.

Bug 472219 - Syscall param ppoll(ufds.events) points to uninitialised byte(s)

Add checks that (p)poll fd is not negative. If it is negative, don't check
the events field.

Solaris: add a configure test for getaddrinfo

Not available on Solaris 11.3

FreeBSD: Add a DRD supppression for getaddrinfo

On FreeBSD 13.2 x86

Bug 470132 - s390x: Increase test coverage for VGM

Add more tests for the VGM instruction, to verify the fix for the VGM
wrap-around case.  Also test setting unused bits in the I2 and I3 fields,
to check that Valgrind ignores them as it should.

Bug 470132 - s390x: Fix the wrap-around case in VGM

Valgrind's implementation of VGM is incomplete:

* It doesn't support generating a wrap-around bit mask.  Such a mask
  should result when the ending bit position is smaller than the starting
  bit position.  Valgrind runs into an assertion failure instead.

* It doesn't ignore unused bits in the I2 and I3 fields of the
  instruction, as it should.

Fix this by re-implementing the main logic in s390_irgen_VGM().

FreeBSD: add default to configure.ac FreeBSD 13 versions

Also add comment to README.freebsd about ensuring that
jails set "uname -r" to be something compatible with the
normal RELEASE/STABLE/CURRENT releases.

Bug 470978 - s390x: Link the tools with -Wl,--s390-pgste

Programs that require the PGSTE mode to be enabled may currently fail
under Valgrind.  In particular this affects qemu-kvm.

While it is also possible to enable the PGSTE mode globally with

  sysctl vm.allocate_psgte=1

the problem can more easily be prevented by linking the Valgrind tools
with -Wl,--s390-pgste.  Add a configure check if the linker supports this,
and activate the flag if it does.

To verify the intended result, the following shell command can be used to
list the executables having this flag set:

  find . -type f -perm -u+x -execdir \
       /bin/sh -c 'readelf -lW $0 2>/dev/null | grep PGSTE' {} \; -print

Don't print action vgdb me ... and continuing ... in vgdb --multi mode

Guard each (action) vgdb me ... VG_(umsg) printing with
  !(VG_(clo_launched_with_multi))

https://bugs.kde.org/show_bug.cgi?id=470830

s390x: Replace absolute jump for a relative one

The bne instruction expects an absolute target address and it isn't
best-suited for implementing a short range jump, such as the one in
XCHG_M_R().
Replace it with jne which expects a relative address that can be
correctly computed a link time.

Interestingly, the jump is almost never taken. If it would, this would
crash the test.  However, linkers may complain when relacating the
target address used in bne.

470121 - Can't run callgrind_control with valgrind 3.21.0 because of perl errors

Merge error, missing continuation in Makefile.am

Bug 470713 -  Failure on the Yosys project: valgrind: m_libcfile.c:1802 (Bool vgPlain_realpath(const HChar *, HChar *)): Assertion 'resolved' failed

    When using sysctl kern proc pathname with the pid of the guest or -1
    we need to intercept the call otherwise the syscall will return the path
    of the memcheck tool and not the path of the guest.

    This uses VG_(realpath), which asserts if it doesn't get valid
    input pointers.

    sysctl kern proc pathname can use a NULL pointer in order to
    determine the length of the path (so users can allocate the minumum
    necessary). The NULL pointer was being passed on to VG_(realpath)
    without being checked, resulting in an assert.

memcheck: Handle Err_ReallocSizeZero in MC_(eq_Error)

When an realloc size zero error is emitted MC_(eq_Error) is called to
see if the errors can be deduplicated. This crashed since
Err_ReallocSizeZero wasn't handled. Handle it like Err_Free.

Also add a testcase for this case and test with both
--realloc-zero-bytes-frees=yes and
--realloc-zero-bytes-frees=no.
Which will report a different number of errors.

https://bugs.kde.org/show_bug.cgi?id=470520

Add --with-gdbscripts-dir=PATH configure option

Currently the gdb valgrind scripts are installed under VG_LIBDIR
which is normally pkglibexecdir which is likely not in the default
gdb safe-path (a list of directories from which it is safe to
auto-load files). So users will have to add the directory to their
.gdbinit file.

This patch adds a --with-gdbscripts-dir=PATH configure option that
sets VG_GDBSCRIPTS_DIR to the given PATH (${libexecdir}/valgrind if
not given). A user can also configure --without-gdbscripts-dir to
disable adding a .debug_gdb_scripts section to the vgpreload library
and installing the valgrind-monitor python scripts completely.

Use VG_GDBSCRIPTS_DIR as gdbscriptsdir to install the valgrind-monitor
python files and pass it with CPPFLAGS when building vg_preloaded.c
and vgdb.c to use instead of VG_LIBDIR.

https://bugs.kde.org/show_bug.cgi?id=469768

Add epoll_pwait2

The only difference between epoll_pwait and epoll_pwait2 is the
timeout argument. For epoll_pwait2 this is a timespec (which is
always 64bit).

https://bugs.kde.org/show_bug.cgi?id=460192

Typo in massif tests Makefile.am

Linux regtest: fixes for building on musl x86

DRD: Make libgomp suppression work for any destdir

s390x: XC instruction: clear in 8-byte increments if possible

The XC instruction is frequently executed in many programs, mainly for
clearing memory.  It can target from 1 to 256 bytes.  If the size is
constant and XC is actually used for clearing memory, Valgrind implements
it as a byte-wise loop and rolls out the loop for <= 8 bytes.

Instead of clearing byte-wise, it is more efficient to clear in 64-bit
increments, so do this for sizes >= 8 bytes.  Roll out the loop for up to
32 bytes.  Overall, this reduces the number of insns by a few percent and
provides a slight performance improvement for some programs.

s390x: Optimize CLC for 1, 2, 4, and 8 bytes

The CLC instruction compares two memory areas with sizes from 1 up to 256
bytes.  Currently Valgrind always implements it with a bytewise loop.

Add special handling for the sizes 1, 2, 4, and 8.  Realize CLC with an
8-, 16-, 32-, and 64-bit integer comparison, respectively, in those cases.
Apart from a slight optimization this also improves the diagnostics for
uninitialized values since it avoids the manufactured conditional jump
that breaks out of the loop over the individual bytes.

s390x: Update information in README.s390

Refresh some of the information in README.s390:

* update links to Principles of Operation and Reference Summary

* no longer recommend compiling with '-fno-builtin', since there are no
  known false positives due to builtin string operations anymore

* don't mention callgrind as being unsupported, since there are no known
  issues with it

Bug 465782 - s390x: Avoid __builtin_setjmp

Currently Clang doesn't support __builtin_setjmp() on s390x.  Since
Valgrind already has an alternate implementation of setjmp/longjmp for
many other platforms, just add one for s390x as well, to get rid of this
dependency.

Bug 465782 - s390x: Adjust inline assemblies for Clang

Some s390x inline assemblies are written in such a way that they are
understood by GCC but not by Clang:

* use of "f" constraint for unsigned long variable

* use of "b" modifier when passing a constant

* use of the register notation "r11" in ".cfi_def_cfa"

Adjust the affected inline assemblies to avoid these constructs.

Bug 465782 - s390x: Drop -mzarch -march=z900 from assembler options

The -mzarch flag is unsupported by Clang, and it is redundant on 64-bit
build systems.  Remove it.

Also remove '-march=z900', since it is unsupported by Clang as well.  It
would only be needed on build systems with a default architecture lower
than z900.  Such systems are out of service for some time now.

musl: another fix for building testcases

Update libiberty demangler

Update the libiberty demangler using the auxprogs/update-demangler
script to gcc git commit 1719fa40c4ee4def60a2ce2f27e17f8168cf28ba.

This update includes:

- Update copyright years.
- ansidecl.h (ATTRIBUTE_WARN_UNUSED_RESULT): Add __.
- demangler: Templated lambda demangling
- cp-demangle.h (D_BUILTIN_TYPE_COUNT): Increment.
- cp-demangle.c (cplus_demangle_builtin_types): Add std::bfloat16_t
  entry.
- cp-demangle.c (cplus_demangle_type): Demangle DF16b.
- libiberty: Demangling 'M' prefixes
- libiberty: Demangle variadic template lambdas
- demangle.h (enum demangle_component_type): Add
  DEMANGLE_COMPONENT_EXTENDED_BUILTIN_TYPE.
- demangle.h (struct demangle_component): Add u.s_extended_builtin
  member.
- cp-demangle.c (d_dump): Handle
  DEMANGLE_COMPONENT_EXTENDED_BUILTIN_TYPE.  Don't handle
  DEMANGLE_COMPONENT_FIXED_TYPE.
- cp-demangle.c (d_make_extended_builtin_type): New function.
- cp-demangle.c (cplus_demangle_builtin_types): Add _Float entry.
- cp-demangle.c(cplus_demangle_type): For DF demangle it as _Float<N>
  or _Float<N>x rather than fixed point which conflicts with it.
- cp-demangle.c (d_count_templates_scopes): Handle
  DEMANGLE_COMPONENT_EXTENDED_BUILTIN_TYPE.  Just break; for
  DEMANGLE_COMPONENT_FIXED_TYPE.
- cp-demangle.c (d_find_pack): Handle
  DEMANGLE_COMPONENT_EXTENDED_BUILTIN_TYPE.
  Don't handle DEMANGLE_COMPONENT_FIXED_TYPE.
- cp-demangle.c (d_print_comp_inner): Likewise.
- cp-demangle.h (D_BUILTIN_TYPE_COUNT): Bump.
- rust-demangle.c (demangle_const): Add a missing goto pass_return
  at the end of the function.
- rust-demangle.c (demangle_path_maybe_open_generics): Add
  recursion limit.
- rust-demangle.c (demangle_const): Add recursion limit.
- libiberty: remove FINAL and OVERRIDE from ansidecl.h
- demangler: C++ modules support
- demangler: Reorganize for module demangling
- demangler: Structured Bindings
- Remove non-ANSI C macros in ansidecl.h.
- Remove non-ANSI C path in ansidecl.h.

FreeBSD: update auxv test for x86

FreeBSD: add Helgrind suppression for getaddrinfo

Testcase was failing on x86

regtest: remove FreeBSD version of expected for memcheck memalign_test

During recent aligned allocations cleanup, the output became more
consistend and this is no longer needed.

regtest: Deactivate tall call optimization in Massif bug469146

This optimization truncates the callstack causing fails on some platforms

Helgrind Linux: make nss gethostbyname4 suppression cover all variants

Linux Helgrind: broaden _nss_dns_gethostbyname4_r to also cover _nss_files_gethostbyname4_r

Linux Helgrind: add another suppression for intermittent failure in dl lookup

Linux Helgrind: add suppression for intermittent failure in getaddrinfo regtest

Causes intermittent failure on gcc110 ppc

FreeBSD regtest: add small hack to mcclean_after_fork gdb script

As far as I can tell this was a regression in FreeBSD gdb around
Aug 2022 when the default install upgraded from 11.2 to 12.1

Bug 469049 - link failure on ppc64 (big endian) valgrind 3.20

Bug 469146 - massif --ignore-fn does not ignore inlined functions

FreeBSD: deactivate helgrind/tests/tls_threads

No libc tunable, and I haven't seen any way to hack the libc
internals via debuginfo as was previously done on Linux.

Add Helgrind and DRD tests and suppressions for getaddrinfo on Linux

Bump version to 3.22.0.GIT

The testcase was posted on the freebsd-hackers mailing list.
I had time to get suppressions for FreeBSD into 3.21 but
ran out of time for the test and Linux suppressions.

I did take a look at how thread sanitizer handles this.
Basically it intercepts the call, turns off checking,
calls the resl function then turns checking back on.

I don't see many other similar examples. Might be worth
looking at dlopen and atexit.

-> 3.21.0 final

Add bug 469049 (--enable-lto=yes) to known issues

Support SCV_FLAG also on VGP_ppc64be_linux

Running on a kernel that supports the SCV instruction (sets
PPC_FEATURE2_SCV in auxv AT_HWCAPS2) valgrind will assert: valgrind:
m_syswrap/syswrap-main.c:549 (getSyscallArgsFromGuestState): Assertion
'gst->guest_syscall_flag == SC_FLAG' failed.

Removing that assert makes most things work. But also filter out
PPC_FEATURE2_SCV from AT_HWCAPS2 for the client, so it shouldn't try
using the SCV instruction.

https://bugs.kde.org/show_bug.cgi?id=469097

Only do git configuration if in a git repo.

dhat: remove initial count value from access count histogram user requests

Based on feedback from Nick Nethercote.

FreeBSD: add libc suppressions for Helgrind and DRD

vgdb: Use --wait argument in multi mode

when waiting for valgrind to start.

Fix typos in NEWS and valgrind-monitor-def.py

NEWS: who_point_at -> who_points_at
valgrind-monitor-def.py: MEN -> LEN

Clarify try push instructions.

Add a .git-blame-ignore-revs file.

This prevents large-scale changes (e.g. auto-formatting) from negatively
affecting `git blame`.

Add new DHAT userreqs to NEWS

Fix spelling in NEWS