Bug 444242 - s390x: Sign-extend "relative long" offset in EXRL

In s390_irgen_EXRL, the offset is zero-extended instead of sign-extended,
typically causing Valgrind to crash when a negative offset occurs.

Fix this with a new helper function that calculates a "relative long"
address from a 32-bit offset.  Replace other calculations of "relative
long" addresses by invocations of this function as well.  And for
consistency, do the same with "relative" (short) addresses.

Set version to 3.19.0.GIT in configure.ac

And update docs/internals/release-HOWTO.txt.

Prepare NEWS for the next release

Add a placeholder for the next release to the NEWS file and start the list
of fixed bugs with Bug 444495.

Bug 444495 - dhat/tests/copy fails on s390x

Add -fno-builtin to ensure that the copy functions get called and so dhat
can intercept and count them.

Change nightly script to only print assembler if it is present.

On FreeBSD 'as' is part of the optional 'binutils' packkage.
By default, clang uses its built-in assembler and 'as' is not
used.

Make the nightly conf files for FreeBSD more generic

I don't want to either rename or add new versions of these files
for every release.

Update a few FreeBSD suppressions

Make one more generic
Add one for the libc buffer used by libc++ std::cout

guest_amd64_toIR.c: use the VexAbiInfo mechanism to remove an `ifdef freebsd`.  n-i-bz.

Set version once in configure.ac, use in valgrind.h andvg-entities.xml

Currently the version is updated in 3 places, configure.ac,
include/valgrind.h and docs/xml/vg-entities.xml. This goes wrong from
time to time. So only define the version (and release date) once in
configure.ac and update both other places at configure time.

Remove executable bits from source files (drd_main.c, pub_tool_machine.h)

-> 3.18.1 final

Now with __VALGRIND_MINOR__ set to 18 in include/valgrind.h

-> 3.18.0 final

coregrind: Vg_FnNameKind recognize __libc_start_call_main as below main

Depending on architecture glibc has various functions that set things
up to call "main". glibc 2.34 added  __libc_start_call_main (at least
on ppc64le and s390x). Other variants recognized are __libc_start_main,
generic_start_main and variants of those names.

This fixes the massif/tests/deep-D and massif/tests/mmapunmap on ppc64le.

Very minor updates for 3.18.

NEWS: add various core changes and arm64 additions

Add demangler update, __libc_freeres not being called on fatal signal,
DWARF reader improvements, glibc 2.34 support and various new arm64
v8.2 updates.

Remove Tool Changes section, since there were no user visible
changes to the tools in 3.18.0.

-> 3.18.0.RC1

Previous fix was out by one version tag.

memalign must have been added with FreeBSD 12.2

vgdb: only queue up to 64 pending signals when waiting for SIGSTOP

We should not queue infinite pending signals so we won't run out of
memory when the SIGSTOP never arrives.

Implement BPF_MAP_LOOKUP_AND_DELETE_ELEM and BPF_MAP_FREEZE

Implement BPF_MAP_LOOKUP_AND_DELETE_ELEM (command 21) and
BPF_MAP_FREEZE (command 22) and produce a WARNING instead of a fatal
error for unrecognized BPF commands.

https://bugs.kde.org/show_bug.cgi?id=426148

Add close_range(2) support

This is a system call introduced in Linux 5.9.

It's typically used to bulk-close file descriptors that a process inherited
without having desired so and doesn't want to pass them to its offspring
for security reasons. For this reason the sensible upper limit value tends
to be unknown and the users prefer to stay on the safe side by setting it
high.

This is a bit peculiar because, if unfiltered, the syscall could end up
closing descriptors Valgrind uses for its purposes, ending in no end of
mayhem and suffering.

This patch adjusts the upper bounds to a safe value and then skips over
the descriptor Valgrind uses by potentially calling the real system call
with sub-ranges that are safe to close.

The call can fail on negative ranges and bad flags -- we're dealing with
the first condition ourselves while letting the real call fail on bad
flags.

https://bugs.kde.org/show_bug.cgi?id=439090

coregrind: Don't call final_tidyup (__libc_freeres) on FatalSignal

When a program gets a fatal signal (one it doesn't handle) valgrind
terminates the program. Before termination it will try to call
final_tidyup which tries to run __libc_freeres and
__gnu_cxx::__freeres to get rid of some memory glibc or libstdc++
don't normally release.

But when the program got the fatal signal in a critical section inside
glibc it might leave the datastructures in a bad state and cause
__libc_freeres to crash.  This makes valgrind itself crash just before
producing its own error summary, making the valgrind run unusable.

A reproducer can found at
https://bugzilla.redhat.com/show_bug.cgi?id=1952836 and
https://bugzilla.redhat.com/show_bug.cgi?id=1225994#c7

This reproducer is really a worse case scenario with multiple threads
racing to get into the critical section that when interrupted will
make __libc_freeres unable to cleanup. But it seems a good policy in
general. If a program is terminated by a fatal signal instead of
normal termination, it seems not having some of the glibc/libstdc++
resource cleaned up is an expected thing.

https://bugs.kde.org/show_bug.cgi?id=443605

filter_gdb: Handle r = SYSCALL_CANCEL as alternative for return SYSCALL_CANCEL

This happens with glibc 2.33 when debuginfo is installed.

Fix building memalign2 test on older FreeBSD

filter_xml: Filter out '@*' from <fn> symbol names

With glibc 2.34 we would start seeing some function names ending in
'@*' this was already filtered out using drd/tests/filter_stderr.in
but not when using the drd xml tests. This would make
drd/tests/thread_name_xml and drd/tests/bar_bad_xml fail.

Filter this out in the memcheck/tests/filter_xml script, which is
also used by the drd test filters.

Tested against glibc 2.34, 2.33 and 2.17 on x86_64.

filter_stderr also needs to handle FreeBSD libthr

drd/tests: Extract start_thread which can come from libpthread or libc

The drd/tests/tc21_pthonce and drd/tests/annotate_barrier tests
would fail if start_thread came from libc (as it does in glibc 2.34)
instead of from libpthread. Extract start_thread in filter_stderr.in
and update the backtraces in annotate_barrier.stderr.exp and in
tc21_pthonce.stderr.exp

Tested against glibc 2.34, 2.33 and 2.17 on x86_64.

Dnother iteration for getting the right expected line numbers.

memalign is available on FreeBSD as a non-portable interface

Remove #if block protecting memalign calls

Fix the ramaining easily fixable warnings with clang

There's one remaining
memalign2.c:29:9: warning: unused variable 'piece' [-Wunused-variable]
because of a block of #if FreeBSD for memalign that looks unnecessary

Otherwise all that is left is a few like

warning: unknown warning option '-Wno-alloc-size-larger-than'; did you mean '-Wno-frame-larger-than='? [-Wunknown-warning-option]

because there is no standard for compiler arguments.

Remove a couple more warnings

suffix rule with dependency generates a warning
https://www.gnu.org/software/make/manual/html_node/Error-Messages.html
(bottom of page)

the other is a short initialized with an int literal that wraps to
a negative short value

Remove more warnings from tests

GCC12 catches various issues in tests at compile time that we want to
catch at runtime. Also glibc 2.34 deprecated various mallinfo related
functions. Add the relevant -Wno-foobar flags to those tests.  In one
case, unit_oset.c, the warning was correct and the uninitialized
variable was explicitly set.

Fix printf warning in libmpiwrap.c

libmpiwrap.c:1379:45: warning: format '%d' expects argument of type 'int',
but argument 5 has type 'MPI_Request' {aka 'struct ompi_request_t *'}

Unfortunately MPI_Request is an opaque type (we don't really know what
is in struct ompi_request_t) so we cannot simply print it as int. In
other places we print an MPI_Request as 0x%lx by casting it to an
unsigned long. Do the same here.

Remove some warnings from tests

Various tests do things which we want to detect at runtime, like
ignoring the result of malloc or doing a deliberate impossibly large
allocation or operations that would result in overflowing or
truncated strings, that generate a warning from gcc.

In once case, mq_setattr called with new and old attrs overlapping,
this was explicitly fixed, in others -Wno-foobar was added to silence
the warning. This is safe even for older gcc, since a compiler will
ignore any -Wno-foobar they don't know about - since they do know they
won't warn for foobar.

Updating a few expecteds based on valgrind-testresults

I tried to work out what the expecteds should be based on the changes to
the testcase source so there may be a bit more to do.

Bug 443314 - In the latest GIT version, Valgrind with "--trace-flags" crashes at "al" register

Bug 439326 - Valgrind 3.17.0 won't compile with Intel 2021 oneAPI compilers

Also reorder NEWS

FreeBSD support, last loose ends

One merge I missed and make a couple of changes to remove
compiler warnings.

FreeBSD support, patch 12

coregrind modified files

FreeBSD support, patch 11

coregrind added files
the key mechanics and the syscall wrappers

FreeBSD support, patch 10

Missing new expected file

FreeBSD support, patch 10

memcheck
No code changes. A few modified tests. Adds new FreeBSD specific tests.

Add copyright statements to added FreeBSD headers

FreeBSD support, patch 9 supplemental

These files are now derived objects and should have been removed in the
previous change.

FreeBSD support, patch 9

cachegrind callgrind dhat exp-bbv gdbserver_tests massif none mpi shared

Mostly these are just updates (and new testcases) under new/tests
The other directories have just #ifdef changes

FreeBSD support, patch 8b

nightly directory

FreeBSD support, patch 5

drd and helgrind tests

Fix make distcheck by removing references to uncommitted files

Some files for the freebsd port have not yet committed, but were
already referenced in the Makefiles. Remove those references for
now to make distcheck happy.

* coregrind/Makefile.am (valgrind_SOURCES): Remove
launcher-freebsd.c
* drd/tests/Makefile.am (check_PROGRAMS): Remove
thread_name_freebsd.
* none/tests/Makefile.am (SUBDIRS): Remove freebsd.
(DIST_SUBDIRS): Likewise.
* none/tests/freebsd/filter_stderr: Removed.

FreeBSD support, patch 8a

docs directory

FreeBSD support, patch 2

Files in the root directory
Several Makefile.am files that have dependencies on FreeBSD autoconf
variables. Included a few new filter files to act as placeholders
to create new freebsd subdirectories.

Updated NEWS with the FreeBSD bugzilla items plus a couple of other
items fixed indirectly.

FreeBSD support, patch 7

tests directory
configure.ac to generate tests/filter_discards and tests/filter_stderr_basic
.gitignore to ignore these generated filters

FreeBSD support, patch 5

helgrind code
Mainly intercepts and changes to conditional compilation

FreeBSD support, patch 4

DRD code
Mainly just intercepts, but also a hairy fix for early acces to
pthread_self()

FreeBSD support, patch 3

include directory
New FreeBSD specific headers
SONAMES for FreeBSD libraries

FreeBSD support, patch 1

Primarily these changes concern the nature of alignment generated signals. On Linux, these produce SIGSEGV and n FreeBSD they produce SIGBUS.

Add 368960 WARNING: unhandled amd64-linux syscall: 163 (acct) in NEWS

Fixed in commit 9aa51a6e2
Hook up acct syscall for amd64, mips32, ppc32 and ppc64

s390x: Add missing "cc" clobbers in test case inline asms

Some inline assemblies in various s390x test cases miss specifying the
condition code "cc" in the clobber list.  Although this has not actually
been seen to cause wrong code generation, it certainly might, so fix this.

s390x: Fix compile warnings in test cases

Some GCC versions emit the following warnings for some s390x-specific test
cases:

   warning: listing the stack pointer register '15' in a clobber list is
   deprecated

   warning: this 'else' clause does not
   guard... [-Wmisleading-indentation] ...this statement, but...

Fix these.

Most of inline assemblies declaring r15 as clobbered do not actually
change its value.  Only in stmg_wrap() it becomes necessary to save and
restore r15.

Hook up acct syscall for amd64, mips32, ppc32 and ppc64

There was already a generic linux wrapper for acct, but it was not
hooked up for all linux arches.

Ajust filter_gdb for arm64 with eglibc 2.19 and gdb 7.7.1

Older ubuntu arm64 setups used eglibc 2.19 and gdb 7.7.1.  In that
case select.c could be under linux/generic and the select argument
list could be split up differently over several lines. Adjust
filter_gdb to catch those differences.

Also checked against an Debian arm64 with glibc 2.31 and gdb 10.1.

Add shell.stderr.exp-dash4 to none/tests/scripts/Makefile.am EXTRA_DIST

Extend filter_vgdb for GNU gdb (Debian 10.1-2) 10.1.90.20210103-git

On Debian 11.0 arm64 gdb will emit a similar (stray) ENOTTY message
as on SLES11, but for _exit.c instead of rtld.c.

Add none/tests/scripts/shell.stderr.exp-dash4 for dash 0.5.11

dash 0.5.11 produces slightly different error messagess.
The new exp file is similar to shell.stderr.exp-dash3 but
with the extra (second) "shell: " output removed.

Add generated glibc drd and helgrind files to .gitignore

fix compiler print format warnings in test_isa_3_0.c

GCC fixed the compiler warnings long long types.  Add explicit
casts so gcc will not generate compile warnings.

Fix compiler warnings for subnormal_test.c

GCC fixed the compiler warnings long long types.  Add explicit
casts so gcc will not generate compile warnings.

Fixes for the lxvx and stxvx instructions

The lxvx and stxvx tests are moved into their own separate
tests.  Add the expec files for the new test.

Update the expected results for the altivec test.

Fix tests for mfspr

Split out the mfspr tests into a separate test using command line option
"-M".  The value in the LR and CTR registers changed.  It appears the
changes are due to changes in the test program jm-insns.c.  Splinting
these instructions out will help to minimize the size of future updates
when the test program changes.

fix sraw, srawi, srad, sradi instructions

For ISA 3.0 and beyond, the instructions also write the XER register.

Split the instructions out to a new command line option so we can create
an ISA 2.07 expect file, ISA 3.0 LE and ISA 3.0 BE expect file. The new
command line option is "-s" to just run just these four instructions.

New test for the ISA 3.0 mcrxrx instruction.

Add new test.

Add support for the mcrxrx instruction.

The mcrxrx instruction was introduced in ISA 3.0. It was missed when the
ISA 3.0 support was added to Valgrind.

The mcrxr instruction is not supported on ISA 3.0 and beyond. The
instructions both do a move to the condition register however the mcrxrx
moves [OV|OV32|CA|CA32].  Where the mcrxr instruction moves XER[32:35]
(S0, OV, and CA bits) to the CR.

Fixes for mcrxr instruction

Add .machine directives to ensure the mcrxr instruction is assembled
for power 6.  The instruction is not supported on later platforms.

Fix dfp tests.

Due to changes between the compiler and linker, we need to add .machine
arguments to configure file to properly detect the availability of the
dfp instructions.

Add print statement if HAS_DFP is not enabled to make it
easier to determine when HAS_DFP is not enabled.

Add .machine directives for the darn instruction

Fixes to add .machine directives for assembly instructions

powerpc: Add .machine directives for scv, copy, paste, cpabort instructions

GCC is no longer passing the "-many" flag to the assembler.  So, the
inline assembly instructions statements need to use the .machine directives
for the specific platform.

(gcc commit e154242724b084380e3221df7c08fcdbd8460674 ; "[RS6000] Don't
pass -many to the assembler".

Hardware sync instruction (hwsync) added after the copy, paste and cpabort
instructions to improve the reliability of the test.

Configure,makefile and test case fixes for older powerpc targets.

Assorted changes to fix up compile issues as seen during regression
testing of VG on hardware back as far as Power 6 (ISA 2.05).

Add generated man pages to .gitignore

Remove VEX/nanoarm.orig file

configure.ac: Avoid the use of "which"

The "which" command is not always installed, but configure.ac uses it in
the function AC_HWCAP_CONTAINS_FLAG to force invocation of the executable
"true" rather than the shell builtin with the same name.  (The point here
is to get LD_SHOW_AUXV=1 evaluated by the dynamic loader.)

Another option might be to hard-wire the location /bin/true, because the
filesystem hierarchy standard requires it to be there.  However, the FHS
doesn't apply to BSDs and at least some FreeBSD versions do not stick to
that specific rule.

On the other hand, the "env" command seems to be available on all relevant
platforms, so use that instead.

Update libiberty demangler

Update the libiberty demangler using the auxprogs/update-demangler
script to gcc git commit b3585c0836e729bed56b9afd4292177673a25ca0.

This update includes:

- prevent null dereferencing on dlang_type
- prevent buffer overflow when decoding user input
- Add support for demangling local D template declarations
- Add support for demangling D function literals as template
  value parameters
- Add support for D `typeof(*null)' types
- Fix -Wundef warnings in ansidecl.h
- Fix endian bug in rust demangler
- Adjust mangling of __alignof__
- Avoid -Wstringop-truncation

Update libiberty demangler to support Rust v0 name mangling

Update the libiberty demangler using the auxprogs/update-demangler
script to the gcc git 01d92cfd79872e4cffc78bf233bb9b767336beb8.
Updates rust demangling to support the new v0 mangling scheme.

This includes the following changes:
- Update the update-demangler script to use gcc git instead of svn.
- The result of running the updated script to get an updated
  demangler and resolving the merge conflicts.
- A change to long_namespace_xml.stderr.exp because two overly long
  symbols aren't demangled anymore, but just returned as is.
- an update to the m_demangle/demangle.c source to deal with Rust
  demangling in cp_demangle, which now directly demangles old and
  new style rust symbols.

NEWS: Add 442061 - very slow execution under Fedora 34 (readdwarf3)

readdwarf3: Introduce abbv_state to read .debug_abbrev more lazily

With the inline parser often a lot of DIEs are skipped, so reading
all abbrevs up front wastes time and memory. A lot of time and memory
can be saved by reading the abbrevs on demand. Do this by introducing
an abbv_state that is used to keep track of the abbrevs already read.
This does technically make the CUConst struct not const.

readdwarf3: Reuse abbrev if possible between units

Instead of destroying the ht_abbrvs after processing a CU save it
and the offset so it can be reused for the next CU if that happens
to have the same abbrev offset. dwz compressed DWARF often reuse
the same abbrev for multiple CUs.

readdwarf3: Immediately skip to end of CU when not parsing children

readdwarf3: Reuse fndn_ix_Table as much as possible

Both the var parser and the inl parser kept a fndn_ix_Table.
Initialize only one per debuginfo read pass and reuse if the stmt offset
is the same as last time (CUs can share the same line table and alt
files do share one for all units).

readdwarf3: Only read line table for units with addresses for inlined functions

When parsing DIEs for inlined functions, only read the line table for
units which can actually contain inlined_subroutines.

readdwarf3: Skip units without addresses when looking for inlined functions

When a unit doesn't cover any addresses skip it because no actual code
will be inside. Also use skip_DIE instead of read_DIE when not parsing
(skipping) children.

amd64: add spec rules for: S/NS after ADDL, S after ADDQ.

m_debuginfo: Handle DW_TAG_atomic_type

DW_TAG_atomic_type is a DWARF5 qualifier tag like DW_TAG_volatile_type,
DW_TAG_const_type and DW_TAG_restrict_type.

s390x: Fix 64-bit shift in s390_irgen_VSTRS

The function s390_irgen_VSTRS in guest_s390_toIR.c contains a shift
operation that is intended to yield a 64-bit number but uses 1UL instead
of 1ULL.  This doesn't work on systems where 'unsigned long' is only 32
bits wide.  Fix by replacing 1UL by 1ULL.

Remove deprecated regression tests for mftgpr and mffgpr.

The mftgpr and mffgpr instructions are deprecated.  Added comments in
VEX/priv/guest_ppc_toIR.c for the instructions stating the instructions
are deprecated.  Valgrind support can be removed if the opcodes get reused
in the future.  For now, leaving the functional support in Valgrind
for the instructions.

Removed the regression test power6_mf_gpr.c, expect files and vgtest file
from none/tests/ppc64.

Cleanup of none/tests/ppc64/Makefile.am

Fixing indentation and move the jm_insns_CFLAGS next to the other CFLAGS
definitions.

No functional changes.

Add getoff-arm64-linux to .gitignore

Update the expected output for test_isa_3_1_VRT.

The inputs into the vinsdlx,vinsdrx instructions changed as a result of
the impossible constraint issue fix.  This patch updates the expected
results.

https://bugs.kde.org/show_bug.cgi?id=441534

Fix impossible constraint issue in P10 testcase.

This reworks the modulo operation as seen in
valgrind/none/tests/ppc64/test_isa_3_1_common.c:
  initialize_source_registers().

Due to a GCC issue (PR101882), we will try to avoid a modulo operation with
both input and outputs set to a hard register. In this case, we can apply
the modulo operation to the args[] array value used to initialize the ra
value.

https://bugs.kde.org/show_bug.cgi?id=440906

Remove a unneeded / unnecessary prefix check.

The pstxvp instruction is valid for R=1, i.e. use pc relative addressing.
The test should have been remmoved before committing the ISA 3.1 support.

https://bugs.kde.org/show_bug.cgi?id=441512

s390x: Wrap up misc-insn-3 and vec-enh-2 support

Wrap up support for the miscellaneous-instruction-extensions facility 3
and the vector-enhancements facility 2: Add 'case' statements for the
remaining unhandled arch13 instructions to 'guest_s390_toIR.c', document
the new support in 's390-opcodes.csv', adjust 's390-check-opcodes.pl', and
announce the new feature in 'NEWS'.

s390x: Vec-enh-2, test cases

Add test cases for verifying the new/enhanced instructions in the
vector-enhancements facility 2.  For "vector string search" VSTRS add a
memcheck test case.

s390x: Mark arch13 features as supported

Make the STFLE instruction report the miscellaneous-instruction-extensions
facility 3 and the vector-enhancements facility 2 as supported.  Indicate
support for the latter in the HWCAP vector as well.