Make cg_annotate independent of python3 install location

cachegrind/tests/Makefile.am EXTRA_DIST add ann3.{{post,stderr}.exp,vgtest}

Rewrite `cg_annotate` in Python.

Perl was a reasonable choice for `cg_annotate` in 2002, but not in 2023.
Also, the existing structure of the code is not good. These two things
make it hard to modify `cg_annotate` in any significant way.

Benefits of the change:
- Now written in a language that is (a) nice, and (b) not moribund.
- Easier to maintain, due to (a) abovementioned better language, (b)
  better code structure, and (c) better language tooling, such as
  formatters, type checkers, and linters.
- The new version is a little shorter.
- It runs about 2x faster.
- Argument handling is more standard. E.g. things like `--context 2`,
  `--auto`, `--no-auto` are supported. (The old forms that require `=`
  are still supported, though the `=yes`/`=no` forms are deprecated.)

The behaviour and output of the new version is identical for typical
uses, but there are some very minor changes for edge cases, which nobody
is likely to notice. For example:
- The file format is slightly changed: I removed support for '.'
  counts, which had the same meaning as '0'. This was a feature that
  Cachegrind never used, and the old script handled it inconsistently.
- The new version will abort on a malformed data line. The old version
  would just print a warning and continue.

The commit also adds a new test `ann3` that tests many parts of
`cg_annotate` that weren't tested previously, and tweaks the existing
`ann2` test.

Solaris: fix build, another aligned alloc typo

Bug 467482 - Build failure on aarch64 Alpine

Patch submitted by
fanquake@gmail.com

coverity: a couple of potential buffer overruns

coverity: printf args format mismatch

coverity: copy paste error

FreeBSD: fix a syswrap compiler warning

regtest: add an s390 expected for sized_aligned_new_delete_args

doc: Add asan equivalent to --realloc-zero-bytes-frees to manual-core

Refactor: reorder a few structs to make them more compact

Used pahole to find candidates. Don't have any performance
measurements, but it won't do any harm.

regtest: update one expected after fixing realloc_size_zero_mismatch.cpp

regtest: build failure on Linux ppc64le, missing header

Bug 436413 - Warn about realloc of size zero

Adds a new warning to memcheck when realloc is used with a size of 0.
For a long time this has been "implementation defined" and so
non-portable. With C23 it will become UB.

Also adds a switch to turn off the error generation and a
second switch to select between the most common
"implementation" behaviours. The defaults for this second
switch are baked in at build time.

Rename memcheck/tests/sized_aligned_new_delete_args.stderr.exp-glibc

It's for GCC / libstdc++ really

darwin regtest: fix unused variable warning

Copied and paster from old posix_memalign test

Mised one aligned alloc wrapper on Linux

Need different expected for GCC / libstdc++

And I think that the 32bit expected will also need updating.

Malloc replacements: add some C++14/17 comments

Rearrange the code to group C++ 14 operator deeltes together.

regtest: try to fix bad merge of memalign_args expected on ppc64

regtest: update sized_aligned_new_delete_args expected

Don't quite understand how I managed to generate the original
expected.

Make operator new aligned more like the standalone versions

If the alignment is not a power of two return nullptr for the
nothrow overload and bomb for the throwing overload.

regtest: add an arm expected for memalign_args

regtest: fix warning in memalign_args and add debug info to sized_aligned_new_delete_args

auxchecks: fix building on FreeBSD

FreeBSD has a sha256sum that doesn't take long args (--check)
GNU sha256sum exists as gsha256sum so add a check for that to
configure.ac

Fix compile failure on Linux

Use SizeT rather than size_t
Also make tests quieter with -q

Add 32bit version of sized_aligned_new_delete_args expected

Asl add some parens to shut up clangd

Add checks to all new / delete overload arguments

auxchecks: use outer configure make and compilers

On FreeBSD the hard coded 'make' will switch to BSD make rather
than the outer configure make - GNU make.

Similarly for systems with gcc and clang installed then an outer
'configure CC=clang' and then make auxchecks doesn't propagate
the CC to the inner gsl configure, which will use gcc.

Still need some work on the tarball checksum calculation.

Bug 466104 - aligned_alloc problems, part 1

I think that these are all now done.
This commit refactors memalign and updates manual-core.xml
to say some behaviour of Valgrind depends on the build time
OS and libraries.

Linux musl: fix code refactor that missed one usage

Darwin regtest: again, forgot to delete errno

Setting errno on Darwin not supported on Valgrind.

Darwin regtest: remove test that aligned_alloc fails with huge alignment

Needs more debugging.

Linux musl: one more iteration for aligned_alloc, assert in wrong place

Linux musl: corrections for aligned_alloc test

Fix a compiler warning

Linux musl: alligned_alloc accepts alignment of zero

Solaris regtest: final iteration for aligned_alloc

Solaris: bump alignment to next power of two for aligned_alloc

I'm not changing the Valgrind allocator to fit Solaris, too bad.

Solaris: copy paste error in alignment check for aligned_alloc

Solaris: adapt to aligned_alloc only enforcing a multiple of 4

Make aligned_alloc behave more like the underlying platform aligned_alloc

This is the third part of
Bug 466104 aligned_alloc problems, part 1

Shouldn't affect Linux glibc.

Bug 449309 -  Missing loopback device ioctl(s)

Patch provided by:
    Faheem Sheikh <faheem.sheikh@bmw.de>

Note that the testcase provided with this report hasn't
been added as it requires privileges.

Linux PPC regtest: forgot to add the new expected

Linux PPC regtest: add a specific expected for memalign_args

The number of errors for arguments that gets triggered depends
on how GCC optimzes and generates code for the vg_replace_malloc.c
wrappers. PPC seems to trigger more than amd64.

Darwin regtest: no malloc.h header on Darwin

Typo in comment

Fix Darwin compilation

Removed memalign wrapper on Darwin, so valloc can't use it any more.

Bug 445743 - "The impossible happened: mutex is locked simultaneously by two threads" while using mutexes with priority inheritance and signals

Been using the same fix in FreeBSD for quite a while, so I think
it's safe to apply to Linux and close the bugzi item.

Remove unused helgrind expected

I don't think that this can match any more.

Change behaviour of posix_memalign for Solaris

It returns NULL and 0 status whilst most other platforms
allocatae some undefined amount of memory (which is allowed
by posix).

Update the posix_memalign test as well.

Finally remove some clang warnings about alignment.

Put back Darwin zone memalign

I had another look at the XNU source and this does seem to exist.
The manpage says that it is the zone version of posix_memalign,
though that's probably more because Darwin has no memalign.

Make memalign behave more like the underlying platform memalign

This is the first part of
Bug 466104 aligned_alloc problems, part 1

The bulk of this change is try try to get memalign to be more
platform aware. Previously the Valgrind implementation only
reflected the glibc implementation. That meant non-power of
two alignment values would silently get bumped up to the
next largest power of two. Most other platforms return NULL
and set errno to EINVAL.

There are a few other changes. A couple of the other aligned alloc
functions like valloc were caling the Valgrind memalign. This meant
that there weould be an extra Valgrind memalign in any error
callstacks. Now these functions call the allocator directly.

The memcheck memalign2 testcase has been redone. The memalign
parts moved out to per-platform versions and the tescase
itdelf renamed to posix_memalign, since that is all that is left.
I also modified the testcase so that it checks that the
memalign calls check for non-NULL returns, and on platforms
that set errno that it is correctly set. Previously the
test only worked on non-glibc because NULL & alignment is
zero.  The platform versions have been tested on glibc,
MUSL, FreeBSD and OpenIndiana and should hopefully run OK
both under memcheck and standalone.

There is stil quite a lot that is NOT done

1. I'm not certain that implementations allocate more memory
   and/or use a wider alignment. It doesn't help that almost
   universally the memalign implementations are badly
   documented, undocumented or buggy.
2. We don't handle very large alignment requests well.
   Most implementations will fail and set EINVAL if the
   alignment is over half the memory space. Valgrind will
   core panic if an aligmnt of over 16Mbytes is requested.
3. We don't generate any memcheck errors for invalid values
   of alignment. That's planned in Part 2.
4. The code is static and fixed at compile time. That means that
   if you are using MUSL with a glibc-built Valgrind you
   will still get glibc memalign behaviour.
   I'll wait to see if there are any requests before trying
   to make the behaviour selectable at runtime.

And here is the updated expected for FreeBSD scalar x86 mknodat

FreeBSD mknodat syscall dev arg is 64bits so the syscall needs splitting into amd64 and x86 versions

Small update to FreeBSD x86 scalar expected

FreeBSD: make rfork() fail more gracefully

rfork() is barely used in base FreeBSD. The main use
is in posix_spawn(). If rfork() fails with EINVAL
then it falls back to using vfork(). This is preferable
to Valgrind bombing.

ksh93 uses posix_spawn. I tested bash and csh and they had
no problems.

Also add 'hello world" smoke tests for bash csh and ksh

bug465435 - m_libcfile.c:66 (vgPlain_safe_fd): Assertion 'newfd >= VG_(fd_hard_limit)' failed.

One small typo

musl regtest : fix warnings and badly initialized struct msghdr

Try to correct configure script for warning flags with values

Some -W flags come with and without an =
(usually for warning levels)
But some only have the form -Wfoo=42 and -Wno-foo

musl: fix a couple of warnings

musl doesn't have sys/poll.h

GCC moans and then uses poll.h

On glibc linux and FreeBSD poll.h is a symlink to sys/poll.h
Illumos poll.h includes sys/poll.h

regtest: remove compiler warnings with clang

DRD aarch64: Add some suppressions for DRD libstdc++

Also fix building drd/tests/std_mutex, needs -pthread.

README_DEVELOPERS: Explain how to set VALGRIND_LIB to gdb valgrind

Darwin: try to fix assert in DRD

The hard coded memory mapping trigger drd_start_using_mem_w_perms
which will lead to tl_assert(vg_tid != VG_INVALID_THREADID);

But vg_tid was just set to VG_INVALID_THREADID before the
hard coded memory map.

Regtest: rationalize filters for new/delete

Darwin regtest: add filtering for zone functions and realloc

For test of C++17 new/delete variations

DRD regtest: try to make timed_mutex more reliable

On RHEL 7.6 ARM I see this with the lock returning false
but without the 11 second timeout. Try adding some sleeps.

DRD regtest: try to make timed_mutex more reliable

On RHEL 7.6 ARM I see this with the lock returning false
but without the 11 second timeout. Try adding some sleeps.

DRD regtesat: update suppression file for std_threads2

On RHEL 7.6 ARM glibc 2.17 is used which doesn't match the 2.2*
wildard, so widen the wildcard to just 2.*

FreeBSD: fix internal sysctlbyname

I used the libc interface rather than the syscall interface.
The syscall also has the name length which libc adds.

Regtest: foix warning from drd test pth_mutex_signal.c

GCC on RHEL 7.6 ARM complains about the empty init list.

I also noticed that we are using the SA_NOTIFY form of sigaction
(with that union member and handler prototype) but not setting the
SA_NOTIFY flag. Seems harmless in this case as we don't use
the siginfo or context.

FreeBSD: improve internal syscallbyname

Post FreeBSD 12.2 this is a syscall that does everything
(rather than needing an undocumented syscall).

GDB regtest: add filter for gdb python load, RHEL 7.4 ARM

Add valgrind-monitor[-def].py to EXTRA_DIST

So as to make sure these get copied into the tarball.
Fixes make distcheck.

FreeBSD: cleanup launcher

cppcheck spotted a bug in the skipping of whitespace between shebang
and interpreter command. This could potentially cause the platform
to be misidentified (for x86 on amd64).

Pack Lackey Event structure

Seen by cppcheck. Will reduced size from 4 to 3 words on 64bit platforms.

FreeBSD: cleanup and refactor syscalls readlink and readlinkat

There was some code to handle /proc/curproc/file (a symlink to
the exe that wee need to bodge as it refers to the tool exe).
But it was neither tested nor working.

Can't use the same technique as Linux and Solaris which have more
complete /proc filesystems where each pid has symlinks for
each open file, which we use for the guest. Instead need to
copy the path ourselves. So move sys_readlink out of generic.

Simplify the handling of the resolved guest exe name - store it in
a global like VG_(args_the_exename).

Remove warning caused by D demangle testcase

bug464969_d_demangle.cpp: Always print "Xa"

bug464969_d_demangle depends on producing an error about an
uninitialized variable. But it prints something different
to stdout based on the value of that variable. Which can
produce failures. Make sure to always print the same thing
to stdout.

drd/tests/pth_mutex_signal: Port to Darwin

This patch includes a revert of commit 2e873534bb49 ("macOS: drd
pth_mutex_signal test doesn't build").

Bug 464969 -  D language demangling

    Patch from witold.baryluk@gmail.com

(also added a testcase)

macOS: drd pth_mutex_signal test doesn't build

pth_mutex_signal.c:50:13: error: use of undeclared identifier 'SIGRTMAX'
  sigaction(NATIVE_IO_INTERRUPT_SIGNAL, &signalAction, NULL);

Put this target under a condition for the moment.

Compiler warning expansion to defined

Clang doesn't like
m_debuginfo/tinfl.c:182:45: warning: macro expansion producing 'defined' has undefined behavior [-Wexpansion-to-defined]

macOS: Try to fix build, doesn't like .debug_gdb_scripts

Remove one lingering trace of tilegx

tsan_thread_wrappers_pthread.h: Only include cstdint for C++11

Fixes build on older g++.

configure.ac: Update AC_PROG_CC checks

AM_PROG_CC_C_O has been obsolete since automake 1.14.
AC_PROG_CC does the same check. With autoconf 2.70 we
must use AC_PROG_CC (which will check for c11 and c99),
for earlier versions we'll use AC_PROG_CC_C99.

Illumos: regtest filters and gitignore

Filter for the gdb python autoload warnings
Filter for another variation of shell abort messages

Regtest: broaden suppression for helgrind bug 392331

Inlining differences on different Linux platforms.

Bug 382034 - Testcases build fixes for musl

Bug 464859 - Build failures with GCC-13 (drd tsan_unittest)

Patch submitted by
Khem Raj <raj.khem@gmail.com>

Linux regtest: some extra filtering for helgrind bug392331

Was failing on rhel 7.6

Linux regtest: forgot prereq test for scalar_openat2

FreeBSD: update comment about __sysctlbyname and kern.proc.pathname

FreeBSD: fix compile of auxv on FreeBSD 12

FreeBSD: fix build on older OSes

A bad copy-and-paste broke compilation on FreeBSD 12.

FreeBSD: remove different reserved fds number

No idea where it originated. Causes no problems on
FreeBSD 13.1 amd64.

FreeBSD: switch to FreeBSD 12 versions of syscalls for fstat etc

This was a change that enabled 64bit inodes (ino64).

Also a couple of typos in READMEs.