Run task_fd_lookup.exp with --compatible 4.0

Running in --compatible 4.0 mode forces @cast(0, "mount")->mnt_parent
to focus on the kernel module.

PR28184: Adapt to kernel rename __fcheck_files to files_lookup_fd_raw

The 5.11 kernel renamed __fcheck_files to files_lookup_fd_raw

PR28184: Adapt to kernel rename __fcheck_files to files_lookup_fd_raw

The 5.11 kernel renamed __fcheck_files to files_lookup_fd_raw

testsuite: time-limit auxiliary child processes

The testsuite has been observed to intermittently hang on 5.13+
generation kernels.  This is caused by some test binaries (especially
recv*.c) suffering a segv and terminating, but their forked child
process pals still hanging around (indefinitely).  This patch adds an
alarm(30) to each such test, so the children will burn twice as
bright, but half as long, or something.

stapbpf bugfix: missing in_block() in try-catch code

After emit_stmt(), we may not be in a block, e.g. if we do

try { return 0 } catch { return 1 }

Also added an assert to make the error more obvious
if it's missed anywhere else. Was a non obvious segfault.

releng: ditch custom pie/ssp CFLAGS engine in configure.ac

Just inherit the desired c*flags from autoconf via environment
variables from the distro spec files.  This lets us automatically
benefit from centralized hardening flags on some distros.  OTOH
distros without that now will need to add such settings to the build
scripts that invoke this configure script.

PR28079: Adapt to kernel 5.14 task_struct.__state change

In tapset, use @choose_defined() for old & new field names.

runtime: adapt to -Werror=implicit-fallthrough=5, dyninst runtime

The runtime/dyninst/runtime.h also needs a fallthrough macro def'n.

PR28140: kernel 5.14-rc adaptation, jump_label_patch

Linux commit ab3257042c2 makes it necessary for us to stop overriding
CONFIG_STACK_VALIDATION= (originally a workaround for a 2016 rawhide
bug).  This fixes the tracepoints.stp test case.

runtime: adapt to -Werror=implicit-fallthrough=5

Linux kbuild commit d936eb23874 sets $subject CFLAGS, so to play
catch-up, we also need to use gcc attribute(fallthrough) to label such
spots in switch() statements in our runtime / tapset.  Tested on
linux5.14 gcc11 rawhide and linux3.10 gcc4 rhel7.

Revert to using test_tsk_thread_flag for uprobes2

_stp_is_compat_task is not required for uprobes2 since uprobes2 is only used
for rhel6 and rhel7.

PR27984: Adjust the address so dwfl_module_addrinfo finds correct function name

PR27984 discovered that the logic to determine when a location was
part of a partially inlined function was not operating correctly for
shared libraries.  The existing systemtap.base/partial-inline.exp
verified that the test worked for executables, but shared libraries
include a non-zero bias that needs to be added in. Added code to get
the required bias and add it to the address so the correct name is
returned by dwfl_module_addrinfo.

PR28079: Adapt to kernel 5.14 task_struct.__state change

Use signal_wake_up_state for the 5.14 kernel which changed volatile long state to unsigned int __state.

testsuite item typo fix

PR27934: give fuller diagnosis for pass-5 probe-registration errors

While we cannot solve or prevent runtime probe registration errors, we
can help users understand them.  Add a new warning::pass5 man page,
and point registration error messages at it.

PR27820 tapset/bpf/logging.stp: implement abort() tapset function

A more obsessively accurate implementation would add a check
equivalent to if (c->aborted) to the start of each probe,
but it would be an imperfect solution in any case.

PR27820 tapset/bpf/logging.stp: move bpf versions of functions

Follows the same scheme as what I instituted earlier for the
uconversions.stp tapsets: toplevel has functions common to
all 3 backends or common to lkm+dyninst (guarded by a
runtime != "bpf" conditional). BPF implementations are
moved to tapset/bpf.

* tapset/bpf/logging.stp: New file.
* logging.stp: Move bpf versions of functions.

runtime: linux 5.14 compat: <linux/panic_notifier.h>

Linux commit f39650de687e3 moved some kernel decls around.

runtime: fix unintended compile error with autoconf-x86-uniregs.c

Adding a #include <linux/sched.h> restores this test on the gentoo
linux-5.10.47-gentoo kernel.

Revert "systemtap.spec: don't buildrequire emacs"

We need an emacs package - just for the RPM directory-setting macros.

spin-rawhide: ok tweak the git-archive top level path too

spin-rawhide: switch to ~ versioning for Source: file names too

spin-rawhide: switch to ~ versioning for n-v-r

The previous scheme used systemtap-V-0.STUFF numbering.
Now instead systemtap-V~preSTUFF-1 numbering, with a little less stuff.

task_finder_vma: add autoconf check for hlist_add_tail_rcu()

The 3.10 version check for hlist_add_tail_rcu() only works for RHEL
kernels. Kernels older than 4.7 that lack the hlist_add_tail_rcu() backport
won't compile (such as Debian kernels). Add an autoconf stub to know for
certain if hlist_add_tail_rcu() is present.

Don't fail vma tracking mmap callback if module is already known.

An -EEXIST returned by stap_add_vma_map_info() just indicates that the
module is currently in stap's vma cache; it isn't a real issue. Calling
_stp_error() when this occurs causes stap to exit when there isn't a
real bug. Ignore the -EEXIST error to avoid breakage.

Use the path instead of the module for vma tracking mmap callback.

Use the path instead of the module for vma tracking mmap callback
since the module is usually NULL.

update READMEs + man pages for freenode -> oftc move

This was done for the website, now do this in the actual codebase.

Update list of reasons for latencytap.stp example

Backtraces change over time.  Added additional function names to
monitor in the backtrace and map to reasons.  This should reduce the
number of lines with blank reasons when using newer Linux kernels.

rhbz1972805: add basic syscall-in-ptregs support for s390x

Akin to commit 7be7af0fda36 for ARM, add basic syscalls via
tracepoints / CONTEXT->sregs support for s390x.  The argno=6 case is
funny because for syscalls they travel in registers, whereas normally
they hop onto the stack.

systemtap.spec: don't Require: libvirt

Remove unnecessary dependency.  The -runtime-virthost subrpm just
needs the libvirt shared libraries, and not the libvirt server
machinery.

rhbz1972828: tapsets: iommu tracepoints

Disable detection of intel-iommu tracepoint family on non-x86
platforms, because the 5.13ish kernel headers for this tracepoint
include references to functions like clcache_flush_range which don't
exist on all non-x86.

ppc64 runtime: FULL_REGS() gone

Adapt to kernel commit 8dc7f0229b78, which dropped the titular macro
from ppc64 ptrace.h header.

c++ buildability: util.cxx - unique_ptr

Add a #include <memory> that may be necessary on some unusual c++ compilers.

systemtap.spec: don't buildrequire emacs

We don't run emacs during the build, so don't BuildRequire: it.

Allow for adjacent segments belonging to different modules.

Do not merge adjacent memory segments if they are from different
shared libraries that happen to be loaded adjacent to each other.

Note that Python is a requirement.

Get the enumerator's enumeration type

Enumeration values are ultimately treated as constants but the path:
literal_stmt_for_local -> find_variable_and_frame_base (-> dwarf_get_enum)
-> translate_final_fetch_or_store often assume there is a
type die. Have dwarf_get_enum also get the type from the enumeration
type and percolate it along.

testsuite/systemtap.base/perf.sh drop bashism

You don't need to use == to check for equality in a test statement, a
single equals sign is sufficient. The use of double equals sign is a
bashism which doesn't always translate as intended on other shells.

[fche checked other scripts in the source tree that used [ == ]; they
are all marked /bin/bash so can stay as is.]

Add hlist macros for use by hlist_add_tail_rcu

parse.cxx: Initialize functioncall synthetic field

Quieting complaints from:

% valgrind --track-origins=yes stap -v -p2 --example helloworld.stp

Add hlist_add_tail_rcu for rhel 6.

hlist_add_tail_rcu is not present in rhel 6

Don't assume ISO C99

Extend vma mapped entries when the address is adjacent.

When two segments are adjacent, extend the first to contain the second
instead of adding another entry.

stap-prep: switch to using main vmlinuz file as debuginfod test download

Using the vdso* files only as the debuginfod tests gives us false
positives on platforms where the install vmlinuz files cannot be used
as a basis for debuginfod queries, because they're not elf nor
compressed-elf.  This new stap-prep tries to download the vmlinuz
debuginfo itself.  It's large, but at least once it's here, it's here!
And if it fails (as it will on those few platforms), the user is
advised to do full platform package-manager debuginfo download.

PR27903: grok more glibc dwarf

Some entry-value / parameter-ref combinations needed better error
resilience in the translator (set ->tok fields, not assuming
matches exist, etc.)

c++11 hygiene: use cxx_override macro for pre-4.7 g++

Fix more -Wformat-nonliteral and -Wmismatched-tags when compiling with clang

dtrace: Use -o option to specify output file for CPP

Fix -Wformat-nonliteral and -Wformat warnings with clang

Fix -Woverloaded-virtual warnings when building with clang

Satisfy clang by removing option for non-nested signature printing from
implementations of printsig and declare derived_probe::printsig with 'override'.

Add function derived_probe::printsig_nonest to perform non-nested signature
printing.

set2: Return this from assignment operator

This should return something but didn't.

Add missing copy constructors to set1_ref and set1_const_ref

Clang complains about the missing copy constructors if a user-defined
copy assignment operator exists, e.g.:

./bpf-bitset.h:108:19: error: definition of implicit copy constructor for 'set1_const_ref' is deprecated because it has a user-declared copy assignment operator [-Werror,-Wdeprecated-copy]
  set1_const_ref& operator= (const set1_const_ref &);   // not present
                  ^
./bpf-bitset.h:256:12: note: in implicit copy constructor for 'bpf::bitset::set1_const_ref' first required here
    return set1_const_ref(data + w2 * i, w2);

Add some override specifiers where missing

util.cxx: Use abs() instead of labs()

Taking the absolute value of unsigned values is pointless, as reported
by clang:

util.cxx:1545:28: error: taking the absolute value of unsigned type 'unsigned long' has no effect [-Werror,-Wabsolute-value]
      unsigned min_score = labs(target.size() - it->size());
                           ^
util.cxx:1545:28: note: remove the call to 'labs' since unsigned values cannot be negative
      unsigned min_score = labs(target.size() - it->size());

systemtap.spec: python3 tweaks

Embrace build configurations where python3 is not installed by
default, so needs an explicit BuildRequires; also ones where
python3-probes are not built, ergo stap-exporter isn't packaged.
(The latter is automake-conditionalized on the wrong parameter,
HAVE_PYTHON3_PROBES rather than HAVE_PYTHON3, but this doesn't
matter on normal distro builds.)

PR27864: tolerate loc_unavailable during loc2c transform

Change this assertion to a normal semantic error, to tolerate unusual dwarf content.

891            assert(fb_loc->type == loc_address);
(gdb) p fb_loc->type
$1 = loc_unavailable
(gdb) bt

    line=891, function=<optimized out>) at assert.c:92
        function=0x5555557ee788 "symbol* location_context::frame_location()") at assert.c:101

         #0  __GI_raise (sig=sig@entry=6) at ../sysdeps/unix/sysv/linux/raise.c:49
         #1  0x00007ffff7d438a4 in __GI_abort () at abort.c:79
         #2  0x00007ffff7d43789 in __assert_fail_base (fmt=0x7ffff7eb0680 "%s%s%s:%u: %s%sAssertion `%s' failed.\n%n", assertion=0x5555557eec07 "fb_loc->type == loc_address", file=0x5555557edc9d "loc2stap.cxx",
     line=891, function=<optimized out>) at assert.c:92
         #3  0x00007ffff7d53026 in __GI___assert_fail (assertion=0x5555557eec07 "fb_loc->type == loc_address", file=0x5555557edc9d "loc2stap.cxx", line=891,
         function=0x5555557ee788 "symbol* location_context::frame_location()") at assert.c:101
         #4  0x00005555556fcc08 in location_context::frame_location (this=0x7fffffff8d10) at loc2stap.cxx:891
         #5  0x00005555556f9671 in location_context::translate (this=0x7fffffff8d10, expr=0x7fffe88a7f38, len=1, piece_expr_start=0, input=0x0, may_use_fb=true, computing_value_orig=false) at loc2stap.cxx:607
         #6  0x0000555555730593 in location_context::location_from_address (input=0x0, len=<optimized out>, expr=0x7fffe88a7f38, this=0x7fffffff8d10) at loc2stap.cxx:912
         #7  location_context::translate_location (input=0x0, len=<optimized out>, expr=0x7fffe88a7f38, this=0x7fffffff8d10) at loc2stap.cxx:1304
         #8  location_context::translate_location (input=0x0, len=<optimized out>, expr=0x7fffe88a7f38, this=0x7fffffff8d10) at loc2stap.cxx:1296
         #9  dwflpp::translate_location (this=0x55555a9f67d0, ctx=0x7fffffff8d10, attr=<optimized out>, die=0x7fffffff8af0, pc=<optimized out>, fb_attr=<optimized out>, e=0x55555ae79900, input=0x0)
             at dwflpp.cxx:3287

autoconf: version bumps for the next release-4.6

version bumps for the next release-4.6

NEWS: release-4.5

systemtap.spec: release-4.5

pre-release-4.5: regen docs, FIX scripts/update-syscall-docs FOR py3

scripts/update-syscall-docs needed to be updated for the Python3
binary-input convention. Not doing so had messed up syscalls.3stap for
release-4.4.

NEWS: add a few more runtime related entries

pre-release-4.5: regen examples index

pre-release-4.5: make update-po

pre-release-4.5: update PRERELEASE except systemtap.spec

pre-release-4.5: update AUTHORS

use long-lived debuginfod_client handle for buildid based probes

New elfutils is more efficient if reusing debuginfod_client*
handles.  Save them in a static unique_ptr<>.

In the corresponding testsuite, stop using -d :memory: for the
temporary debuginfod instance.  That's becuase that doesn't work since
elfutils commit 6362941714548d93a3, which uses two concurrent sqlite
database connections.  The :memory: syntax causes creation of distinct
databases.

NEWS: suggested NEWS items for release-4.5

Make declarations consistent with corresponding definitions

Avoid -Wmismatched-tags by ensuring that the use of class/struct in
declarations matches use of class/struct in the corresponding definition.

Use the skb_frag_size accessor function rather than directly reading field

There have been changes in the skb_frag_t struct. In newer kernels the
size field no longer exists.  Rather than trying to determine the name
of the field the __skb_frag_size tapset function now uses the
skb_frag_size accessor function instead.  This function has been in
kernels since 2011 and has been in RHEL kernels since RHEL6.

examples: add old cve security band-aid cve-2011-4127

Further tweak deviceseeks.stp example to work on Fedora 32/33/34

The previous fix for Fedora rawhide Linux kernels (5.12) did not work
on earlier Linux 5.11 kernels in Fedora 32/33/34 because struct bio
has a different field, bd_disk that has a pointer to the queue.
Separated the process for getting the sector size into two steps:

-find the request queue struct
-find the sector size for the device

This script has been tested on RHEL8, Fedora 34, and Fedora Rawhide.

systemtap.spec: don't *require jpackage-utils

Plain java-devel should do the job for building our java runtime.

PR27274: tolerate aborted update_visitor traversals

The update_visitor dtor has had an assert() for its value-stack
being empty by the time of its execution.  But some combinations
of errors (exceptions being thrown & caught), this assertion could
fire and those diagnostics hidden.  So we now ditch the assert()
and leave behind exceptions and other optimistic cleanup.

releng: work around fedora ci

rpminspect appears to have a cow about -testsuite and -runtime-java
multiarch conflicts.  Perhaps adding a mutual Conflicts: will help.

Adjust deviceseeks.stp to work with newer kernels

Newer kernels do not provides the queue parameter ($q) for the
block_bio_queue tracepoint used by ioblock_trace.request.  Based on
the suggestion by Jeff Moyer added an alternative way to get queue and
extract the sector size information required for this script.

PR27802: tweak configure.ac for AC_SUBST(pkglibdir)

autoconf is such a hassle for getting expanded path names for the
--FOOdir=BAR names.  During execution of the configure script, they
may be defined to be expressions with literal $values in them, which
need to be eval'd with other $values preset.  What a mess.  Tweak the
sequence used to predict the $pkglibexecdir through heuristics to get
around all this indirection.  (e.g. /usr/libexec/systemtap), whether
or not --libexecdir= is given.

Correct ucontext.stp umodname function call to _stp_umod_lookup

The runtime _stp_umod_lookup function had an additional offset parameter
added in git commit d1b554876c68f313ec371dbf52c4bddde7bbe10e.  That
patch updated the runtime uses of the function, but overlooked the use
of _stp_umod_lookup in the tapsetss.  This patch updates the missed
_stp_umod_lookup in the ucontext.stp tapset.

Adjust tapset dev.stp to get partition number from newer block_device struct

The kernel git commit 0d02129e76edf91cf04fabf1efbc3a9a1f1d729a removed
the bd_part field from struct block_device.  The newer field bd_partno
in the same struct should be used to get the partition number.  This
fix allows mbrwatch.stp, ioblktime.stp, and disktop.stp examples
to function on Linux 5.10 and new kernels.

PR27785: fix segv in try/catch traversal

Correct a little brainfart that didn't take into account the
presence of  try { ... } catch { ... } blocks, lacking the
optional exception-string catching clause.

runtime: fix user address calculation for PIE binaries

Commit d1b554876 ("runtime: fix symbol lookups when the first section
isn't executable") resolved an issue caused by not storing VMA info when
it was actually needed, and it did this by unconditionally storing VMA
info. It turns out we don't want to unconditionally store VMA info, as
is the case for PIE binaries. Doing so causes user address calculations
for PIE binaries to erroneously include the offset of the section
containing the target address.

Fix it by restoring the old code and just adding what's needed to fix
the bug described in commit d1b554876 (i.e., always storing VMA info
when `vm_start + offset == addr`).

Bonus for the git sleuths:
2:07 PM <fche> I'm not sure I understand all the offsets and bases and this and that
2:08 PM <fche> but it does bring the code back closer to what it used to be
2:08 PM <kerneltoast> don't worry, i don't understand it either
2:08 PM <fche> ok wait I have to add that into the git commit text ;)

PR27739: modernize java/byteman probing support

Use modern byteman's ability to load helper .jar on demand, and let
that .jar load the JNI .so on demand, all from full
$pkglibexecdir-based pathnames.  That way, the rpm .spec does not need
to worry about symlinking, and stapbm doesn't have to deal with
anything except the convenient bminstall/bmsubmit frontend scripts.

runtime: port to 5.12-rc unexporting of mutex_lock

Use an exportconf to make conditional our manual mutex_lock usage in
kallsyms symbol gathering.

Always get section info via sysfs using kernel_read()

kernel_read_file_from_path() from before it received the offset argument
is buggy in that it always expects the number of bytes read to be the
size of the inode. Since sysfs inodes are PAGE_SIZE bytes in size on
older kernels, kernel_read_file_from_path() would expect sysfs reads to
produce PAGE_SIZE bytes of output, otherwise it would return an error.

We can avoid kernel_read_file_from_path()'s quirks entirely by simply
using kernel_read() directly, which has the added benefit of existing
since before the first 2.6 kernel. This allows us to ditch the old
module_attribute struct hacks entirely, since the module sections sysfs
has been around since 2.6.8.

PR27658: show stderr of typequery make jobs in pass 2

typequery child-gcc invocations should not cause errors.  But if
they do, might as well show them to users, because a typo or some
other momentary/solvable system error might be responsible.

Set trust for new certificates.

Remove the change_cert_trust workaround and replace it with
PK11_InitPin call to initialize the metaData in key4.db.  Replace
CERT_DecodeCertFromPackage with PK11_ImportDERCert

ioscheduler tapset: adapt for loss of $q, standardize elevator_name

block/scheduler kernel tracepoints have lost the $q parameter, since
it is directly available from $rq.  Thus the derived script variable
elevator_name needs to be accessed that other route.  Tested on f33
and rhel6.

RHBZ1940979: make vfs-all-probes.stp compilable again

Skin-deep update of linux/vfs.stp tapset for supporting >5.*ish
kernels, with vfs_{read,write} fallback kprobes, and readahead_control
parameters.

Add workaround to set trust for new client certificates

The nss switchover from dbm to sql results in CERT_ChangeCertTrust not changing
the trust so call certutil in those instances to set it manually.

RHBZ1940761: tweak old_timex32 conditional usage

Improve on commit 4ab42baafca69 for pre-5.1 kernels.  The subject
compatibility type was introduced not with CONFIG_COMPAT_32BIT_TIME,
but later.  Tweak the conditional to also take kernel version >= 5.1
into account.

PR13838: tweak auto 32-bit float casting

Reject $float as lvalue.
Reject complex floats (tuples).

coverity tweak: stap-report

bpf-translate.cxx refactor: move visit{_try,}_block to a more logical place

visit_try_block() was in the middle of the assembler but unrelated to it.
In preparation for improving the register_error assembler directive,
move this code (and visit_block) to a more sensible location.
Then the embeddedcode assembler implementation is grouped at the start of
the visitor functions.

PR13838: support fp32_to_fp64 conversion automatically at functioncall
synthesize level.

- tapsets.cxx: modified synthetic_embedded_deref_call, so a 4 byte
  floating point will be convert to 8 byte double if detected.
- testsuite/buildok/floatingpoint.stp: updated corresponding fp32
  examples.

rhbz1938312: temp disable bpf on recent kernels

So the buildbots can continue to test everything that isn't bpf.

PR13838: add local floating point variables in main.cxx and more
test cases in testsuite/buildok/floatingpoint.stp

PR13838:
- prototype FP support in STAPCONF_REGSET configuration
In REGSET mode (rhel8ish+), fp registers need to be addressed by
ptrace NT_PRFPREG lookup coordinates.
- runtime/linux/loc2c-runtime.h: extend SSE, SSE2 and XMM register
definiton in url_x86_64[]

PR13838: update aarch64 pt_reg section, added macro definition for SIMD FP register V0-V7, (reg64-reg71).

PR13838:
- modified dwflpp.cxx so that $fp syntax will be supported
- runtme/loc2c-runtime.h: extended x64_64 register to 24 to allow access of xmm0-xmm7 register.
- testsuite/systemtap.examples/general: update examples, using $fp instead of user_long($fpointer)

testsuite: fix symbol lookups when the first section isn't executable

Based on the fedora php binary's peculiar build flags, related to
huge-page optimization.