Fix virthost conditional

virthost was being mistakenly disabled on aarch64 and ppc64le in Fedora builds,
where only EL7 was meant to be excluded.

Adjust runtime _access_process_vm_ to work with linux 6.5

Linux kernel commit ca5e863233e8f6acd1792fd85d6bc2729a1b2c10
eliminated the vma argument for ‘get_user_pages_remote.  For linux 6.5
kernel use the get_user_page_vma_remote function in its place like the
__access_remote_vm function in mm/memory.c of the kernel.

Bug: unwinding would fail due to the .zdebug_frame section

elfutils already decompresses this section but stap might incorrectly
filter it out.

Thanks Junlong Li for the original patch.

Signed-off-by: Yichun Zhang (agentzh) <yichun@openresty.com>

rhbz2220986: SPCX license tweakage

systemtap.spec: temporarily disable --with-crash, rhbz2219728

FTBFS observed on fedora rawhide

git_version.sh: don't use --no-show-signature either

Can use |tail -1  on old & new git.

git_version.h: stop using --broken

It's not available on rhel7 era git versions.

runtime: tweak STAPCONF_MODULE_MEMORY cpp

Correct build breakage on rhel7.

Fedora rawhide kernels are now flagging use of zero length arrays

The kernel has switched from using zero length arrays to flexible
arrays.  The kernel compiles have gotten picker and now flags accesses
beyond the end of end of arrays when possible.  When trying to run the
testsuite on Fedora rawhide got the following error due to a zero
length array:

In file included from /tmp/stapaBPtwB/stap_6b7e9ee7df4a3f6e4cfbffb7f92d8405_1736_src.c:543:
/home/wcohen/systemtap_write/install/share/systemtap/runtime/linux/stp_tracepoint.c: In function 'add_tracepoint':
/home/wcohen/systemtap_write/install/share/systemtap/runtime/linux/stp_tracepoint.c:148:22: error: 'strcmp' reading 1 or more bytes from a region of size 0 [-Werror=stringop-overread]
  148 |                 if (!strcmp(name, e->name)) {
      |                      ^~~~~~~~~~~~~~~~~~~~~
/home/wcohen/systemtap_write/install/share/systemtap/runtime/linux/stp_tracepoint.c:61:14: note: source object 'name' of size 0
   61 |         char name[0];
      |              ^~~~

Switched the zero length array in the struct to a flexible array to
eliminate the issue.

ISystemtap: Added examples corresponding to blog article

PR30570: Improved type inference within the try block to handle elided cases

systemtap.spec: SPDX review cleanup

SPDX codes for the testsuite, -client (tapset+docs!) and -devel
(tapset!)  updated.

Also corrected/filledin licenses for stap-prep and
interactive-notebook/codemirror/package.json.  Many other files remain
without a formal license header.  These all default to GPL-2.0-or-later

runtime: ditch docs/ subdir

This is of only archaeological interest.

systemtap.spec: switch to SPDX license tags

As per advice in:

https://fedoraproject.org/wiki/Changes/SPDX_Licenses_Phase_2
https://docs.fedoraproject.org/en-US/legal/update-existing-packages/

dwflpp.cxx: Fix past-the-end iterator dereference

dwflpp::getscopes dereferences cu_die_parent_cache_t iterators in a
loop without first checking whether the iterator is past-the-end.

This results in a past-the-end iterator dereference during the last
iteration of the loop.

Fix this by only dereferencing the iterator if it isn't past-the-end.

Make runtime/transport/alloc.c compatible with newer struct module_memory

The upstream kernel commit ac3b43283923440900b4f36ca5f9f0b1ca43b70e
changed the structures for modules.  The runtime/transport/alloc.c
made an access to the struct module_memory when -DSTP_MAXMEMORY is
used on the command line and needed the appropriate field name for the
newer kernels.  This change allows stap script builds using
-DSTP_MAXMEMORY to work on Linux 6.4 kernels.

Make runtime/transport/symbols.c compatible with newer struct module_memory

The upstream kernel commit ac3b43283923440900b4f36ca5f9f0b1ca43b70e
changed the structures for modules.  The runtime/transport/symbols.c
made an access to the struct module_memory and needed the appropriate
field name for the newer kernels.  This change allows another dozen of
the systemtap examples to pass on Linux 6.4 kernels.

Adjust runtime module_kallsyms_on_each_symbol to work with Linux 6.3 kernels

The recent fix for PR30415 worked for new Linux 6.4 kernels and
pre-6.3 kernels, but did not work for Linux 6.3 kernels.  The Linux
6.3 kernel module_kallsyms_on_each_symbol function has both the
modname argument of the 6.4 kernels and the function passed in has the
earlier kernel's struct module pointer argument. The runtime/sym.c has
been adjusted to work with the the Linux 6.3 kernels.

PR30415: conflicting types for ‘kallsyms_on_each_symbol’

PR30484: stap-report: scrape less of /sys /proc

Mainly: avoid process/busy parts like /proc/$pid.

PR29765: Introduce probe nfs.aop.readfolio

PR30459: removed an unused large C array allocated on the kernel stack

PR30456: kernel 5.18+ removed set_fs() and we should use the new replacement, user_access_begin()/user_access_end() for userland memory accesses.

Alas. user_access_begin() in newer kernels also performs access_ok() itself.
We pay a small price of duplicate access_ok() checks here for now.

We also use __access_ok() instead of access_ok() to avoid warnings on debug kernels.

We use __always_inline instead of inline for the C functions which might
be within the regions with UACCESS enabled (to please objtool's checker).

Support newer kernels with struct module_memory

The upstream kernel commit ac3b43283923440900b4f36ca5f9f0b1ca43b70e
changed the structures for modules.  The runtime printing of kernel
information accessed information about modules and the fields in
module structure.  A test has been added to the autoconf list to
determine the appropriate fields to get information about the
module.

PR30454: Fix CR3 switching races on X86 when reading userland memory

Backported the fix from usptream kenrel commit d319f344561de.

See upstream kernel commits 4012e77a90 and d319f344561de for more
details.

Bug: our autoconf mechanism might find unexported symbols in kernel headers not meant for kernel modules

The current BULID_CHECK thing does not pass -DMODULE option as the real
kernel build system does and thus may expose unexported symbols like
nmi_uaccess_okay() to our autoconf test programs.

PR30408: fixed excessive read faults when reading userland memory from within perf event/kprobes handlers

The user_addr_max() macro is gone since kernel 5.18, which broke stap's
userland reading routines.

And also since kernel 5.18, access_ok() now does address range checks on
all architectures. so we don't bother checking it ourselves for newer
kernels.

stap-server logic: drop scraped NSS error table

This used to be needed in the ancient days, when the NSS-related
shared libraries did not reliably decode error codes into usable
messages.  This stuff works nwo, so we don't have to carry this
hand-scraped table around any more.

PR30442: failing optional statement probes should not trigger pass2 exceptions

In tapsets.cxx, query_cu() and query_module() aggressively caught &
sess-print_error'd semantic_errors from subsidiary call sites.  They
are unaware of whether the probe in question is being resolved within
an optional (? or !) context.  Instead of this, they now simply let
the exceptions propagate out to derive_probes() or similar, which does
know whether exceptions are errors in that context.  That means
exceptions can propagate through elfutils iteration machinery too,
perhaps risking C level memory leaks, but so be it.

This fix goes well beyond statement probes per se, but hand-testing
and the testsuite appear not to show regressions related to this.

Added semok/badstmt.exp to test.

testsuite: untested "$t  est" typo fix

configury: prep for next version

release date fix

PR30405: stapkp_init(): we should not disable preemption around the kallsyms_on_each_symbol() call

fix duplicate codegen in stapregex-dfa.cxx

On a span with only '\0', the existing DFA codegen was emitting the same
bookkeeping code again after the 'break;' -- harmless but stupid.

fix PR30395: Regex code has invalid memory reads caught by KASAN

The TNFA tag cleanup on a '\0' byte would incorrectly read beyond the
end of the string. Keeping YYCURSOR on the nul byte fixes this.

Will harden the fix a little (adding a separate increment-only cursor
for safety) before I close the bug, but this change is already
sufficient if the DFA was generated correctly.

PR30406: C symbol conflicts when using stap -DDEBUG_MEM and kernel 6.2

The C symbol MEM_PERCPU was in conflict. We add the STP_ prefix to our
own symbol names.

NEWS++

pr18649.exp: Consider "No DWARF information found" warning expected

Testing without debuginfo is part of the test scenario, so it makes
sense to ignore warnings about missing debuginfo.

PR30396: adapt runtime to linux 6.3-rc

Found a case where CFI/--ibt interfered with our self-backtrace
capability, and a compatibility bit with init/cleanup_module.

pre-release prep/regen

ISystemtap: spec update to fix install issues where pip is unavailable

Test for kernels that backported removal of <linux/genhd.h> include

Some kernels (RHEL9) backported patches that removed the
<linux/genhd.h> include.  Thus, the ioblock.stp tapset cannot simply
check the kernel version to determine whether the include file is
available.  The added autoconf test will determine whether the include
is available.

Allow nfsd.stp tapset to work on kernels with CONFIG_NFSD_V2 unset

Some of the newer Fedora kernels have CONFIG_NFSD_V2 unset (*).  The
nfsd.stp tapset was requiring various NFSD V2 probes points to exist.
These required probes caused examples like nfsd-trace and nfsdtop
build failures.  Making the NFSD V2 probes optional allows the
nfsd.stp tapset to work on these kernels.

* https://src.fedoraproject.org/rpms/kernel/c/897c8e8d51d02e159116d60fe5bb5dde79150162?branch=rawhide

BZ2180328: disable pass-2 dyninst liveness analysis on CONFIG_RETPOLINE kernels

As a stopgap measure, ameliorate the dramatic dyninst analysis time
required to liveness-check $var assignments in kernels compiled with
retpolines.  Just skip the effort (with a warning).

See also: https://github.com/dyninst/dyninst/issues/1305 .

stap-prep:  Provide --quiet switch

The stap-prep may run in automation environment, where
verbose output and progress indicators pollute logs.

Teach stap-prep to run quietly.

Added docs for livepatch.stp

ISystemtap: Tweaked monitor to fix older build issues

ISystemtap: Added man page stap-jupyter(1)

ISystemtap: Improved logging and bug fixes

ISystemtap: Added stap-jupyter-* commands and tweaked containers

ISystemtap: Updated NEWS, spec and other small tweaks

ISystemtap: Added containerized encapsulation of jupyter kernel

ISystemtap: Highlighting, examples and tests

ISystemtap: Changes to monitor mode & language server for use with jupyter

ISystemtap: New Jupyter kernel

dropwatch.stp sample: use symdata vs symname for more info

The script still needs to be run via something like this for
module/symbol names:

% stap --example dropwatch.stp --all-modules

Lang Server: Updated gcc version requirement

Lang Server: Fix for deprecated jsonc call and older gcc versions

PR30123: rework dwarf4/5 DW_AT_data_bit_offset support

$subject DWARF attribute is another way of designating the relative
position of a member field of a struct within it, generally a
bitfield.  It's an absolute bit offset relative to the beginning of
the containing object, rather than the immediately containing word, so
the bit offset numbers can become huge.

New code treats these more correctly, by intercepting them in
dwflpp::translate_final_fetch_or_store to offset the final load/store
address, and relativizing the bit offsets.

New test case covers a variety of -gdwarf* levels with a userspace
target program.

testsuite Makefiles: suppress debuginfod client tracing

Use a strategically placed env -uDEBUGINFOD_PROGRESS -uDEBUGINFOD_VERBOSE .

dtrace.in: add emacs mode marker for python

dtrace: Use deterministic temp file creation for all temp files

`dtrace -G -C` creates temporary files with random filenames. The name
of these temporary files gets embedded in the ELF `.symtab` of the final
object files, making them always slightly different.

This behavior makes all packages that use `dtrace`-produced object files
inherently non reproducible.

To fix this issue all temporary files are now created using
the same deterministic procedure currently used only for the
temporary "c." files.

Fixes: https://bugs.debian.org/1032055
Fixes: https://bugs.debian.org/1032056
Signed-off-by: Gioele Barabucci <gioele@svario.it>

interactive.cxx:  use temporary file with .stp suffix

In systemtap interactive mode (stap -i), editors like vim can
benefit from this change by automatically turning on the stap
syntax highlighting and completion.  For this to work, the
EDITOR env var needs to point to the editor of choice.

stap_language_server_tester.py:  Compatibility with python pre-3.7 (cont'd)

stap_language_server_tester.py:  Compatibility with python pre-3.7

stap_language_server_tester.py:  Compatibility with python pre-3.10

Lang Server: Testsuite update

Lang Server: Removed c++17 features to fix rhel8 build

Lang Server: News update and minor tweaks

Lang Server: Moved to using stap parser

Lang-Server: Small bug fixes

Lang Server: Context var completion & scope bugfix

Added null-checks to parser

Lang server: Small bug fixes & TODO update

Lang-server: optimized local definition parsing

In order to speed up full-syncs (ex. jupyter-lsp)
compute the diff between the old source and the text.
This allows for a much faster updating of local definitions
and thus a faster completion (without a multi-second delay)

Lang server: Added incremental synchronization

Added local global/function LS completion

add some notes of things interactively tested & to improve

tolerate stap --language-server </dev/null

language-server: configury refresh

Added emacs, vscode and eclipse usage recipes

Added README for language-server

Added tests for language-server

Added language server feature: completion

The base language server impl

Added a new mode: language server

This mode will turn the stap process into a
language server, which will use the official
language-server-protocol. It can be started
with the new --language-server flag

Add jsonrpc 2.0 client implementation

client-http.cxx: Fix build error rpmFreeCrypto not declared

rpm-4.18.0 moved the declaration of rpmFreeCrypto into rpm/rpmcrypto.h.

Include this header in client-http.cxx when required in order to avoid
the following error:

 CXX      stap_gen_cert-util.o
../systemtap/client-http.cxx: In member function ‘std::string http_client::get_rpmname(std::string&)’:
../systemtap/client-http.cxx:482:5: error: ‘rpmFreeCrypto’ was not declared in this scope
  482 |     rpmFreeCrypto ();
      |     ^~~~~~~~~~~~~

See https://sourceware.org/bugzilla/show_bug.cgi?id=29094

dtrace.exp:  prevent filesystem access problem with as_non_root()

runtime/stack.c: Fix print_backtrace()

Before this update, print_backtrace() was producing duplicate lines
at the end of the trace:

$ cat /root/systemtap/testsuite/systemtap.base/backtrace.stp
probe begin, end, procfs("foo").read, procfs("foo").write { log(pp()) print_backtrace() }
probe timer.ms(100) { log(pp()) print_backtrace() exit() }
$ stap /root/systemtap/testsuite/systemtap.base/backtrace.stp -d kernel -w
begin
 0xffffffffc1091368 [stap_7a1114b3de11b6b97c907eafd2782_1404790+0xb368/0x0]
 0xffffffffc109156a [stap_7a1114b3de11b6b97c907eafd2782_1404790+0xb56a/0x0]
 0xffffffffc1091d2b [stap_7a1114b3de11b6b97c907eafd2782_1404790+0xbd2b/0x0]
 0xffffffffc108a333 [stap_7a1114b3de11b6b97c907eafd2782_1404790+0x4333/0x0]
 0xffffffffc1092fc6 [stap_7a1114b3de11b6b97c907eafd2782_1404790+0xcfc6/0x0]
 0xffffffffc108ce22 [stap_7a1114b3de11b6b97c907eafd2782_1404790+0x6e22/0x0]
 0xffffffffb8e545b2 : proc_reg_write+0x52/0xa0 [kernel]
 0xffffffffb8dc6202 : vfs_write+0xb2/0x280 [kernel]
 0xffffffffb8dc66bf : ksys_write+0x5f/0xe0 [kernel]
 0xffffffffb9520159 : do_syscall_64+0x59/0x90 [kernel]
 0xffffffffb960009b : entry_SYSCALL_64_after_hwframe+0x63/0xcd [kernel]
 0xffffffffb960009b : entry_SYSCALL_64_after_hwframe+0x63/0xcd [kernel] (inexact)
[ ... stuff deleted ... ]

See the very last line of the above trace, which is duplicit.  This problem
was detected by the backtrace.exp testcase.  This update prevents calling the
fallback _stp_stack_print_fallback() in case _stp_print_addr() was already able
to successfully provide some output based on dwarf unwinding.

dtrace.exp: clean up junk output from previous runs

dw_entry_value.exp: fix the testcase

After fixing 05eb6742c1 (Handle DWARF5 DW_OP_implicit_pointer and
DW_OP_entry_value), dw_entry_value.exp no more ends up untested,
but instead often fails in Pass 5.

The problem was that stap_run() sends kill -INT to stap right after
the load generation function (no_load() in this case) is executed,
causing a Pass 5 failure and => testcase failure (unexpected output).

A workaround would be to sleep a second before the signal is sent so
that stap can cleanly finish, and the signal can't be delivered, making
the testcase green. But that'd be just a workaround.

This update relies on stap_run2() instead of stap_run(), simplifying
the testcase and making it stable.

Generate the 32-bit RISCV syscall name<->number mappings.

Generate event syscall name<->number mappings for 32-bit RISCV

There can be a lot of compiler complaints on 64-bit RISCV when
compiling systemtap scripts using syscall_any tapsets about the
missing 32-bit syscall name<->number mappings.  The strace code does
not have special tables for 32-bit RISCV.  However, the numbers look
to be virtually the same for both 64-bit and 32-bit RISCV.  For the
time being just generating a 32-bit version of the table from the
64-bit strace tables.

Update syscall mapping information for syscall_any tapset

There are a couple new syscalls available, futex_waitv and
set_mempolicy_home_node.  Regenerated the num2name and name2num
associative arrays to include those new syscalls for syscall_any
tapset.

testsuite/lib/stap_compile.exp: standardize $test messages

Correct a misuse of dejagnu pass/fail descriptive text.  Pass/fail
status is sufficiently communicated by the proc, and should not be
repeated in the text parameter.

tapset: nfs.proc.commit_done compilation on some kernels

Correct:
9.0 Server x86_64 # stap -vp3 nfs.proc.commit_done.stp

Pass 1: parsed user script and 482 library scripts using 108088virt/88468res/12460shr/75476data kb, in 190usr/60sys/501real ms.
semantic error: invalid access '->task' vs 'void*': operator '->' at /usr/share/systemtap/tapset/linux/nfs_proc.stpm:16:21
        source:         ( get_ip(&@nfs_data->task) )
                                           ^
        in expansion of macro: operator '@_nfs_data_server_ip' at /usr/share/systemtap/tapset/linux/nfs_proc.stp:1421:15
        source:                 server_ip = @_nfs_data_server_ip($task->tk_calldata)
                                            ^

PR29766: kernel.function("__set_page_dirty_buffers") not found in vfs.stp

Updates needed for 6.1.0-65.fc38 compatibility.

PR29837: Refix to work correctly with --dyninst too

PR29676: Wildcard expansion fix for labels

PR29676, introduced an bug where function symbols from the symbol
table were expanded in the function component resulting in wildcards
not being expanded in labels. This fix, removes the issue by restricting
the symbol table query to probes which don't need further debuginfo to
expand.