stapbpf assembler WIP #3 :: additional assembly test cases

stapbpf assembler WIP #2 :: testcases (no driver so far)

stapbpf assembler WIP #1 :: basic parser and control flow

Add some Tcl examples.

Correct to use @hist_log in description.

Fix a typo in api.cxx

This patch fix a spelling typo in error message.

Signed-off-by: Masanari Iida <standby24x7@gmail.com>

Change the tapset file name to get matching tapset::syscall_any manpage

The automated generation of man pages uses the file name to generate
the manpage names.  Adjusted the name to get a matching tapset man
page for syscall_any{.return} probe points.

Convert the various systemtap examples to use the syscall any tapset

To make the examples cleaner use the new syscall any tapset.  This avoids
exposing the systemtap internal function _stp_syscall_nr() and makes the
instrumentation look a bit more like the traditional syscall.* probe points.

Add the syscall_any and syscall_any.return probe points

The syscall.*{.return} and np_syscall.*.{.return} end up expanding to
large amount of code that takes a signficant amount of time to
compile.  The resulting kernel module also takes a fair amount of time
to install and remove the instrumentation when it starts and shuts
down.  For instrumentation don't really care about the details of the
syscall arguments it would be preferable to use the sys_enter and sys_exit
tracepoints to more efficiently probe the one or two places.

Using tp_syscall.*{.return} end up generating a lot of code to
determine which of the hundreds of syscall is being used and then runs
the same handler.  The syscall_any and syscall_any.return eliminate
that undesired overhead by just looking up the syscall name in a
table.

Adjust comment in tapset/errno.stp so the documentation can be built.

Use sys_enter and sys_exit tracepoints in place of syscall.*{.return}

The common probe point idiom of syscall.* and syscall.*.return can be
replaced with equivalent sys_enter and sys_exit tracepoints for a
number of the example scripts.  The advantages are:

-Quicker compilation of the script into instrumenation
-Smaller kernels modules for the instrumentation
-Lower overhead for probe points

This changes are not applicable to all uses use syscall.* and
syscall.*.return. The predefined variable such as argstr are not
available for the sys_enter and sys_exit trace points.

Some of the revised examples are using the internal _stp_syscall_nr())
function.  A user visible version of this function should be
available.

Fix typo on s390 nd_syscall.compat_fallocate probe point.

Use existing "limits" keyword for cpu_throttle.stp example.

Add ioctl_handler.stp example

PR23160,PR14690: adapt 32 more syscalls for 4.17 __ARCH_sys_FOO and sys_enter/exit

Note the need for debuginfo for threadstacks.stp.

PR23160,PR14690: adapt 27 more syscalls for 4.17 __ARCH_sys_FOO and sys_enter/exit

Fix a regression that reading 64-bit registers on x86_64 was broken

This bug first appeared in commit 345537c32.

Fix the register() and u_register() tapset functions for x86

The register() and u_register() functions incorrectly read 16-bit
x86 registers as 32-bit on both i386 and x86_64.

Fixed the sign-extension of register values on i386.

Fixed a compilation error when using *register() in the dyninst
runtime mode on x86_64.

Also added support for 8-bit x86 reigsters like "al" and "bh" on both
i386 and x86_64.

PR23599 Bugfix: the embeddedcode info pass incorrectly skipped unused functions

This bug led to kernel module compilation errors when using tapset
functions like usym* in unoptimized stap translation mode (i.e., stap
-u).

PR23666 Fix a bug in semantic analysis of aggregate operators in foreach sorting

When aggregate operators like @count, @sum, and etc were used in the
foreach loop sorting criteria but not in the foreach loop body, then
these sorting criteria were not respected by the translator in the
generated code.

This bug affected both the kernel and dyninst runtime modes.

ditto

dummy commit for ci trigger

spin-rawhide: accelerate git checkout

Use this script's directory as a git clone --reference

Do some testing of the sizeof_interactive.stp script.

Ignore the error value returned by the find command for the slowvfs.stp

Some files in /proc are unreadable by normal users. When the find
command encounters these files find returns a non-zero value on exit.
The test is just using the find to create some load and really wants
to discard the error result otherwise the install test for slowvfs.stp
will fail.

Add the libguestfs example.

PR23608 refine_*: replace assertion failure with regex_error

testsuite configury: typo fix for make check, transcribe dejagnu summary exactly

Fix $-vs-$$ quoting typo in Makefile.

syscalls: adapt sample scripts: syscall.*.return returnval() -> retval

Demonstrate post-4.0 style in our distributed samples.

PR23160,PR14690: convert syscall.*.return aliases to @SYSC_SETRETVAL retval/retstr

Adjust all syscall.*.return aliases to a new macro for provision of new
retval, old retstr, and the temporary returnval() compatibility hack.
All hail /bin/sed, mother of /bin/ed, which made this operation bearable.

PR23160,PR14690: prep returnval() for an extra side-channel of data

To permit tracepoint-based syscall probe-aliases to provide return values
to scripts, returnval() needs an extension.  This patch adds a pair of
new values to the context, conditional on version <= 4.0.  (The retval
value will be the next better approach, coming in a followup patch.)

https://sourceware.org/ml/systemtap/2018-q3/msg00167.html

testsuite configury: for make check, transcribe dejagnu summary exactly

Use a bit of sed magic to tail systemtap.sum more precisely.

testsuite: prepare for working tp_syscall.exp suite

There were some typos in the driver .stp script that precluded
operation, and exposed a latent bug in how another .exp file
transcribed outputs into the log file.

Revert "PR23160,PR14690: fix syscalls that broke after adding CONTEXT->sregs in tapset/errno.stp"

Since commit 8038562cafe852681eda1a45c02b5f76070d3dec was reverted
there is no need for commit 297f14e99e82001e656ee5ed47f99dac8918fa95
anymore.

Revert "tapset/errno.stp: learn about CONTEXT->sregs"

This reverts commit 8038562cafe852681eda1a45c02b5f76070d3dec.
jafeer and wcohen right note that this papered over the real
problem, which is that a function like returnval() has no way
of accessing tracepoint parameters like sys_exit's $ret,
even if given CONTEXT->sregs.  Need to rethink.

Use @entry() in return probes to avoid warnings

Some of the examples accessed target variable in function return probes.
This type of access is ambigious and triggers a warning.  The accesses
now use @entry($target_var) to be clearer and avoid the warnings.

 PR23160,PR14690: adapt 29 more syscalls for 4.17 __ARCH_sys_FOO and sys_enter/exit

Correct measureinterval.meta test_installcheck command.

tracepoints: support cachefiles/fscache tracepoints

These were blocked by the typical problem of the tracepoint headers
neglecting to include the other headers that declare the types that tp
arguments use.  Also noted, missing mei: tracepoints found to be not
so easy, so left it in just a comment.

Run postgres and mysql apps tests with both uprobes and dyninst.

* postgres.exp (stap-postgres.sh):  Also run with --dyninst
* mysql.exp (stap-mysql.sh):  Also run with --dyninst

Add the measureinterval.stp example

Add a python script to clean up container images more than 2 days old.

* httpd/docker/stap_image_cleanup.py: New file.

Improve handling by the http server for target exe files.

* httpd/api.cxx (build_info::module_build): Use a full path with the '-r
  KERNEL_DIR' stap option. If the client transferred over target
  executable files, add a sysroot option that points to them.
* testsuite/systemtap.http_server/http_server.exp: Add a test that tests
  non-rpm executables with an absolute path.

PR23608: rebalance arc_priorities to avoid overflow.

Within a state kernel, e.g. {0/256, 1/256} could be changed to {0/2, 1/2}
without trouble.

Otherwise, long chains like "aaaaaaaaaaaaa" can overflow the
arc_priority numerator after about 60 characters.

Steps for rebalancing procedure:
- sort the worklist by arc_priority
- create an equivalent balanced set of priorities starting by 0/0
- replace the worklist's arc_priorities in sorted order

* stapregex-dfa.h (MAKE_START_PRIORITY): new macro for priority 0/0.
* stapregex-dfa.cxx (add_kernel): use MAKE_START_PRIORITY.
(sort_priorities, sort_denominator, sort_kernel_points): new comparators.
(rebalance_priorities): new function.
(te_closure): use rebalance_priorities() on the worklist before working on it.

* testsuite/runok/regex.stp: add test case.

PR23160,PR14690: fix syscalls that broke after adding CONTEXT->sregs in tapset/errno.stp

Use offset to beginning of .probes section for sdt semaphores with stapdyn.

* tapsets.cxx (sdt_query::handle_query_module):  stapdyn calls
Dyninst::SymtabAPI::Symtab::fileToMemOffset for semaphores, which wants
the fileOffset parameter to be relative to the containing section.

Avoid name collision with the existing installed python tapset files

Systemtap cannot find the files in the custom tapset if they have the
same name as the official installed tapset files.  Adjusted the names
of the local python tapset files to allow systemtap to find the files
and use the contents for py2example.stp and py3example tests.

Correct permissions for systemtap.interactive/*.exp expect test files.

Correct the permissions for interrupts-by-dev.* example files.

tapset/errno.stp: learn about CONTEXT->sregs

In case the syscalls.* aliases fall back to the tp_* variant, allow
the returnval() and returnstr() functions in errno.stp to also look
at the CONTEXT->sregs pt_regs.  (NB: the returnstr() function
is distinct from the return_str variable set by probe aliases).

Parentheses after unary '&' with a target-symbol expression is now accepted

The translator did not allow stap expressions like `&(@var("foo"))`.

Added quite some tests to cover various use cases of the unary '&'
address-taking operator.

Updated NEWS to document this change.

Add _NR_* defines for syscalls that older kernels do not have

Older RHEL7 kernels do not implement syscalls for mlock2 et. al. and
there are no matching __NR_* defines for those missing syscalls.
Adding default defines so systemtap tapsets will work on these older
kernels.

Minor Tcl code tweaks in the test_simple module

Make -Wno-tautological-compare optional

Older versions of gcc don't support this flag.

PR23160,PR14690: fix more undeclared macro errors

Moved contents of aux2_syscall.stp to aux_syscall.stp. Since the
contents of aux2_syscall.stp are going to be used by all syscalls,
doing this will cause aux_syscall.stp to always be included and so
will the header files containing the macros that are #included in
aux_syscall.stp.

Update all my recently committed test files to use the new test_simple Tcl module

Add new Tcl/DejaGnu test module test_simple to simplify tests

Ported the handy routines is(), isnt(), like(), unlike(), ok(), nok()
from Perl's Test::Simple module over to Tcl/DejaGnu as the test_simple
module. Also added the run_cmd_2way command to this module to run
an arbitrary shell command and to fetch the stderr, stdout, and exit
code from it.

Make use of these new test helpers in the return_no_val.exp and
ternary_op.exp test files to demonstrate its usage. It makes these test
files much simpler by avoiding a lot of boilerplate Tcl code.

The remaining test files I committed recently would get updated in
separate patches just to prevent this patch from getting too large.

README: mention "make rpm" as possible build alternative

PR23160,PR14690: adapt 31 more syscalls for 4.17 __ARCH_sys_FOO and sys_enter/exit

NEWS: mention stap-exporter

Add support for return statements without values

For user-defined stap functions which do not return any values, it can
be convenient to allow *bare* return statements to take shortcuts in
the control flow of the function body.

The parser treats a following semicolon (';') or a closing curly bracket
('}') as a terminator for such bare return statements.

Added tests to cover various cases like use of plain 'return' in a
function actually returning some values. Also added tests to make sure
the pretty-printer adds a trailing semicolon for such bare return
stateuments for various arrangements. Both the "kernel" and "dyninst"
runtimes are covered.

A fix for the bpf translator is also included.

Updated NEWS to document this new feature.

Avoid long lines in some test files.

Updated tautological_cmp.exp and ternary_op.exp.

stap-exporter: add examples to default

* EXAMPLES/profiling: add prometheus probes to errno.stp, timeout.stp
and topsys.stp
* stap-exporter/default: add errno.stp timeout.stp, topsys.stp and
syscalllatency.stp scripts

Add new built-in tapset function abort()

The new built-in tapset function abort() is similar to exit(), but it
aborts the current probe handler (and any function calls in it) immediately.
It works with both the kernel and dyninst runtimes. The bpf runtime is not
yet supported.

Unlike error(), abort() cannot be caught by try {...} catch {...}.

Similar to exit(), abort() yeilds the zero process exit code.

fche thinks it is already too late to change the current behavior of
exit(), hence this new function. And he suggests the function name abort().

Also added corresponding tests for both abort() and exit(), including
tests for probe timer.profile + abort(), as suggested by fche. The tests
cover both the kernel and dyninst runtimes wherever possible.

This new function can be disabled by the '--compatible 3.3' option. Also
added tests for this.

Updated NEWS for this new feature.

PR23160,PR14690: fix undeclared __NR_* macro error with tp_syscall.* probes

Correct whythefail.meta test_check.

Use returnval() rather than $return for various syscall tapset probes

With newer linux 4.17 kernel some of the syscall tapset return probes
do not have $return available.  The example scripts have been changed
to use returnval() function instead of the missing $return.

prometheus sample: syscallerrorsbypid.stp: add execname, fix cleanup

Follow the lead ofsyscallsbypid.stp.  Add to stap-exporter defaults.

Use a more stable function name for running the linetimes.stp tests

There have a been a number of changes in the Linux 4.17 kernel syscall
function names and a function named sys_nanosleep no longer exists in
the newer kernels.  Adjusting the tests to use similar function that
is less likely to be affected from the syscall name changes.

Have whythefail.stp probe a function that's name has not changed

The Linux 4.17 kernel has made a number of changes in the syscall
function names.  These changes caused the whythefail.stp test to fail.
Rather than probing the sys_open function which no longer exists in
the 4.17 kernels the tests are now using the do_sys_open function
which remains the same.

Use returnval() for syscalls.*.return in pstree.stp

Changes to the syscall tapsets make it much more likely to get
syscall.*.return probe points that do not have the $return target
variable available.  Using the returnval() function to get the return
value via the ptreg avoids this issue.

BZ1619413: permit rpm brp_mangle, except for .stp files

Other mangling is necessary on some distros.

Migrate THIS->__retvalue to STAP_RETVALUE in tapset

Some tapset functions (without /* unmangled */ mark) still use
old-style 'THIS->' syntax. Let's migrate them to the new style.

Minor fixes in test files at_var_print.exp & tautological_cmp.exp

Fixed issues where we failed to interpret the macro variable $^PWD in
the .stp template files and we incorrectly treats any stap runs with
stderr output a failed run (i.e., with nonzero exit code). Also made
some other minor improvements.

Make the 3rd operand of ternary '?:' bind tighter than binary '='

In the C language, the 3rd operand of the ternary operator binds tighter
than the binary assignment operators. It is better for the stap language
to be consistent with C in operator precedence.

Added several tests to check the precedence of the ternary operator,
including nested ternary operator expressions. I've verified the results
with similar C programs with gcc myself.

Fixed an existing test case under systemtap.examples/, ansi_colors2.stp,
which incorrectly assumed that `+=` binds tighter than the 3rd operand
of the ternary operator.

The original behavior can be restored by the --compatible 3.3 option.

Updated NEWS to reflect this backward-incompatible change in the parser.

sysc_fstat.stp typo fix

PR23572 workaround: add an alarm() around some dyninst infrastructure calls

Some calls have been observed to hang for no obvious reason.
An alarm(2) placed around these should at least let stapdyn
shut down (with an error), instead of just sitting there.

PR23160,PR14690: adapt 36 more syscalls for 4.17 __ARCH_sys_FOO and sys_enter/exit

Pass -Wno-tautological-compare when building kernel modules and dyninst DSO

Currently we always turn on -Wall and -Werror when compiling the kernel
module and the dyninst DSO. This causes compile-time errors when the user
input stap scripts contain inefficiencies like `a == a` or `a != a`, which
can be common for automatically generated stap code from naive tools.

Fix a bug in atvar_op::print: we did not output the module arg

This was an issue left by commit bd1fcba. My bad.

Also added some tests to cover this fix.

Make syscallerrorsbypid.stp and syscalllatency.stp executable

stap-exporter: add testsuite etc.

Dejagnu tried but failed to cause complete self-hair-yankage,
so now we run stap-exporter, and send a variety of wget queries
to it to exercise autostart, keepalive, stop, etc.  stap-exporter
also cleans up any __foo.ko turds stap leaves in $cwd in case of
a "stap -m __foo" type invocation.

stapbpf/bpfinterp.cxx remove_tag(): avoid segfault on malformed tag

stap-exporter man page tweaks

my god, it's full of \s

configury: let "make rpm" generate a timestamped Release: tag

stap-exporter: rework configuration

Stop hardcoding "stap --example URLPIECE" into the python module;
instead run the "URLPIECE" script from under the /etc/stap-exporter
directory.  This way, one can have some non-default stap options
added.  (The default set of scripts is stored in the default/
subdirectory in the source tree.)

Command line options for stap-exporter can now be overridden from a
/etc/sysconfig/stap-exporter file suitable for use by systemd
EnvironmentFile=.

Move scripts directory to /etc/stap-exporter; search *.stp files
systematically to compute candidate URLs; simplify implementation.

Expand the stap-exporter.8 man page.

stap-exporter/procfs: stop special "__prometheus" name mapping
There's no need to mangle the procfs parameter name.

PR23480 oops: fix timing of exit phase

Unregistering probes can take a long time, which opens basic stapbpf
scripts to spurious termination. Will need to futher investigate
when it is that the parent stap process sends a spurious SIGINT,
but this fix appears to suffice.

* stapbpf/stapbpf.cxx (main): move exit phase after unregistration.

Make library name format consistent with kprocess.exec names in also_ran.stp

kprocess.exec filename were quoted, but the library names were not.
Adjusted the script to use quoted strings for the library names also
so all the prometheus output is consistent.

NEWS: detail recent string improvements, more NEWS to come soon

PR23480: handle SIGINT/SIGTERM differently during stapbpf exit phase

During an infinite loop in probe end {}, stapbpf was unresponsive to ^C.
Fixed by restoring the SIGINT handler and marking an exit phase before
running probe end, then exiting in response to ^C during the exit phase.

* stapbpf/stapbpf.cxx (exit_phase): new variable.
(interrupt_message): ditto.
(sigint): print message and exit immediately during exit phase.
(main): mark exit phase and restore disabled signal handlers.

PR23160,PR14690: adapt 23 more syscalls for 4.17 __ARCH_sys_FOO and sys_enter/exit

testsuite/systemtap.bpf: add bigmap1.stp as map stress test

PR21888 / 23510: make sure print() and println() tag their

* bpf-translate.cxx (visit_print_format): add a tag to synthesized format strings.
* stapbpf/bpfinterp.cxx (remove_tag): TODO note potential segfault to guard against later.
* testsuite/systemtap.bpf/bpf_tests/logging2.stp: new testcase for print()/println().

stapbpf cleanup :: unused translator code, variable types

* bpf-translate.cxx (bpf_unparser::emit_store): using uninitialized memory
from the stack would be a potential data leak and is therefore forbidden
-- remove the commented out code. (Although we could zero the stack ourselves.)
* stapbpf/stapbpf.cxx (instantiate_map): the size_t vars should be rlim_t.

Fix a nsscommon.cxx compile problem on RHEL 7.

* nsscommon.cxx (have_san_match): Handle old versions of openssl (like on
  RHEL7) where the ASN1_STRING_get0_data() function doesn't exist.

testsuite/systemtap.bpf :: check for correct output of stringN.stp tests

stapbpf instantiate_maps: portability fixup to %ul format

stapbpf maps, PR23407: increase BPF_MAXMAP_ENTRIES, ensure space with setrlimit

eBPF maps can be arbitrarily large, but they live in memlocked memory
which has a very low default maximum per-process.

This patch increases RLIMIT_MEMLOCK to allow larger maps, and
increases BPF_MAX_MAPENTRIES to 2048.

Since the rlimit is set separately for each process, impact on the
system should not be significant.

TODO: The exact amount by which to increase the rlimit is a matter for
some experimentation. In addition to the space for keys and values,
there is a per-entry overhead that may need to be tweaked upwards
based on further testing.

* bpf-internal.h (BPF_MAXMAPENTRIES): now bigger.
* stapbpf.cxx (instantiate_maps): increase RLIMIT_MEMLOCK before
  allocating maps, add diagnostic printfs.

Fix stap man page to reflect proper usage of --example option