Add ansi_colors and ansi_colors2 to list of bpf compatible examples.

stapbpf PR23559 :: handle octal and hex escape codes

* bpf-translate.cxx (translate_escapes): handle numeric escapes.

stap hash.cxx PR10280 related fix :: also hash guru mode flag

Since PR10280 introduces the idea that guru-mode modules may be
built differently, we need to cache them separately from
non-guru-mode modules.

* hash.cxx (get_base_hash): Add guru-mode flag to hashed info.

stapbpf next.stp :: add diagnostic print for PR24659

PR12025: use the decimal or hex format specifier respectively in
the automatic printing of integers and pointers

Previously, the detailed types structures were not propagated to
global variables. Consequently, integers and pointers were both
printed using the hex format specifier. With the new implementation,
pointer and integer types can be differentiated.

1) Propagated detailed type structures to global variables.
2) Applied warning for potential type mismatch.
3) Added tests which check for hex and decimal format specifiers.

Add mmfilepage.stp to the list of examples that work with the bpf backend.

@count() and @sum() should provide 0 for empty entries

When compiled with the bpf backend mmfilepage.stp would have a
segmentation fault when printing out recorded information in the probe
end.  This was cause by a foreach using an index from one global array
for other global arrays that did not have entries for some of those
indices.  The code computing the @count() and @sum() values did not
handle the situation where there were no statistics for that
particular index in the global array.  The proper default is that
@count() and @sum() in those cases should be 0.

Add support for the target() function and -x option for bpf backend.

stapbpf PR24639 :: basic support for next statement

Only support next statement in probes (terminate probe),
not in functions (relates to not-supported overloading).

* bpf-translate.cxx (bpf_unparser::visit_next_statement): New method.
* testsuite/systemtap.bpf/bpf_tests/next_stp: New testcase.

PR24343: fix uninitialized variable warning and empty output of stap -L for return probes

The uninitialized variable warning was caused by exit syscalls as they don't have
conventional return strings. The incorrect output of stap -L was caused by synthetic
probes created from @entry variables which resulted in miscalculation of the set
intersection check.

1) Set 'never' filters for exit syscalls.
2) Applied synthetic probe flag to filter out synthetic probes from the set intersection.
3) Added tests which check for correct flagging of synethic probes.

Add aarch64 stapdyn support.

* runtime/dyninst/regs.c (_stp_print_regs): New for aarch64
* runtime/dyninst/stapdyn.h (struct pt_regs): New for aarch64 since
  asm/ptrace.h does not define it.
* runtime/dyninst/uprobes-regs.c (enter_dyninst_uprobe_regs):  Add aarch64.
* stapdyn/mutatee.cxx (get_dwarf_registers):  Add aarch64.

Add a couple more examples that now work with the bpf code generation:

  apps/libguestfs_log.stp
  network/sk_stream_wait_memory.stp

Provide gettimeofday_* functions for bpf backend

BPF has a helper function ktime_get_ns() that provides a nanosecond
time from the time that the machine was booted.  When working across
machines really want to have a timestamp based on gettimeofday.  This
new BPF backend tapset computes an offset and scaling to convert the
ktime_get_ns() values into gettimeofday_*().  This will allow easier
comparison of timestamped traces between machines.

RHBZ1613157: support powerpc64 sdt.h rN,rM operand syntax

This syntax appears in some ppc64le binaries, including of stap
itself.  It means the same thing as "0(rN,rM)" on other architectures.

configury: make python*-config work on rhel6 again

commit 5dabffcf0e77d7479ad stopped searching for all hypothetical
variants of "python{2,}-config".  RHEL6 sports python2 binaries
but only a python-config, which was missed by that change.  Let's
return to searching for all these aliases.

Reported-By: <mcermak@redhat.com>

Mark helloworld as another test that can run as bpf.

testsuite/systemtap.examples :: merge cachestat and cachestat_bpf

testsuite/systemtap.examples :: add test_{,install}check_bpf tag to check.exp

stapbpf/bpfinterp.cxx (map_get_next_key) :: try to pass all warnings

turns out RHEL7 gcc did not understand __attribute__ ((nonstring)).
This code has extra paranoia in adding a NUL beyond the area
overwritten by strncpy. Switch from strncpy to memcpy since bpf
syscall is treating everything as opaque memory.

spin-rawhide: usability tweaks

Print & clean up the tmp directory, and tolerate absent changelog changes

PR gdb/24541: tweak i386 sys/sdt.h register operand options

PR gcc/80115 and gdb/24541 had a fight about how values stored in
registers with aliases (e.g. al, ax, rax) should be named.  We all
lost.  :-O

This patch tweaks the i386 controls to bias gcc toward wider aliases,
and adds a comment block explaining the situation.  Unfortunately,
cases still exist where a sys/sdt.h note consumer has to use
arch-specific heuristics to decode gcc's intent.

stapbpf fix for GCC9 :: use ((nonstring)) attr for map key buffers

Newer gcc9 raises suspicions on copying BPF_MAXSTRINGLEN to
BPF_MAXSTRINGLEN_PLUS sized buffer. Tentative fix, worth reviewing
these issues further.

* stapbpf/bpfinterp.cxx (map_get_next_key): add
  __attribute__ ((nonstring)) to signal how buffers will be used.

systemtap-service.8 man page typo

conf.d files are named foo.conf

stapbpf.cxx: typo fix

stapbpf/stapbpf.cxx :: fix perf_fds packing code for non-contiguous CPUs

Spotted an error, not the same error that Coverity thinks is happening.
Validity of perf_fds[cpu] (not perf_fds[i]) is indicated by cpus_active[cpu].
There are some additional issues I missed in new code since I first fixed the
code to work with noncontiguous CPUs.

* stapbpf/stapbpf.cxx (perf_event_loop): assign perf_fds[cpu], not perf_fds[i] !!,
maintain i -> cpu mapping to retrieve correct perf_header and transport_context.

stapbpf/stapbpf.cxx :: placate the gods of Coverity

* stapbpf/stapbpf.cxx (instantiate_maps): UNUSED_VALUE #if0 out unused code;
NEGATIVE_RETURNS handle error return from sysconf(_SC_NPROCESSORS_CONF),
previous sysconf fix was valid but it might make sense to print a warning.
(register_tracepoints): RESOURCE_LEAK close fd on read failure.

stapbpf/bpfinterp.cxx :: placate the gods of Coverity

* bpf-internal.h (BPF_MAXSTRINGLEN_PLUS): new define, BPF_MAXSTRINGLEN+1.
* stapbpf/bpfinterp.cxx (map_get_next_key): BUFFER_SIZE_WARNING use bigger buffer.
(bpf_interpret): UNUSED_VALUE memset regs to 0x0,
OVERFLOW_BEFORE_WIDEN indicate in 32-bit LSH operation that widening is inappropriate.

PR23074: fix guru mode issue with generated calls to register get/set

stapbpf.cxx sysconf() coverity nit

update-docs pass

begin next release work: bump version to Ultimate Answer

systemtap.spec: inconsequential(?) typo

NEWS, systemtap.spec :: bump release by 1d

NEWS :: 4.1 release is go

runtime: on kernels >= 4.0, multiple concurrent systemtap scripts

This old kernel commit:

commit 190afd81e4a5f24d1db6c774ca7f18acde2fca30
Author: Al Viro <viro@zeniv.linux.org.uk>
Date:   Sun Jan 25 13:55:55 2015 -0500

    debugfs: split the beginning and the end of __create_file() off

appears to have encoded duplicate $debugfs/systemtap directory
existence into an -EEXIST error code, which we didn't handle.
We now treat it as though it were NULL.  Tested on 5.1-rc7.

examples index regen

prerelease docs regen

PRERELEASE content bump

copyright year updates

NEWS :: mention ktime_get_real_fast_ns() from commit e2e13220fb

NEWS :: mention BPF tapset functions

add recent AUTHORS

NEWS: document added support for unhandled DW_OP_GNU_parameter_ref

stapbpf/stapbpf.8 :: update based on recent stapbpf work

NEWS :: document recent stapbpf additions

NEWS :: fxi tyops

Allow preprocessor.exp test to work with 5.x kernels

stapbpf fixup for 4.1 :: typo in error message

stapbpf PR23476 fixup :: typo in stat2.stp testcase

stapbpf PR23476 :: add tests for stat array and foreach

stapbpf PR23476 :: enable foreach iteration for stat arrays

pr23476 fixup for 4.1 :: fix interned_aggregates layout

pr23476 fixup for 4.1 :: remove not-yet-supported tests

pr23476 fixup for 4.1 :: typo fix in array stat map auto-naming

pr23476 fixup for 4.1 :: catch map_id < 0 in unexpected places

pr23476 fixup for 4.1 :: include bpf-shared-globals outside namespace

stapbpf PR23476 WIP (4/6) :: proof-of-concept statistic aggregates

This is a preview version of the statistics aggregate feature
for inclusion in the stap 4.1 release. Only @sum, @count, @avg
operations are supported for the time being.

stapbpf PR23476 (3/6) :: add testcases

* testsuite/systemtap.bpf/bpf_tests/stat1.stp: Basic test (<<<, @count, @sum, @avg).
* testsuite/systemtap.bpf/bpf_tests/stat2.stp: Test stat arrays and foreach.
* testsuite/systemtap.bpf/bpf_tests/stat3.stp: Test delete and array-in.

stapbpf PR23476 (2/7) :: generate scalar+array stat aggregate declarations

* bpf-translate.cxx (translate_globals): Add a case for scalar pe_stats (init scalar stat maps),
add a case for array pe_stats (init a set of array stat maps),
pull out some duplicate code between stat and non-stat cases.
(output_maps): Add a separate case to give snazzy names to stat maps.

stapbpf PR23476 (1/7) :: redesign struct globals for stat aggregates

Modify struct globals to allow stats map slots (map_id = -1) and track a
set of percpu maps for each stat aggregate -- one map per field from struct stat_data.

* bpf-internal.h (struct globals): General redesign.
(globals::map_idx): New typedef to identify index of a map.
(globals::map_slot): New type (replacing pair<short,short>) with support for
marking a value's 'slot' as non-scalar (no index) and/or stats (no single map).
(globals::globals_map): Use map_slot type.
(globals::stat_field): New typedef to identify a stats field name.
(globals::stat_fields): The set of supported stats fields.
(globals::stat_iter_field): Stat field to use to obtain keys for foreach, in, &c.
(globals::stats_map): New typedef to identify one map per stats field.
(globals::scalar_stats): One map per stats field to represent scalar stats.
(globals::array_stats): One map per stats field per array to represent stats arrays.
(globals::internal_map_idx): Change type to globals::map_idx.
(globals::perf_event_map_idx): Change type to globals::map_idx.

Also take the first step to supporting stats map slots in bpf-translate.cxx:

* bpf-base.cxx (program::load_map): Guard against unimplemented uses of stats map slots.
* bpf-translate.cxx (bpf_unparser::emit_store): Use new map_slot type from globals_map.
(bpf_unparser::visit_foreach_loop): Ditto.
(bpf_unparser::visit_delete_statement): Ditto.
(bpf_unparser::visit_assignment): For now, explicitly mark <<< as unimplemented.
(bpf_unparser::visit_symbol): Use new map_slot type from globals_map.
(bpf_unparser::visit_arrayindex): Ditto.
(bpf_unparser::visit_array_in): Ditto.
(globals::stat_fields): Initialize globals::stat_fields with count, sum for now.
(globals::stat_iter_field): Initialize globals::stat_iter_field.
(output_maps): Use new map_slot type from globals_map, note requirement to support stats map slots.

NOTE: All of the above bpf-translate.cxx uses of map_slot will change
to also handle stats arrays in the next patches.

Force correct order of evaluation of macro arguments in check_*register macros

Noted that a number of tests were failing on x86 machines with errors
like the following:

ERROR: register access fault [man error::fault] near identifier 'module_name' at
 /usr/share/systemtap/tapset/linux/context.stp:392:10

The problem was traced to the maxregno argument for the macro having a
?: operator which has lower precedence than || or >.  This caused the
conditional tests in check_fetch_register and check_store_register for
error reporting to incorrectly trigger.  Used ()'s in the conditionals
to force the correct order of evaluation.

runtime task_finder2: allocate large enough array for syscall_get_arguments() output

args [3] is too small on 5.1.0-5.rc5

NEWS: mention pass-2 speedup

rhbz1703264: use rpm boolean-dependencies for Recommends: kernel-*devel

stapbpf test failures fix :: handle empty blocks in output_probe()

* bpf-translate.cxx (output_probe): Follow forwarder blocks to the
  first block that contains an instruction.

PR23074: add support for unhandled DW_OP_GNU_parameter_ref in DWARF expression

Adjust syscall_get_arguments to match kernel's implementation

The syscall_get_argument function arguments changed due to
Linux git commit 32d9258662.  Remove the unused arguments
to match the expect arguments for syscall_get_arguments
when needed.

Disable kprobe optimization again

On x86 processors running linux 5.0 kernel the uprobes_onthefly.exp
test would trigger a RCU hang (PR24416).  Disable the kprobes
optimization until these problems reported in RHBZ1697531 get fixed in
the kernel.

doc/Makefile: Fix command list syntax

overload.py: Fix python version 2/3 compatibility

The modified XML tree is outputted either as a bytearray with UTF-8
encoding in python version 3, or as a string in python version 2.
Handle this by writing the bytearray directly to sys.stdout.buffer,
or the string directly to sys.stdout, respectively.

Remove what appears to be "troubleshooting code" that was added in
commit 616ec7a0b, which dumps a large amount of unnecessary output
to stderr.

Call this script using the configured program name for python.

configure: Fix handling of python versions 2 and 3

When python version 2 is not found, AM_PROG_PYTHON sets the output
variable PYTHON to ":" (which is intentional; see "man 1P colon").
Fix incorrect tests that compared PYTHON to an empty string.

Use the same behavior for python version 3: when it is not found,
set the output variable PYTHON3 to ":" and test that accordingly.

Pass the variables "python3" and "py3execdir" to the subconfigure
unconditionally, just like the variables "python" and "pyexecdir".

When a program named "python" exists, fix a conditional that tests
if it is python version 3.

Do not guess the name of the python-config script. Simply append
"-config" to the program name for the python interpreter.

stapbpf.cxx (instantiate_maps) :: temporary fix for PR24324 pending better ideas

regen po/* with update-po

PR24408 @{u,k}register(regno) index/context checking

wcohen discovered that the (guru-mode) @*register operator doesn't
sufficiently check the context it is run in, possibly derefencing
null context->*regs pointers, or going out-of-bounds with register
numbering.  This code adds checking via a generic runtime/**/loc2c*
check_register_{fetch,store} macro.  It is used as a wrapper for
all architectures for both kernel and user register
fetch/store ops.

session.cxx: bump kernel-tested version to 5.1-rc2

Add needed arch_syscall0_prefix define for arm64

On the x86_64 a functions that implement a syscall with no arguments
is used for both the 32-bit and 64-bit versions of the system call and
there are aliases for the same function.  To avoid having handlers run
twice the arch_syscall0_prefix only instruments the 64-bit versions.
However, this prefix was not being set for arm64 and on the arm64 the
syscalls with no arguments would fall back to the tracepoint versions.
Added the arch_syscall0_prefix define to have the syscall tapsets use
the non-dwarf function probes for those syscalls with no arguments on
arm64.

stapbpf interpreter improvement

In order to ensure a more welcoming environment for vegans and cows,
all instances of 'deadbeef' in the stapbpf interpreter's memory space
have been replaced by an exhortation to 'ea7bee75' ('eat beets').

(Apr1)

Update _stp_sockopt_optname_list[] to match current current socket.h defines

There have been a number of updates and additions to the Linux
kernel's include/uapi/asm-generic/socket.h defines since the code in
aux_syscalls.stp for _stp_sockopt_optname_list[] was initially
created.  Defines such as SO_RCVTIMEO, SO_SNDTIMEO, and SO_TIMESTAMP
maybe be replaced by SO_RCVTIMEO_NEW, SO_SNDTIMEO_NEW, and
SO_TIMESTAMP_NEW.  Before this patch systemtap scripts would fail to
build with very new 5.1.0-rc kernels due to the missing defines.

PR24395: --ldd: add another interpreter path

Unspecified distro uses /usr/lib/ld-linux-$ARCH.so.2, so accept that
too.  We'll have to go to glob patterns any time now.

PR24239 redux: testsuite / dump fallout on incremental resolution

Earlier PR24239 work made global / function resolution incremental
(transitive, starting from references in end-user scripts) rather than
tapset-wide (selecting entire tapsets en masse).  This also affected
--dump-functions mode (which should be unselective), and
global-printing mode (the ordering of the output variables changed).

Updated the test suite to tolerate some different orderings, and
updated the translator to fix dumping & pragma/c variable arity.

PR23875,PR23816,PR24358 :: tentatively remove testsuite kfails

PR23875 :: support string map keys in foreach iteration

* bpf-translate.cxx (bpf_unparser::visit_foreach_loop): Add code to handle
and correctly allocate space for string map keys.
* bpf-interp.cxx (as_ptr): New overload yielding void * from char *,
to return cached string map keys into bpf registers.
(typedef map_int_keys): Renamed from map_keys, only handles caching integer keys.
(typedef map_str_keys): New typedef, handled caching string keys.
(struct map_keys): New struct (XXX pseudo-union) for either int or str key iteration.
(map_get_next_key): Rewrite to support both int and str key iteration,
take bpf_transport_context.
(bpf_interpret): Pass bpf_transport_context to map_get_next_key.

PR23875 test fixup :: should exit()

systemtap.examples :: driveby permissions fix

systemtap.examples :: cachestat.stp can use format specifiers now

stapbpf PR24358,PR23816 :: enable testcases

* testsuite/systemtap.bpf/nonbpf.exp: remove string3.stp from KFAILs.
(get_output_str): correct output str for string3,4.
* testsuite/systemtap.bpf/bpf.exp (get_output_str): correct output str for string3,4.

stapbpf PR24329,PR23816 :: Properly allocate space for map value lookup.

* stapbpf/bpfinterp.cxx (bpf_interpret): new vector map_values for map value storage,
get rid of lookup_tmp, replace return with branch to cleanup code for map_values,
properly allocate a correctly-sized buffer for each bpf_lookup_elem() operation,
cleanup map_values() on exit.
* stapbpf/bpfinterp.h (bpf_transport_context::map_attrs): new field used to pass
map size information to bpf_interpret.
(bpf_transport_context::bpf_transport_context): take map_attrs argument.
* stapbpf/stapbpf.cxx (init_perf_transport): pass map_attrs to bpf_transport_context.
(main): pass map_attrs to bpf_transport_context.

PR24239 regression fix: global_access.exp

Copy over the new varuse parsing from embeddedcode to embedded_expr,
fixing the global_access.exp test case.

Fix the speculate.stp test

The speculate.stp test used target variables for syscall.*.return
probes.  The changes to to the syscall tapsets to use non-dwarf
probes in most cases broke this example.  Added appropriate probes
on syscall syscall entries to record the needed information.

brown paper bag fixes from last commit

note to self - do not commit little diagnostic improvements after the
last build & check

note to self - do not forget above note to self again

note to self - ditto

PR24239 PR24363 accelerate & correct embedded-c var-usage elaboration

mcermak noticed that recent PR24239 work broke resolution for script
globals referenced only from embedded-c functions, because at
symresolution-time, we didn't look inside those.  We now do, just
once, and store the resolved vardecl*'s in new embeddedcode fields.

This also means that we never have to search those strings for later
pragma:read:* and pragma:write:* again, just use the vectors produced
earlier.

NB: same transformation is still needed for the embedded_expr case.

Add more __NR_* for missing defines on s390x.

On 3.10.0-957.el7.s390x, bz1027459.exp showed missing defines causing
systemtap.base/bz1027459.stp Pass 4: compilation fail.

Make testcase bz1027459.exp less sensitive to dwarf quality.

This update tries to avoid following type of problems:

=======
spawn stap /root/.mcermak/systemtap/testsuite/systemtap.base/bz1027459.stp
semantic error: not accessible at this address (pc: 0xc000000000a14f28) [man error::dwarf]: identifier '$call' at /usr/local/share/systemtap/tapset/linux/sysc_accept.stp:68:14
        dieoffset: 0x57216fd from /usr/lib/debug/lib/modules/4.14.0-115.el7a.ppc64le/vmlinux
        function: SyS_socketcall at net/socket.c:2438
        alternative locations: [0xc000000000a14f30,0xc000000000a14f7c], [0xc000000000a14f7c,0xc000000000a153e8]
        source:         if (__int32($call) != @const("SYS_ACCEPT")) next;
=======

This one was happening e.g. with kernel-4.14.0-115.el7a.ppc64le.

Adapt testcase bz1027459.exp to commit 126c384c.

Commit 126c384c causes bz1027459.stp to warn about cross-file global variable
reference to identifier 'syscall_string_trunc' at linux/syscalls_cfg_trunc.stp.
After this update, the testcase ignores warnings like this.

Fix trivial ppc64* compilation issue.

Before this update, GCC on powerpc complained about stapbpf.cxx:1504:35: error:
format ‘%lld’ expects argument of type ‘long long int’, but argument 3 has type
‘__u64 {aka long unsigned int}’.

Optimize nettop.stp example

Restructured the script to eliminate two foreach loops in
print_activty() to sum transmit and receive entries.  Instead, just
tallied those directly into global statistical aggregate ifmerge
entries, then just have a single foreach loop print_activity() to
print the entries.  Eliminated the unneeded trinary operators, since
the @sum() of nonexistent entry is 0.

Also adjusted the formatting so long device names do not skew the
columns.

Optimize sig_by_pid.stp, sig_by_proc.stp, and syscalls_by_proc.stp

The probe points being used in these examples could be hit quite
frequently.  Using the statistical aggregates can reduce the amount of
locking required in the associated probe handlers and allow the probe
handlers to complete more quickly, reducing the amount of overhead
that the instrumentation introduces.

Use statistical aggregates in iodevstats.stp, iostats.stp, and iotop.stp

The vfs.read.return and vfs.write.return probe points being used in
these examples could be hit quite frequently.  Using the statistical
aggregates can reduce the amount of locking required in the associated
probe handlers and allow the probe handlers to complete more quickly,
reducing the amount of overhead that the instrumentation introduces.

Merge branch 'stapbpf/pr22330': generate printf via event tuples, userspace formatting postprocessing

This merges a simple transport layer design which uses
perf_events to send each printf as a series of messages,
freeing stapbpf from the deliberately-oppressive constraints
of the trace_printk() mechanism.

e.g. printf("%8d %8d %6s\n", x, y, foo) is sent as

- STP_PRINTF_START(3)
- STP_PRINTF_FORMAT(#1) -> index into a table of format strings
- STP_PRINTF_ARG_LONG(x)
- STP_PRINTF_ARG_LONG(y)
- STP_PRINTF_ARG_STR(foo) -> requires an strcpy() to compose the message
- STP_PRINTF_END()

Which involves six calls to BPF_perf_event_output from
the kernel-side BPF program. Each CPU has its own perf_events
buffer to avoid entangling parallel printfs().

For now, use separate messages to avoid putting pressure on the
very limited stack and avoid complicated packing code. Further
down the line, we could combine small (LONG) arguments into
a several-argument message, or merge STP_PRINTF_START and STP_PRINTF_FORMAT.

Use statistical aggregates to reduce overhead and contention for global array

Statistical aggregates record and update information on a per cpu
basis.  This avoids the lock needed by the ++ operation previously
used.  For monitoring of high frequency events such as system calls
across the entire machine this can improve performance.