PR21888 WIP: basic bpf variants of logging functions

The prior patch for PR23407 allows some progress on this.

Not everything works yet: PR23435 means some output could get
swallowed in a probe that calls exit(). Moreover assert() does
not work yet -- need to check what must be changed to allow
the string to be passed into a nested call.

* tapset/logging.stp (log): add bpf variant.
(warn): add basic bpf variant.
(error): actually print the error in bpf variant.

* testsuite/systemtap.bpf/bpf_tests/string2.stp: add testcase.

stap-exporter: replace config file functionality with command line options

* exporter.py: remove config file parsing, add command line parsing.

Fix a http server POST data handling bug.

* httpd/server.cxx (connection_info::postdataiterator): Handle POST data
  being broken up into several calls. Remove some too verbose status
  messages.
* httpd/api.cxx: Remove some too verbose status messages.

PR23435 partial fix: avoid stapbpf mis-recognition of exit()'s "" message

This is a partial fix which can still be defeated by examples such as

probe kernel.function("vfs_read") { printf("") printf("b\n") exit() }

* stapbpf.cxx (print_trace_output): track bytes written to avoid
triggering exit() based on a newline in an earlier message of the same probe.

PR23407 WIP: stapbpf support for strings as first class values

This is a basic patch which defines the STR value_type, denoting
string constants, which are lowered to pointers to literal strings on
the stack by a pass in bpf-opt.cxx. Currently, space for strings is
allocated using the program::use_tmp_space() mechanism. More than
one string literal can be stored on the stack at a time.

Limitations are 256 bytes for format strings, 64 bytes for other strings.

TODO: The code to allocate literal strings can later be integrated
with register allocation, in order to make more efficient use of
limited (512 bytes) stack space. Currently it's a bit greedy.

The next step is to support storing strings in global data structures
(bpf maps). Since bpf map helpers automatically copy data from the stack
to the map value, this should not be difficult to accomplish.

* bpf-internal.h (BPF_MAXSTRINGLEN, BPF_MAXFORMATLEN): New defines.
(enum value::value_type): New value_type STR denoting string constant.
(value::str_val): New field.
(value::value): Add option to set str_val.
(value::mk_str): New method.
(value::is_str): New method.
(value::str): New method.
(program::str_map): New field.
(program::new_str): New method.
* bpf-base.cxx (value::print): Print STR values.
(program::~program): XXX Should clean up str_map.
(program::new_str): New method.

* bpf-opt.cxx (emit_literal_string): Allocate space for a string
literal on the stack, then emit code to store the string in 4-byte chunks.
(lower_str_values): New function. See explanation at the top of the
commit message.
(program::generate): Add lower_str_values pass.
* bpf-translate.cxx (struct bpf_unparser): triage required visitor
functions by comparison with translate.cxx.
(translate_escapes): New function.
(visit_literal_string): New function, convert literal string to STR value.
(visit_compound_expression): BONUS - trying an implementation of this.
(visit_print_format): Create an STR value instead of emitting the
format string code immediately.

* stapbpf/bpfinterp.cxx (remove_tag): Added sanity check while debugging.

* testsuite/systemtap.bpf/bpf_tests/string1.stp: New file (WIP).

PR23160,PR14690: adapt 16 more syscalls for 4.17 __ARCH_sys_FOO and sys_enter/exit

PR23160,PR14690: adapt 13 more syscalls for 4.17 __ARCH_sys_FOO and sys_enter/exit

PR23160,PR14690: adapt syscalls covered in access.c, acct.c, bpf.c, capability.c, and dir.c

tapset-procfs.cxx: replace string::pop_back with c++0x functions

Update the examples index

Move cpu_throttle.stp and also_ran.stp to the systemtap examples

dwflpp::function_entrypc avoid usage of uninitialized memory

Failure on 3.3 release was observed. Failure was elusive and
disappeared after seemingly random configure option change, or when
code was compiled with -O1 or -O0 (vs default -O2). Running failing
test case under valgrind memcheck pointed to couple places where
'Conditional jump or move depends on uninitialised value(s)' occured.

After addressing these in two places in dwflpp::function_entrypc,
valgrind memcheck run is clean and original issue got fixed.

Signed-off-by: Victor Kamensky <kamensky@cisco.com>

PR23160,PR14690: remove references to ia32 and x86 to make sysc_* files as arch-independent as possible

Add the also_ran.stp script to the stap-export examples

The also_ran.stp script provides a tally of the executables and shared
libraries run on the system.  The counts provide some indication of
how frequently particular executables and shared libraries are
used. The executables and share libraries could be mapped back to the
packages to give an indication of what software packages are being
used on the system.

Use the predefined syscall.read and syscall.open in the stap-exporter examples

Avoid the details of the functions being probed in the examples by
using the syscall tapset probe points available for the syscall open
and read.

Correct typos in the cpu_throttle.stp comments.

Adjust stap-exporter probe points to work with newer Linux 4.17 kernels

The syscall functions have changed with the linux 4.17 kernel.
Adjusted the example1.stp and example2.stp like the changes for
the non-dwarf syscall tapsets for similar calls.

stapbpf: add sprintf support to user space interpreter.

This patch implements sprintf for probes that run in stapbpf's user
space BPF interpreter. String support is still very limited. The
return value of sprintf can be assigned to a local variable and
passed to printf as an argument, but not much else. The purpose
of this patch is to add just enough string support for stapbpf
procfs probes to be useful (see PR23285).

* bpf-internal.h: add bpf_func_id for sprintf.

* bpf-translate.cxx (visit_print_format): Add logic for returning
  the string instead of calling trace_printk.

* bpfinterp.cxx (bpf_interpret, bpf_sprintf): Add handler for sprintf
  call to interpreter.

* bpf_tests/sprintf.stp: tests these changes.

testsuite/systemtap.bpf fixup: avoid use of sys_read() (for now, change to vfs_read)

PR23160,PR14690: fix to exclude __do_ variants of syscalls

* tapset/linux/sysc_*.stp: changed wildcards to be more specific

* tapset/linux/syscall_aux2.stpm: new file to define @arch_syscall_prefix

* tapsets.cxx: add support for alternation operators in function probes

* util.cxx: add translation from csh-style brace globs to ksh-style @(a|b) to
  be able to use {foo,bar} syntax in places where fnmatch() is used

* util.h: add function prototype for csh_to_ksh()

PR23284 fixup: need to free copied script_name after use

rhbz1584705: add a %_systemtap_datadir rpm macro too

Just in case a package wishes to have the /usr/share/systemtap
path name be provided too.

PR23160,PR14690: adapt syscall.write, .open, .close, .openat, .creat

* tapset/linux/sysc_*.stp: new probe aliases for 4.17 __ARCH_sys_FOO and sys_enter/exit

* tapset/linux/sysc_read.stp: syscall gating fix for 32-bit on x86_64

* runtime/linux/compat_unistd.h: new __NR_ia32_* definitions for syscall gating

* testsuite/systemtap.syscall/openclose.c: add some extra tests using a new wrapper for
  open() since glibc's wrapper calls openat()

* testsuite/systemtap.syscall/tp_sys.stp: new tracepoint syscall test

* testsuite/systemtap.syscall/tp_syscall.exp: new tracepoint syscall test

PR23284 portability fixup: size_t must be cast to (unsigned long) in printf

PR23284 + extra: stapbpf logs loaded BPF programs to dmesg.

The name of the original stap script has been added to the .bo file
generated by bpf-translate.cxx as a new ELF section 'stapbpf_script_name'.

* bpf-internal.h (BPF_MAXSTRINGLEN): New constant, may be configurable in future.
* bpf-translate.cxx (output_stapbpf_script_name): New function.
(translate_bpf_pass): Generate new 'stapbpf_script_name' section.

* stapbpf/stapbpf.cxx (prog_load): Log a notification to dmesg before
loading the BPF program. This is analogous to _stp_print_kernel_info
in the default stap backend.
(load_bpf_file): Obtain module_basename (from module_name) and
script_name (from 'stapbpf_script_name' ELF section).
(main): Open /dev/kmesg as a way to output to dmesg.

stap-exporter: add tcp port option to exporter.conf

* exporter.conf: add section 'DEFAULT' with port option.

* exporter.py: connect to the port specified in exporter.conf.

stap-exporter: remove unused imports

stap-exporter: update USAGE

stap-exporter: remove wait_for_sess_init, use more descriptive http return codes.

* exporter.py: no longer wait for a stap session to begin after receiving a
  request to launch it. Respond with code 301 after launching sessions instead of 200.
  Respond with code 501 if session's procfs file cannot found.

stap-exporter: use prometheus tapset macros and alias in example scripts.

tapset: remove text_str() processing from prometheus.stpm

* prometheus.stpm: text_str() is unnecessary since key names are likely
  to be hardcoded.

stap-exporter: add logic for replacing prometheus procfs probe name with script name

* tapset-procfs.cxx: replace "__prometheus" with script name to ensure that procfs.read
  file name is unique and predictable.

stap-exporter: remove chunked transfer encoding

PR23284 fixup: dmesg should name the script, but not the full path

* session.h (script_basename): New function.
* session.cxx (script_basename): Ditto.
* translate.cxx (c_unparser::emit_module_init): Use script_basename in initial message.

PR23359: impose security constraints on @kderef, @kregister

* parse.cxx: add privilege check for @kderef and @kregister
* testsuite/parseko/at_kderef.stp: New file to test privilege check
* testsuite/parseko/at_kregister.stp: New file to test privilege check
* testsuite/parseok/at_kderef.stp: New file to test privilege check
* testsuite/parseok/at_kregister.stp: New file to test privilege check

PR23356: stap-serverd: switch back to dbm: nss databases

The sqlite sql: nss ones seem to have different
authentication/login/password protocols as on rawhide, and our logic
can't quite play right with them.  Maybe it's due to possible
concurrent access from a stap-serverd and stap client (when both run
as root).  Whatever it is, plain dbm: seems to restore function,
even if with a warning about "legacy database".

PR23356: nsscommon: adopt new defaults/requirements of rawhide nss

The previous key size of 1024 has become invalid on rawhide, where
2048 is the new minimum.  Use 4096 in generate_private_key().  Also,
switch add_cert_db_prefix() to the sql: cert-db prefix, in order to
nuke the -8015 SEC_ERROR_LEGACY_DATABASE error.

PR23356: stap-serverd: fix private key disposal race condition

Previous code made it possible for an incoming request to be processed
in a handle_connection() thread at the same time as the privkey to it
would be disposed-of in the accept_connections() loop.  (This could
happen if the latter encountered a cert-validation error immediately
after the handle_connection thread started, thus its loop was exited.)

We now pass a SECKEY_CopyPrivateKey(privKey) to the thread, which it
will dispose of itself.  Thus the main thread can do its prior thing.

PR23356: testsuite: relay stap-serverd diagnostic output into systemtap.log

Previously, this log data was disposed-of.

NEWS: minor @deref @register blurb tweak to give example

PR23356: stap-serverd: close client socket upon error

setupSSLSocket() was designed to return NULL on error, but it didn't
clean up its partially constructed / given sockets at all.  They'd
stay open, and a remote client would be left to wait indefinitely.

PR23356: improve stap-serverd nss diagnostics

On rawhide, we can get certificate verification errors that previous
control flow kept quiet about.  When it did talk about them, the error
codes were out of nssError()'s assumed range.  Now nssError() tries
the PR_ErrorTo* functions regardless of error number range.

PR22310: build parser syntax for all the new staptree type

* parse.cxx: add parser support for new target_register and target_deref types

* testsuite/systemtap.base/*: new files to test the new types

* man/stap.1.in: add information on new types

* NEWS: mention new types

Update fedora_install_package.py to handle Centos and Fedora packages.

* httpd/docker/fedora_install_package.py (split_nvra): New function.
  (build_id_symlink_is_valid): Ditto.
  (PkgSystem.build_id_is_valid): If we don't have a build id, pretend it
  matched. Handle Fedora vs. Centos build id differences.
  (PkgSystem.pkg_install): Don't run scripts when installing rpms. They
  can cause issues. Handle the case where 'dnf debuginfo' installs the
  wrong version of the debuginfo rpm.

tapset: add string quoting and escape special characters in prometheus.stpm

Simplify the initialization logic for cpu_throttle.stp

Rather than ensuring there is an instance for each of the cpus on the
machine just make sure there is an instance for cpu0 to avoid having
an empty array. As processors are throttled the other instances will
be added.

Add the cpu_throttle.stp example to stap-exporter scripts

The cpu_throttle.stp script monitors Intel x86 cpu throttling due to
power and thermal constraints.  The output is formatted to be
consumable by prometheus.

PR23160,PR14690: support /* guru */ embedded-C for CONTEXT->sregs

For the newfangled syscall support, an embedded-C function is needed
to set the CONTEXT->sregs field from any of the new gajillion syscall
probe aliases.  Since we want that ->sregs field trustworthy, and not
callable by the user with some random junk pointer, we want this
function to be only callable from the tapset, but not replicated (so
not "private" in each file).

To do this, we extend the parser/elaborator to extend the logic of /*
guru */ markup in embedded-C functions.  Namely, calls to such
functions from the tapset (which is parsed with privileged flags) are
now permitted, kind of as if they were a private copy in each tapset
file that called them.  The stapfile privileged field, which has
fallen into disuse, is brought back to life and propagates the
parse-time pf_guru flag.  It's used with a new visitor that checks
each caller-callee relationship in function calls, moving some similar
code from staptree.cxx.

The syscall.read aliases are adapted to use the new single copy of
__set_syscall_pt_regs() in aux2_syscalls.stp.

tapset: add stap-exporter utility macros and probe alias

* prometheus.stp: defines a "prometheus" probe as an alias for a procfs read probe

* prometheus.stpm: defines utility macros that create metrics from arrays and writes
  them to a procfs file (intended for use within prometheus probes).

rhbz1595178: add some inter-subrpm cross-version Conflicts:

Some files (e.g. some man pages, some localization) shared between
subrpms make it impossible to upgrade only some subrpms across
versions, due to file conflicts.  We now add some Conflicts: so as to
prevent concurrent installation of different versions of some subrpms.

bpf testsuite :: CHECK_ONLY facility for bpf.exp

systemtap.spec: pass %{with_bpf} to %configure

configury: add --without-bpf configure option

Fully autoconf'ing bpf capabilities is error-prone, so provide a blunt
instrument.

bpf testsuite :: basic printf.stp requirements for log() (commented out for now)

bpf-translate.cxx :: slightly clearer diagnostic for 'unhandled statement'

PR23160,PR14690: 32-on-64 bit fixes

After reported crashes with the syscalls.* test cases, found that
32-on-64 bits were b0rked, because pt_regs* addresses were being
truncated and yet later dereferenced in kernel space.

To simplify analysis, added a pt_regs *sregs to the common probe
context, which signifies 'syscall mode' register dumps.  This is
different from normal kregs (kernel-space, normal abi, 64-bit-only)
and uregs (user-space, normal abi, either 32- or 64-bit), and needs
custom processing in _stp_syscall_nr and especially _stp_arg2.

The sregs-setter embedded-C function __set_syscall_pt_regs(r)
needs to be private/tapset-guru, but we lack proper /* markup */
for that particular mode.  So that function currently needs to
be replicated as private inside each sysc_* file, ugh.  Not
for long though.

After this patch, while this doesn't quite pass, but the read
parts look good:

sudo make installcheck RUNTESTFLAGS=nd_syscall.exp\ syscall.exp CHECK_ONLY="readwrite"

Restore the old mode for exporter.py

PR22193 - delete regex_noelide.stp as the proper semantics are currently undecided

Clean up the exporter.py formatting with autopep8

The formatting in exporter.py did not follow the PEP8 style guide and
pylint would complain about a lot of minor formatting issues.  Ran
exporter.py through autopep8 to eliminate those warnings.

bpf translator: fix comment typo

testsuite: fix formatting of bpf test increment2.stp

bpf translator: binary operations now act on copy of left operand.

Needed for cases where evaluating right operand causes side effects that
mutate the left (ex. x + x++).

Use equivalent non-dwarf probe points for example scripts

The dwarf-based kernel.function probes require the installation of
kernel-debuginfo.  The examples can be just as easily implemented with
the non-dwarf kprobe.function probes and eliminate the need to install
kernel-debuginfo.

ignore coverity / rpmmacro

tapset: introduce tapset/linux/aux2_syscalls.stp for leaf embedded-c functions

The _stp_syscall_nr embedded-C function may well be needed from the
tracepoint-flavoured syscall probe aliases.  For this, it would be
undesirable to necessarily drag in all of the material in
aux_syscalls.stp.  So split out a new little aux2_syscall.stp with
just the basics that minimal nd2_syscall or tp_syscall jobs might
need.

PR23160,PR14690: uregs setter macro for use from kernel context

When a syscall interjection mechanism gives us a pt_regs*
structure for the syscall parameters/context, we can pretend
as though it were a user-space probe.

function __set_usermode_pt_regs(r)

PR23160,PR14690: adapt syscall.read for 4.17 __ARCH_sys_FOO and sys_enter/exit

Sketch for the syscall.read and .return probe aliases only.

drop unused recursion_guard code from elaborate.cxx

pass2 elaboration: tweak diagnostics

While debugging 4.17-style syscalls, it was tricky to figure out the
probe derivation process while it was underway, with nested aliases
and optional/sufficient probe points.  Tweak verbosity numbers and
messages to give a good overview at the --vp 02 level.

While in the vicinity, introduced a session
suppress_costly_diagnostics counter, which is used to suppress
levenshtein suggestions for optional/sufficient probe points.
These probe points are expected to fail, and no messages will
be printed for them anyway, so the levenshtein stuff was a pure
waste.  stap -p2 run time time for scripts like

    probe kernel.function("foo")?,kernel.function("foo")?,
          kernel.function("foo")?,kernel.function("foo")?,
          kernel.function("foo")?,kernel.function("foo")?,
          kernel.function("foo")?,
          never{}'

went from 5.6s to 3.4s on the author's workstation.  The gains
should be noticeable on normal scripts too that use the
syscall tapset.

stap-exporter: add install script

* Install: installs the exporter as a systemd service

* exporter.py: path to stap binary is no longer hardcoded. All responses
  sent by the server are now plain text.

No longer run the http server as 'root'.

* httpd/backends.cxx (container_backend::generate_module): Handle python
  versions correctly. Add "sudo" to all "buildah" command lines.
* httpd/main.cxx (main): Make sure we're not running as root.
* testsuite/lib/systemtap.exp (systemtap_check_users): Check for the
  'stap-server' user.
* testsuite/lib/http_server.exp: Start the http server as the
  'stap-server' user, not root.
* configure.ac: Add defines to determine if python 2 and python 3 exist on
  the system.
* httpd/Makefile.am: Installs sudoers rule file.
* configure: Regenerated.
* config.in: Ditto.
* httpd/Makefile.in: Ditto.
* util.cxx (get_distro_info): Fixed bug where the version number and
  release number got combined.
* httpd/stap-server.sudoers: New file.

Improve the foreach_limit(2).exp test results.

Without this update, one can observe following issue with rhel7
powerpc kernels:

=======
 # stap -p4 testsuite/systemtap.maps/foreach_limit.stp
 ...
 /usr/local/share/systemtap/runtime/map.c:275:26: error: ‘a’ may be used uninitialized in this function [-Werror=maybe-uninitialized]
    struct mlist_head *c, *a, *last, *tmp;
                           ^
 /usr/local/share/systemtap/runtime/map.c:275:26: error: ‘a’ may be used uninitialized in this function [-Werror=maybe-uninitialized]
 cc1: all warnings being treated as errors
=======

This problem turns out to start happening after the powerpc kernel
build system started using -O3 instead of -O2 as one can see in
http://vault.centos.org/7.5.1804/os/Source/SPackages/kernel-3.10.0-862.el7.src.rpm

=======
 # powerpc is compiled with -O3, via specfile rpmbuild -- see rhbz1051067.
 # we need to keep consistency here, however, for out of tree kmod builds --
 # see rhbz1431029 for reference
 ifeq ($(SRCARCH), powerpc)
 KBUILD_CFLAGS   += -O3
 else
 KBUILD_CFLAGS   += -O2
 endif
=======

Reverting this change (using -O2 instead of -O3) works the problem around
as well as this systemtap-side update.  For more details, see rhbz1591267.

stap-exporter: improve configurability, enable automatic session timeouts

* exporter.conf: lets user specify which scripts the server can run and
  options such as automatic session timeouts and whether sessions are
  launched at startup.

* exporter.py: parse config file, periodically check for sessions that
  need to be terminated due to timeout.

stap-exporter: initial commit

rhbz1547238: adapt vfs.add_to_page_cache probes

The add_to_page_cache_lru variant should also be probed, along with
kernel.function("add_to_page_cache_locked"), but if present, not the
add_to_page_cache variant.  This backward compatibility needed a
little bit of tapset probe point operator jiujitsu to go beyond
Paulo's initial patch.

NEWS for 'add name of main script file to dmesg output'

add name of main script file to dmesg output

refactor string escaping -- move it from stapregex to util.cxx

refactor string escaping -- typo fix

Fix (and centralize) temporary directory creation in the http server.

* httpd/api.cxx (build_collection_rh::POST): Always ensure there is a
  server temporary directory (otherwise files are attempted to be written
  to the root directory). Use make_temp_directory() to create the client
  temporary directory.
* httpd/utils.cxx (make_temp_dir): New function.
* httpd/utils.h: Added make_temp_dir() prototype.
* httpd/server.cxx (connection_info::postdataiterator): Use
  make_temp_directory().

coverity tweaks: confirm a few dynamic_cast<> returns

Remove old code from httpd/docker/stap_build_docker_file.py.

* httpd/docker/stap_build_docker_file.py (main): Remove unused code that
  called "docker build".

Simplify temporary directory creation in the http container backend.

* httpd/backends.cxx (container_backend::generate_module): Instead of
  creating a new temporary directory for the docker file, just create a
  subdirectory of the server temporary directory.

version bump to 4.0 in anticipation of next release

update-po bump

rebuild example indexes

main.cxx: tweak --example error message

Also print the name of the directory with samples.

testsuite: switch smoketest target

With the syscalls being out of action on 4.17, switch to ancient
kernel.function("do_exit") as the target of "make *check" smoke
testing.

PRERELEASE nudge further, testing on 4.18-rc

collect delinquent NEWS entries

Documentation update

Implement caching for the http container backend.

* httpd/backends.cxx (class container_image_cache): New class.
  (container_backend::generate_module): Implement a caching scheme for
  "buildah". If the hash for a docker file matches an existing image,
  reuse the image.

PRERELEASE handling

AUTHORS bump

update po

Compat arch support detection improvement for 32-bit only systems.

Commit d24c50ecfcf49e4579f475ac52bafb31850cf523 doesn't handle
well 32-bit only systems such as i386.  This update fixes it.

PR23226: Added ability to run sample scripts with typing whole path

* cmdline.h: Added new command line option '--example'
* cmdline.cxx: Added new command line option '--example'
* session.h: Added new flag 'run_example' to track example option
* session.cxx: Updated constructors to initialize new flag and added
  logic to set run_example flag in parse_cmdline()
* main.cxx: If '--example' is specified then search for script within
  example directory and run it if one hit is found
* man/stap.1.in: Added new entry for '--example' option
* testsuite/buildko/example.stp: New file to test new option
* testsuite/buildok/example.stp: New file to test new option

Compat arch support detection for the testsuite.

Previously, the compat arch support (e.g. -m32 on a 64-bit system)
was hardcoded per architecture in testsuite/lib/compile_flags.exp.

As the count of rhel products with various compat arch support matrix
grows, it turns out to be more flexible to detect this at run time.

testsuite/runok/regex_noelide: innocuous comment edit

httpd server build fix via <unistd.h> include