Compat arch support detection improvement for 32-bit only systems.

Commit d24c50ecfcf49e4579f475ac52bafb31850cf523 doesn't handle
well 32-bit only systems such as i386.  This update fixes it.

PR23226: Added ability to run sample scripts with typing whole path

* cmdline.h: Added new command line option '--example'
* cmdline.cxx: Added new command line option '--example'
* session.h: Added new flag 'run_example' to track example option
* session.cxx: Updated constructors to initialize new flag and added
  logic to set run_example flag in parse_cmdline()
* main.cxx: If '--example' is specified then search for script within
  example directory and run it if one hit is found
* man/stap.1.in: Added new entry for '--example' option
* testsuite/buildko/example.stp: New file to test new option
* testsuite/buildok/example.stp: New file to test new option

Compat arch support detection for the testsuite.

Previously, the compat arch support (e.g. -m32 on a 64-bit system)
was hardcoded per architecture in testsuite/lib/compile_flags.exp.

As the count of rhel products with various compat arch support matrix
grows, it turns out to be more flexible to detect this at run time.

testsuite/runok/regex_noelide: innocuous comment edit

httpd server build fix via <unistd.h> include

bz1584705: move new macros.systemtap file into -sdt-devel subrpm

Add the docker file hash to the container image name.

* httpd/backends.cxx (container_backend::generate_module): Add the docker
  file hash to the container image name.
* httpd/utils.cxx (get_file_hash): New function.
* httpd/utils.h: Add get_file_hash() prototype.
* httpd/Makefile.am: Add ../mdfour.c to the list of sources.
* httpd/Makefile.in: Regenerated.

Started switching the http container backend to use 'buildah'.

* httpd/backends.cxx (container_backend): Initial steps of switching from
  'docker' to 'buildah'.
* httpd/backends.h (backend_base): Updated prototype.
* httpd/api.cxx (build_info): Remove the 'tmp_dir' member.
  (build_info::~build_info): No longer remove the temporary directory.
  (response build_collection_rh::POST): Create the 'client_dir' temporary
  directory.
* httpd/api.h (client_request_data): Rename the 'base_dir' member to
  'server_dir' and add a 'client_dir' member.
  (build_info::module_build): Unzip the 'client.zip' file in the client
  directory, not the server directory. Be sure to look for the module in
  the client directory.
  (client_request_data::~client_request_data): Remove both the client
  directory and the server directory.
  (client_request_data::get_json_object): Update output.
* httpd/docker/centos.json: Tweaked to not run "yum/dnf clean all" after
  the first RUN command.
* httpd/docker/fedora.json: Ditto.

Make the RPM macro for tapset dir work on older RHELs too.

Update commit e914597c18 in a sense of
https://bugzilla.redhat.com/show_bug.cgi?id=888262#c5 .

Change the http container backend to do all the image building itself.

* httpd/backends.cxx (container_backend::generate_module): Just use the
  python script to build the docker file, then build the docker image.
* httpd/docker/stap_build_docker_file.py: Renamed from
  'stap_build_docker_image.py' and only builds the docker file, not the
  docker image.
* httpd/docker/Makefile.am: Rename 'stap_build_docker_image.py' to
  'stap_build_docker_file.py'.
* httpd/docker/Makefile.in: Regenerated.

Fix a bug where the http server wasn't handling script files properly.

* httpd/backends.cxx (container_backend::generate_module): Fix a
  regression where stap run in the container couldn't find script files.

Rename the http docker backend to the http container backend.

* httpd/backends.cxx: No real code change, but in preparation for the
  switch from using "docker" to "buildah", rename the docker backend to
  the container backend.

Update the json docker file templates.

* httpd/docker/centos.json: Go back to requiring systemtap-devel in the
  container.
* httpd/docker/fedora.json: Ditto.

Fix the boot time probing feature by updating dracut binary location.

Merge branch 'serhei/rt-fixes-clean'

Initial round of fixes for RHBZ1272304 to make systemtap work better on the
realtime (CONFIG_PREEMPT_RT_FULL) kernel. These fixes do not solve all of the
rule violations that occur (and get reported to dmesg on kernel-rt-debug) but
they do make it possible for SystemTap to get through the entire testsuite on
kernel-rt without locking up the system.

Merging rather than rebasing since only the final commit of the branch is 'safe'.

rhbz888262: add a %_systemtap_tapsetdir macro for add-on tapset packagers

Added ability to send test results via http to a url

* testsuite/Makefile.am: Expanded check for DEJAZILLA to distinguish
  between email address and url, and send test results to the corresponding
  destination.
* testsuite/Makefile.in: Regenerated.
* testsuite/configure.ac: Updated messages to reflect the added feature.
* testsuite/configure: Regenerated.

io_submit.stp: let the user know when the script is loaded

I often find myself checking lsmod to see when the script is finally
ready to collect data.  Just print a message from the begin probe to
make it obvious when the script is ready.

Signed-off-by: Jeff Moyer <jmoyer@redhat.com>

io_submit.stp: use an accumulator for traces

On very large systems, we get a lot of skipped probes due to lock
contention on the traces array.  The end result is that we don't
get any data for such systems.  Simply converting the traces array
to an accumulator resolves this issue in testing (on a highly-
loaded 288 cpu system).

Signed-off-by: Jeff Moyer <jmoyer@redhat.com>

io_submit.stp: fix array membership test

io_submit.stp keeps track of threads which are currently executing
in the io_submit system call like so:

probe syscall.io_submit {
          in_iosubmit[tid()] = 1
}

probe syscall.io_submit.return {
          /* this assumes a given proc will do lots of io_submit calls, and
           * so doesn't do the more expensive "delete in_iosubmit[p]".  If
           * there are lots of procs doing small number of io_submit calls,
           * the hash may grow pretty big, so using delete may be better
           */
          in_iosubmit[tid()] = 0
}

However, the test to see if a thread is currently executing in io_submit
is performed using the membership operator 'in':

  if (tid() in in_iosubmit)

This is obviously wrong.  We can do one of two things:
1) change the test to if (in_iosubmit[tid()] == 1) or
2) just perform the delete in the return probe

While I agree that we typically have a small number of threads performing
io_submit, I don't believe there is substance to the performance claims
for the delete operator.  So, I've opted for solution 2.

Signed-off-by: Jeff Moyer <jmoyer@redhat.com>

Updated spec file to change dependency on net-tools to iproute

rhbz1496156: removed dependencies on deprecated net-tools package

* java/stapbm.in: replaced netstat with ss

Change the http docker backend to run systemtap in the container image.

* httpd/backends.cxx (docker_backend::generate_module): Switch back to
  running systemtap inside the container. Trying to use the container
  image as a sysroot didn't work well. Trying to run systemtap on the
  sysroot worked fine, but running gcc 8 (f28) against a centos 7
  sysroot's kernel source failed. Trying to run the centos 7 gcc from f28
  kept crashing. So, we're back to running systemtap in the container
  image.

kernel-rt fix: avoid use-after-free of pt_regs struct passed to task_work function.

* stp_utrace.c (utrace_exec_work): move __stp_utrace_free_task_work() to avoid use-after-free.
(utrace_syscall_entry_work): ditto.

kernel-rt fix: only use stp_utrace.c task_work_queue on RT, remove excess printing

STP_UTRACE_USE_TASK_WORK_QUEUE doesn't *quite* work on non-RT kernels yet.

* stp_utrace.c: only define STP_UTRACE_USE_TASK_WORK_QUEUE on CONFIG_PREEMPT_RT_FULL.
(utrace_report_exec): comment out excess 'nonatomic context' printk.
(utrace_report_syscall_entry, utrace_report_syscall_exit): ditto.

rpm: by default, configure with --enable-docs=prebuilt

Fix testcases broken by not expectig 'WARNING: Missing unwind data'

* lib/stap_run.exp: Fix systemtap.base/caller.exp
* systemtap.base/backtrace.exp: Fix itself
* systemtap.context/backtrace.tcl: Fix systemtap.context/context.exp

Fix testcase systemtap.string/text_str.exp

PR22991 (Invalid truncation of quoted strings) was fixed in
commit fa4f499d8c92600702853d763ae3ea45002c07e3, but respective
change hasn't been applied to systemtap.string/text_str.exp.
Adding the missing bit.

Fix testcase systemtap.unprivileged/unprivileged_embedded_C.exp

Commit 2f6fcfc6 (Fix BZ1546179 by being careful when accessing
sk_buff structures) made the "unprivileged_embedded_C.exp"
testcase unhappy.  It started to report false positives.

Thing is that embeddedc.awk can't correctly parse two block
boundaries at a line, which is exactly what the commit introduces
by adding "} catch { }", or "try { ... } catch { }".  Here is the
failure as observed with git stap 0e051c5:

=======
FAIL: unprivileged embedded C: : --unprivileged: Unterminated block at: function _input_route_type:long (skb:long): 2 0
FAIL: unprivileged embedded C: : --privilege=stapusr: Unterminated block at EOF: 2 0
FAIL: unprivileged embedded C: : --privilege=stapsys: Unterminated block at: function _input_route_type:long (skb:long): 2 0
FAIL: unprivileged embedded C: : --privilege=stapsys: Unterminated block at EOF: 2 0
FAIL: unprivileged embedded C (transitive): : --privilege=stapusr: Unterminated block at: function _input_route_type:long (skb:long): 2 0
FAIL: unprivileged embedded C (transitive): : --privilege=stapsys: Unterminated block at: function _input_route_type:long (skb:long): 2 0
=======

This commit tries to address the issue by making embeddedc.awk
able to process two block boundaries at a line.

stapbpf: add foreach loop support

* bpf-translate.cxx (visit_foreach_loop): translates foreach loops.

* bpf-internal.h (BPF_FUNC_map_get_next_key): add id for map_get_next_key.

* bpfinterp.cxx (bpf_interpret): call map_get_next_key when function id equals
  BPF_FUNC_map_get_next_key. (map_get_next_key): wrapper for bpf_get_next_key
  that includes support for limiting number of iterations and iterating in
  ascending/descending order.

* bpf_tests/foreach.stp: tests these changes.

Send the target executable over to the http server.

* httpd/backends.cxx (docker_backend::generate_module): Add the date and
  time to the docker image name, to make them easier to remove. Copy any
  target files from the zip file into the docker image.
* client-http.cxx (http_client::get_rpmname): If an rpm doesn't contain
  the file we're searching for, just return the empty string.
  (http_client_backend::include_file_or_directory): Only include the file
  or directory in the command line arguments if the callers asks.
  (http_client_backend::package_request): Move code from
  http_client_backend::find_and_connect_to_server(). If get_rpmname()
  returns the empty string, add the file so that it will get transferred
  over to the server.
  (http_client_backend::find_and_connect_to_server): Move code to
  http_client_backend::package_request().
* client-http.h (http_client_backend::include_file_or_directory): Updated
  prototype.
* client-nss.cxx (nss_client_backend::include_file_or_directory): Only
  include the file or directory in the command line arguments if the
  callers asks.
* client-nss.h (nss_client_backend::include_file_or_directory): Updated
  prototype.
* csclient.h: Updated client_backend::include_file_or_directory()
  prototype.

stapbpf: ensure uprobe DWARF offsets are 64-bits wide.

stapbpf.cxx: change type of DWARF offset from unsigned long to unsigned long long.

add DEBUG_MEMALLOC_MIGHT_SLEEP option to check for memory allocations in RT-atomic

If DEBUG_MEMALLOC_MIGHT_SLEEP is defined (stap -DDEBUG_MEMALLOC_MIGHT_SLEEP ...)
then all memory allocation operations are assumed to sleep. This
can be used to check whether any memory allocations occur in atomic
context, which is discouraged on realtime kernels.

* runtime/linux/alloc.c (DEBUG_MEMALLOC_MIGHT_SLEEP): new optional define.
(_stp_kmalloc_gfp, _stp_kmalloc_node_gfp, _stp_kzalloc_node_gfp, _stp_kfree,
 _stp_vfree, _stp_free_percpu): trigger might_sleep() on DEBUG_MEMALLOC_MIGHT_SLEEP.

kernel-rt temporary fix: flag pfiles.stp as incompatible with CONFIG_PREEMPT_RT_FULL

testsuite/systemtap.examples/process/pfiles.stp: #error on CONFIG_PREEMPT_RT_FULL.

kernel-rt fix: delay cleanup of utrace struct after removal from task_utrace_table

Since utrace->lock is now an ordinary spinlock, we cannot grab it in a
(raw) task_utrace_lock section, nor can we do memory management on kernel-rt
in a raw_spinlock section. Thus, in utrace_exit(), we dump utrace structures
to a separate hlist (guarded by a separate, non-raw utrace_cleanup_lock) before
calling utrace_cleanup() to free them.

* runtime/stp_utrace.c (utrace_cleanup_list, utrace_cleanup_lock): new data structures.
(utrace_exit): dump utrace structures to utrace_cleanup_list before releasing
task_utrace_lock and then actually cleaning up.
(utrace_cleanup): now requires utrace_cleanup_lock instead of task_utrace_lock.

kernel-rt fix: use task_work to defer reporting of stp_utrace events

Since utrace->lock is now a regular spinlock, it cannot be taken in tracepoint context.
This patch introduces a queue of task_work structures that the reporting functions
in stp_utrace.c can use to delay reporting work that requires taking utrace->lock.

* stp_utrace.c (STP_UTRACE_USE_TASK_WORK_QUEUE): new define.
 (__stp_utrace_task_work_list, __stp_utrace_task_work_list_lock,
__stp_utrace_task_work): new data structures.
(UTRACE_TASK_WORK_POOL_SIZE): new define, configure with -DUTRACE_TASK_WORK_POOL_SIZE
(__stp_utrace_task_work_pool_bitmap, __stp_utrace_task_work_pool,
__stp_utrace_task_work_pool_lock): new data structures.
(__stp_utrace_alloc_task_work): new function.
(__stp_utrace_save_regs): new function.
(__stp_utrace_free_task_work_from_pool): new function.
(__stp_utrace_free_task_work): new function.
(utrace_exit): free task_work_list items on exit.
(utrace_cancel_all_task_work): clean up code, also cancel task_work_list items.
(utrace_free): clean up code.
(utrace_report_exec): defer reporting to utrace_exec_work().
(utrace_exec_work): new function.
(utrace_report_syscall_entry): defer reporting to utrace_syscall_entry_work().
(utrace_syscall_entry_work): new function.
(utrace_report_syscall_exit): defer reporting to utrace_syscall_exit_work().
(utrace_syscall_exit_work): new function.
(utrace_report_clone): defer reporting to utrace_clone_work().
(utrace_clone_work): new function.

kernel-rt fix: change utrace->lock to a regular spinlock

In utrace_control(), stp_lock_task_sighand() cannot be invoked in a raw-spinlock
section on kernel-RT. Therefore, we must change utrace->lock to a regular,
non-raw spinlock. (This change introduces additional issues to be fixed in subsequent
commits.)

* runtime/stp_utrace.c: switch to spinlock_t.

kernel-rt fix: avoid locking in __stp_time_init()

* runtime/time.c (stp_init_time): avoid invoking seqlock inside
an interrupts-disabled section.

The problem is that __stp_init_time() is invoked in an interrupts-disabled
section created by on_each_cpu(). This prevents it from being able to safely
grab seqlock.

My reasoning is that because __stp_time_init() is initializing the
seqlock, it is safe to assume no one else will be trying to grab it until
we return. So we can dispense with locking at this point.

kernel-rt fix: use stp_spinlock for _stp_ctl_ready_q

_stp_ctl_ready_lock and _stp_ctl_special_msg_lock are locked within an atomic
context created by _stp_runtime_entryfn_get_context()/_put_context().
This is only legal on kernel-rt if the locks are raw stp_spinlocks.

* runtime/transport/control.h, runtime/transport/control.c: switch to stp_spinlock.
* runtime/transport/procfs.c: ditto.
* runtime/transport/transport.c: ditto.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

stapbpf: replace uint64_t with unsigned long for 32-bit compatibility

mips registers.stp: support oabi for kernel registers

stapbpf: add uprobe support

* bpf-translate.cxx (translate_bpf_pass): translate uprobe_derived_probes.

* stapbpf.cxx (collect_uprobes, register_uprobes, unregister_uprobes): read uprobe
  information from the .bo file, register/unregister uprobes via debugfs.

* tapsets.cxx (sort_for_bpf): create section names for each uprobe.

* tapsets.h: add necessary declarations.

* bpf_tests/uprobes.stp: smoke test for stapbpf uprobe support.

* bpf.exp: when running bpf_tests/uprobes.stp, spawn a process that triggers the test's probes.

dwflpp::resolve_prologue_endings should use dwarf_haspc, not highpc.

A function can have multiple non-consecutive ranges (for example when
a function is split into a hot and cold part, that are put in separate
sections). resolve_prologue_endings would use the highpc attribute of
a function DIE to see if an address was "beyond" the function (and so
also beyond the prologue). That could cause unexpected errors when
the DIE didn't have a highpc, but only a lowpc and ranges attribute.
Use dwarf_haspc () instead to test whether an address is inside a
function.

See also https://sourceware.org/ml/systemtap/2018-q2/msg00029.html

RHBZ1552745: staprun to set /proc/sys/kernel/kptr_restrict=1 on linux >= v4.15

Kernels >= 4.15 obscure /sys/module/$MODULE/section/$SECTION pointers
even to root users, unless kptr_restrict is set to 1.  Since we need
this information unobscured for module section-address configuration
at module startup, set that flag, unless $STAP_BZ1552745_OVERRIDE
exists.

Update mysql and xulrunner testapps

PR22991: Store escape sequence pointer before early break

runtime/stp_string.c (_stp_text_str): Capture the escape sequence
pointer before a possible while loop break instead of after. Needed
for correct truncation of UTF-8 literals. Also rename variable 'len'
to 'esc_len' for better clarity.

runtime/stp_string.c: Remove unused variable.

Variable was mistakenly added in commit fa4f499d8c.

PR22991: Fix invalid truncation of quoted strings

* runtime/stp_string.c (_stp_text_str): If truncation will remove part
  of an escape sequence, then truncate the entire sequence instead.

Make kernel DWARF unwinder work with ksalr.

The .debug_frame loaded from disk is already relocated against the
expected load offset of the kernel, but the actual static (load)
address might be different (with kaslr). So adjust the startLoc
for that difference when reading any address from the unwind table.

Document remote server testing in testsuite/lib/http_server.exp.

Revert "PR22193: don't elide regex match '=~' operator since it's now side-effecting"

This reverts commit 81e03c8fea43b3547a945306218f12722f78eb36, because it broke
elision (e.g. in tapset/linux/syscalls.stpm, see _af_inet_info_u()).

loc2stap.c: Give proper error message for unhandled DW_OP_GNU_parameter_ref.

Change the http docker backend to use the docker image as a sysroot.

* httpd/backends.cxx (docker_backend::generate_module): Switch from
  running systemtap in the docker container to mounting the container and
  using it as a sysroot.
* httpd/docker/fedora.json: Update the docker container to run
  "symlinks".
* httpd/docker/centos.json: Ditto.

RHBZ1566422 - fix spurious Build-id mismatch when probing reinserted kernel module

Code for newer kernels did not clear the address of the notes-section
when a probed module was unloaded. This caused spurious Build-id mismatch
when the module was reinserted as new addresses are not computed for
dynamically loaded modules (see also: PR23068) and the Build-id check
was trying to read the notes section at the no-longer-valid old address.

* runtime/sym.c (_stp_module_notifier): clear addresses on
MODULE_STATE_GOING in newer kernels (>=3.10) too.
* runtime/transport/symbols.c (_stp_kmodule_update_address): fix logic
error and clear notes section addr when reloc=NULL (aka. 'all').

Fix httpd/docker/fedora_install_package.py to correctly handle file paths.

* httpd/docker/fedora_install_package.py (PkgSystem.build_id_is_valid):
  Handle 'UsrMove' feature by just comparing file basenames, instead of
  full paths.

linux runtime: Add support for new kernel unwind fallback.

In newer kernels dump_trace got replaced by a new unwind infrastructure.
Add a new autoconf-unwind-stack-trace.c to detect whether we can use it.
Extend the runtime/stack.c _stp_stack_print_fallback with a new pt_regs*
argument. Update all callers and add dbug_unwind output to show which
fallback unwinder we are selecting (or if we are just giving up).
Rename the struct unwind_state in unwind.c and unwind.h to uw_state
because the old name now conflicts with the one used in the kernel.

Add a http server test case.

* testsuite/lib/http_server.exp: New file.
* testsuite/systemtap.http_server/http_server.exp: New test.
* testsuite/config/unix.exp: Added http_server.exp.
* testsuite/lib/systemtap.exp: Include server_ns.exp.

Fix the http server local backend to run the correct stap version.

* httpd/backends.cxx (local_backend::generate_module): Make sure we're
  running the correct version of systemtap.

Redirect all 'clog' output from the http server to the log file.

* httpd/main.cxx (parse_cmdline): Also send 'clog' output to the log file.
* nsscommon.cxx (start_log): Added an option to redirect 'clog' output to
  the log file.
* nsscommon.h: Update start_log() prototype.

Fix a small bug in follow_link().

* util.cxx (follow_link): Correctly terminate strings after calling
  readlink().

Improve http_client::get_rpmname().

* client-http.cxx (http_client::get_rpmname): Clean up memory leaks (found
  by valgrind) and improve/simplify the rpm finding logic.

Fix error in last client-http.cxx commit.

* client-http.cxx (http_client_backend::unpack_response): Fix error
  introduced in commit 82191ce.

Clean up some http server memory leaks found by valgrind.

* httpd/api.cxx (resource::~result_info): New function.
  (build_info::~build_info): Be sure to erase the result from the results
  list.
  (result_infos_erase): New function.
* httpd/backends.cxx (backends_atexit_handler): New function.
  (get_backends): Run backends_atexit_handler() at exit.
* httpd/backends.h: Add virtual backend_base destructor.
* httpd/server.cxx (get_key_values): Call json_object_put() to free the
  created json object.

The http server code now cleans up environment variables.

* httpd/api.cxx (response build_collection_rh::POST): Clean up the
  environment variable list the client sends the server.
* httpd/main.cxx (main): Clean up the environment variables.

stapbpf: remove BPF map copy logic from interpreter

bpfinterp.cxx, bpfinterp.h, stapbpf.cxx: Remove map structs and copy logic.
Instead, perform lookups/updates/deletes on BPF maps directly via bpf().

RHBZ1558350: fix typo in linux/nfsd.stp

* linux/nfsd.stp (probe nfsd.proc2.create): fix typo.

RHBZ1563052: fix off-by-one error in loc2c-runtime.h

The new version of kderef_string (added along with the new eBPF
runtime) copies an additional character compared to the old version.

* runtime/linux/loc2c-runtime.h (_stp_deref_string_nofault): reduce len by 1 to leave room for NUL terminator.
* testsuite/systemtap.base/set_kernel.stp: testcase for this bug.

The http client code now asks the server to delete the build info.

* client-http.cxx (http_client_backend::delete_op): Send a delete request
  to the server.
  (http_client_backend::unpack_response): After downloading everything,
  call delete_op().
* httpd/api.cxx (individual_build_rh::DELETE): New function.

BPF translator: improve register interference checking

bpf_opt.cxx (allocate): Apply the addition checks added to merge()
in commit 883ecae33bb. (reg_alloc): change while loop to for loop
to better indicate how num_spills is updated.

Handle removing http server temporary directories on shutdown.

* httpd/api.cxx (build_info::~build_info): Removes temporary directory.
  (build_info::module_build): Save temporary directory name.
  (client_request_data::~client_request_data): New function.
* httpd/api.h (client_request_data): Add destructor declaration.
* httpd/docker/stap_build_docker_image.py: Removes temporary directory.

Fix the systemtap testsuite LD_LIBRARY_PATH.

The goal here is to ensure the right dyninst libraries are used.
Systemtap is not only packaged for base RHEL/CentOS, but also as
a part of SCL (red hat developer toolset).  In case of SCL we need
to ensure that SCL version of systemtap tests against SCL version
of dyninst and the same is true for base os versions of both
components.

Before this change devtoolset version of systemtap was running
its tests against base rhel version of dyninst, and if that was
missing, dyninst tests were crashing.

This is a testsuite problem only, unrelated to normal stap usage.

Drop Python 2 subpackage in future systems

remote: fixes for bpf runtime

remote.cxx (class direct, stapsh): Set file extension to .bo and leave args
empty for bpf runtime.

PR22193: don't elide regex match '=~' operator since it's now side-effecting

NB: If we detected /* pragma: tagged_dfa */ earlier and set
session.need_tagged_dfa earlier, we would be able to safely elide
regex matches in programs that don't use the matched() tapset.

* elaborate.cxx (void_statement_reducer::visit_regex_query): Assume '=~' is side-effecting.
* staptree.h (varuse_collecting_visitor::visit_regex_query): New function.
* staptree.cxx (varuse_collecting_visitor::visit_regex_query): Assume '=~' is side-effecting.

* testsuite/runok/regex_noelide.stp: Make regex slightly more interesting.

Fix the naming convention problem for python-setuptools.

There is no python2-setuptools.rpm for any of rhel{6,7}.

EPEL6 has python2-setuptools.rpm, but it merely is a dummy wrapper
for python-setuptools.rpm.  ATM, there is no other reason to use EPEL
on RHEL than this, so it's better to avoid it entirely.  RHEL7
depsolver can pair python-setuptools.rpm with python2-setuptools.rpm
via Provides, but there is no python2-setuptools.rpm for RHEL7
either.  But Fedora does have python2-setuptools.rpm.

sysroot: fix short release -r option handling follow up

In case of sysroot set and short release -r option it does not make sense
to pass short release name into dwfl_linux_kernel_report_offline
function. This function is not aware about sysroot and it won't look for
kernel modules under sysroot directory.

For RHEL7, fix pyparsing require in systemtap.spec

* systemtap.spec: Fixed pyparsing requires issue for RHEL7. The package
  appears to have changed names.

When enabling python2 probes, make sure we find the right config program.

* configure.ac: For the python config program, look for 'python2-config'
  and 'python-config'.
* configure: Regenerated.

Remove C++11 string member function use for RHEL6.

* session.cxx (parse_cmdline): Remove C++11 string member function use for
  RHEL6. Functions include back(), front(), and push_back(), which can be
  easily replaced.
* setupdwfl.cxx (debuginfo_path_insert_sysroot): Ditto.
* tapsets.cxx (path_remove_sysroot): Ditto.
* util.cxx (get_distro_info): Ditto.
  (get_distro_info): Ditto.

Fix sysroot_sysenv.exp for RHEL6.

* testsuite/systemtap.base/sysroot_sysenv.exp: Fix test for RHEL6 by bind
  mounting /usr/src/kernels down into the fake sysroot.

Add lots more sysroot testing to systemtap.base/sysroot_sysenv.exp.

* testsuite/systemtap.base/sysroot_sysenv.exp: Add tests based on the 6
  sysroot patches sent in by Victor Kamensky. These will hopefully keep
  the sysroot functionality working. The tests use a custom mount
  namespace to "move" the system's /usr/lib/debug and /lib/modules
  directories into a sysroot directory.

sysroot: handle symbolic links with absolute name relative to sysroot

In case of symbolic link found under sysroot point to absolute path,
instead of trying to look for such absolute path in host system,
apply sysroot prefix first.

Corrected shebang on testsuite/runok/regex_noelide.stp

Corrected file permissions on testsuite/runok/regex_noelide.stp

BPF translator: array elements behave as if preinitialized to 0

Previously we exited a probe if there was an attempt to use an element
that an array did not contain. This does not match the behavior of the
default runtime which acts as though the element was preinitialized to
0. This commit changes the translator to match this behavior.

bpf-translate.cxx (visit_arrayindex): If map_lookup_elem returns 0,
set result to 0 instead of jumping to exit_block.

bpf_tests/array_preinit.stp: tests this change.

_stp_umodule_relocate needs target file path, not host file path

Strip of sysroot from module name is required when _stp_umodule_relocate
call is generated. Otherwise path won't match path on target and could
will fail to calculated address within the file.

configure: add option --enable-docs=prebuilt

Added a couple of small sysroot fixes.

* tapsets.cxx (dwarf_builder::build): Fix commit 4ffecddf5.
  (path_remove_sysroot): Fix extra '/' present at start of paths.

Delay adding sysroot path to module name in case of non absolute executable

Current stap code adds sysroot prematurely for probes that specify non
absolute path name, i.e like "foo", so when find_executable called it
receives full path as <sysroot>/foo and find_executable does not search
PATH while applying sysroot.

Fix delays adding sysroot till path inside of sysroot is searched first.

Also fix missing sysroot addition in glob expansion case.

session.cxx: note 4.16-rc4 passes stap smoke tests

stap-prep: prefer dnf to yum

Use dnf and dnf debuginfo-install if available, since these understand
some newer rpm constraints than yum does.  e.g., "or" constraints
on rawhide kernels.

sysroot: fix short release -r option handling

* setupdwfl.cxx (debuginfo_path_insert_sysroot): Add a '/' to the end of
  the sysroot for path_insert_sysroot().
  (setup_dwfl_kernel): Simplify logic when finding the kernel path to send
  to elfutils.

Make sure sysroot paths don't end with a slash.

* session.cxx (parse_cmdline): Make sure a sysroot path does not end with
  a '/', since we build paths like: sysroot + "/lib/modules". If the
  sysroot path ends with a '/', we end up with paths like
  '/SYSROOT//lib/modules'.
  (setup_kernel_release): Take a string parameter, not a character pointer.
* session.h: Update setup_kernel_release() prototype.

debuginfo lookup with sysroot case do not remove sysroot from file_name

If sysroot option is passed, and debug symbols reside in sysroot along
with executable <foo> in <foo_dir>/.debug/<foo_file> directory,
stap fails to find debuginfo because it strips out sysroot path
from file_name so dwfl_standard_find_debuginfo ends up looking at
host <foo_dir>/.debug/<foo_file> rather then checking
<sysroot>/<foo_dir>/.debug/<foo_file>.

Improve BPF tracepoint probe derivation

One goal of BPF tracepoint probe derivation is to determine the offsets of the members
of the BPF tracepoint context structs. These members are the probe's context variables.
The context structs always contain 8 bytes of padding before their first member.

During the probe derivation process, the context structs are replicated in the tracequery
modules and we read the module's debuginfo in order to determine the offsets of the
struct's members. Previously, the 8 bytes of padding was not included in the tracequery
structs and instead 8 was added to the offsets of members of these structs. This approach
ignores the possibility that these 8 bytes of padding could influence the amount of
padding between the struct's other members. This would result in incorrect offsets.

This patch adds an 8 byte member to the front of each of the tracequery structs to ensure
they are proper replicas of the tracepoint context structs.

PR22193 :: test that regex match (=~) is not elided (needs fixing)

misc PR15065 fix :: remove redundant cleanup code

* stapregex.cxx (stapdfa::emit_declaration): Remove redundant code.
* stapregex-dfa.cxx (dfa::emit): Make sure to clean up to STAPREGEX_MAX_TAG.
* testsuite/runok/regex_grouping.stp: Add testcase.

BPF tapset: fix gid()

* context.stp: replace gid()'s left shift with a logical right shift.

Merge branch 'master' of ssh://sourceware.org/git/systemtap