PR14781: use kmem_cache_create with unique name

* runtime/stp_utrace.c (utrace_init): Instead of using the KMEM_CACHE macro,
  invoke kmem_cache_create directly, with cache names that are going to be
  unique across concurrent systemtap sessions.

PR14781 part 1: don't panic

* runtime/stp_utrace.stp (utrace_init): Don't SLAB_PANIC on duplicate
  kmem_cache names, as is sadly likely for concurrent inode-uprobes
  scripts running on CONFIG_DEBUG_VM kernels.
* runtime/linux/task_finder2.c (stap_start_task_finder): Deign to check
  the utrace_init return code, and fail with a touch of grey grace.

Updated locking comments in _stp_stat_get().

Add spin-rawhide script for automated rawhide releases

* scripts/spin-rawhide: freshly clones systemtap.git and fedpkg git
  repositories, update the .spec file accordingly and submit new build to
  bodhi

Log the command being executed in testsuite/lib/stap_run_exact.exp.

(PR14571 partial fix) Rework dyninst stat/map data storage.

* runtime/map.c: Switched from TLS to just an array of map data for
  dyninst mode. Pushed most of the kernel vs. dyninst code down to
  runtime/{linux,dyninst}/map_runtime.h.
* runtime/map-stat.c (_stp_map_new_hstat_log): Ditto.
* runtime/map.h: Ditto.
* runtime/pmap-gen.c: Ditto.
* runtime/stat.c (_stp_stat_add): Switched from TLS to just an array of
  stat data for dyninst mode. Pushed most of the kernel vs. dyninst code
  down to runtime/{linux,dyninst}/stat_runtime.h.
* runtime/stat-common.c: Ditto.
* runtime/stat.h: Ditto.
* runtime/dyninst/map_runtime.h: New file.
* runtime/dyninst/stat_runtime.h: New file.
* runtime/linux/map_runtime.h: New file.
* runtime/linux/stat_runtime.h: New file.
* runtime/dyninst/tls_data.c: Deleted file.

runtime: fix timers for old kernels

This is a regression from commit 2b5ecaf, which split the hrtimer code
into the runtime.  The kernel portion needs to vary the return type of
the callback function for old kernels, using int instead of the enum.
This patch defines hrtimer_return_t to abstract the difference.

tapset: Add the macro @choose_defined and use it

This returns the first parameter if it's @defined, otherwise it returns
the second parameter, replacing the common @defined(x)?x:y pattern.

I only updated the tapsets to use this, as I feel that's where we should
show off good code practice.  There are opportunities in the testsuite
that could use it too, but it's not necessary, and probably better to
leave existing tests undisturbed when possible.

NEWS: retroactively note previous probefunc() is available as --compatible=1.8

fix i18n whitespace nit

* main.cxx (passes_0_4): Drop extra space inside " foo " in listings
  of files parsed within tapset directories.

Adjust buildok/xtime.stp for kernel commit 1e75f.

time: Condense timekeeper.xtime into xtime_sec.

PR14742 - more complete dwz / DW_TAG_partial_unit support

Don't use DW_TAG_partial_units directly in dwflpp::iterate_over_cus
and dwarf_var_expanding_visitor::getcuscope. Descent into imported_units
in has_only_decl_members, dwflpp::iterate_over_globals,
dwflpp::iterate_over_types, dwflpp::iterate_over_labels
dwflpp::inner_die_containing_pc, dwflpp::print_locals,
dwflpp::print_members, dwflpp::find_struct_member and
dwarf_pretty_print::recurse_struct_members.

PR14745: note possibility of probe registration failure for timer.profile

Added a bug fix in _stp_stat_init()'s error handling code.

* runtime/stat.c (_stp_stat_init): Be sure to free memory allocated with
  _stp_alloc_percpu() with _stp_free_percpu() - not _stp_kfree().

samples: add baby-ltrace example for .plt probes

documentation: elaborate slightly on .plt probes

Fix .exported typo in stapprobes manpage.

Fixed PR14735 by adding timing ('-t') mode support for dyninst.

* tapsets.cxx (common_probe_entryfn_prologue): Added dyninst support for
  timing ("-t") mode. Disable overload processing for dyninst mode.
  (common_probe_entryfn_epilogue): Change funcion signature. Add dyninst
  support for timing ("-t") mode. Disable overload processing for dyninst
  mode.
  (dwarf_derived_probe_group::emit_module_decls): Update
  common_probe_entryfn_epilogue() call.
  (uprobe_derived_probe_group::emit_module_utrace_decls): Ditto.
  (kprobe_derived_probe_group::emit_module_decls): Ditto.
  (hwbkpt_derived_probe_group::emit_module_decls): Ditto.
  (tracepoint_derived_probe_group::emit_module_decls): Ditto.
* tapset-been.cxx (be_derived_probe_group::emit_module_decls): Ditto.
* tapset-itrace.cxx (itrace_derived_probe_group::emit_module_decls):
  Ditto.
* tapset-mark.cxx (mark_derived_probe_group::emit_module_decls): Ditto.
* tapset-netfilter.cxx (netfilter_derived_probe_group::emit_module_decls):
  Ditto.
* tapset-perfmon.cxx (perf_derived_probe_group::emit_module_decls): Ditto.
* tapset-procfs.cxx (procfs_derived_probe_group::emit_module_decls): Ditto.
* tapset-timers.cxx (timer_derived_probe_group::emit_module_decls): Ditto.
  (hrtimer_derived_probe_group::emit_module_decls): Ditto.
  (profile_derived_probe_group::emit_module_decls): Ditto.
* tapset-utrace.cxx (utrace_derived_probe_group::emit_module_decls): Ditto.
* runtime/dyninst/runtime.h: Added NSEC_PER_SEC and _stp_timespec_sub
  macros. Always include stat.c, as runtime/linux/runtime.h does.

stapdyn: Big refactoring

The main additions are the "mutator" class working with the overall
session, and the "mutatee" class working with the individual targets.
This is a bit of code churn, with no functional change, but it should
make it easier to keep track of our current state and add new features.

PR14731: fix PR12022 regression for synthetic foreach()

* elaborate.cxx (add_global_var_display): For foreach_loop created
  for otherwise-unused global, initialize sort_aggr => sc_none, the
  same way the parser would.

documentation: mention non-semaphore mode for dtrace(1) headers

Fixed PR14701 by adding dyninst timer probe support.

* tapset-timers.cxx (hrtimer_derived_probe_group::emit_interval): Removed
  function.
  (hrtimer_derived_probe_group::emit_module_decls): Pushed some code down
  to the runtime and added dyninst support.
  (hrtimer_derived_probe_group::emit_module_init): Ditto.
  (hrtimer_derived_probe_group::emit_module_exit): Ditto.
  (timer_builder::build): Throw semantic errors if 'timer.jiffies' or
  'timer.profile' probes are used in dyninst mode.
  (register_tapset_timers): Add fake privilege for 'timer.profile' probes
  when in dyninst mode (so we get a semantic error, not a privilege error).
* buildrun.cxx (compile_dyninst): Added '-lrt' for timer functions.
* testsuite/systemtap.pass1-4/buildok-dyninst.exp: Move some tests to the
  kfail list.
* runtime/timer.c: New file.
* runtime/dyninst/timer.c: Ditto.
* runtime/linux/timer.c: Ditto.

PR14712: Correct the bug number in a comment

I mixed this up in the log too; commits 529c7eae and 3df148cb
are really for PR14712, not PR14172.

testsuite: chmod a+x some semok testcases

PR12022 test cases for foreach (... @aggr ...) sorting

PR12022: lightly document new foreach (@aggr) sorting option

PR12022: support foreach sorting by user-selected aggregate operator

The syntax goes:

    foreach ([x,y] in array @avg -)  { }

inserting the desired sorting aggregator between the array name and
the +/- The runtime has been ready for this for a long time (see the
runtime/map.c SORT_* macros), finally time for the translator to let
users enjoy it.

* staptree.h (stat_component_type): Add sc_none possibility.
  (foreach_loop): Add sort_aggr field.
* parse.cxx (parse_foreach_loop): Parse optional statistics @ops.
* staptree.cxx (stat_op::print): Reject sc_none.
  (foreach_loop::print): Print statistics @ops.
* elaborate.cxx (typeresolution_info::visit_foreach_loop): Mark
  invalid @op sorting on non-statistics arrays.
* translate.cxx (c_unparser::visit_foreach_loop): Map sort_aggr
  to runtime SORT_* value, emitted as strings.
  (c_unparser::visit_stat_op): Reject sc_none.

man pages: elaborate more on probe syntax/semantics in stapprobes.3stap

stap.1 man page: take probe point syntax details back out

Seeing that stapprobes.3stap is fine, replace with a better cross-reference.

stap.1: mention a little about the probe point !/? operators

... even though they're listed in stapprobes.3stap also.

langref: add a sentence identifying the 'any' meaning of probe-point lists

PR14172: Fix the include order so vma tracking works

In commit 529c7eae, by moving the sym.c include, I broke the order
between #define HAVE_TASK_FINDER and the #ifdef in vma.c.

Reported-by: Yichun Zhang <agentzh@gmail.com>

PR14172: Fix for kernels without VM_EXECUTABLE

We were using VM_EXECUTABLE in two ways:

1) In task_finder for locating the process executable among all the
vmas.  Since around 2.6.26 there is also mm->exe_file, which will serve
this purpose just fine.

2) In uprobes to avoid relocation offset for semaphores in ET_EXEC
files.  This is actually incorrect, but harmless, because the callback
path for ET_EXEC targets already sets relocation=offset=0 anyway.  So we
can just remove the special case for VM_EXECUTABLE altogether.

* runtime/task_finder_vma.c (stap_find_exe_file): New, locate the
  process executable either by VM_EXECUTABLE or mm->exe_file.
* runtime/linux/task_finder.c (__stp_get_mm_path): Use stap_find_exe_file.
* runtime/linux/task_finder2.c (__stp_get_mm_path): Ditto.
* runtime/linux/uprobes-common.c (stap_uprobe_change_plus): Don't
  special case for VM_EXECUTABLE (and add a comment why).
* runtime/linux/uprobes-inode.c (stapiu_change_plus): Ditto.
  (stapiu_get_task_inode): Use stap_find_exe_file.

bump up SYSTEMTAP_CACHE_CLEAN_DEFAULT_INTERVAL_S to 300 (5 minutes)

testsuite: tweak net-sanity.exp test

It shouldn't use stap -vv, ashat creates too much noise in the .log file.
It shouldn't use 0xd34db33f as a known-bad address, because sometimes it's good.
Really good.  Mmmm, tasty, BBQ goodness good.  Honey, time to warm up the burners!

PR14245 stapio should not pass inherited relay_basedir_fd

jistone reported that new fd passing should be suppressed for stapio-spawned
child processes like target_cmd or function::system().

* staprun/stapio.c (main): Set CLOEXEC on relay_basedir_fd (if any).

PR14245 clean up error messages for staprun -d SOMETHING_AWFUL

jistone reported that the previously moved
"ERROR: no access to debugfs; try "chmod 0755 /sys/kernel/debug" as root"
message was appearing for erroneous staprun -d FOOBAR cases.

* ctl.c (init_ctl_channel): Print a more general error for any .ctl-file
  opening failure.

PR14245: fix staprun->stapio -F<fd> passing for -A (attach) mode

jistone reported that the recent -F<fd> code was not passing on
a suitable basedir fd to stapio's forked for re-attach (-A) mode.
Make it so.

* staprun.c (init_staprun): In attach_mode, do a dummy
  init_ctl_channel, just to gather a relay_basedir_fd .

stapdyn: remove the TODO in favor of bugzilla

staprun: let stap -vv (= staprun -v) print original/renamed module name before load

BZ863832 part 2, add stap-server home directory into %install too

stapdyn: Fixed the verbose logging of probes found

* stapdyn/stapdyn.cxx (find_uprobes): Use j to index the inner loop.

Set staprun's verbosity one less than stap

Prior to commit e520ea8, staprun would get one -v for s.verbosity>1 and
a second -v for s.verbosity>2.  That commit unbounded the number of -v
for staprun, but changed the off-by-one, and staprun and stapio are too
chatty for that.

This also now sets stapdyn verbosity the same way.

* buildrun.cxx (make_run_command): Give one less -v flag.
  (make_dyninst_run_command): Set stapdyn -v flags the same way.

Fixed PR14659 so that ptrace can be used on tasks probed with systemtap.

* runtime/stp_utrace.c (utrace_set_events): No longer set
  TIF_SYSCALL_TRACE on the target task.
  (utrace_reset): No longer clear TIF_SYSCALL_TRACE on the target task.
* testsuite/systemtap.base/ptrace.exp: New testcase.

BZ863832 add stap-server home directory to our rpm payload

dwalsh advises that doing so may make selinux more compliant with
our need for an unusually placed home directory for stap-server.

* systemtap.spec (-server %files): Add %dir /var/lib/stap-server.

PR14245: support /sys/kernel/debug mounted 0700

This is done by staprun passing a file descriptor for the
/sys/kernel/debug/systemtap/stap_MODULE directory from staprun
(running setuid) to stapio (running unprivileged, previously unable to
traverse to that path itself). This FD passing is done with a new
option -F<fd> for stapio (though by accident staprun also accepts (and
rejects) this option).

Since openat(2) is relatively recent, autoconf macros are used to back
down to graceful failure on older kernels, and to hide the new code.
New staprun always uses -F<fd> to stapio, even if permissions on
/sys/kernel/debug do not require it.

* staprun/common.c (relay_basedir_fd): New variable.
  (parse_args): Parse new -F: option.
  (usage): Document it.
* staprun/staprun.h: Corresponding changes.
* staprun/ctl.c (init_ctl_channel): Reorganize to try an incoming
  relay_basedir_fd first (with a faccessat cross-user check) first.
  Try to compute a relay_basedir_fd if not already set.
* staprun/mainloop.c (read_buffer_info): Note ignoring of this PR facility on
  RHEL4-era old_transport.
* staprun/relayfs.c (init_relayfs): Attempt to open relay_fd[] using
  relay_basedir_fd if specified.
* staprun/stapio.c: Top secret.
* staprun/staprun.c (main): Don't allow staprun itself to take -F, for it
  could be misused by a very bad person (tm).  However, arrange to pass
  it to stapio, if we have incidentally discovered a good relay_basedir_fd.
* staprun/staprun_funcs.c (mountfs): Drop access_debugfs() check at this
  point, as init_ctl_channel() will do the check later.

PR14245: have configury look for openat(2) syscall

... since it will be used for fd passing between staprun & stapio

staprun: arrange -v params commeasurate with stap -v

* buildrun.cxx (make_run_command): Instead of a meager zero-to-two
  -v's for staprun, add just as many as s.verbose currently indicates.

PR14555: tweak & simplify warning messages for _stext=0 message handling

PR14555: handle 0 _stext relocs from userspace by kallsyms_lookup_name fallback

* runtime/transport/symbols.c (_stp_do_relocation): For an incoming
  _stext=0 relocation (such as for /proc/sys/kernel/kptr_restrict = 2),
  fall back to kallsyms_lookup_name.

stap.1: note dyninst alternative to lkm in first paragraph

post-release version bump: 2.1 coming down the line

Add 2.0 release dates to NEWS and systemtap.spec

Make the tapcheck.sh look for all .stp files in the tapset directory

With the reorganization of the tapset directory there were some tapsets
multiple directories down.  tapcheck.sh was only checking the top level
of the tapset directory.  This meant that is was missing a many of the
tapsets that were in subdirectories.  This change makes the results more
accurate.

NEWS - prose tweak for %( systemtap_privilege ... entry

AUTHORS bump

Fix docs for %( systemtap_privilege tweak

change %( systemtap_privilege check to use stapdev/stapsys/stapusr names

PR14655: more politely fail if kallsyms_lookup_name unexported

* buildrun.cxx (compile_pass): Look for said export.
* runtime/sym.c: Provide a _stp_error()-laden backup.

PR14632: Some typos in documents

There were some articles duplicated in the SystemTap Beginners
Guide and typos the systemtap tutorial.

Rename session::is_usermode to runtime_usermode_p

Just appeasing the aesthetic sensibilities of a heckler...

PR14572: Set s.privilege = unprivileged for stapdyn

When running under Dyninst, we are effectively unprivileged by nature,
so setting s.privilege to reflect that helps restrict the available
probe types.

However, we still want to allow guru mode for setting target variables
and using embedded-C, so let systemtapr_:session::is_usermodea() pass.

* session.cxx (systemtap_session::parse_cmdline): For --runtime=dyninst,
  set the privilege level too.
  (systemtap_session::check_options): Allow -g for is_usermode().
* staptree.cxx (varuse_collecting_visitor::visit_embeddedcode): Allow
  embedded-C unrestricted for is_usermode().
  (varuse_collecting_visitor::visit_embedded_expr): Ditto.

Change NEWS to conform to added relnotes announcements.

PR14682: fix _stp_pmap_agg error exit path

commit 82523f19 changed the error-exit path of _stp_pmap_agg, but was
confused by the multiple (three!) levels of nested loops in effect at
the point of failure.  While the prior "return;" skipped an overall
(newly needed) aggregate-unlock; the current "break;" skipped too
little.  Switch to a proper simple goto to almost but not quite
return;.

testsuite: set -B CONFIG_DEBUG_INFO=y in testsuite rc to help debug crashes

spec: lament the need for a few other -m32 prereqs that are hard to name

stapdyn: Boost the comment ratio

There's no functional change here, just a lot of words...

stapdyn: Limit functions searches to the stap module

This is slightly more efficient because we already know which object we
expect to have the functions, so we don't need to search the whole app.

* stapdyn/stapdyn.cxx (call_inferior_function): Take the BPatch_object
  in which we're searching for functions as a parameter.
  (instrument_uprobe_target, instrument_uprobes): Ditto.
  (dynamic_library_callback): Pass the stap dso from global.
  (main): Save the stap dso into a global, and pass it as needed.

stapdyn: track dlopened objects for probes

* stapdyn/stapdyn.cxx (instrument_uprobe_target): New, factored out the
  code to write all the probes from one target to one object.
  (instrument_uprobes): Use instrument_uprobe_target for each.
  (dynamic_library_callback): New, identify if a new object is a target,
  and call instrument_uprobe_target if so.
  (find_uprobes): Fill the vector as a parameter, and then return a
  success status directly instead of floating the exception.
  (main): Register the dynamic_library_callback for dlopens.

AUTHORS bump

stapdyn: implement more of dyninst/context.stp

Added cpu(), registers_valid(), uaddr(), and addr().

stapdyn: move the dumb lock inside c->busy checks

stapdyn: Give better -c example in NEWS

... better in that it doesn't show Dyninst breaking exceptions.
https://lists.cs.wisc.edu/archive/dyninst-api/2012/msg00096.shtml

NEWS for stapdyn : kinda mention that -x is not yet actually supported for 2.0

Put the 'stapdyn_big_dumb_lock' back.

* runtime/dyninst/runtime.h: Put the 'stapdyn_big_dumb_lock' back until
  the print buffers are properly multithreaded.

(PR14637 partial fix) Improve stapdyn locking.

* runtime/dyninst/runtime.h: Remove the 'stapdyn_big_dumb_lock' and make
  preempt_disable() and preempt_enable_no_resched() do nothing for
  dyninst.
* runtime/dyninst/tls_data.c: Change the mutex in tls_data_container_t to
  a rwlock.
  (_stp_tls_free_per_thread_ptr): Write lock the container before remove
  the object from the list (and reduce the amount of time the container is
  locked).
  (_stp_tls_get_per_thread_ptr): Write lock the container before adding
  the object from the list (and reduce the amount of time the container is
  locked).
* runtime/map.c (_stp_pmap_agg): Be sure to unlock the map in error
  conditions.
* runtime/pmap-gen.c (KEYSYM(_stp_pmap_get)): Be sure to unlock the
  container in an error condition.

documentation: mention .maxactive(NNN) / -DKRETACTIVE=NNN for .return probes

tapset: tweak function::tokenize man page to refer to "" rather than NULL

PR14573 (partial): Pass some registers into stapdyn

There doesn't seem to be a way to create and pass the pt_regs structure
from the Dyninst API, but we can still get most registers.  This patch
adds a new enter_dyninst_uprobe_regs() to receive registers and fill
them into a pt_regs from there.

XXX Dyninst is currently limited in how many individual function
arguments it can pass, so for now I'm cutting it down to the first 8.

* runtime/dyninst/stapdyn.h: Declare enter_dyninst_uprobe_regs.
* runtime/dyninst/uprobes.c: Implement it, filling all dwarf registers
  into a local struct pt_regs.
* runtime/dyninst/regs.c: Include regs.h to get SET_REG_IP.
* stapdyn/stapdyn.cxx (get_dwarf_registers): Create BPatch_snippets for
  as many of the DWARF registers as possible (bug-limited to 8).
  (instrument_uprobes): Look for the new entry function and use it.

stapdyn: Add a copy of the kernel's clamp_t

This is used in a number of places for bounds checking.

stapdyn: #define simple_strtol strtol

... needed for tapset/string.stp:strtol()

PR14179: Split up loc2c-runtime.h for linux|dyninst

* runtime/loc2c-runtime.h: Remove deref functions and special register
  handling from this shared base, and rename k_dwarf_register_N to
  pt_dwarf_register_N to be more neutral.
* runtime/linux/loc2c-runtime.h: Move the deref functions and special
  register handling here.  Nothing new, just transplanted.
* runtime/dyninst/loc2c-runtime.h: Add deref and register functions.
* runtime/dyninst/copy.c (__copy_from_user, __copy_to_user): Move from
  linux_def.h, since these are custom implementations, not kernel copies.
  (_stp_strncpy_from_user, _stp_copy_from_user): New implementations.

Use uread() in __STP_GET_USER

With uread, splitting 64-bit is already handled for ix86/arm, so we
don't have to repeat that code in user_int64().

NEWS entry for PR11659 (being definitely noteworthy for 2.0)

For the other plausible 2.0 news entries, going to wait a bit
for confirmation of noteworthiness.

Mark some tests as KFAIL.

Correct the expected output of some tests.

Report details of child exits due to signals

Our stap_waitpid reports signals as 128+n (like most shells).  We can
use that to recover the signal number and print strsignal too.

* util.cxx (stap_system): Split the exit notice for signals.
* remote.cxx (direct::finish): Ditto.

stapdyn: nullify the pagefault machinations for derefs

We don't need to care about pagefault safety in userspace, but the
definitions making those into preempt_disable led to recursing on
stapdyn_big_dumb_lock (going away in PR14571).  We can just #define
the pagefault_enable/disable away for the dyninst runtime.

license: change smileytap.svg's embedded license to GPLv2 + EPL1.0

(This file is not actually packaged in systemtap RPMs.)

PR13814: Note the relevant kernel commits, and allow >=3.4

cleanup -- proper version check for daddr_to_string() deprecation

PR6580: properly-properly non-deprecate print_stack() et al.

After consultation, the previous patch is probably a bit hasty.

PR6580: properly deprecate print_stack() et al

PR13814: presume PR13193-override for kernel >3.4

https://lkml.org/lkml/2012/3/5/124 fixed a kprobes bug, so we don't
have to pessimize kprobes on kernels that include that patch.

* staprun/staprun.c (disable_kprobes_optimization):
  Don't, on uname -r > 3.4.

(PR14571 partial fix) Add dyninst pmap stat fixes.

* runtime/pmap-gen.c (KEYSYM(_stp_pmap_tls_object_init)): Initialize the
  histogram parameters, in case this pmap contains a histogram.
  (KEYSYM(_stp_pmap_new)): For dyninst, override the tls data object init
  function.

NEWS entry for %( systemtap_privilege %? ...

PR13693 groundwork: basic testcase for %( systemtap_privilege

Bug 860750 - stapusr user not able to run modules compiled and signed by the server

- When #ifndef HAVE_ELF_GETSHDRSTRNDX is true, then there is insufficient
  ELF support to examine a signed systemtap module in order to determine the
  privilege credentials required to run it. In this case, staprun should behave
  like an older, multi-privilege-level-unaware, staprun and load the module for
  stapusr and above. Since we know that it has been correctly signed, the module
  is either an old dual-privilege module compiled fopr stapusr (ok), or it is
  a new multi-privilege-enabled module compiled for stapusr or stapsys. In this
  case, the module's internal self check will determine whether the user actually has
  the required credentials. The module will abort if the user does not have the
  required credentials.

- Small bug in translating the user's privilege credential mask to a string.

Ensure that all err() messages end in a newline.

stapdyn: Make sure dyninst probes have a pt_regs

loc2c-generated code assumes pt_regs are available, so use a dummy
struct to make sure we always have *something* for it to dereference.