initscript: copy uprobes.ko to cache directory

If the uprobes.ko module was built then it will be needed at staprun
time.  Copy the module into the cache directory alongside compiled
scripts.

stap: add --save-uprobes

The stap -m <name> option saves the script module.  For scripts that
rely on uprobes it may also be necessary to get the uprobes module (if
it was built by stap).

The new stap --save-uprobes option saves uprobes/uprobes.ko into the
current directory.

fix issues related to -E scripts

Fix stap exiting successfully in listing mode even when no probes were
found in the primary script. E.g. the following should return nonzero:

stap -l junk -E 'probe timer.s(1) { next }'

Similarly, fix stap running with no issues even when no probes are
present in the primary script. E.g. the following should error out:

stap -e 'global x' -E 'probe timer.s(1) { next }'

enospc.stp: rename warn() function to avoid conflict

Otherwise, we get a conflict with the warn() located in logging.stp.

listing_mode_sanity.exp: clarify FAIL messages

Use different FAIL messages to know which one failed.

update AUTHORS list

client_args.exp: avoid propagating PR17301

PR12333: testsuite hashbang "#!stap" -> "#! stap" fix

The former confuses the test driver dejagnu code.

Add a NEWS blurb about the autocast type propagation

Use is_valid_pid in more places

Several places were duplicating the "kill(pid,0); switch(errno)...", and
can all be replaced by is_valid_pid calls.

PR16603 followup: unbreak on rhel4

jistone noted that the smp_call_function_single() function call
introduced in commit 590a9ae1acc47 didn't exist on 2.6.9-era kernels.
We de-optimize to plain smp_call_function() on such dinosaurs.

stap-report: generate fewer incidental errors on unusual platforms

man/stap.1: add portion on array slicing

NEWS: added a piece about array slicing (PR12333)

testsuite: Reduce global timeout to 15 minutes

Very old kernels used jiffies for timer.s, and limit that to 1000000ms
to avoid overflows.  The testsuite rc's timer.s(3100) exceeded that.

A 15 minute timeout, timer.s(900), fits the limit and should suffice.

fix process_by_pid.exp failing to hit all probes point

process_by_pid.stp: more information is printed if the test case fails
process_by_pid.c: add sleep() so it has a plt that can be reached easily

tapsets.cxx: throw error for invalid PID, not valid PID

Merge branch 'ajakop/12333'

PR12333: added another pmaps membership test case

PR12333: cleanup and membership test with pmaps

PR12333: Aggregate pmaps for sliced array_in

Since sliced array_in iterates over the aggregate for pmaps, it needs to
actually build that aggregate first, unless we're already in foreach.

PR12333: Use 1/0 conditions instead of true/false in C

The kernel happens to declare true/false values for C to use, at least
since commit 6e21828743247 (in 2.6.19), but stapdyn's normal C runtime
doesn't have that.  Use boring old 1/0 instead.

Drop passing the last parameter to determin_java_type

*java/HelperSDT.c - drop passing the lsat parameter to determin_java_type
    and simply return the casted value instead of assigning
    and then returning

Fix ppc64 value issue by changing how java vars are passed from jni

Instead of using a _staparg struct, we now just use a int64_t var
and cast to that, instead of making assumptions on how the struct is
packed.

*java/HelperSDT.c - use int64_t as the arg type instead of _staparg union

PR12333: updated and added tests, and removed comment

PR12333: added minor tests, updated main test case

PR12333: deleting pmap specified by array slice

runtime/map.c: have iterdel() use pre-existing functions
translate.cxx: generate code to delete elements from a pmap, based on
an array slice given. rename next() that called iterdel to del_next()
staptree.cxx: cleanup of an unnecessary condition

Add helper that can handle wildcards within arrayindexes

Fix runtime-java triggers for ppc64le

Signed-off-by: Lukas Berk <lberk@redhat.com>

store given pid for process probe for use by task_finder

session.cxx: replace readlink(), which did the pid validation,
with is_valid_pid()
tapsets.cxx: if given, within dwarf_builder::build store the pid
for use by uprobe_derived_probe so that task_finder associates
the probe with the pid
util.*: new function that checks if the given pid is valid. if
not, it generates an error message that can be used.

translate.cxx: declaring tmpvars for array slices

PR12333: store wildcards in array slices as NULL

parse.cxx: set the index for array slices as NULL if it's a wildcard
elaborate.cxx: account for NULL indexes. added error message in
symresolution_info::visit_arrayindex if it encounters a NULL index,
since all expressions that support wildcards dealt with separately
staptree.cxx: when printing out foreach, delete and array_in, replace
NULL indexes with "*"
translate.cxx: account for NULL indexes. don't generate a tmpvar
for a wildcard array index

PR12333: use parent for symresolution in delete array index

optim_arridx.exp: avoid propagating PR17301

alias_tapset.exp: avoid unwanted interference with the "timeout feature" (commit d13c9b7)

PR12333: test file for array slicing

PR12333" array slicing for membership test

parse.cxx: accept wildcards in the arrayindex for array_in
elaborate.cxx: new function symresolution_info::visit_array_in
that skips processing wildcards that are present in the arrayindex
translate.cxx: generate code to iterate over the array until a
match is found or until the end of the array

PR12333: don't store array slice indexes as lrvalues

PR12333: treat array slice indexes as rvalues

PR12333: array slicing for delete statements

parse.cxx: accept wildcards (*) within array indexes
elaborate.cxx: skip processing wildcards in array indexes for delete
staptree.cxx: for the varuse_collecting_visitor, don't throw an error
about no referent if the symbol is a wildcard
translate.cxx: generate code for deleting variables if the indexes match
the array slice given. Also generate code to initialize tmpvars used to
store indexes in the array slice.
runtime/map.c: new function _stp_map_iterdel that deletes the node given,
and returns the next node in the map.

runtime: improve robustness of shutdown phase via flush_scheduled_work()

It has been observed that schedule_work() artifacts have the potential
to overstay their welcome during shutdown, triggering some time after
their operand data structures have been deallocated.  This has shown
up most recently on 3.17-rc0 during the on-the-fly stress-testing, but
also can be observed with plain pseudo-utrace callbacks.  We now add a
flush_scheduled_work() into our cargo-cult stp_synchronize_sched(),
which we now call during the on-the-fly shutdown phase too.

translator: in -u (unoptimized) mode, don't merge identical probe handler bodies

Normal optimized mode can make it difficult to see which stap probe
was being invoked for which C probe handler body, as identical probe
handlers are reused.  This is inconvenient if one just has a kernel
crash backtrace to start from from.

* translate.cxx (emit_common_header, emit_probe): In -u mode,
  eschew duplicate probe handler body elision.

PR12333: printscript() prints array slice in foreach loops

PR12333: evaluating the indexes before the loop body

translate.cxx: evaluate the expressions that make up the array slice
index for foreach loops. updated c_tmpcounter::visit_foreach_loop to
account for the additional tmpvars used to store array slice indexes

Fix PR17275 by fixing testcase problems on s390x.

* testsuite/buildok/memory-all-probes.stp: Tweak test to avoid overly
  broad wildcards, which can cause the test to fail on systems without
  uprobes (like s390x).
* testsuite/buildok/tcp-all-probes.stp: Ditto.

PR16716 partial fix: Fix types in 'syscall.{mmap[2],[p]poll}'.

* tapset/linux/syscalls.stp (syscall.mmap2): Fixed type.
* tapset/linux/nd_syscalls.stp (nd_syscall.mmap2): Ditto.
* tapset/linux/syscalls2.stp: Fixed types in syscall.poll, syscall.ppoll,
  and syscall.compat_ppoll.
* tapset/linux/nd_syscalls2.stp: Ditto.
* tapset/linux/aux_syscalls.stp (_mremap_flags): Updated and improved.
  (get_mmap_args): Fixed type.
* tapset/linux/i386/syscalls.stp: Fixed types in syscall.mmap2.
* tapset/linux/i386/nd_syscalls.stp: Ditto.

* tapset/linux/ia64/syscalls.stp: Fixed types in syscall.mmap and
  syscall.mmap2.
* tapset/linux/ia64/nd_syscalls.stp: Ditto.
* tapset/linux/powerpc/syscalls.stp: Ditto.
* tapset/linux/powerpc/nd_syscalls.stp: Ditto.
* tapset/linux/x86_64/syscalls.stp: Ditto.
* tapset/linux/x86_64/nd_syscalls.stp: Ditto.
* tapset/linux/s390/syscalls.stp: Ditto.
* tapset/linux/s390/nd_syscalls.stp (get_32mmap_args): Updated and fixed
  types.
* testsuite/buildok/syscalls2-detailed.stp: Made syscall.uselib tests
  optional, since rawhide kernels have dropped the syscall.
* testsuite/buildok/nd_syscalls2-detailed.stp: Ditto.
* testsuite/systemtap.syscall/mmap.c: Added more tests.
* testsuite/systemtap.syscall/poll.c: Ditto.
* testsuite/systemtap.syscall/recv.c: Ignore error code.

stap_run.exp: avoid propagating PR17274

hrtimer/kprobes_onthefly.exp: use process.function only if supported

We should test for uprobes support before testing with the
process("echo").function probe.

Improve on-the-fly initialization code.

* translate.cxx (c_unparser::emit_probe_condition_initialize): Only output
  'cond_enabled' field initialization if the probe isn't always enabled.
  (translate_pass): Always initialize 'cond_enabled' to 1. This can get
  overridden by the output of
  c_unparser::emit_probe_condition_initialize().

PR17242 extra: Remove _stp_register_regs() from x86_gs test

PR17242 extra: Change dangling _stp_register_regs() function to init probes.

* tapset/i386/registers.stp: Convert the _stp_register_regs() function to
  an init probe.
* tapset/powerpc/registers.stp: Ditto.

Add perf.return functionality to ltrace.stp.

* ltrace.stp (filter_p, arg, report, begin, end):  New
(process.plt, process.plt.return): Handle return value.
(end): Display summary statistics.

* perf.sh (poly): Add guard for negative and too large values.

runtime: plea with the gods for a lockless stp_print_flush

PR17260: Use get_context to guard stp_print_flush's lock

Holding a context ensures that any probes triggered in the interim will
be considered reentrant and skipped, since such a nested probe might
have recursed on that spinlock.  We faced a similar situation before
with _stp_ctl_send and all the locks it touches.

Reverts "PR17260: make stp_print_flush use spin_trylock instead of
spin_lock", commit 80c97a2fab46b9d6213d93d63e18d6fd2cbd88f1.

translator: fix function-call actioncount optimization regression

commit #765e6976 accidentally emitted actioncount-tracking code in the
wrong place in the function-call sequence.

* translate.cxx (visit_functioncall): Move it up a wee little bit.

PR17260: make stp_print_flush use spin_trylock instead of spin_lock

This risks "WARNING: NNNN transport failures..." messages at stap
shutdown, but appears to work around this particular reentrancy
problem.

testsuite: switch from kernel.function("copy_flags") -> "copy_signal"

The former was retired in kernel commit #514ddb446c; the latter
exists as far back as RHEL4.

PR10995: stapprobes.3stap: armability corrections from jlebon

PR10995: extend man pages re. arming/disarming

statement.nearest probes followup: some docs, samples, tweakage

* NEWS: Mention it.
* man/stapprobes.3stap: Document it.
* testsuite/systemtap.examples/*: Use it.
* testsuite/systemtap.*/: Baby test it.
* dwflpp.cxx: Drop debugging statement and make a speech.

dwflpp: register statement.nearest suffix

If a line number is given in 'statement', line records in dwarf may not
be found for a given line number.
In this case, alternative line numbers were suggested and exited.

With statement.nearest suffix, a kprobe is inserted into the nearest
line number that is available in dwarf line record.

 * dwflpp.cxx(dwflpp.cxx::insert_alternative_linenos): Add a new method,
       Add an arg "has_nearest" in dwflpp::iterate_over_srcfile_lines
 * dwflpp.h(dwflpp.cxx::insert_alternative_linenos): Ditto.
 * tapsets.cxx: Add a new suffix statement.nearest

Signed-off-by: Honggyu Kim <hong.gyu.kim@lge.com>

Merge branch 'jlebon/onthefly' (PR10995)

This branch adds support for on-the-fly probes as described in PR10995.
It also includes various minor fixes as well as a new file
runtime/linux/kprobes.c which hosts kprobes-related code (rather than
being dynamically emitted from tapsets.cxx).

NEWS: add blurb for on-the-fly

pr13306.exp: adapt to new timing report

on-the-fly: don't use background timer if hrtimers missing

On older systems (< 2.6.17), hrtimers are not supported. Guard code
related to the background timer with this check so that we can at least
still compile code on these older platforms.

on-the-fly: only start background timer if needed

Rather than always starting the background timer, only start it when it
is needed. That is, start the background timer when a probe which has an
effect on the conditions of probes which support on-the-fly operations
isn't a safe context for calling schedule_work() (determined by
otf_safe_context()).

make schedule_work() call depend on otf_safe_context()

Now that each probe group directly describes whether their context is
safe for workqueue manipulations, we can directly emit in the probe
epilogue a call to schedule_work() if the probe is safe, rather than
doing it on a case-by-case basis.

on-the-fly: make support a property of group rather than probe

Support for on-the-fly operations is more a property of the
derived_probe_group (which does the actual emitting), rather than
derived_probe.

For example, not because a dwarf_derived_probe supports on-the-fly
operations does it mean that a uprobe_derived_probe (which inherits from
dwarf_derived_probe) does. Similarly, a uprobe_derived_probe's support
for on-the-fly operations depends on the actual code emitted by the
group, which will emit different things depending on whether we're using
utrace or inode-uprobes for example.

To do this, we introduce a 'group' attribute which remembers to which
group a derived_probe has been added. This is then used during
translation time to check if the probe group supports on-the-fly
operations.

This patch also introduces otf_safe_context(), which determines whether
the context of the probe type is safe enough for direct workqueue
manipulations. This then allows us to only use the background timer if
the probe doing the toggling does not support workqueue manipulations.

implement STP_ON_THE_FLY_INTERVAL

split linux/timer.c into .c and .h

For the background timer, it is useful to have some of the definitions
currently sitting in linux/timer.c. Split it into a header file and
include the header.

on-the-fly: use a background timer to schedule work

Calling schedule_work() is not always safe from some contexts (e.g. when
tracing/probing the internals of workqueues themselves).

We remove the code which previously called schedule_work() in the common
epilogue of all probe types. We will need to vet on a case-by-case basis
which probe types are safe.

Meanwhile, we implement a background timer which simply checks if
schedule_work() needs to be called.

affection.exp: also check probe globals locking

In light of the locking issue mentioned in the previous commit, this
commit now updates affection.exp so that locking is also checked to
ensure probes lock the right vars for the right access.

on-the-fly: read-lock visited globals

If we have the following situation

   probe X if (a || b) {...}
   probe Y {a = ...}
   probe Z {b = ...}

then we will have Y write-locking a and Z write-locking b, but because
these variables affect X's condition, the cond_enabled of X will be
re-evaluated in the out: path of both Y and Z. This means that it could
happen that Y tries to read b at the same time as Z updates it, and
vice-versa.

This patch ensures that Y and Z also read-lock b and a, respectively. It
does this by making the varuse collector also visit the conditions of
probes who we can affect.

on-the-fly: use atomic_t for need_module_refresh

The need_module_refresh global can get written to in two different
locations at the same time. To avoid getting a messed up value, use
atomic_t operations.

Concurrency-wise, in the worse case, we get work scheduled twice rather
than once only.

uprobes_onthefly.exp: new testcase

kprobes_onthefly.exp: new testcase

hrtimer_onthefly.exp: new testcase

onthefly_common.tcl: new file for on-the-fly testing

This Tcl file contains a library of common procs for on-the-fly testing.
Other testcases will source it.

affection.exp: new testcase

kprobes.c: add DEBUG_KPROBES to monitor kprobe [un]registration

This re-implements the functionality added by the the initially reverted
commit 9108b75 (revert commit fd777b5).

kprobes.c: link stap_dwarf_probe to stap_dwarf_kprobe

Prior to PR5673, the stap_dwarf_kprobe struct was embedded in the
stap_dwarf_probe struct. It was then moved out due to issues mentioned
in PR5673.

In this patch we simply add back a pointer member in stap_dwarf_probe to
its own stap_dwarf_kprobe so that they may never be mistakenly shared.
This also greatly simplifies many of the function signatures which
previously took in the stap_dwarf_probe and the stap_dwarf_kprobe as
separate parameters.

kprobes.c: memset also after batch unregistration

We should not only clear the kprobe struct after a single
unregistration, but also when batch unregistration is used. (Even though
batch unregistration is normally only done when exiting, but better safe
than sorry!).

kprobes.c: add misses before resetting struct

If we memset before, then all the missed counts will be reset as well.

kprobes.c: remove enabled_p from stap_dwarf_probe

Using the kernel function kprobe_disabled(), we can directly query
whether a kprobe is enabled or not. This makes the enabled_p field
redundant. We replace its use with a stapkp_enabled() function which
simply call kprobe_disabled().

runtime: remove STP_ON_THE_FLY

This patch removes the use of the STP_ON_THE_FLY macro so that
on-the-fly related code is always emitted/executed. When no probes use
conditions, the overhead is quite small: the cond_enabled field of each
stap_probe is set to 1 at start-up.

In general, blocks that were previously incompatible with dyninst and
were behind an STP_ON_THE_FLY guard are now emitted only if !usermode.

The tests were adjusted to not test STP_ON_THE_FLY_DISABLED, which no
longer exists.

on-the-fly: handle non-0/1 probe condition expressions

It is necessary to evaluate a given if(FOO) expression with a !!
prefix in order to turn it into a 0/1 boolean for probe.cond_enabled
matching purposes.  With that done, a 1-bit field for cond_enabled is
sufficient.

kprobes.c: check for kernel version

Support for kprobes enabling/disabling was added in v2.6.30 (kernel
commit de5bd88d). Guard arming related code with this check as well.

bla

kprobes.c: register as disabled instead of post disabling

The register_kprobe() function supports settings the kprobe struct
flags member to KPROBE_FLAG_DISABLED to indicate that we want it
registered but disabled (see also Documentation/kprobes.txt).

This patch takes advantage of this by setting the flags member
accordingly during registration, rather than calling disable_kprobe()
after a successful registration.

PR16861: reset kprobe struct and improve refresh

We need to ensure that the stap_dwarf_kprobe struct is completely
zero'ed out after each unregistration so as not to affect future
registrations which will use the same struct.

We also modify the signature of systemtap_module_refresh so that the
name of the module is passed. This allows us to only update the kprobes
related to that module, rather than checking all of them.

Finally, we also set the priority of the module notifier to 0 to
indicate we don't care in which order we are called (i.e. it shouldn't
matter whether we're called before or after the kprobes callback).

kprobes.c: split stapkp_refresh_probe()

We break down stapkp_refresh_probe() into stapkp_enable_probe() and
stapkp_disable_probe(). We also introduce predicate functions
stapkp_should_enable_probe() and stapkp_should_disable_probe() to
improve clarity.

kprobes.c: refactor stapkp_register_probe()

Here, we split the general stapkp_register_probe into a kprobe and
kretprobe variant, and then further split the work into preparing the
kprobe for registration and actually registering it.

kprobes.c: factor out stapkp_refresh_probe()

We take out everything from stapkp_refresh() related to actual
enable/disable and move it to stapkp_refresh_probe().

kprobes.c: factor out stapkp_unregister_probes()

In this commit, we do a few things:
1. We separate the kprobe nmissed accounting from actual unregistration.
   The stapkp_add_missed() function now solely takes care of this.
2. We abstract away support for bulk unregistration behind one main
   stapkp_unregister_probes() function. This function uses the bulk
   method if supported, falling back on manual one-by-one unregistration
   if not.

kprobes.c: factor out stapkp_unregister_probe()

Factor out the unregistration part of the code in stapkp_refresh() into
the new function stapkp_unregister_probe().

kprobes.c: factor out stapkp_register_probe() [2/2]

This commit and the previous were split in two to make the diff more
legible.

In this commit, we actually replace the code we factored out in
stapkp_init() and stapkp_refresh() by a simple call to
stapkp_register_probe().

kprobes.c: factor out stapkp_register_probe() [1/2]

This commit and the next were split in two to make the diff more
legible.

In this commit, we add a stapkp_register_probe() function which is
directly taken from stapkp_init() (also found in stapkp_refresh()).

kprobes.c: add stapkp_exit()

We move off everything from emit_module_exit() and into a new
stapkp_exit() function.

kprobes.c: add stapkp_refresh()

We move off everything from emit_module_refresh() and into a new
stapkp_refresh() function.

kprobes.c: add stapkp_init()

We move off everything from emit_module_init() and into a new
stapkp_init() function.

kprobes.c: new file for dwarf kprobes handling

This is the first in a series of patches to move off as much of the
static code previously emitted by dwarf_derived_probe_group into a new
runtime/linux/kprobes.c file. This should greatly help legibility and
maintainability. No refactoring will be performed until everything has
been moved over.

In this first patch, we simply move off as much as possible from
emit_module_decls() into kprobes.c.

The one tricky bit is whether the 'module' and 'section' members of the
stap_dwarf_probe struct is a char* or a char[]. This is determined
dynamically, but we use macros to allow us to still declare the struct
in kprobes.c.