PR15059: suppress visible session::print_error if in listing mode

Fix library.exp so it will pass on systems with uretprobes.

* testsuite/systemtap.base/library.exp: Fix a couple of issues. Fix
  a regular expression to match the new warning string for no
  debuginfo. Don't depend on glibc debuginfo being installed in the
  '.exported' test.

README: note some build/smoke-test blurbage for dyninst

dyninst: disable --runtime=dyninst option if !HAVE_DYNINST

PR14574 partial fix: Add/improve dyninst testcase support.

* testsuite/systemtap.base/global_stat.exp: Added dyninst support.
* testsuite/systemtap.base/global_var.exp: Ditto.
* testsuite/systemtap.base/global_vars.exp: Ditto.
* testsuite/systemtap.base/cast-scope.exp: Move dyninst kfail setup to its
  own function.
* testsuite/systemtap.base/cxxclass.exp: Ditto.
* testsuite/systemtap.base/externalvar.exp: Ditto.

BZ902739: make dtrace emit slightly cleaner C code

When generating stub .c files, make sure that the dummy __dtrace() function is
fully "-Wall -Wextra -pedantic" - clean by adding some decorations.

PR14574 partial fix: Add dyninst support to more tests.

* testsuite/systemtap.base/foreach_aggrsort.exp: Added dyninst support.
* testsuite/systemtap.base/foreach_value.exp: Ditto.
* testsuite/systemtap.base/global_end.exp: Ditto.
* testsuite/systemtap.base/global_init.exp: Ditto.
* testsuite/systemtap.base/global_opt.exp: Ditto.

PR14574 partial fix: Add dyninst support to 2 more tests.

* testsuite/systemtap.base/error_fn.exp: Add dyninst support.
* testsuite/systemtap.base/externalvar.exp: Ditto.

Fix merge error in commit 03399f7.

Make sure that some need tex requires are installed for documentation builds

On F18 tex splits the tex packages a bit differently.  Need to
additional requires to make sure that the documentation can be build
on F18.

PR14708 partial fix: Get 'process.end' probes (sort of) working.

* stapdyn/mutator.cxx (mutator::exit_callback): Instead of calling letting
  the mutatee handle the exit callback, handle it in the mutator. This
  means the probe's context is wrong, but it does get called.
* stapdyn/mutator.h: Add 'utrace_enter_fn' variable.
* stapdyn/mutatee.cxx (mutatee::find_attached_probes): New function.
* stapdyn/mutatee.h: Add mutatee::find_attached_probes() function
  declaration.
* testsuite/systemtap.base/utrace_p5.exp: Add more tests.

AUTHORS bump

mutex-contention sample: add meta file, regenerate indexes

mutex-contention sample: tweak shlib process wildcards

... to avoid catching ditties like /lib/libcups.so* by accident

new sample script: process/mutex-contention.stp

Based upon <http://port389.org/wiki/Using_SystemTap>.

stap-report: add more information

stap-report: defeat stap caches for reporting purposes

Update systemtap.apps testsuite.

* tapsets.cxx (sdt_uprobe_var_expanding_visitor): Add bpl and spl registers.
* mysql.exp (stap-mysql.sh): Adjust known comparison values.
* python.exp (stap-python.sh):  Put srcdir in canonical form.
* stap-tcl.sh: Rename tcl tar source file.
* xulrunner.exp (stap-xul.sh):  Add package dependency checking.

PR14706: Always register the stapdyn fork callback

We need to watch forks regardless of whether we have process.being
probes, because there may still be other types of probes that should be
triggered in child processes.

PR14706: Follow forks in stapdyn and enable process.begin

* stapdyn/mutatee.cxx (mutatee::call_utrace_dynprobe): Newly abstracted
  function to call utrace handlers from various contexts.
  (mutatee::begin_callback): New, runs process.begin callbacks.
  (mutatee::exit_callback): Use call_utrace_dynprobe.
  (mutatee::thread_callback): Use call_utrace_dynprobe.
  (mutatee::copy_forked_instrumentation): New, set all the member
  variables for a newly-forked process.
* stapdyn/mutator.cxx (mutator::run): Trigger process.begin in target.
  (mutator::post_fork_callback): Create an attached mutatee for the
  fork, copy the instrumentation status, and trigger process.begin.

stapdyn: Unify the mutator search for mutatees

PR14574 partial fix: Add dyninst support to several tests.

* testsuite/lib/stap_run.exp (stap_run): Only append the arguments to the
  test name if there are arguments.
* testsuite/systemtap.base/be_order.exp: Add dyninst support.
* testsuite/systemtap.base/const_value.exp: Ditto.
* testsuite/systemtap.base/control_limits.exp: Ditto.
* testsuite/systemtap.base/cu-decl.exp: Ditto.
* testsuite/systemtap.base/cxxclass.exp: Ditto.
* testsuite/systemtap.base/div0.exp: Ditto.

PR14574 (partial): Improve dyninst ctime.stp tapset and test it.

* testsuite/systemtap.base/ctime.exp: Add dyninst support.
* tapset/dyninst/ctime.stp: When an error occurs, return "<invalid time>"
  instead of the empty string.

PR15031 fix: Add _stp_print_binary() function to dyninst runtime.

* runtime/dyninst/print.c (_stp_print_binary): Copied over from
  runtime/linux/print.c.

more NEWS typofix

PR14574 partial fix: Add dyninst support to cast-scope.exp.

* testsuite/systemtap.base/cast-scope.exp: Add dyninst support.
* testsuite/lib/compile_flags.exp (all_compile_flag_native_p): New function.

NEWS typofix

PR14706: Use shared memory between stapdyn and the target

Probes that are not process-specific (begin/end/timers) are now always
handled within stapdyn itself, while the rest (uprobes/utrace) continue
to run in the target process.  The shared memory for globals and such is
allocated and initialized in stapdyn, then just mapped by the target.

This paves the way for allowing multiple target process, especially
following fork/exec, as we're no longer tied to a single address space.

* stapdyn/mutator.cxx (mutator::run_module_init): Manually initialize
  shm and save the generated name.  Run the session init locally, and
  then map the shm in the target process too.  For compat modules that
  don't have shm functions, keep running session init in the target.
  (mutator::run_module_exit): Always run the session exit directly for
  shm-enabled modules, but still run it in-target for compat modules.
* stapdyn/mutatee.cxx (mutatee::call_function): Add a variant of this
  function that takes an argument list.
* runtime/dyninst/runtime.h (stp_dyninst_ctor): Initialize the runtime
  contexts and print system here so it happens for all processes, rather
  than only once globally in session init.  Also save the rc here to be
  reported properly by the init call.
* runtime/dyninst/print.c: Add defensive checks for initialization.
* runtime/dyninst/shm.c (_stp_shm_connect): Fix the debug message.
* runtime/common_probe_context.h: Add a probe_index to the context
  structure, because we can't directly access e.g. probe_point pointers
  that other processes have set.  With an index, we can get the same
  info from stap_probes[].
* tapsets.cxx (common_probe_entryfn_prologue): Set probe_index.
* translate.cxx (translate_pass): Provide a simple access function for
  the probe_point to ease include order, so places that need it don't
  have to come after stap_probe is declared. (Even its type is dynamic.)
* runtime/dyninst/runtime_context.h (_stp_runtime_context_wait): Use the
  index to indirectly get the stuck probe point, since c->probe_point is
  not necessarily in our address space.

Add dyninst support to more testcases.

* testsuite/lib/stap_run.exp: Append extra arguments to the test name (so
  we can tell the difference between tests with different runtimes.
* testsuite/systemtap.base/add.exp: Add dyninst support.
* testsuite/systemtap.base/alias-condition.exp: Ditto.
* testsuite/systemtap.base/alias_suffixes.exp: Ditto.
* testsuite/systemtap.base/arith.exp: Ditto.
* testsuite/systemtap.base/arith.stp: Ditto.
* testsuite/systemtap.base/arith_limits.exp: Ditto.
* testsuite/systemtap.base/array_size.exp: Ditto.
* testsuite/systemtap.base/array_string.exp: Ditto.
* testsuite/systemtap.base/at_var_mark.exp: Ditto.
* testsuite/systemtap.base/beginenderror.exp: Ditto.
* testsuite/systemtap.base/bench.exp: Ditto.

Improve testsuite by providing a global 5 second wait function.

* testsuite/systemtap.clone/main_quiesce.exp (wait_5_secs): Move function
  to stap_run.exp so other tests can use it.
* testsuite/lib/stap_run.exp: Moved 'wait_5_secs' function here.
* testsuite/systemtap.base/utrace_p5.exp: Remove 'wait_5_sec' function and
  use global 'wait_5_secs' instead.
* testsuite/systemtap.base/at_var_mark.exp: Use 'wait_5_secs' function to
  give test program a chance to run a bit.
* testsuite/systemtap.clone/probe_by_pid.exp (sleep_5_secs): Removed
  unused function.

Make pthreadprobes.exp more flexible to cut down on spurious failures.

* testsuite/systemtap.exelib/pthreadprobes.exp: Be much more flexible in
  what is valid output.

examples: regenerate indexes; fix keywords in stapgames meta files

runtime: use stp_module ->path instead of abbreviated ->name in messages

One problem is that ->name is ambiguous, e.g. if probe wildcards
expand to different path files, but with the same basename.  That
makes e.g. relocation or unwind dbug/diagnostic messages unclear.
So we switch over to using m->path as much as possible.

threadstack test case: clean up .x file after test

threadstacks sample: ignore incoming $attr param for allocate_stack()

... which is sometimes unavailable at run time, and irrelevant anyway

new sample: pthread default-stack-size override

Plus a test case to drive it for a little spin.

Make "with_systemd" macro conditional based on fedora version

*systemtap.spec - "with_systemd" is based on fedora version

add an autoload to systemtap-mode.el

This adds another autoload to systemtap-mode.el, to bring it roughly
(the regexps differ unimportantly) into sync with systemtap-init.el.

Note that if you are a package.el user, you can install
systemtap-mode.el directly and you don't need systemtap-init.el at all.

Tom

AUTHORS bump

PR1887: NEWS brag

PR1887: systemtap.spec: install vim files

PR1887: tweak vim modes to use ftplugin-based auto-detect, use stp filetype

systemtap-mode.el: use pre-emacs-24 fundamental-mode, not prog-mode

PR1887: systemtap.spec to install emacs mode files

PR1887: emacs mode updates

PR1887: emacs editor mode

PR14708 partial fix: Add more testcases and a couple of small fixes.

* tapset-utrace.cxx (utrace_builder::build): Throw an error if the user
  tries process.syscall probes with the dyninst runtime.
  (utrace_derived_probe_group::emit_module_dyninst_decls): Correct the
  probe type.
* testsuite/systemtap.base/utrace_p5.exp: Add dyninst testcases for thread
  begin and end.
* testsuite/systemtap.base/utrace_p5_multi.c (main): Remove debug printfs.

Remove extraneous 's' from utrace_p4.exp

On machine that do not support utrace the extraneous 's' would cause
this test crash and the testsuite to abort.  Removed this "undesirable
character."

tapsets: make cross-references between kernel- and userspace backtrace functions

Correct stap-server.service reload keyword

*stap-server.service - Fixed as ExecReload

PR12894: Fix file placements and add systemd-tmpfiles invocation

*Systemtap.spec - add systemd-tmpfiles --create invocation
- rearange mkdir -p segment
- make stap-server.* files part of server, not
  initscript

Makefile: prevent 'make rpm' from being invoked as root

... since that is unnecessary and dangerous

systemtap.spec: fix with_systemd case /var/run/systemtap mkdir

PR12894: Add systemtap.spec portions for systemd target

*Systemtap.spec: added macro conditional defaulting to zero
and conditionals that install the required files depending
on the with_systemd macro.

Preliminary regen of po; will run again before release.

Misc copyright year bumps for the docs.

PR14708 partial fix: Add dyninst support to the utrace_p4.exp testcase.

* testsuite/systemtap.base/utrace_p4.exp: Add dyninst support.

examples: tweak deviceseeks.stp

Switch to using the ioblock_trace.request probe point (based on a
kernel tracepoint), which is more reliable than the
kprobe-on-inlined-function ioblock.request one, and makes more
information avilable.  (Unfortunately, this makes the script
incompatible with non-tracepoint kernels.)

Also, as per Jeff Moyer's correction, seeks are calculated as relative
to the end position of the prior transfer, not its origin.

PR14774: tweak test case

Splitting the test case onto separate lines helps ensure separate line
records.  Also, use [utrace_p] instead of CONFIG_UTRACE* tests for
applicability.

PR14774 test case

PR14708 partial fix: Add dyninst support for '.thread.{begin,end}' probes.

* tapset-dynprobe.cxx: New file.
* tapset-dynprobe.h: New file.
* tapsets.cxx (uprobe_derived_probe_group::emit_module_dyninst_decls):
  Instead of outputting uprobe information directly, call
  dynprobe_add_uprobe().
* tapset-utrace.cxx: Add dyninst-backend support.
* stapdyn/mutator.cxx (g_post_fork_callback): New function.
  (g_exit_callback): Ditto.
  (g_thread_create_callback): Ditto.
  (g_thread_destroy_callback): Ditto.
  (mutator::matching_probes_exist): Ditto.
  (mutator::load): Figure out which callbacks we need enabled.
  (mutator::post_fork_callback): New function.
  (mutator::exit_callback): Ditto.
  (mutator::thread_create_callback): Ditto.
  (mutator::thread_destroy_callback): Ditto.
* stapdyn/mutator.h: Add function declarations.
* stapdyn/mutatee.cxx (mutatee::instrument_utrace_dynprobe): New function.
  (mutatee::instrument_global_dynprobe_target): Ditto.
  (mutatee::instrument_dynprobe_target): Call instrument_utrace_dynprobe()
  to handle utrace probes.
  (mutatee::instrument_global_dynprobes): New function.
  (mutatee::exit_callback): Ditto.
  (mutatee::thread_callback): Ditto.
  (mutatee::instrument_dynprobes): Call instrument_global_dynprobes() to
  handle non path-based utrace probes.
  (mutatee::continue_execution): Only continue if we're stopped.
  (mutatee::stop_execution): New function.
* stapdyn/mutatee.h: Add function declarations.
* stapdyn/dynprobe.h: Added 'flags' member variable to struct
  dynprobe_location.
* stapdyn/dynprobe.cxx (dynprobe_location::dynprobe_location): Initialize
  new 'flags' member variable.
* session.h: Add dynprobe_derived_probe_group variable to systemtap_session.
* session.cxx (systemtap_session::systemtap_session): Initialize new
  dynprobe_derived_probe_group variable.
* runtime/dyninst/uprobes.c: Add stapdu_dummy_uregs definition. Declare
  enter_dyninst_uprobe() "weak", so that the function definition isn't
  necessary.
* runtime/dyninst/stapdyn.h: Added the STAPDYN_PROBE_FLAG_PROC_BEGIN,
  STAPDYN_PROBE_FLAG_PROC_END, STAPDYN_PROBE_FLAG_THREAD_BEGIN, and
  STAPDYN_PROBE_FLAG_THREAD_END defines.
* Makefile.am (stap_SOURCES): Added tapset-dynprobe.cxx.
* Makefile.in: Regenerated.

examples: change eventcount.* demo to report every 10 seconds by default

fix minor leak on a stap error path

Attached patch frees up an overlooked NSS/SSL-related SECItem
resource on an obscure (OOM) error handling path.

Reviewed-by: Dave Brolley <brolley@redhat.com>

PR14929: add error::dwarf man page

... and lots of references to it from dwarfy pass-2 code.

NEWS: whitespace tweak

translate: for stap -t reports, identify probe index

For probe points that expand to multiple separate low-level kprobes,
e.g. for multiply-inlined functions, the stap -t report doesn't give
any hint as to which of those separate kprobes was invoked how many
times.  Normally, a user would not care, so that's fine, but sometimes
for debugging it's nice to match up the stap -t output to the stap -p3
stap_probes[] array elements.  So let's extend the -t output with an
undocumented index: NNN ditty.

PR14929: add systemtap wiki URL to SEE ALSO

PR14997: DW_OP_rot mistranslation

* loc2c.c (STACK): Change macro to assert stack slot number >= 0.
  (DW_OP_rot): Implement last assignment against correct stack slot.
* testsuite/buildok/dw_op_rot.stp: New test.

rhbz#847265 - systemtap emits too-large hexadecimal constants

    Emit address constants in loc2c for synthetic addresses always as hex
    in translate_constant (). ... but then explicitly typecast it to
    (uintptr_t), so that a small negative 32-bit value, rendered as a
    64-bit positive hex value is acceptably truncated back down.

PR14929: add error::buildid man page

PR14929: add error::fault man page

* translate.cxx: Redirect loc2c 'kernel {read,write} fault...' message to it.

AUTHORS bump

(but not as in "bump off")

the omnibus change act of 2013 for copyright and task_finding excellence

* runtime/linux/task_finder*: Add a 'purpose' filed to the
  task_finder_tgt, so that callback errors -- now becoming warnings --
  can give a little better hint to the user as to what may have gone
  wrong.  Updated tapsets-*.cxx and runtime/vma.c generators/users to
  set a string.
* bump copyright years nearby
* winnow accidentally cargo-culted copyright line (retained in relevant files)

stap|staprun|stapdyn: copyright year bump

PR11576: tolerate registration failure

Previous code didn't check error returns from per-task perfctr
registration calls into the kernel.

Add relavent systemd files for stap-server

* stap-server.conf - specify the alternate location of the stap-server
log file
* stap-server.service - systemd configuration file

Add an 'update-docs' script to regenerate and update web documenation

PR14883: add combined error message for task_finder_stubs warnings and 'user-space facilities not available' error.

The basic idea behind the renaming is that, if one manpage explains both
errors and warnings, we title it error::FOO, 'error' being the somewhat
more general term.

CHECK_ERRWARN_MANPAGES.sh: stop trying to return a rc=1 from KO

(Since rc=1 from the while loop doesn't make it out of the loop.
/me hugs forked subshells.)

man/CHECK_ERRWARN_MANPAGES.sh: dumb little script for source [man foo::BAR] auditing

PR14929: Add warning* man pages to spec file

* systemtap.spec - added warning* man pages

translator: comment upon a privilege question for tapset files

* main.cxx (passes_0_4): Explain why existing tapset-privilege
  flagging is valid.

PR14929: further tweak manpage reference for pass4.

NEWS: tweak error::* man page invocation wording

PR14929: minor tweaks to existing manpages.

PR14929 possible tweak: use [man error::FOO] convention for error::pass4 reference.

PR14929: tweak NEWS blurbage to mention warning::* pages.

PR14929: revert earlier manpage-reporting mechanism as too clunky.

Instead of having separate semantic_error_manpage() &c classes,
we can just put a compact [man error::...] reference in the error message.
This does not require additional error reporting machinery.

testsuite: don't run systemtap.base/suppress-time-limit.exp either unless installcheck'ing

testsuite: don't run systemtap.base/perf.exp unless installcheck'ing

PR12443: NEWS the bad boy

PR12443: skip duplicate tapset files between XDG_DATA_DIRS and $prefix

For a self-built systemtap installation, with a $prefix other than
/usr, run on a system with $XDG_DATA_DIRS set, the tapset *.stp /
*.stpm files will collide between those in the freshly-build one and
the system one.  This can result in warning messages, duplicate
probes, and cats and dogs living together.

We try to avoid this by duplicate-elimination based upon the tapset
file name.

* session.cxx (systemtap_session ctor): Put compiled-in / -I tapset
  path first.
* main.cxx (passes_0_4): While processing *.stpm and *.stp tapset
  files, skip subsequent ones that share same sub-path-name (part
  after the -I path/ or XDG_DATA_DIRS=path1/:path2/ elements.
  With greater pass-1 verbosity, explain.

documentation: add error::inode-uprobes man page & references

PR14883: mention new warning::process-tracking from runtime warning

error docs: add warning::debuginfo.7stap for missing-debuginfo situation

PR14883: add manpage explaining the new process-tracking warning messages.

PR14883: let stuff that demands task_finder, incl. probefunc(), fail gracefully when such is not available

Now, instead of failing pass-4, code demanding task_finder process tracking
functionality on systems where the facility is unavailable will run with
a warning, then silently ignore any task_finder callbacks that the script
attempts to register.

* runtime/vma.c (_stp_vma_init()): return silently without doing anything if HAVE_TASK_FINDER is not set.
* runtime/linux/task_finder3.c: new file.
* runtime/linux/runtime.h: include task_finder3.c if actual task_finder not available.

PR14714: Mention --suppress-time-limits flag in NEWS.

PR14714: Introduce --suppress-time-limits flag

This flag enables somewhat heavier weight scripts to be run, disabling
-DSTP_NO_OVERLOAD, -DMAXACTION, and -DMAXTRYLOCK mechanisms.  The flag
itself also requires guru mode to be specified.

* cmdline.cxx - add the new long option
* cmdline.h - add the corresponding long option to enum
* hash.cxx - add the option to be hashed
* man/stap.1 - updated man page reflecting new option
* runtime/common_probe_context.h - remove actionremaining declaration if
flag is specified and the variable is no longer needed
* runtime/dyninst/probe_lock.h - remove the check against MAXTRYLOCK if
the flag is specified
* runtime/linux/probe_lock.h - remove the check against MAXTRYLOCK if
the flag is specified
* runtime/runtime_defines.h - remove the declarations of MAXTRYLOCK and
MAXACTION if the flag is specified
* session.cxx - add flag bool for stap proper, stap help message, and
command line option check
* session.h - declare the flag boolean
* tapset-timers.cxx - add conditionals for the module 'actionremaning'
variable if the flag is specified
* tapsets.cxx - add conditionals for the module 'actionremaning'
variable if the flag is specified
* testsuite/systemtap.base/suppress-time-limit.exp - new testcase
* testsuite/systemtap.base/suppress-time-limit.stp - testcase script
* translate.cxx - add conditional based on stap proper boolean to
record_actions function

examples: use ppfunc() instead of probefunc() for nested traces