Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Fix sudo magic wrappers for run-stap devel script.

introduce [utrace_p] as dejagnu check for utrace presence in kernel

* testsuite/lib/systemtap.exp: Define here.
* testsuite/systemtap.*/*.exp: Use it here.  Eliminate duplicated
  utrace_support_present logic.

Move testcase itrace3's warning into expect

As it was, the ATTENTION was causing expect mismatches even when the
test worked fine.  The warning is served just as well from the expect
script before starting the test.

Add insn.block testcase to itrace.exp in testsuite

Earlier today, I posted a runtime patch for the insn.block probe point.
Once that patch is committed, the insn.block probe can be safely tested
on any architecture.  The attached patch adds such a testcase to the
testsuite.

Regards,
-Maynard

Fix for insn probe: Call arch_has_*_step() prior to calling utrace_control

The attached patch is version 2 for the problem I reported earlier
today.

Frank, is this more what you had in mind?  With this patch, there's no
need for the user to look at the system log.  Error messages are sent to
stderr:

ERROR: insn probe init: arch does not support block step mode
ERROR: probe process("/test").function("doit1@/test.c:22").return registration error (rc -1)

-Maynard

Revert "Fix runtime/itrace.c to call arch_has_*_step() prior to calling utrace_control"

This reverts commit 489afa702639fd10e9756795bd516d939766247d.

Fix runtime/itrace.c to call arch_has_*_step() prior to calling utrace_control

As Roland pointed out in his Mar 31 reply to a posting of mine (subject:
Re: Testing insn.block probe point uncovers possible utrace bug),
utrace_control() documents that the caller must ensure that
arch_has_single_step and arch_has_block_step are defined before trying
to use those step modes.  The attached patch addresses that issue.  I've
tested this patch on x86_64 arch, and a block step test runs
successfully, since block step is supported on that arch.  Testing on
ppc64 arch, the test fails as expected (since block step is not
supported on ppc64 yet) with:
"ERROR: callback for <pid> failed: 1"
which is sent to stdderr and
"usr_itrace_init: arch does not support block step mode"
which is sent to the system log.

This isn't the most user-friendly way of surfacing an error.  Perhaps
the stap runtime could have a set of defined return codes that would be
mapped to strings so the user can get an idea of what the error is
without looking in the system log.  But that's a side issue, of course.

Regards,
-Maynard

PR10016: Purge stap of all pgrp and system() usage

We hereby no longer try to manipulate process groups in any way.  We
don't set a private process group, and we never kill() our entire group
either.  Instead of using system(), we now have a stap_system() which
saves the child PID, so when we get a terminating signal we can pass it
along to the child.

Signals sent through the TTY have always worked, since the TTY sends it
to the entire pgrp.  However, if we're running as part of a wrapper
script or GUI, which may not have a separate process group for stap, we
still would like to allow "kill -TERM $STAPPID" to terminate stap
nicely.

There's still a short window of failure in the time that staprun is
active, because we can't kill a setuid process from a user process.
Once staprun drops privileges and execs to stapio though, everything
should work fine.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Move #endif for STP_NEED_VMA_TRACKER up to not cover other utrace callbacks.

* tapsets.cxx (utrace_derived_probe_group::emit_module_init): Correct #endif.

PR10020 sys_sigaltstack param change

The new code uses a %( kernel_v < "2.6.29" %) conditional to look at
the passed pt_regs instead of named *bx parameters.  A more general
solution will be needed at some point.

Merge branch 'master' into pr6866

Wrap vma callbacks in STP_NEED_VMA_TRACKER.

Will be defined by new ucontext symbol stapset.

* tapset.cxx: Wrap all vma callbacks in STP_NEED_VMA_TRACKER.
* testsuite/systemtap.context/usymbols.exp: Define STP_NEED_VMA_TRACKER
  explicitly for now.

Use alloca trick to keep argN active on GCC 4.1.

* includes/sys/sdt.h (STAP_UNINLINE): New.
(STAP_UNINLINE_LABEL): New.
static_uprobes.exp: Match using charset instead of .*

testsuite/systemtap.context/*.tcl: Don't wait 4 whole minutes for timeout.

context.exp: log which subtest is being sourced.

PR4105: support up to 9 (up from 5) array index dimensions

* runtime/map-gen.c, pmap-gen.c: Hand-expand arity 6..9 cases throughout.
* testsuite/buildok/thirty.stp: New test.
* testsuite/buildko/two.stp: New test.

An Alan Smithee patch.

semok/badvar.stp test: add stap -p2 as for other semok tests

Customize .mark -l output.

* tapsets.cxx (dwarf_builder::build): Add .mark name wildcard check.
Customize -l handling.
* testsuite/systemtap.base/static_uprobes.exp: Test .mark name wildcard.

Add fake Systemtap Hackers author to tapset reference manual template.

* doc/SystemTap_Tapset_Reference/tapsets.tmpl: Add authorblock.

Add missing socket function argument descriptions.

* tapsets/socket.stp: Add descriptions for proto, family and state.

PR10016: Run stap in its own process group with waiter process for signals.

* main.cxx (runner): New main function.
  (waiter_handler): Signal handler for waiter process.
  (waiter): Waiter process waitpid function.
  (main): Fork and run wait and runner in their own processes.

PR9998: new config and test files

* runtime/autoconf-x86-gs.c : New file.
* testsuite/systemtap.base/x86_gs.exp : New test case.
* testsuite/systemtap.base/x86_gs.stp : Ditto.

PR9998: adapt tapset/i686/registers.stp to latest kernel

* buildrun.cxx (compile_pass): Add autoconf-x86-gs.c.
* tapset/i686/registers.stp (_stp_register_regs): Update offsets.
  (test_x86_gs): Auxiliary function.
* runtime/autoconf-x86-gs.c : New file.
* testsuite/systemtap.base/x86_gs.exp : New test case.
* testsuite/systemtap.base/x86_gs.stp : Ditto.

PR10016: systemtap kills all processes in process group on signal.

* main.cxx (main): Make sure we run in our own process group.

Test marker probe parameter types.

* testsuite/systemtap.base/sdt_types.c: New file.
* testsuite/systemtap.base/sdt_types.stp: New file.
* testsuite/systemtap.base/static_uprobes.exp:  Use sdt_types for type testing.

prefer using /usr/bin/lsb_release to deduce distribution for testsuite

tweak "Distro:" line generation in testsuite logs, to moot "oracle-enterprise.patch"

hand-regen configure after commit 99c0acad yxmlto->xmlto typo fix

Add header

Fix typo s/yxmlto/xmlto/

PR7045: on 64-bit kernels, allow 32-bit userspace to be pass elf validation

* tapsets.cxx (validate_elf): Reorganize glob matching for x86 and ppc.

Don't do beginning of statement check for .mark probes

* tapsets.cxx (dwarf_query): Add has_mark.
(query_cu): Use for beginning of statement check.
(dwarf_builder::build): Set has_mark.

Version bumps for 0.9.5 release

PR6819: clarify syntactic vs. semantic probe point validity

initialize skip_badvars=0.  rererenag developers in session.h to do so in the future

PR10000: emit _stp_relocate* calculations correctly for kernel/module global $data

* translate.cxx (dump_unwindsyms): Also emit STT_OBJECT symbols,
  therefore .data etc. sections into stap-symbols.h.

* tapsets.cxx (iterate_over_modules): Omit a dwfl_getmodules()
  RC-checking assertion that blocked meaningful $context var
  error messages.
  (dwflpp::emit_address): Bypass dwfl_module_relocate_address()
  for kernel symbols as it has been unreliable; subtract sess.sym_stext
  manually.

* testsuite/buildok/seventeen.stp: Extend test with module $global.

.gitignore: Add testsuite exe and so files and initscript systemtap.

Add manual for pid-based lookup functions

* stapfuncs.3stap.in: Add description for pid2task
  and pid2execname.

Skip the git-rev in the hash for now (from a5e8d632)

It may be potentially expensive to fork-exec a git call to get the HEAD
revision, and it's not clear whether it's even needed.  We can always
throw this back on if we find a meaningful usage scenario.

PR10001: Use the kernel's strlcpy & strlcat

We had our own implementations of these which were triggering gcc
bug38480 in some particular cases.  It's easier for us to use the
kernel's strlcpy and strlcat anyway, which avoids the bug.

.gitignore: Replace .5 with .3stap.

Add the kernel tree's git revision to the hash

To better support kernel developers who work out of a single source
tree, this adds the git HEAD revision to our caching hash.

Add more file stats to the hash

For kernel developers, it may be common practice to reuse the same
kernel build tree for several kernel variants.  Our previous hashing
only considered the release version, architecture, and build path, which
may all remain constant for such a developer.

This change adds the file size and mtime of several kernel version files
to the hash, so it should be a bit more robust against collisions.

Make aux_tapset.stp "long long" size agnostic so ia64 works.

NEWS: Mention disable-pie, sdt.h compat, syscall wrappers and CVE-2009-0784.

Fix for CVE-2009-0784: stapusr module-path checking race

* runtime/staprun/staprun_funcs.c (check_path): Save fully
  canonicalized and checked module path for later loading.

Update configure --help message now that default is changed
*configure.ac: Update help message for building with pie support.
*configure: Regenerate.

NEWS: Document mark/trace list mode, interrupt reentrancy, reentrancy debug.

NEWS: Fix man 3stap description to original.

NEWS: Add description of probe process().insn and process().insn.block.

NEWS: Document how to see man pages for probes and functions in 3stap section.

PR 9922 fix, make --disable-pie the configure default

*configure.ac: Change the default to compiling without fPIE.
*systemtap.spec: Add --enable-pie as the default option (set
pie_supported to 1).
*configure: Regenerated with autoconf 2.61.

brown paper bag fix for commit 5d6b0142

return != break

Typo and whitespace.

further accelerate pass-3 symbol/unwind process, skip one more iteration

Add testcase for uprobe on shared library (PR9940).

* testsuite/systemtap.base/uprobes_exe.c: New file.
* testsuite/systemtap.base/uprobes_lib.c: New file.
* testsuite/systemtap.base/uprobes_lib.exp: New file.
* testsuite/systemtap.base/uprobes_lib.stp: New file.

Remove debugging line.

* dtrace: Remove debugging line.

Remove debugging line.

* dtrace:  Remove debugging line.

Revert "PR9940: avoid duplicated calling of uprobes in shared libraries"

This fix caused a regression on fedora.

stap -ve 'probe process("/bin/ls").function("main") { log(pp()); }
          probe process("/lib64/libc.so.6").function("*") { log(pp()); }' \
     -c /bin/ls

hung (with stapio & ls processes spinning) upon startup.

itrace: zap "usr_itrace_init: completed for tid = NNNN" debug message

PR 9989 fix.
2009-03-24  David Smith  <dsmith@redhat.com>

PR 9989.
* runtime/task_finder.c (stap_utrace_detach): Ignores
-EINPROGRESS.
(stap_utrace_detach_ops): Ignores errors from
stap_utrace_detach(), so that other tasks will get detached from
this utrace engine.
(__stp_utrace_attach): Better error handling from
utrace_barrier().
(__stp_utrace_task_finder_target_quiesce): Ditto.

accelerate pass-3 symbol/unwind generation

* translate.cxx (emit_symbol_data): Abort dwfl_getmodules loop
  as soon as we run out of modules we're looking for.

build fix for RHEL4-era gcc 3.4.6

* tapsets.cxx (stringhash): Go to __gnu_cxx.
  (dwarf_cast_expanding_visitor::visit_cast_op): Use ~0 for all-ones.

Use read operand "g" constraints.

* includes/sdt.h (STAP_PROBEN): Use R "g" instead of RW "+rm" which
can result in "read-only variable arg1 used as asm output"

Add NEWS entry for the manpages.

Strip off "probe" for the probe documentation generation.

PR9993: tracepoint toleration for undeclared types in trace/*.h headers

* tapsets.cxx (tracepoint_extra_headers): New function to return
  needed header file names.
  (emit_module_decls): Emit them.
* buildrun.cxx (make_tracequery): Emit them.
* testsuite/systemtap.base/tracepoints.exp: Rewrite to exercise
  building each tracepoint.

Keep static probe parameters visible while inlining.

* includes/sys/sdt.h (STAP_PROBEN):  Revive the STAP_LABEL macro to
prevent inlining to keep probe parameters visible.  Use +rm
constraints.
* tapsets.cxx (build): Use .probes section for all uses of static
probes.

Move man pages from man5 to man3 (3stap).

Move tapset documentation manpages from man3stap to man3.

Add missing escape in kernel-doc create_sparameterlist() matching.

Make .probes 32 bit aware and simplify label handling.

* includes/sys/sdt.h (STAP_PROBE_DATA_): Use gas local labels which
avoids a mysql problem when a function containing a probe is inlined.
Make the data placement 32 bit aware.

Merge branch 'master' into pr6866

PR9974: adapt to utrace_connected_engine -> utrace_engine

Adjusted all headers that #include <linux/utrace.h> to follow with:

/* PR9974: Adapt to struct renaming. */

sdt.exp: save intermediate sdt.h-client executables for analysis

* testsuite/lib/stap_run2.exp (stap_run3): Put supplied stap
  extra arguments after the .stp script name, not before, so
  that @1/such arguments can be substituted within.

Update a few new AUTHORS

Add a tracepoint NEWS blurb

Document @cast module search paths

Cache the tracepoint query results

To use tracepoints, we build a "tracequery" module that compiles
debuginfo for all available tracepoints in the user's kernel.  That's a
bit of a cumbersome step to do during pass-2 though.  This change adds
tracequery caching so we only need to compile it once.

support tracepoint extraction for kernel build trees built with O=/path

* buildrun.cxx (make_tracequery): Also search source/include/trace/*.h.

fix build regression w/o -t

* translate.cxx (emit_common_header): Always emit atomic_t skipped_* counters.

Define static user probe point using asm instead of c.

Define static user probe point using asm instead of c.

* includes/sys/sdt.h (STAP_PROBE_DATA): New.  Define the probe point
using asm instead of c.
(STAP_PROBEN): Use it.
* testsuite/systemtap.base/sdt.exp: Continue if a compile fails.
* testsuite/systemtap.base/static_uprobes.exp: Don't test setting
probe without .probes section.

PR9967: don't count -DINTERRUPTIBLE=1 reentrancy against MAXSKIPPED

* tapsets.cxx (common_probe_entryfn_prologue): Become conditional on
  !INTERRUPTIBLE.
* translate.cxx (emit_module_exit): Still print skipped_count_reentrant
  with -t, even if skipped_count was zero.

tweak NEWS blurb wording on --skip-badvars

Merge branch 'master' of ssh://hiramatu@sources.redhat.com/git/systemtap

PR9821: staprun supports subset of strftime.

Add strftime subset format support for output file name to systemtap.
This format will be evaluated when opening a new output file.

PR6930: initscript: support on-file flight recorder

Modify systemtap initscript to support on-file flight recoder
options.

PR6930: stap: supports on-file flight recorder options

Add on-file flight recorder options (the combination of -F and -o,
and -S option) to stap command, and change manpages and NEWS.
 - Both of -F and -o is specified, stap passes -D option to staprun.
 - stap just passes -S option to staprun.

PR6930: stapio: support file switching

Add file-switching option(-S size[,N]) to stapio. This option has two
arguments, 'size' and 'N', and requires -o option.

- When the size of output file exceeds specified 'size'MB, staprun switches
 output file to the next file. For this purpose, all output file has a serial
 number as a suffix only when user specifies this option.

- Using this option in bulk mode, the output file name will be
 'FILE_cpuX.SERIAL'.

- When the number of files exceeds specified N, staprun removes the oldest
 file. This argument can be omitted.

removed authorblock from tapset reference guide; added ip.stp to template

Added functions to grab IP source and destination from a socket, and
functions to grab TCP source and destination port from a socket.

Also, used this function inside some TCP probe functions, as recvmsg,
to provide a richer set of fields.

PR6930: stapio: run in background as a daemon

Add '-D'(daemon mode) option to staprun/stapio for daemon mode.
In this mode, stapio shows just its pid and detachs from console.
Since it has no stdio, this mode requires -o option. stapio will
exit when it receives SIGTERM or detects some error.

PR6930: staprun: supports error message to syslog

Add an interface (eprintf) to output error messages to syslogd,
because staprun has no stderr after detaching from console.

Emit vma callbacks for uprobes.

* tapsets.cxx (uprobe_derived_probe_group::emit_module_decls): Emit vma
 callbacks.
 (uprobe_derived_probe_group::emit_module_init): Activate vma callbacks.
* testsuite/systemtap.context/usymbols.exp: Track through uprobes,
  so as to make sure we have the symbols.

Emit vma callbacks for itrace.

* tapsets.cxx (itrace_derived_probe_group::emit_module_decls): Emit vma
  callbacks.
  (itrace_derived_probe_group::emit_module_init): Activate vma callbacks.

Explicitly emit utrace vma callbacks.

* tapsets.cxx (utrace_derived_probe_group::emit_vm_callback_probe_decl):
  Removed.
  (emit_vma_callback_probe_decl): New static helper function.
  (utrace_derived_probe_group::emit_module_decls): Emit vma callbacks.
  (utrace_derived_probe_group::emit_module_init): Activate vma callbacks.

Move _stp_tf_vm_cb to sym.c.

* tapsets.cxx (utrace_derived_probe_group::emit_module_decls):
  Remove output task finder vma callback _stp_tf_vm_cb.
* runtime/sym.c (_stp_tf_vm_cb): And add it here.