build fix: gcc 3.4 on ia64 vs gcc PR21838

* runtime/runtime.h (__ia64_save_stack_nonlocal): New dummy fn.

Document sdt asm operand syntax.

* tapsets.cxx (sdt_uprobe_var_expanding_visitor::visit_target_symbol):

Support s390 sdt asm arguments.

* tapsets.cxx (sdt_uprobe_var_expanding_visitor): Add EM_S390 registers.

New test suite for the integrated compile-server client.

Miscellaneous improvements.

- break out starting of a server into start_server to be used by
  setup_server and elsewhere.
- call cleanup before exiting if smoke tests fail.
- cleanup *.sgn files.

Add 'no-prompt' to the --trust-servers option to bypass prompting the user for confirmation.

Correct use of setup_kfail vs setup_xfail.

PR 11922: Restrict compile-server client attempts to resolve server hosts.

Most times we can get the proper host name/ip address from avahi or from
certificates in our databases. Only attempt to resolve hosts for servers
specified directly using --use-server.

Add guard for unsupported sdt architectures.

* tapsets.cxx (sdt_uprobe_var_expanding_visitor::visit_target_symbol):
Guard against parsing asm probe arguments for unsupported architectures.

Run clone/fork/vfork tests with and without semaphores.

* testsuite/systemtap.clone/dtrace_clone.exp: Run the test twice - once
  without semaphores, once with semaphores.
* testsuite/systemtap.clone/dtrace_fork_exec.exp: Ditto.
* testsuite/systemtap.clone/dtrace_vfork_exec.exp: Ditto.
* testsuite/systemtap.clone/test_progs.tcl: Automatically run "make clean"
  when needed.  Allow callers to specify extra CFLAGS values.
* testsuite/systemtap.clone/dtrace_child.c: Allow semaphores to be
  ifdef'ed out.
* testsuite/systemtap.clone/dtrace_clone.c: Ditto.
* testsuite/systemtap.clone/dtrace_fork_parent.c: Ditto.
* testsuite/systemtap.clone/dtrace_vfork_parent.c: Ditto.
* testsuite/systemtap.clone/Makefile.fork_exec: Removed unused define.
* testsuite/systemtap.clone/Makefile.vfork_exec: Ditto.

In the syscall.*utime probes, get values directly.

* tapset/syscalls2.stp (syscall.utime): Instead of calling a function to
  get actime/modtime, use user_long() to get the value.
  (syscall.compat_utime): Ditto.

PR11739: Add an STP_ALIBI flag

Primarily just for testing purposes, define STP_ALIBI to shortcut all
probe handlers, so they're nothing but an atomic_inc.  It prints a hit
report similar to STP_TIMING at the end.

Note that any logic that would have called exit() will also be blocked,
so you need other ways to end the script: SIGINT, finished -c, etc.

* tapsets.cxx (common_probe_entryfn_prologue): #ifdef STP_ALIBI, reduce
  the probe handler to just an atomic_inc().
  (common_probe_entryfn_epilogue): Close the #ifdef from above.
* translate.cxx (translate_pass): Add an atomic_t to stap_probe for
  STP_ALIBI to track probe hits.
  (c_unparser::emit_module_exit): Print alibi hit-report.

Added dtrace testcases for clone, fork/exec, and vfork/exec.

* testsuite/systemtap.clone/Makefile.clone: New file.
* testsuite/systemtap.clone/Makefile.fork_exec: Ditto.
* testsuite/systemtap.clone/Makefile.vfork_exec: Ditto.
* testsuite/systemtap.clone/dtrace_child.c: Ditto.
* testsuite/systemtap.clone/dtrace_child_probes.d: Ditto.
* testsuite/systemtap.clone/dtrace_clone.c: Ditto.
* testsuite/systemtap.clone/dtrace_clone.exp: Ditto.
* testsuite/systemtap.clone/dtrace_clone.stp: Ditto.
* testsuite/systemtap.clone/dtrace_clone_probes.d: Ditto.
* testsuite/systemtap.clone/dtrace_fork_exec.exp: Ditto.
* testsuite/systemtap.clone/dtrace_fork_exec.stp: Ditto.
* testsuite/systemtap.clone/dtrace_fork_parent.c: Ditto.
* testsuite/systemtap.clone/dtrace_fork_parent_probes.d: Ditto.
* testsuite/systemtap.clone/dtrace_vfork_exec.exp: Ditto.
* testsuite/systemtap.clone/dtrace_vfork_exec.stp: Ditto.
* testsuite/systemtap.clone/dtrace_vfork_parent.c: Ditto.
* testsuite/systemtap.clone/dtrace_vfork_parent_probes.d: Ditto.
* testsuite/systemtap.clone/test_progs.tcl: Ditto.

Fixed BZ634242 for older kernels.

* runtime/uprobes/uprobes.c (uprobe_report_clone): If two processes are
  are sharing the same memory space (CLONE_VM) don't remove probes, since
  that will remove the probes from both processes.

PR12081: Name procfs buffers based on a local index

We shouldn't use probe->name for the buffers, as that name is not
necessarily unique after our probe de-duplication efforts.  Instead, we
can use a simple index variable to get a unique name for each procfs probe.

* tapset-procfs.cxx (procfs_derived_probe_group::emit_module_decls):
  Declare and use the buffers with a name based on a simple index.

Updated syscall coverage script.

* testsuite/systemtap.syscall/coverage.tcl: Updated.

Small kprobes_test updates.

* scripts/kprobes_test/run_module.py: Improved waiting on spawned load
  commands.  Makes 30 attempts to find output (instead of trying
  forever).
* scripts/kprobes_test/.gitignore: Ignore 'Module.markers' file and config
  files.
* scripts/kprobes_test/kprobes_test.py: Minor update.

Make syscall.mmap32 provide same convenience variables as syscall.mmap.

* tapset/x86_64/syscalls.stp (syscall.mmap32): Provides same convenience
  variables as syscall.mmap.
* testsuite/buildok/syscalls-arch-detailed.stp: Updated test.

Replace kretprobe->entry_ph with a full stap_probe

This ensures that pp, pn, and STP_TIMING can be kept distinct for entry
handlers vs. their normal kretprobe handlers.

* tapsets.cxx (dwarf_derived_probe_group::emit_module_decls): Replace
  entry_ph with entry_probe, pointing to the global stap_probes[], and
  update all references.

Centralize stap_probe, and make STP_TIMING data-driven

With the move to per-probe_point STP_TIMING statistics, the design which
wrote a separate code block for every Stat suddenly ran into scalability
issues.  We should instead be using a data-driven loop for this.

So, the scattered stap_probe structs are now pulled together in one
global, stap_probes[].  This contains the usual suspects: ph, pp, and pn;
it also keeps the extras that STP_TIMING needs: a Stat, the script
location, and the derivation record.

* translate.cxx (translate_pass): Add the STP_TIMING data to stap_probe,
  and output the global stap_probes[] with everything.
  (c_unparser::emit_module_init): Iterate the timing init at runtime.
  (c_unparser::emit_module_exit): Iterate the timing output at runtime.
* tapsets.cxx (common_probe_init): Just return the right global stap_probe*
* tapset*.cxx, runtime/*: Make pointers of all stap_probe's, and make
  the s/\./->/ change where needed too.
* elaborate.cxx (derived_probe::derived_locations): New, gives a string
  reporting the derivation steps which reached this probe point.

Fixed BZ634242 by always looking up pids in the global namespace.

* runtime/uprobes2/uprobes.c (uprobe_get_tg_leader): Always look up the
  pid in the global pid namespace.  From Roland McGrath
  <roland@redhat.com>
  (uprobe_fork_uproc): Ditto.  From Roland McGrath <roland@redhat.com>
  (uprobe_report_clone): If two processes are are sharing the same memory
  space (CLONE_VM) don't remove probes, since that will remove the probes
  from both processes.
* tapsets.cxx (emit_module_exit): Make sure we always look up pids
  in the global pid namespace, not in any private pid namespace.
* runtime/uprobes-common.c (stap_uprobe_change_plus): Ignore EEXIST
  errors.

Escape backslash to push through tcl.

xulrunner.exp (run_tests):  Escape backslashes.

PR10812: activate build-id relocation code only for module("...")

The relocation-basis can be null or something else for
user-space executables etc.

* translate.cxx (dump_unwindsyms): Skip build-id relocation for
  modname /FOO.

Improve the derivation output of STP_TIMING

We can't assume location[0] from the probes in the derivation chain, as
it may include e.g. an alias with multiple expansions.  Instead, a new
"base_pp" member tracks which probe_point actually led to each step of
the derivation.

* elaborate.cxx (derived_probe::derived_probe): Remember the unmodified
  probe_point as base_pp, esp. before any components are rewritten.
  (derived_probe::collect_derivation_pp_chain): New, collect base_pp.
* translate.cxx (c_unparser::emit_module_exit): Use the pp chain in
  STP_TIMING output.

Standardize how derived_probes dupe their location

A few of the derived_probe subclasses make duplicates of their
probe_point so they can rewrite it to something more specific.  This
patch standardizes that behavior.

It also fixes kprobe_derived_probe and hwbkpt_derived_probe, which were
rewriting components without making a copy first.

Remove the derived_probe ctor lacking a probe_point

In practice, our derived_probes always have a specific probe_point that
they originate from, so don't let it be omitted.

Bump xulrunner.exp to 1.9.2rc1

xulrunner.exp: Push xulrelease to 1.9.2rc1.  Change to new xulrunner javascript
testing harness.

PR10812: undo +20 build-id address offsetting

With the new relocation code, this does occasionally cause addresses
to spill over into the next section, leading to unexpected relocation
bases.

* runtime/sym.c (_stp_module_check): Remove the build_id_len
  subtraction.  Provide diagnostics on unexpected addresses/names.
* translate.cxx (dump_unwindsyms): Likewise.

PR10812: relocate module build-id

Relocate the build_id_vaddr obtained from dwfl_module_build_id.  Failure to
do this was causing ppc64 systems to fail the build-id check for cases such as:

probe module("libata").function("*").call {
  printf ("%s\n", probefunc())
}

Signed-off-by: Tony Jones <tonyj@suse.de>

Allow de-duping in spite of STP_TIMING

To enable this, we can use a Stat pointer in the same place we keep the
individual pp data, so now even when the probe body is shared, separate
timing data is kept.

* elaborate.h (derived_probe): Add a "real" name which is unchanging,
  unlike the regular name that may face de-duping.
* tapsets.cxx (common_probe_init): Use the "real" name for timing data.
  (common_probe_entryfn_prologue): Use a local stat instead of
  CONTEXT->statp, and initialize it from the probe data.
  (common_probe_entryfn_epilogue): Also use the local stat.
* translate.cxx (c_unparser::emit_common_header): Remove statp, and
  don't use any timing anti-dupe.
  (c_unparser::emit_module_init): Timing globals are now based on the
  "real" probe names.
  (c_unparser::emit_module_exit): Ditto.
  (c_unparser::emit_probe): No more timing anti-dupe.
  (translate_pass): Declare the new global timing struct, and point to
  it accordingly in STAP_PROBE_INIT.

Simplify the '?' removal for STP_TIMING

Add a new flag to probe_point::print() so the extra details can be
avoided.  This skips '?', '!', and any conditionals as well.

* staptree.cxx (probe_point::print): Make the extras optional.
  (probe_point::str): Pass along the choice of extras.
* translate.cxx (c_unparser::emit_module_exit): Let the print routine
  skip the extra flags, rather than trying to strip them out manually.

STP_TIMING indent/whitespace cleanup

Fix SDTv2 with separate debuginfo

We had a case where the ".probes" section was found in the main binary,
but then sdt_query::init_probe_scn got its Elf* by looking first via the
debuginfo and then falling back to the executable.  So when we got the
raw data pointer, it was using the wrong Elf* for that section.

This fix is to let dwflpp::get_section return the Elf* in which it found
the appropriate section, so init_probe_scn doesn't have to guess.

* dwflpp.cxx (dwflpp::get_section): Add an optional Elf** return
  pointer, and fill it in if needed.
* tapsets.cxx (sdt_query::init_probe_scn): Use that Elf* for the section.

Test probe performance with taskset.

scripts/probe_perf/bench.sh (stap_test): Run stap with taskset.

Add v3 sdt.h awareness to scripts/probe_perf.

* scripts/probe_perf/bench.sh (stap_test): Use testsuite/sdt.h so we
can build for any of v1, v2, v3.
(main): Add -testsrcdir for pointing to testsuite/sdt.h.

Standardize v3 sdt.h arg template.

* sdt.h (_SDT_ARGFMT): Us %n for arg template for all archs.

Add description for latencytap.stp

ia64 v3 sdt.h interoperability.

* sdt.h (_SDT_ARGTMPL)(_SDT_COEF) New.  Parameterize for ia64.x
(_SDT_ARGFMT)(_SDT_ARG): Use it.

whitespace tweak

releng: rough-in support for linking with GOLD

Power/x86 v3 sdt.h interoperability.

* sdt.h (_SDT_ARGFMT):  Revert back to %c as we just want operand length.

* tapsets.cxx (sdt_uprobe_var_expanding_visitor:visit_target_symbol):
Use elf_machine instead of section to decide which regnames to use.

Disambiguate asm operand parsing for v3 sdt.h

* tapsets.cxx (sdt_uprobe_var_expanding_visitor):  Add probe_loc.
(sdt_uprobe_var_expanding_visitor::visit_target_symbol):
Support i as literal prefix so register names are unambiguous.

* sdt_misc.exp (pbype_mssgs): Reorder

Fix rhel4 build problem.

* dwflpp.cxx (iterate_over_notes): Typecast when assigning base.

PR11736 modified the -t option to display information based on
probe points.  This change also displays the derivation for each
probe point.

PR12035 - staprun fails to build on ia64

The _SDT_ARGFMT and _SDT_ARG macros are adjusted to work around the ia64
compiler on RHEL-5. The ia64 gcc is not able to handle %c in the asm statement.
The ia64 and s390 also require an argument for the assembly language
nop instruction.

Reduce uniq_list to a single pass

Remove systemtap_session::printscript

It's a duplicate of main.cxx:printscript.

Additional causes for latencytap.stp

Found that newer kernels may have some different backtraces for processes
being deactivated. Added some texts for those additional backtraces.

Let runtime/staprun find sdt-config.h.

* runtime/staprun/Makefile.am (AM_CPPFLAGS): Add $(builddir)/../../includes/sys

Handle finding includes with -isystem.

* lib/systemtap.exp (sd_includes):  Use -isystem instead of -I.
* sdt_misc.exp (v_flags): Tag the V2 run.

Add translator support for version 3 sdt.h

* dwflpp.c (iterate_over_notes): New.
(get_section): New.

* sdt.h (_SDT_SEMAPHORE): New.
(_SDT_ASM_BODY): Use it.

* sdt-compat.h (stap_sdt_probe_type): Add uprobe3_type.

* tapsets.cxx (sdt_uprobe_var_expanding_visitor::visit_target_symbol):
Support <precision>@
(struct sdt_query): Add base, have_debuginfo_uprobe, have_debuginfoless_uprobe.
(handle_probe_entry): Pieces moved from ...
(handle_query_module): Handle STAP_SDT_Ǚ.
(setup_note_probe_entry_callback): New.
(setup_note_probe_entry): New.
(iterate_over_probe_entries): New.

* systemtap.exp: Tweak it.

* sdt_misc.exp (vflags): Add -DSTAP_SDT_V3

Clean up test compilations using sys/sdt.h, test new and old variants

* testsuite/sys/sdt.h: New file.
* testsuite/lib/systemtap.exp (sdt_includes): New function.
* testsuite/systemtap.base/const_value.exp: Use [sdt_includes].
* testsuite/systemtap.base/cxxclass.exp: Likewise.
* testsuite/systemtap.base/vta-test.exp: Likewise.
* testsuite/systemtap.exelib/exelib.exp: Likewise.
* testsuite/systemtap.base/sdt.exp: Likewise.
Test new version plus sdt-compat.h v1 and v2 variants.
* testsuite/systemtap.base/sdt_misc.exp: Likewise.

Make sdt-compat.h play nice with new sys/sdt.h

* sdt-compat.h: Change multiple inclusion protection to _SDT_COMPAT_H.
Omit probe macros if _SYS_SDT_H is defined.
* tapsets.cxx: Include "sys/sdt.h" before "sdt-compat.h".

Replace <sys/sdt.h> macros with new ones generating notes, usable in asm

* includes/sys/sdt.h: Rewritten.
* Makefile.am (oldinclude_HEADERS): Add includes/sys/sdt-config.h here.
(AM_CPPFLAGS): Add -I to find the built file.
* systemtap.spec (%files sdt-devel): Likewise.
* Makefile.in: Regenerated.
* util.h: Include <cerrno> here.

Move old sys/sdt.h to sdt-compat.h for translator use

* includes/sys/sdt.h: File renamed to ...
* sdt-compat.h: ... here.
* Makefile.am (noinst_HEADERS): New variable, add it.
* tapset.cxx: Include "sdt-compat.h" instead of "sys/sdt.h".

Add configury for using .section "?" in sdt.h

* includes/sys/sdt-config.h.in: New file.
* configure.ac: Check for assembler support of .section name,"?".
* configure: Regenerated.
* Makefile.in: Regenerated.

Correct recent change for finding the server cert database in stap-sign-module.

Handle missing and empty client side certificate databases.

releng: make build-compatible with old elfutils

* loc2c.c (DW_AT_data_bit_offset): #define for old elfutils.

Allow STAP_USER to be set in the calling environment.

Suppress stdout output of stap-authorize-cert.

Correct location of stap-gen-cert.

PR11442 - Running tests installed by systemtap-testsuite rpm as root.

SSL server certificates are now generated into $SYSTEMTAP_DIR or $HOME/.systemtap
for all users, even root.

Guard location_from_attr declaration and function with elfutils 0.149 check.

location_from_attr is only used when an implicit pointer is found
and systemtap is compiled against elfutils 0.149 .

* loc2c.c (location_from_attr): Guard with elfutils version check.

Test case for DW_OP_GNU_implicit_pointer support

* testsuite/systemtap.base/implicitptr.c: New file.
* testsuite/systemtap.base/implicitptr.stp: New file.
* testsuite/systemtap.base/implicitptr.exp: New file.

loc2c internal reorganization and DW_OP_GNU_implicit_pointer handling

* loc2c.c (struct location_context): New type.
(struct location): New member context points to that.
Add pointer variant with .type = loc_implicit_pointer.
(alloc_location): Take just context pointer as argument.
(FAIL): Use context pointer.
(new_context): New function.
(translate_constant): New function, broken out of ...
(c_translate_constant): ... here.  Call it.
(new_synthetic_loc): Don't take pool argument, origin->context has it.
(lose): Take new argument LEN, overall length of LEXPR.
Don't mention the offset into LEXPR if LEXPR is NULL or I is past LEN.
(translate): Take context argument instead of pool, addrbias.
Handle DW_OP_GNU_implicit_pointer.
(location_from_address): Take context argument instead of pool, fail,
fail_arg, emit_address, dwbias, attr, address, fb_attr, cfa_ops.
(location_from_attr): New function.
(translate_offset): New function, broken out of ...
(location_relative): ... here.  Call it.
Take context argument instead of pool, dwbias, attr, address.
(c_translate_location): Use new_context.
(c_translate_argument): Likewise.
(emit_base_fetch): Diagnose for loc_implicit_pointer.
(emit_base_store): Likewise.
(c_translate_addressof, c_translate_array): Likewise.
(discontiguify): Likewise.  Take context argument instead of pool.
(c_translate_pointer): Handle loc_implicit_pointer.
(c_translate_array_pointer): Likewise.
(c_emit_location): Likewise.

Improved latencytap.stp

This version of latencytap.stp has the following improvements:

-Print out the data sorted on the total time waiting for each cause
-Have a debug flag to print out stack backtraces when there is no cause listed.
 This is enabled by compiling latencytap to a module and then using:
    staprun latentap.ko debug=1

Use decimal output for automatic printing of global aggregates

Previously, the automatic printing of global aggregates was hexidecimal.
Most people find it more convenient to look at this information in decimal
form. Thus, the output is now decimal based. If one really needs or wants
the old behavior a --compatible=1.3 option can be added to the command line.

Add translator support for the forthcoming v3 sdt.h.

* sdt.h (stap_sdt_probe_type): Add uprobe3_type.

* tapsets.cxx (sdt_uprobe_var_expanding_visitor::visit_target_symbol):
Support <precision>@
(struct sdt_query): Add base, have_debuginfo_uprobe, have_debuginfoless_uprobe.
(handle_query_module): Handle v3 sdt.h which has probes in note sections.
(setup_note_probe_entry_callback): New.
(setup_note_probe_entry): New.

Use common handler for sdt.h v2/v3 and change sdt.h v2 to use it.

* tapsets.cxx (sdt_query::iterate_over_probe_entries): Replaces get_next_probe.
(sdt_query::handle_query_module): Use it.
(sdt_query::handle_probe_entry): New.  Used by sdt.h v2/v3

Add dwarf support for use by sdt.h v3.

* dwflpp.cxx (dwflpp::iterate_over_notes): New.
(dwflpp::get_section): New.
* dwflpp.h: Likewise.
*tapsets.cxx (sdt_query::handle_query_module):  Use get_section.

PR 11905: Take more care with stap-server config files.

- Config files now have a fixed suffix which avoids collisions with other
  stap-server files.
- Config files are now interpreted in order to avoid execution of random
  code.

Updated latencytap.stp

The updated latencytap.stp uses more portable probe points for the collecting
the data. The script also maps the functions in the traceback to reasons the
sleep. The reasons for the sleeps were mechanically generated from
latencytop-0.5 latencytop.trans file.

Validate backtrace addresses.

* runtime/stack-i386.c (_stp_valid_pc_addr): New function.
  (_stp_stack_print_fallback): Use it.
  (__stp_stack_print): Use it.
* runtime/stack-x86_64.c (_stp_valid_pc_addr): New function.
  (_stp_stack_print_fallback): Use it.
  (__stp_stack_print): Use it.
* runtime/unwind/i386.h (arch_unw_user_mode): Removed.
* runtime/unwind/x86_64.h (arch_unw_user_mode): Likewise.

PR 10922: Firewall hint improvement.

Specifically mention mDNS when suggesting a check of the firewall after
avahi fails to find a server in the test suite.

Elaborate on the use of the --use-server option of stap.

PR11982: debian build compatibility for their elfutils hacks

* configure.ac: Check for presence of -lebl.

releng: staprun is build with -DSINGLE_THREADED to avoid -lpthread dependence

Deprecate old compile-server client and tools.

    stap-client
    stap-find-servers
    stap-find-or-start-server
    stap-authorize-server-cert
    stap-authorize-signing-cert.

releng: staprun Makefile should use -Dfoo CPPFLAGS instead of AC_SUBST*

Include top-level includes dir in AM_CFLAGS for staprun sys/sdt.h usage.

* runtime/staprun/Makefile.am (AM_CFLAGS): Add -I$(srcdir)/../../includes.
* runtime/staprun/Makefile.in: Regenerated.

Enable AM_SILENT_RULES for runtime/staprun/

Include runtime/staprun in top-level builds

Move run-staprun into runtime/staprun/

It now lives with staprun itself.  Also adjust run-stap accordingly.

staprun: Clean up kallsyms _stext parsing.

* runtime/staprun/staprun.c (send_relocation_kernel): Rewrote parsing loop.

PR4037: kernel-matching -m32 or -m64 not needed for staprun

releng: use staprun's new configury only

Removed staprun/stapio/stap-merge stuff from top-level configury.

PR11963: avoid using scanf %as

Use <linux/blk_types.h> and REQ_WRITE for 2.6.36 and newer kernels

Local definitions of NIPQUAD and NIPQUAD_FMT when required (PR11951)

Newer 2.6.36 kernels eliminate NIPQUAD and NIPQUAD_FMT defines.
Definitions are made available when needed.

Give staprun/stapio/stap-merge a standalone configure and makefile

* Makefile.am: New file.
* configure.ac: New file.
* Makefile.in: New generated file.
* aclocal.m4: New generated file.
* config.in: New generated file.
* configure: New generated file.

staprun: Avoid need for -I$(top_srcdir)

* modverify.c: Use proper relative pathname for nsscommon.h #include.

staprun: Avoid type-punning casts.

* mainloop.c (stp_main_loop): Use clean union instead of casts.

Replaced obsolete index/rindex functions with strchr/strrchr.

* runtime/staprun/common.c: Replaced index/rindex with strchr/strrchr.
* runtime/staprun/staprun.c: Ditto.

Clarify description of --all-modules optoin in stap manpage

Update the dropwatch.stp beginner's manual text to match the current script.

Allow dropwatch to output function name directly and clean formatting

Clean up the timeout.stp and topsys.stp example text

Revise futexes.stp example text.

Add pointer to SystemTap Tapset Reference Manual to References Chapter