PR10812: undo +20 build-id address offsetting

With the new relocation code, this does occasionally cause addresses
to spill over into the next section, leading to unexpected relocation
bases.

* runtime/sym.c (_stp_module_check): Remove the build_id_len
  subtraction.  Provide diagnostics on unexpected addresses/names.
* translate.cxx (dump_unwindsyms): Likewise.

PR10812: relocate module build-id

Relocate the build_id_vaddr obtained from dwfl_module_build_id.  Failure to
do this was causing ppc64 systems to fail the build-id check for cases such as:

probe module("libata").function("*").call {
  printf ("%s\n", probefunc())
}

Signed-off-by: Tony Jones <tonyj@suse.de>

Allow de-duping in spite of STP_TIMING

To enable this, we can use a Stat pointer in the same place we keep the
individual pp data, so now even when the probe body is shared, separate
timing data is kept.

* elaborate.h (derived_probe): Add a "real" name which is unchanging,
  unlike the regular name that may face de-duping.
* tapsets.cxx (common_probe_init): Use the "real" name for timing data.
  (common_probe_entryfn_prologue): Use a local stat instead of
  CONTEXT->statp, and initialize it from the probe data.
  (common_probe_entryfn_epilogue): Also use the local stat.
* translate.cxx (c_unparser::emit_common_header): Remove statp, and
  don't use any timing anti-dupe.
  (c_unparser::emit_module_init): Timing globals are now based on the
  "real" probe names.
  (c_unparser::emit_module_exit): Ditto.
  (c_unparser::emit_probe): No more timing anti-dupe.
  (translate_pass): Declare the new global timing struct, and point to
  it accordingly in STAP_PROBE_INIT.

Simplify the '?' removal for STP_TIMING

Add a new flag to probe_point::print() so the extra details can be
avoided.  This skips '?', '!', and any conditionals as well.

* staptree.cxx (probe_point::print): Make the extras optional.
  (probe_point::str): Pass along the choice of extras.
* translate.cxx (c_unparser::emit_module_exit): Let the print routine
  skip the extra flags, rather than trying to strip them out manually.

STP_TIMING indent/whitespace cleanup

Fix SDTv2 with separate debuginfo

We had a case where the ".probes" section was found in the main binary,
but then sdt_query::init_probe_scn got its Elf* by looking first via the
debuginfo and then falling back to the executable.  So when we got the
raw data pointer, it was using the wrong Elf* for that section.

This fix is to let dwflpp::get_section return the Elf* in which it found
the appropriate section, so init_probe_scn doesn't have to guess.

* dwflpp.cxx (dwflpp::get_section): Add an optional Elf** return
  pointer, and fill it in if needed.
* tapsets.cxx (sdt_query::init_probe_scn): Use that Elf* for the section.

Test probe performance with taskset.

scripts/probe_perf/bench.sh (stap_test): Run stap with taskset.

Add v3 sdt.h awareness to scripts/probe_perf.

* scripts/probe_perf/bench.sh (stap_test): Use testsuite/sdt.h so we
can build for any of v1, v2, v3.
(main): Add -testsrcdir for pointing to testsuite/sdt.h.

Standardize v3 sdt.h arg template.

* sdt.h (_SDT_ARGFMT): Us %n for arg template for all archs.

Add description for latencytap.stp

ia64 v3 sdt.h interoperability.

* sdt.h (_SDT_ARGTMPL)(_SDT_COEF) New.  Parameterize for ia64.x
(_SDT_ARGFMT)(_SDT_ARG): Use it.

whitespace tweak

releng: rough-in support for linking with GOLD

Power/x86 v3 sdt.h interoperability.

* sdt.h (_SDT_ARGFMT):  Revert back to %c as we just want operand length.

* tapsets.cxx (sdt_uprobe_var_expanding_visitor:visit_target_symbol):
Use elf_machine instead of section to decide which regnames to use.

Disambiguate asm operand parsing for v3 sdt.h

* tapsets.cxx (sdt_uprobe_var_expanding_visitor):  Add probe_loc.
(sdt_uprobe_var_expanding_visitor::visit_target_symbol):
Support i as literal prefix so register names are unambiguous.

* sdt_misc.exp (pbype_mssgs): Reorder

Fix rhel4 build problem.

* dwflpp.cxx (iterate_over_notes): Typecast when assigning base.

PR11736 modified the -t option to display information based on
probe points.  This change also displays the derivation for each
probe point.

PR12035 - staprun fails to build on ia64

The _SDT_ARGFMT and _SDT_ARG macros are adjusted to work around the ia64
compiler on RHEL-5. The ia64 gcc is not able to handle %c in the asm statement.
The ia64 and s390 also require an argument for the assembly language
nop instruction.

Reduce uniq_list to a single pass

Remove systemtap_session::printscript

It's a duplicate of main.cxx:printscript.

Additional causes for latencytap.stp

Found that newer kernels may have some different backtraces for processes
being deactivated. Added some texts for those additional backtraces.

Let runtime/staprun find sdt-config.h.

* runtime/staprun/Makefile.am (AM_CPPFLAGS): Add $(builddir)/../../includes/sys

Handle finding includes with -isystem.

* lib/systemtap.exp (sd_includes):  Use -isystem instead of -I.
* sdt_misc.exp (v_flags): Tag the V2 run.

Add translator support for version 3 sdt.h

* dwflpp.c (iterate_over_notes): New.
(get_section): New.

* sdt.h (_SDT_SEMAPHORE): New.
(_SDT_ASM_BODY): Use it.

* sdt-compat.h (stap_sdt_probe_type): Add uprobe3_type.

* tapsets.cxx (sdt_uprobe_var_expanding_visitor::visit_target_symbol):
Support <precision>@
(struct sdt_query): Add base, have_debuginfo_uprobe, have_debuginfoless_uprobe.
(handle_probe_entry): Pieces moved from ...
(handle_query_module): Handle STAP_SDT_Ǚ.
(setup_note_probe_entry_callback): New.
(setup_note_probe_entry): New.
(iterate_over_probe_entries): New.

* systemtap.exp: Tweak it.

* sdt_misc.exp (vflags): Add -DSTAP_SDT_V3

Clean up test compilations using sys/sdt.h, test new and old variants

* testsuite/sys/sdt.h: New file.
* testsuite/lib/systemtap.exp (sdt_includes): New function.
* testsuite/systemtap.base/const_value.exp: Use [sdt_includes].
* testsuite/systemtap.base/cxxclass.exp: Likewise.
* testsuite/systemtap.base/vta-test.exp: Likewise.
* testsuite/systemtap.exelib/exelib.exp: Likewise.
* testsuite/systemtap.base/sdt.exp: Likewise.
Test new version plus sdt-compat.h v1 and v2 variants.
* testsuite/systemtap.base/sdt_misc.exp: Likewise.

Make sdt-compat.h play nice with new sys/sdt.h

* sdt-compat.h: Change multiple inclusion protection to _SDT_COMPAT_H.
Omit probe macros if _SYS_SDT_H is defined.
* tapsets.cxx: Include "sys/sdt.h" before "sdt-compat.h".

Replace <sys/sdt.h> macros with new ones generating notes, usable in asm

* includes/sys/sdt.h: Rewritten.
* Makefile.am (oldinclude_HEADERS): Add includes/sys/sdt-config.h here.
(AM_CPPFLAGS): Add -I to find the built file.
* systemtap.spec (%files sdt-devel): Likewise.
* Makefile.in: Regenerated.
* util.h: Include <cerrno> here.

Move old sys/sdt.h to sdt-compat.h for translator use

* includes/sys/sdt.h: File renamed to ...
* sdt-compat.h: ... here.
* Makefile.am (noinst_HEADERS): New variable, add it.
* tapset.cxx: Include "sdt-compat.h" instead of "sys/sdt.h".

Add configury for using .section "?" in sdt.h

* includes/sys/sdt-config.h.in: New file.
* configure.ac: Check for assembler support of .section name,"?".
* configure: Regenerated.
* Makefile.in: Regenerated.

Correct recent change for finding the server cert database in stap-sign-module.

Handle missing and empty client side certificate databases.

releng: make build-compatible with old elfutils

* loc2c.c (DW_AT_data_bit_offset): #define for old elfutils.

Allow STAP_USER to be set in the calling environment.

Suppress stdout output of stap-authorize-cert.

Correct location of stap-gen-cert.

PR11442 - Running tests installed by systemtap-testsuite rpm as root.

SSL server certificates are now generated into $SYSTEMTAP_DIR or $HOME/.systemtap
for all users, even root.

Guard location_from_attr declaration and function with elfutils 0.149 check.

location_from_attr is only used when an implicit pointer is found
and systemtap is compiled against elfutils 0.149 .

* loc2c.c (location_from_attr): Guard with elfutils version check.

Test case for DW_OP_GNU_implicit_pointer support

* testsuite/systemtap.base/implicitptr.c: New file.
* testsuite/systemtap.base/implicitptr.stp: New file.
* testsuite/systemtap.base/implicitptr.exp: New file.

loc2c internal reorganization and DW_OP_GNU_implicit_pointer handling

* loc2c.c (struct location_context): New type.
(struct location): New member context points to that.
Add pointer variant with .type = loc_implicit_pointer.
(alloc_location): Take just context pointer as argument.
(FAIL): Use context pointer.
(new_context): New function.
(translate_constant): New function, broken out of ...
(c_translate_constant): ... here.  Call it.
(new_synthetic_loc): Don't take pool argument, origin->context has it.
(lose): Take new argument LEN, overall length of LEXPR.
Don't mention the offset into LEXPR if LEXPR is NULL or I is past LEN.
(translate): Take context argument instead of pool, addrbias.
Handle DW_OP_GNU_implicit_pointer.
(location_from_address): Take context argument instead of pool, fail,
fail_arg, emit_address, dwbias, attr, address, fb_attr, cfa_ops.
(location_from_attr): New function.
(translate_offset): New function, broken out of ...
(location_relative): ... here.  Call it.
Take context argument instead of pool, dwbias, attr, address.
(c_translate_location): Use new_context.
(c_translate_argument): Likewise.
(emit_base_fetch): Diagnose for loc_implicit_pointer.
(emit_base_store): Likewise.
(c_translate_addressof, c_translate_array): Likewise.
(discontiguify): Likewise.  Take context argument instead of pool.
(c_translate_pointer): Handle loc_implicit_pointer.
(c_translate_array_pointer): Likewise.
(c_emit_location): Likewise.

Improved latencytap.stp

This version of latencytap.stp has the following improvements:

-Print out the data sorted on the total time waiting for each cause
-Have a debug flag to print out stack backtraces when there is no cause listed.
 This is enabled by compiling latencytap to a module and then using:
    staprun latentap.ko debug=1

Use decimal output for automatic printing of global aggregates

Previously, the automatic printing of global aggregates was hexidecimal.
Most people find it more convenient to look at this information in decimal
form. Thus, the output is now decimal based. If one really needs or wants
the old behavior a --compatible=1.3 option can be added to the command line.

Add translator support for the forthcoming v3 sdt.h.

* sdt.h (stap_sdt_probe_type): Add uprobe3_type.

* tapsets.cxx (sdt_uprobe_var_expanding_visitor::visit_target_symbol):
Support <precision>@
(struct sdt_query): Add base, have_debuginfo_uprobe, have_debuginfoless_uprobe.
(handle_query_module): Handle v3 sdt.h which has probes in note sections.
(setup_note_probe_entry_callback): New.
(setup_note_probe_entry): New.

Use common handler for sdt.h v2/v3 and change sdt.h v2 to use it.

* tapsets.cxx (sdt_query::iterate_over_probe_entries): Replaces get_next_probe.
(sdt_query::handle_query_module): Use it.
(sdt_query::handle_probe_entry): New.  Used by sdt.h v2/v3

Add dwarf support for use by sdt.h v3.

* dwflpp.cxx (dwflpp::iterate_over_notes): New.
(dwflpp::get_section): New.
* dwflpp.h: Likewise.
*tapsets.cxx (sdt_query::handle_query_module):  Use get_section.

PR 11905: Take more care with stap-server config files.

- Config files now have a fixed suffix which avoids collisions with other
  stap-server files.
- Config files are now interpreted in order to avoid execution of random
  code.

Updated latencytap.stp

The updated latencytap.stp uses more portable probe points for the collecting
the data. The script also maps the functions in the traceback to reasons the
sleep. The reasons for the sleeps were mechanically generated from
latencytop-0.5 latencytop.trans file.

Validate backtrace addresses.

* runtime/stack-i386.c (_stp_valid_pc_addr): New function.
  (_stp_stack_print_fallback): Use it.
  (__stp_stack_print): Use it.
* runtime/stack-x86_64.c (_stp_valid_pc_addr): New function.
  (_stp_stack_print_fallback): Use it.
  (__stp_stack_print): Use it.
* runtime/unwind/i386.h (arch_unw_user_mode): Removed.
* runtime/unwind/x86_64.h (arch_unw_user_mode): Likewise.

PR 10922: Firewall hint improvement.

Specifically mention mDNS when suggesting a check of the firewall after
avahi fails to find a server in the test suite.

Elaborate on the use of the --use-server option of stap.

PR11982: debian build compatibility for their elfutils hacks

* configure.ac: Check for presence of -lebl.

releng: staprun is build with -DSINGLE_THREADED to avoid -lpthread dependence

Deprecate old compile-server client and tools.

    stap-client
    stap-find-servers
    stap-find-or-start-server
    stap-authorize-server-cert
    stap-authorize-signing-cert.

releng: staprun Makefile should use -Dfoo CPPFLAGS instead of AC_SUBST*

Include top-level includes dir in AM_CFLAGS for staprun sys/sdt.h usage.

* runtime/staprun/Makefile.am (AM_CFLAGS): Add -I$(srcdir)/../../includes.
* runtime/staprun/Makefile.in: Regenerated.

Enable AM_SILENT_RULES for runtime/staprun/

Include runtime/staprun in top-level builds

Move run-staprun into runtime/staprun/

It now lives with staprun itself.  Also adjust run-stap accordingly.

staprun: Clean up kallsyms _stext parsing.

* runtime/staprun/staprun.c (send_relocation_kernel): Rewrote parsing loop.

PR4037: kernel-matching -m32 or -m64 not needed for staprun

releng: use staprun's new configury only

Removed staprun/stapio/stap-merge stuff from top-level configury.

PR11963: avoid using scanf %as

Use <linux/blk_types.h> and REQ_WRITE for 2.6.36 and newer kernels

Local definitions of NIPQUAD and NIPQUAD_FMT when required (PR11951)

Newer 2.6.36 kernels eliminate NIPQUAD and NIPQUAD_FMT defines.
Definitions are made available when needed.

Give staprun/stapio/stap-merge a standalone configure and makefile

* Makefile.am: New file.
* configure.ac: New file.
* Makefile.in: New generated file.
* aclocal.m4: New generated file.
* config.in: New generated file.
* configure: New generated file.

staprun: Avoid need for -I$(top_srcdir)

* modverify.c: Use proper relative pathname for nsscommon.h #include.

staprun: Avoid type-punning casts.

* mainloop.c (stp_main_loop): Use clean union instead of casts.

Replaced obsolete index/rindex functions with strchr/strrchr.

* runtime/staprun/common.c: Replaced index/rindex with strchr/strrchr.
* runtime/staprun/staprun.c: Ditto.

Clarify description of --all-modules optoin in stap manpage

Update the dropwatch.stp beginner's manual text to match the current script.

Allow dropwatch to output function name directly and clean formatting

Clean up the timeout.stp and topsys.stp example text

Revise futexes.stp example text.

Add pointer to SystemTap Tapset Reference Manual to References Chapter

Correct the example man pages for "man stapprobes"

PR11949: duplicate-eliminate tapset files

* main.cxx (passes_0_4): Bypass tapset script files already parsed,
  based upon device/inode matching.

Print a warning for labels outside their scope

Sometimes the compiler may output debuginfo a label PC that's not
actually contained by its lexical scope.  When this happens, it's likely
that we won't be able to access any variables.  Print a WARNING so the
user knows something is amiss.

* dwflpp.cxx (dwflpp::iterate_over_labels): Print a warning when the
  scope doesn't contain the label address.
  (dwflpp::inner_die_containing_pc): Return bool indicating if the
  address is even contained by the result scope.
* testsuite/systemtap.base/ptridx.stp: Use the right exe path.
* testsuite/systemtap.base/ptridx.exp: Use manual spawn/expect for more
  precise matching.

Update inodewatch2.stp to work with newer kernel

Relax inner_die_containing_pc's initial check

I had a semantic error thrown if the given address wasn't even within
the starting scope, but now I've just made that return right away.
Roland found a case where the compiler had a label in DWARF that was
outside the PC range of the inline that supposedly contained it.

* dwflpp.cxx (dwflpp::inner_die_containing_pc): Return if !die_has_pc.
* testsuite/systemtap.base/ptridx.*: Roland's testcase.  It still fails
  when the variables lack locations, but at least -L should work now.

Associate localhost.localdomain with generated compile-server certificates.

loc2c: Diagnose index into noncontiguous array whose pieces are too small

* loc2c.c (translate_array): Diagnose chosen piece being too small.

loc2c: Handle arrays of computed values

* loc2c.c (translate_array): New function, broken out of ...
(c_translate_array): ... here.  Call it.
(c_translate_array_pointer): Call it.
(translate_array): Accept computed or unavailable value with
constant zero index.

Extend vta-test case to cover arrays.

* testsuite/systemtap.base/vta-test.c (t1, t2, t3): Add a computed array local.
* testsuite/systemtap.base/vta-test.stp: Probe them to show that.
* testsuite/systemtap.base/vta-test.exp: Expect that.

Extend const_value test case to cover arrays.

* testsuite/systemtap.base/const_value.c (func): Add a const array local.
* testsuite/systemtap.base/const_value.stp: Print it.
* testsuite/systemtap.base/const_value.exp: Expect that.

Correct the description of -c option

Simplify the installation of the needed rpm packages

There was some detail on writing repo files. However, that text is not needed
for rhel-5/6 or fedora. There are already repo files that point on the
location of the debuginfo files.

Fixed PR11940 by getting scripts w/global variables to compile on 2.6.36.

* runtime/runtime.h: Updated module parameter get/set functions with new
  interface for 2.6.36.

Introduction for SystemTap Beginner's Guide edits

Correct the limitations section of the introduction. And do some minor edits
to the introduction.

Bump version for SystemTap Beginner's guide.

Add runcheck target to do full tests without install, using run-stap

* Makefile.am (runcheck, testsuite/stap): New targets.
* Makefile.in: Regenerated.

PR 11441: Ensure that the integrated client compiles without NSS and/or AVAHI.

PR 11441 - Additional update to stap.1 and NEWS entry for new integrated client features.

PR 11441: More cleanup

- Make sure client side database files are readable by all.
- Update stap.1 man page

PR 11441: Cleanup of integrated compile-server/cert management.

- Call PR_Init/PR_Cleanup only once per session
- Encapsulate compile_server_info within csclient.cxx
- Expose only needed functions from csclient.cxx

PR 11441: Allow specification of servers by certificate serial number.

Mainly intended for certificate management, particularly when revoking
trust, but also useful when listing servers and compiling using servers.

PR 11441: Implement integrated server cert management in stap.

New --trust-servers option allows for precise handling of
individual server certificates for trust as an SSL peer and as a signer.

create_dir: create path components if they do not exist.

Ensure that the server's certificate is in place before attempting to get it's serial number.

Also ensure that error output from certutil is logged.

PR 11441: Implement resolving/querying of trusted servers (SSL) and trusted signing servers.

- Serial number of server certificate now displayed by --list-servers when available
- Servers now present certificate serial number via avahi in order to assist the user in
  identifying trusted servers and signers.
- Resolve servers using dns, avahi and NSS in order to present complete information

Don't check signing certificate database integrity unless we're actually going to verify a signature.

Database permissions were being checked even when loading unsigned modules.

Kill a stray paren in examples/io/inodewatch2.stp