Consolidate signal-masking into a utility class

* util.h (stap_sigmasker): New, masks our usual signals for the life of
  the stap_sigmasker object.
* remote.cxx (direct_stapsh::direct_stapsh): Use stap_sigmasker while
  spawning the stapsh child process.
  (ssh_remote::connect): Ditto for the ssh process.
  (remote::run): Use stap_sigmasker around the polling loop.

remote: Disambiguate the private target names

It's conceivable, however unlikely, that a user may have an actual host
named "direct" or "stapsh", which would conflict with our internal
methods if used as a --remote.  Such a user could say "ssh://direct" to
be explicit, but we can also hide ours a little better.  Those internal
names are now tested as proper URI schemes, e.g. "direct:...", so they
should never conflict with a user's legitimate target.

* remote.cxx (remote::create): Test for "direct" and "stapsh" only as
  the scheme of a decoded URI.
* main.cxx (main): Use "direct:" for non-remote use.
* testsuite/systemtap.base/stapsh.exp: Use "stapsh:" for testing.

Make sure remote children are waited for

* remote.cxx (ssh_remote::~ssh_remote): Call finish on destruction.
  (direct_stapsh::~direct_stapsh): Ditto.
  (direct::~direct): Ditto.

PR12749: Replace popen calls with stap_spawn_piped

The new form has the advantages that child processes are managed by
signals to stap, and that arguments are provided in a vector so they
don't need to be escaped.

* dwflpp.cxx (dwflpp::iterate_over_libraries): Convert popen call to
  stap_spawn_piped, followed by fdopen so the same FILE* operations are
  still supported.  Finish with fclose+stap_waitpid instead of pclose.
* tapsets.cxx (symbol_table::read_from_elf_file): Ditto.

Remove the unused git_revision()

The use of this function had been commented out for some time now, and
it contained an unescaped call to popen.  Rather than trying to fix dead
code, just remove it altogether.

Explicitly check the interpreter paths.

dwflpp.cxx (dwflpp::iterate_over_libraries):  Do explicit pathname comparison.

pmwebapi: prototype pcp web api daemon

* src/pmwebapi/main.c: New file.

pcp logger: disable install target, as this doesn't mesh with stap configury

Bump postgres version used for systemtap.apps to 9.0.4

* stap-postgres.stp (postgresrelease):  Bump it to 9.0.4

uprobes: impedance match insn tables with test_bit()

The kernel's test_bit expects its bitmap to be const volatile, but we
had ours as simply const.  On Fedora 15 with gcc 4.6, compiling uprobes
gave a few warnings like this:

    arch/x86/include/asm/bitops.h:319:2: warning: use of memory input
    without lvalue in asm operand 1 is deprecated [enabled by default]

That line is the asm statement in variable_test_bit().

The symptom noticed was that handle_riprel_insn was reading need_modrm:0
for opcode 0x89, when our table says it should be 1.  Who knows what
other havok ensued...

When our instruction tables are set const volatile to match test_bit(),
the warning goes away, and need_modrm is now computed correctly.

uprobes: remove #undef DEBUG_UPROBES_RIP, to make it controllable

Use iterate_over_libraries for --ldd instead of invoking ldd

* dwflpp.cxx (iterate_over_modules): Make data an opaque type.
(iterate_over_libraries): Likewise.
* dwflpp.h: Likewise.
* translate.cxx (add_unwindsym_iol_callback): New.
(query_module): New.
(add_unwindsym_ldd): Use them to iterate_over_libraries instead of ldd.
* library.exp:  Add --ldd test.

dtrace: Remove unused open_file function

dtrace: Push main logic into an actual main()

* dtrace.in (main): New, invoked using Python's __name__ idiom.
  (_provider.__typedef_append): Take add_typedefs as a parameter rather
  than pulling from the formerly global scope.
  (_provider.generate): Adjust __typedef_append calls.

dtrace: Fix tabbed indentation with 4 spaces

dtrace: Use dict.get() for conditional environment values

Dtrace script should honor $CPP, $CC, $CFLAGS

* dtrace (main):  Use $CPP, $CC, $CFLAGS if available
* dtrace.exp:  Add CFLAGS= CC= test

regen examples index

Better cleanup in insert_module().

* runtime/staprun/staprun_funcs.c (insert_module): Better cleanup on error
  exit.

eventcounter: more output tweaks

eventcount: improve output layout some more

eventcount script: improve startup message

perf: document default perf.*.sample(XX) value/behavior

eventcount: extend script with more info and prettier formatting

PR12508 Changed eventcount.stp to use target_set tapset

This change avoids cases where the target program runs several layers
away.

PR12508 eventcounting script

An eventcount.stp script has now been added which allows for event
counting in the format of 'stap eventcount.stp syscall.* process.end ...'
with a printout of tid's event and count.

NEWS - news blurb
testsuite/systemtap.examples/general/eventcount.meta - meta file
testsuite/systemtap.examples/general/eventcount.stp - script itself

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Fix typo in tapset documentation

tapset/context.stp - target not 'targer'

Generate better file name for Tapset html

As a default xmlto uses reXXXX.html for file names for the generated html files.
This has two drawbacks: it is not meaningful to humans and is likely to change
between builds of the tapset reference manual. The added XMLTOHTMLPARAMS
option generate more nmemonic names for the files and generates files that
are less likely to change between builds.

remote: Normalize the shell used to invoke stapsh

We're using a little bit of shell magic on the remote side to tell
whether a system has stapsh available, but that magic depends on
specific shell functionality.  We now explicitly start it with
/bin/bash, so the user's choice of $SHELL doesn't matter.

* remote.cxx (ssh_remote::connect): Wrap the command in /bin/bash -c.

Loop server requests over every remotes' session

Now the list/trust-server options work on every unique session generated
by the requested remote targets.  This enables usage such as:
    $ stap --remote HOST --list-servers

* main.cxx (passes_0_4): Move the version/session banner to main.
  (main): Print the version just once, and the session banner for each
  unique session.  Perform server actions within the session loop.

Restore signals after removing the tmpdir

This is necessary because passes_0_4_again_with_server() will remove the
tmpdir before trying again on a server.  If it is then successful, the
proceeding run should be interruptible as normal.

* main.cxx (remove_temp_dir): Restore signals after removal.

usage message: identify parameters for --{list,trust}-servers=MAGIC

remote: Support ssh on custom ports

* remote.cxx (remote::create): Heuristically disambiguate between URI
  scheme:path and SSH host:port.
  (ssh_remote::create): Parse an optional :port in the host string.
  (ssh_remote::connect): Pass the port to ssh -p.
  (ssh_legacy_remote::open_control_master): Pass the port to both
  ssh -p and scp -P.

remote: Give a better message for ssh connection failures

* remote.cxx (ssh_remote::connect): Flag rc==255 as an ssh error.

remote: Allow prefixing lines with the host index

When --remote-prefix is given, each line from remote scripts will be
prefixed with "N: ", where N is the index of that host among all the
--remote options on the command line.

* remote.h (class remote): Add an optional prefix string.
* remote.cxx (remote::run): Set the prefix if desired.
  (stapsh::handle_poll): When using prefixes, read data line-wise.
* session.cxx (systemtap_session): Add bool use_remote_prefix.
  (systemtap_session::parse_cmdline): Set it with --remote-prefix.

tolerate kernel builds with missing .note.gnu.build-id sections

* translate.cxx (dump_unwindsyms): Add back the check "Don't save
build-id if it is located before _stext."
* runtime/sym.c (_stp_module_check): Don't do buildid check for
-DSTP_NO_BUILDID_CHECK.
(_stp_usermodule_check): Likewise.
* buildid.exp: Test -DSTP_NO_BUILDID_CHECK

Logger PMDA updates: remove DSO logic, cut back on debugging info, etc.

Changes from Ken McDonell <kenj@internode.on.net>

* pcp/src/pmdas/logger/logger.c (usage): Updated usage message.
  (logger_init): Removed DSO startup logic.
  (main): Ditto.
  (logger_end_contextCallBack): Only log debugging information when asked
  for.
  (logger_profile): Ditto.
  (logger_fetchCallBack): Ditto.
  (read_config): Ditto.
  (logger_pmid): Ditto.
  (logger_name): Ditto.
  (logger_children): Ditto.
* pcp/src/pmdas/logger/percontext.c (ctx_start): Ditto.
* pcp/src/pmdas/logger/event.c (event_create): Ditto.
  (event_fetch): Ditto.
* pcp/src/pmdas/logger/util.c (start_cmd): Ditto.
* pcp/src/pmdas/logger/root: Includes domain.h.

Added 'logger.perfile.{LOGFILE}.path' metric in the logger PMDA.

* pcp/src/pmdas/logger/logger.c (logger_fetchCallBack): Add support for
  new 'logger.perfile.{LOGFILE}.path' metric, which returns the logfile
  pathname.

PR12211 gettext the new err() and regenerate the po/ files

po/* - update with new strings
runtime/staprun/mainloop.c - gettext the err string

PR12211: Tweak the child-exit warning output

* runtime/staprun/mainloop.c (chld_proc): Use err() instead of dbug(0,)
  so we don't get the source:line dump, and remove the ':' as well.

Added help text for the dynamic metrics in the logger PMDA.

* pcp/src/pmdas/logger/logger.c (logger_text): New function that provides
  help for the dynamic metrics.
  (logger_init): Set up dynamic metrics help text.
* pcp/src/pmdas/logger/help: Removed commented out help for the dynamic
  metrics.

PR12211 stapio now reports abnormal child exit

NEWS - description of the new functionality
runtime/staprun/mainloop.c - changes to now handle and report the
exit status/signal.

Correct the local name in vfs.readv

Reported-By: Jake Maul <jakemaul@gmail.com>

Don't cache "N/A" in __find_bdevname()

Validate PMNS names in the logger PMDA install script.

* pcp/src/pmdas/logger/Install: Validate PMNS names.

Fix setjmp.exp and server tests for RHEL5 systems.

* testsuite/lib/systemtap.exp (start_server): To properly support older
  versions of tcl (as on RHEL5 systems), don't use the newer form of
  'catch'.  Instead, use the global 'errorCode' variable when getting the
  exit code of a child process.
* testsuite/systemtap.base/setjmp.exp: Ditto.

Add -DSTAP_SDT_ARG_CONSTRAINT

    * sdt.h (STAP_SDT_ARG_CONSTRAINT): Allow override of default nor constraint.
    * cxxclass.exp: Use it.

Added more testsuite error handling.

* testsuite/lib/systemtap.exp (start_server): Catch errors when starting a
  server.
* testsuite/systemtap.base/buildid.exp: Be sure to call wait after spawn.

Improve error handling in target_set.exp.

* testsuite/systemtap.base/target_set.exp: Handle EOF and add failure
  reasons.

Fixed 'test_check' compile line in network/tcp_init_cwnd.meta

* testsuite/systemtap.examples/network/tcp_init_cwnd.meta: Fix
  'test_check' entry to compile 'tcp_init_cwnd.stp', not
  'tcp_init_cwnd.meta'.

Enhance description for -c and format function::target better.

Merge branch 'master' of git://sources.redhat.com/git/systemtap

* 'master' of git://sources.redhat.com/git/systemtap:
  PR12645 (partial): Only insert uprobes in non-writable executable sections.

PR12645 (partial): Only insert uprobes in non-writable executable sections.

* runtime/uprobes-common.c (stap_uprobe_mmap_found): Only try to insert
  uprobes in non-writable executable sections.

Merge branch 'master' of git://sources.redhat.com/git/systemtap

* 'master' of git://sources.redhat.com/git/systemtap:
  PR12645 (partial): Improved uprobe/uretprobe error message.

i18n: regen po files

i18n: Fix accidental whitespace changes in stap -V banner

update-po: Use source-tree dtrace.in as input for po/POTFILES.in

PR12645 (partial): Improved uprobe/uretprobe error message.

* tapsets.cxx (uprobe_derived_probe_group::emit_module_decls): Improve new
  error messages by including the probe name.

Improved error handling in uprobe probes.

* tapsets.cxx (uprobe_derived_probe_group::emit_module_decls): Make sure
  we go through the probe epilogue even in an error in the emitted
  enter_uprobe_probe().

Improved error handling in uretprobe probes.

* tapsets.cxx (uprobe_derived_probe_group::emit_module_decls): Make sure
  we go through the probe epilogue even in an error.

module shutdown: be verbose upon a hang

In the generated module_exit() function, there exists an infinite loop
that waits for all probe handlers that might still be struggling along
to shut down, before authorizing removal of the probe module.  If
something is stuck though, it will stay stuck without any diagnostics
short of a hung stapio/staprun process that's sitting in the kernel.

This patch causes a message to be printk KERN_ERR'd, in case the
shutdown synchronization takes more than a second.

* translate.cxx (emit_module_exit): Print a message if holdon-spinning
  for more than a second.

Fixed minor error message bug in utrace_syscall_args.stp.

* testsuite/systemtap.base/utrace_syscall_args.stp: Fixed error message
  bug.

Name the originator of the cpp-vararg-counter idea

Enable module.function.label probes

Nothing to it -- its absence seems to be just an oversight.

* tapsets.cxx (dwarf_derived_probe::register_patterns): Add bindings
  for module.function.label probes.
* stapprobes.3stap: Document it.

More testsuite fixes.

* testsuite/systemtap.base/buildid.exp: Check for uprobes, not just
  utrace.  If we get an error, go ahead and return, since the following
  stuff won't work since we've already cleaned up.
* testsuite/systemtap.base/target_set.exp: Better cleanup.
* testsuite/systemtap.base/target_set.stp: Now compiles on s390x and
  ppc64 by using @cast().
* testsuite/systemtap.context/backtrace.tcl: If we get an EOF, don't call
  exp_contine (which causes a tcl error).

Avoid side-effect-free function warnings on '_ptrace_return_arch_prctl_addr'.

* tapset/i386/aux_syscalls.stp: To avoid side-effect-free function
  warnings on '_ptrace_return_arch_prctl_addr', just return 0.
* tapset/ia64/aux_syscalls.stp: Ditto.
* tapset/powerpc/aux_syscalls.stp: Ditto.
* tapset/s390/aux_syscalls.stp: Ditto.

Added minor testsuite fixes (found when doing rawhide testing).

* testsuite/systemtap.base/stmt_rel.c: Avoid an uninitialized variable
  error.
* testsuite/systemtap.base/buildid.exp: Added utrace check.
* testsuite/systemtap.base/unresolved-struct-typedef.exp: Ditto.

Fix a local variable redefinition

* session.cxx (systemtap_session::register_library_aliases): There are
  nested n variables with different types; rename the inner for clarity.

Fix a copy-paste goof in cache cleanup

The impact of this typo is that .c and .log files were not properly
counted when computing cache utilization.  Not a big deal, but easily
fixed anyway.

* cache.cxx (cache_ent_info::cache_ent_info): Remove bad semicolons.

AUTHORS bump

Add STAP_PROBEV for variadic probe arguments

For the moment, this is only created when SDT_USE_VARIADIC is defined,
because we want to support arbitrary compiler flags, and -pedantic tends
to object to variadic macros.

* includes/sys/sdt.h (STAP_PROBEV): New.
* testsuite/systemtap.base/sdt_va_args.c: Use STAP_PROBEV.
* testsuite/systemtap.base/sdt_va_args.exp: Test STAP_PROBEV.

Simplify V3 sdt argument mode handling.

* tapsets.cxx (sdt_uprobe_var_expanding_visitor::visit_target_symbol_arg):
Treat argument extraction as a 64 bit subexpression and handle its sign if needed.

Really fix runtime/procfs.c for 2.6.39-0.rc2.

* runtime/procfs.c: kern_path_parent() looks up the parent of a path, not
  the path itself.

Updated tapset/vfs.stp for 2.6.39-0.rc2.

* tapset/vfs.stp: Kernel commit 7eaceac removed block_sync_page(), so
  those probes were made optional.  Kernel commit e64a782 renamed
  __remove_from_page_cache() to __delete_from_page_cache(), so add an
  alias.
* testsuite/buildok/vfs-detailed.stp: Updated.

Fixed runtime/procfs.c for 2.6.39-0.rc2.

* runtime/procfs.c (_stp_mkdir_proc_module): Calls kern_path_parent()
  instead of path_lookup().  For older kernels kern_path_parent() is
  defined as path_lookup().
* buildrun.cxx (compile_pass): Added autoconf-kern-path-parent.c test.
* runtime/autoconf-kern-path-parent.c: New test.

Corrected "autoconf" variable name in runtime/procfs.c.

* runtime/procfs.c: Corrected AUTOCONF_PROCFS_OWNER to
  STAPCONF_PROCFS_OWNER.

Fix typo in sdt_types.stp

sdt_types.stp: Fix variable name typo.

Allow an sdt memory offset to be an expression, albeit a simple one.

* tapsets.cxx (sdt_uprobe_var_expanding_visitor::visit_target_symbol_arg)
Allow offset to be +-N+-N+-N.
* sdt_asm.S (memory):  New test.
* sdt_asm.stp: Likewise.

PR3823: Added Gettext functionality to nsscommon.c
updated po files accordingly

PR3823: Updated the NEWS file regarding I18N

PR3823: Added gettext functionality to dtrace script

Makefile* - were modified to include dtrace as a gettext file
dtrace.in - script was modified to only enable gettext functionality
if ENABLE_NLS is true
po/POTFILES.in - updated to include dtrace in gettextizing
other po* files - updated as needed

Fixed exelib.exp so that it doesn't hang on s390x systems.

* testsuite/systemtap.exelib/libmarkunamestack.tcl: Better cleanup when
  tests fail.
* testsuite/systemtap.exelib/ustack.tcl: Ditto.

Fixed BZ692445 by updating regular expression 'all_pass_string'.

* testsuite/lib/stap_run.exp: Make expect happier by removing the '$' at
  the end of 'all_pass_string'.  The '\r\n' should catch the end of lines
  properly.

PR3823: Fix a few french translation strings

PR3823: Worked the stap usage message into blocks as per request.

po/fr.po translation was reformatted to match where available
translations allowed.
other po/* files regenerated

Merge branch 'master' of http://sources.redhat.com/git/systemtap

PR3823: Added gettext functionality to staprun files.

This was tested on a Fedora 14 x86_64 virtual machine with the
$LANG environment variable set to fr_FR.utf8 with a dummy stapio
usage message. Po files have been updated accordingly.

make pthread test case work with other tests; skip if !installctest_p

Fixed BZ692869 by using @defined() instead of checking CONFIG variable.

* tapset/syscalls2.stp (syscall.nfsservctl): Checks for the existence of
  dwarf variables instead of using CONFIG_NFSD.

Handle logfile paths that end in '|', treat it as a command to read data from.

* pcp/src/pmdas/logger/util.c: New file.
* pcp/src/pmdas/logger/util.h: Ditto.
* pcp/src/pmdas/logger/event.c (event_init): Handle opening pipe "paths".
  (event_shutdown): New function that stops piped processes and closes all
  files.
* pcp/src/pmdas/logger/event.h: Added event_shutdown() prototype.
* pcp/src/pmdas/logger/logger.c (read_config): Moved lstrip/rstrip code to
  util.c.
  (main): Calls event_shutdown() after pmdaMain() returns to clean
  everything up.
* pcp/src/pmdas/logger/GNUmakefile.in: Added util.c and util.h.
* pcp/src/pmdas/logger/Install: Support entering pipe "paths".

Add addr() for retrieving REG_IP

For probes which have CONTEXT->regs, return REG_IP, else return 0.

* tapset/context.stp (addr): New function.
* testsuite/buildok/context-embedded.stp: Test addr() compilation.
* NEWS: Let the town crier make a pronouncement of addr().

Correct use of pid for filtering

The blog on http://blog.yufeng.info/archives/1239 mentions that the script
is not properly filtering based on pid. This change corrects the
filtering to use the pid.

document more syntax for shared library probing

* NEWS:  Add process("..").library("..")
* langref.tex:  Likewise.
* stapprobes.3stap:  Likewise.

tighten up wording for stap-server related changes

Change the logger PMDA config file lines to be of the form "NAME PATHNAME".

* pcp/src/pmdas/logger/logger.c (valid_pmns_name): New function.
  (read_config): Read NAME and PATHNAME from each config file line.  Make
  sure NAME is a valid PMNS name.
* pcp/src/pmdas/logger/Install: Ask for logfile names along with paths.
* pcp/src/pmdas/logger/event.h: Swap the order of the logfile name and
  pathname to mirror the new config file.

Remove d_tag parm from iterate_over_libraries callback.

* dwflpp.h (iterate_over_libraries):  Remove type parm.
* tapsets.cxx (query_library_callback,query_library): Likewise.

Add more library wildcard matching tests.

* library.exp: Add more wildcard tests.
* tapsets.cxx (base_query::query_library_callback) Remove type parm.
  (dwarf_query::query_library): Likewise.
* dwflpp.cxx (dwflpp::iterate_over_libraries): Likewise.

Decode ptrace.
http://sourceware.org/bugzilla/show_bug.cgi?id=12500

* tapset/aux_syscalls.stp (_ptrace_options_str, _ptrace_argstr)
(_ptrace_return_geteventmsg_data): New functions.
* tapset/i386/aux_syscalls.stp: New file.
* tapset/ia64/aux_syscalls.stp: New file.
* tapset/nd_syscalls2.stp (nd_syscall.ptrace): Set argstr using
_ptrace_argstr.
(nd_syscall.ptrace.return): Set geteventmsg_data and arch_prctl_addr.
* tapset/powerpc/aux_syscalls.stp: New file.
* tapset/s390/aux_syscalls.stp: New file.
* tapset/syscalls2.stp (syscall.ptrace): Set argstr using
_ptrace_argstr.
(syscall.ptrace.return): Set geteventmsg_data and arch_prctl_addr.
* tapset/x86_64/aux_syscalls.stp: New file.
* testsuite/buildok/aux_syscalls-embedded.stp (begin): Call
_ptrace_argstr, _ptrace_return_geteventmsg_data and
_ptrace_return_arch_prctl_addr.

Testcase for pthread probes