PR12729: make childprocess spawning/waitpid both -vv verbose

With recent code, -vv was enough to get a "Running ...." message for
child processes of the translator, but not their "Spawn waitpid ..."
return codes.  That required -vvv.  Make them consistent.

* util.cxx (stap_waitpid): Report at verbosity > 1.

--ldd: turn bad-interpreter findings into warnings

A semantic_error is too heavy.  We can just skip the --ldd processing
for these binaries and move on.

* dwflpp.cxx (iterate_over_libraries): Print (suppressible) warning
  instead of throwing a semantic_error if the module interpreter is
  not in our whitelist.

--ldd: improve error handling

* translate.cxx (add_unwindsym_ldd): Use delete, not free() on c++ object.
  (prepare_translate_pss): Add an exception catch around prepare_symbol_data()

shutdown hangs: offer option -DSTAP_OVERRIDE_STUCK_CONTEXT

Sometimes stuff happens to probe handlers, and they refuse to clean up
cleanly (resetting their contexts to non-busy state).  This can cause
module shutdowns to hang with a busy-waiting stapio.  This patch lets
a user override the infinite loop with -DSTAP_OVERRIDE_STUCK_CONTEXT
to let the module be cleaned up.  Without that set, at least the
infinite loop is made to spin less tightly.

* translate.cxx (c_unparser::emit_module_exit): Hang looser
  upon stuck contexts.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

dwflpp::translate_final_fetch_or_store enumeration_types are always scalar.

No need to check DW_AT_encoding for DW_TAG_enumeration_type
(they don't have any).

Build PPC Postgres sdt with 'nr' constraint

* postgres.exp (stap-postgres.sh):  Add -DSTAP_SDT_ARG_CONSTRAINT=nr

PPC requires prepare_section_rejection mod parameter.

* tapsets.cxx (symbol_table::read_from_text_file): Keep mod but mark it unused.

Revert "pmwebapi: prototype pcp web api daemon"

Removing the pmwebapi prototype from stap git; it's moved to
git://oss.sgi.com/fche/pcp.git

runtime/autoconf: gcc 4.6 fix false -Werror positives

gcc 4.6 generates more warnings, which made some runtime/autoconf
tests falsely fail.  The worst example of this was a crash in the
context.exp test case (due to false negative STAPCONF_WALK_STACK).
This patch adds some dummy code to the tests to make the warnings
go away, and thus let the tests pass even with -Werror.

Silence stap's signal handler

It might be nice to print a signal diagnostic in more verbose modes, but
we don't know the session's verbose flag at that point.  So, keep quiet.

* main.cxx (handle_interrupt): Don't brag about signals.

Include the date & time in all compile server log messages.

Bump product number for beginners guide.

Unwanted message when initializing non-existent client-side cert database.

Handle resource limit violations of stap when called by stap-serverd more elegantly.

- Catch SIGXFSZ and SIGXCPU in stap and in stap-serverd.
- Exit gracefully from stap when caught.
- In stap-serverd, compare the current limits against the original limits
  and continue if the current limits are less (i.e. are limits intended for stap).
- Set/restore limits around stap_spawn instead of spawn_and_wait.

gcc 4.6 -Wextra -Wall fixes

Some unused parameters removed, some extra
initialization here and there.

Add ia64 interpreter to whitelist

* dwflpp.cxx (iterate_over_libraries): Add /lib/ld-linux-ia64.so.2 to whitelist.

Fixed rpm_finder compilation when '!HAVE_LIBRPMIO && HAVE_NSS'.

* rpm_finder.cxx: Added needed include of nsscommon.h when we don't have
  librpmio but have nss.

Add ppc/s390 interpreter to whitelist.

* dwflpp.cxx (iterate_over_libraries): Add /lib64/ld64.so.1 to whitelist.

disable install targets from pcp/ subdir

These don't respect autoconf --prefix, and are not really
desired as part of the installed stap package anyway.

bump AUTHORS

Fix build problems with compile-server and client when avahi is not available.

NEWS entry for new compile server implementation.

i18n: po rebuild after CVE fixes

CVE-2011-1781, CVE-2011-1769: correct DW_OP_{mod,div} division-by-zero bug

    Probing a process with corrupted DWARF information, it has been
    possible to create a kernel-side divison-by-zero.  This fixes.

    Handle DW_OP_div/mod divide by zero. DW_OP_mod should work unsigned.

    * loc2c.c (translate): Use helper functions div_op and mod_op for
      DW_OP_div and DW_OP_mod operands. Set used_deref = true.
    * translate.cxx (translate_runtime): Emit STAP_MSG_LOC2C_03 define.
    * runtime/loc2c-runtime.h: Define dwarf_div_op and dwarf_mod_op macros.
    * runtime/unwind.c (compute_expr): Check for zero before executing
      DW_OP_mod or DW_OP_div.

Correct some rlimit settings for the translator when called by the server.

Some settings should have been specified in kilobytes.

nss-tools is no longer required by our RPMs.

Platform specific build issues:

Missing #includes.
Unused variables.

Set resource limits for the translator when called from the compile server.

Gettext a few lines, update /po and Makefiles

Makefile.am - dont include config.h runtime/staprun/config.h or git_version.h
Makefile.in - likewise
nsscommon.cxx - gettexted a few strings
po/* - regenerated files

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Merge branch 'master' of git://oss.sgi.com/nathans/systemtap

* 'master' of git://oss.sgi.com/nathans/systemtap:
  Resolve a couple of issues from missing log file handling code.
  Minor cleanups after writing QA tests.
  Add code to deal with log file rotation.
  Unify separate tables for tracking log files, simpler code.
  Several additional metrics for log file PCP agent.
  Update the domain number comment now that one is reserved.
  Uncomment the seek-to-end-of-log-file code in pmdalogger.
  Remove further shared library remnants in pmdalogger build.

dtrace python i18n: make work with autoconf wackyness

autoconf likes to expand some @vars@ in terms of shell-script-like
constructs like @LOCALEDIR@ = "${datarootdir}/locale" and
@datarootdir@ = "${prefix}/share".  Since python doesn't interpolate
strings the same way as /bin/sh, this no workie. So we hard-code the
interpolation with a sequence of string.replace calls.

Confirmed working with LANG=fr_FR strace python ./dtrace |& grep /fr

* configure.ac: AC_SUBST a few more values.
* dtrace.in: Specially process ENABLE_NLS and similar values.

Add NULL check to second PR_Close(local_file_fd)

Add NULL check for PR_Close(local_file_fd)

Initialize local_file_fd to NULL

nsscommon.cxx - set to NULL as to ensure no uninitialized use

elf_getphdrnum is not in all versions of elfutils

* dwflpp.cxx (iterate_over_libraries): Use result of gelf_getphdr to
exit loop instead of result of elf_getphdrnum.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Read-only iteration should use const

* util.cxx (spawned_pids_t::killall): Use const_iterator.

remote: Add tests for manually-specified hosts

To run a basic test on hosts foo and bar, use:
  make installcheck RUNTESTFLAGS=remote.exp TESTREMOTES=foo,bar

* testsuite/systemtap.base/remote.exp: New test of --remote hosts.
* testsuite/systemtap.base/remote.stp: New.
* testsuite/Makefile.am: Add TESTREMOTES control of remote.exp.
* testsuite/Makefile.in: Regenerate.

Create a signal-safe type for tracking spawned pids

* util.cxx (spawned_pids_t): New type which wraps a set<pid_t>, masking
  signals on each access to ensure consistency in and out of the signal
  handler.  The spawned_pids global is the only instance.
  (stap_waitpid): Use !contains(pid) rather than count(pid)==0.
  (kill_stap_spawn): Use spawned_pids_t::killall().

Mask signals while removing the tmpdir

* main.cxx (remove_temp_dir): Rather than ignoring signals while we rm,
  just use stap_sigmasker so we can get missed signals when we're done.

Consolidate signal-masking into a utility class

* util.h (stap_sigmasker): New, masks our usual signals for the life of
  the stap_sigmasker object.
* remote.cxx (direct_stapsh::direct_stapsh): Use stap_sigmasker while
  spawning the stapsh child process.
  (ssh_remote::connect): Ditto for the ssh process.
  (remote::run): Use stap_sigmasker around the polling loop.

remote: Disambiguate the private target names

It's conceivable, however unlikely, that a user may have an actual host
named "direct" or "stapsh", which would conflict with our internal
methods if used as a --remote.  Such a user could say "ssh://direct" to
be explicit, but we can also hide ours a little better.  Those internal
names are now tested as proper URI schemes, e.g. "direct:...", so they
should never conflict with a user's legitimate target.

* remote.cxx (remote::create): Test for "direct" and "stapsh" only as
  the scheme of a decoded URI.
* main.cxx (main): Use "direct:" for non-remote use.
* testsuite/systemtap.base/stapsh.exp: Use "stapsh:" for testing.

Make sure remote children are waited for

* remote.cxx (ssh_remote::~ssh_remote): Call finish on destruction.
  (direct_stapsh::~direct_stapsh): Ditto.
  (direct::~direct): Ditto.

PR12749: Replace popen calls with stap_spawn_piped

The new form has the advantages that child processes are managed by
signals to stap, and that arguments are provided in a vector so they
don't need to be escaped.

* dwflpp.cxx (dwflpp::iterate_over_libraries): Convert popen call to
  stap_spawn_piped, followed by fdopen so the same FILE* operations are
  still supported.  Finish with fclose+stap_waitpid instead of pclose.
* tapsets.cxx (symbol_table::read_from_elf_file): Ditto.

Remove the unused git_revision()

The use of this function had been commented out for some time now, and
it contained an unescaped call to popen.  Rather than trying to fix dead
code, just remove it altogether.

Explicitly check the interpreter paths.

dwflpp.cxx (dwflpp::iterate_over_libraries):  Do explicit pathname comparison.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Conflicts:
nsscommon.c
runtime/staprun/Makefile.in

pmwebapi: prototype pcp web api daemon

* src/pmwebapi/main.c: New file.

pcp logger: disable install target, as this doesn't mesh with stap configury

Systemtap Compile Server Integration (rewrite):

- Rewrite stap-serverd in C++
- Rewrite related tools (stap-gen-cert, stap-authorize-cert, stap-sign-module)
  in C++. Integrate functionality into stap-serverd.
- Remove stap-server-connect (integrated into stap-serverd).
- Move all common NSS related code into nsscommon.cxx (renamed from nsscommon.c).
- Rename modsign.cxx to stap-sign-module.cxx.
- Update test suite with new expected messages.
- Update man pages.
- Remove obsolete tools (scripts).
- Remove test for certutil from configuation.

Bump postgres version used for systemtap.apps to 9.0.4

* stap-postgres.stp (postgresrelease):  Bump it to 9.0.4

Resolve a couple of issues from missing log file handling code.

If we do not stat the file on initial opening as well, the first
ino/dev comparison fails and we end up always reopening the file
at least once.

Whenever we have a successful stat call on logfile, keep latest
output in case we ever want to use last-modified times, etc.

Minor cleanups after writing QA tests.

Most interesting change is handling accidental use of a
directory name as a log file name, doesn't spam the log.

uprobes: impedance match insn tables with test_bit()

The kernel's test_bit expects its bitmap to be const volatile, but we
had ours as simply const.  On Fedora 15 with gcc 4.6, compiling uprobes
gave a few warnings like this:

    arch/x86/include/asm/bitops.h:319:2: warning: use of memory input
    without lvalue in asm operand 1 is deprecated [enabled by default]

That line is the asm statement in variable_test_bit().

The symptom noticed was that handle_riprel_insn was reading need_modrm:0
for opcode 0x89, when our table says it should be 1.  Who knows what
other havok ensued...

When our instruction tables are set const volatile to match test_bit(),
the warning goes away, and need_modrm is now computed correctly.

uprobes: remove #undef DEBUG_UPROBES_RIP, to make it controllable

Use iterate_over_libraries for --ldd instead of invoking ldd

* dwflpp.cxx (iterate_over_modules): Make data an opaque type.
(iterate_over_libraries): Likewise.
* dwflpp.h: Likewise.
* translate.cxx (add_unwindsym_iol_callback): New.
(query_module): New.
(add_unwindsym_ldd): Use them to iterate_over_libraries instead of ldd.
* library.exp:  Add --ldd test.

dtrace: Remove unused open_file function

dtrace: Push main logic into an actual main()

* dtrace.in (main): New, invoked using Python's __name__ idiom.
  (_provider.__typedef_append): Take add_typedefs as a parameter rather
  than pulling from the formerly global scope.
  (_provider.generate): Adjust __typedef_append calls.

dtrace: Fix tabbed indentation with 4 spaces

dtrace: Use dict.get() for conditional environment values

Add code to deal with log file rotation.

Depending on how the log file is rotated, it will often end up backed
by a new inode (new log file) as the previous one is renamed (usually
with yesterdays log timestamp).  When this happens, we'll stop getting
events ... unfortunate.

So, make use of the stat data queried at start of fetch now to ensure
we detect this scenario, close the old file and switch to the new one
seamlessly.  In the process, we need to make sure we handle the case
where the file doesn't exist.

Unify separate tables for tracking log files, simpler code.

Simplify the code a little, unifying the two separate tables
for tracking open log files.

Also added support for comments (#-prefixed) in the config file.

Dtrace script should honor $CPP, $CC, $CFLAGS

* dtrace (main):  Use $CPP, $CC, $CFLAGS if available
* dtrace.exp:  Add CFLAGS= CC= test

regen examples index

Better cleanup in insert_module().

* runtime/staprun/staprun_funcs.c (insert_module): Better cleanup on error
  exit.

eventcounter: more output tweaks

eventcount: improve output layout some more

eventcount script: improve startup message

perf: document default perf.*.sample(XX) value/behavior

eventcount: extend script with more info and prettier formatting

PR12508 Changed eventcount.stp to use target_set tapset

This change avoids cases where the target program runs several layers
away.

PR12508 eventcounting script

An eventcount.stp script has now been added which allows for event
counting in the format of 'stap eventcount.stp syscall.* process.end ...'
with a printout of tid's event and count.

NEWS - news blurb
testsuite/systemtap.examples/general/eventcount.meta - meta file
testsuite/systemtap.examples/general/eventcount.stp - script itself

Several additional metrics for log file PCP agent.

Add in counts of bytes and events seen per logfile, and the
current log file size for each.  This will aid debugging and
day-to-day monitoring of more complex, hierarchical (r)syslog
deployments, for example.

Added a fetch callback so initial code to check status of the
monitored log files could be added - will need to extend this
though, to deal with the common case of logfile rotation.

Minor cleanups - pmid_string field is not a string, rename;
do not explicitly initialise global variables to zero, as the
compiler will happily do that; metric semantics for a couple
of metrics not-quite-right (discrete vs instant).

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Fix typo in tapset documentation

tapset/context.stp - target not 'targer'

Generate better file name for Tapset html

As a default xmlto uses reXXXX.html for file names for the generated html files.
This has two drawbacks: it is not meaningful to humans and is likely to change
between builds of the tapset reference manual. The added XMLTOHTMLPARAMS
option generate more nmemonic names for the files and generates files that
are less likely to change between builds.

Update the domain number comment now that one is reserved.

Uncomment the seek-to-end-of-log-file code in pmdalogger.

For real world uses, we need to do this so that even moderately
sized log files are not read from start to end whenever the PMDA
starts up - wastes CPU cycles and (re)generates events that may
have happened long ago.

Remove further shared library remnants in pmdalogger build.

remote: Normalize the shell used to invoke stapsh

We're using a little bit of shell magic on the remote side to tell
whether a system has stapsh available, but that magic depends on
specific shell functionality.  We now explicitly start it with
/bin/bash, so the user's choice of $SHELL doesn't matter.

* remote.cxx (ssh_remote::connect): Wrap the command in /bin/bash -c.

Loop server requests over every remotes' session

Now the list/trust-server options work on every unique session generated
by the requested remote targets.  This enables usage such as:
    $ stap --remote HOST --list-servers

* main.cxx (passes_0_4): Move the version/session banner to main.
  (main): Print the version just once, and the session banner for each
  unique session.  Perform server actions within the session loop.

Restore signals after removing the tmpdir

This is necessary because passes_0_4_again_with_server() will remove the
tmpdir before trying again on a server.  If it is then successful, the
proceeding run should be interruptible as normal.

* main.cxx (remove_temp_dir): Restore signals after removal.

usage message: identify parameters for --{list,trust}-servers=MAGIC

remote: Support ssh on custom ports

* remote.cxx (remote::create): Heuristically disambiguate between URI
  scheme:path and SSH host:port.
  (ssh_remote::create): Parse an optional :port in the host string.
  (ssh_remote::connect): Pass the port to ssh -p.
  (ssh_legacy_remote::open_control_master): Pass the port to both
  ssh -p and scp -P.

remote: Give a better message for ssh connection failures

* remote.cxx (ssh_remote::connect): Flag rc==255 as an ssh error.

remote: Allow prefixing lines with the host index

When --remote-prefix is given, each line from remote scripts will be
prefixed with "N: ", where N is the index of that host among all the
--remote options on the command line.

* remote.h (class remote): Add an optional prefix string.
* remote.cxx (remote::run): Set the prefix if desired.
  (stapsh::handle_poll): When using prefixes, read data line-wise.
* session.cxx (systemtap_session): Add bool use_remote_prefix.
  (systemtap_session::parse_cmdline): Set it with --remote-prefix.

tolerate kernel builds with missing .note.gnu.build-id sections

* translate.cxx (dump_unwindsyms): Add back the check "Don't save
build-id if it is located before _stext."
* runtime/sym.c (_stp_module_check): Don't do buildid check for
-DSTP_NO_BUILDID_CHECK.
(_stp_usermodule_check): Likewise.
* buildid.exp: Test -DSTP_NO_BUILDID_CHECK

Logger PMDA updates: remove DSO logic, cut back on debugging info, etc.

Changes from Ken McDonell <kenj@internode.on.net>

* pcp/src/pmdas/logger/logger.c (usage): Updated usage message.
  (logger_init): Removed DSO startup logic.
  (main): Ditto.
  (logger_end_contextCallBack): Only log debugging information when asked
  for.
  (logger_profile): Ditto.
  (logger_fetchCallBack): Ditto.
  (read_config): Ditto.
  (logger_pmid): Ditto.
  (logger_name): Ditto.
  (logger_children): Ditto.
* pcp/src/pmdas/logger/percontext.c (ctx_start): Ditto.
* pcp/src/pmdas/logger/event.c (event_create): Ditto.
  (event_fetch): Ditto.
* pcp/src/pmdas/logger/util.c (start_cmd): Ditto.
* pcp/src/pmdas/logger/root: Includes domain.h.

Added 'logger.perfile.{LOGFILE}.path' metric in the logger PMDA.

* pcp/src/pmdas/logger/logger.c (logger_fetchCallBack): Add support for
  new 'logger.perfile.{LOGFILE}.path' metric, which returns the logfile
  pathname.

PR12211 gettext the new err() and regenerate the po/ files

po/* - update with new strings
runtime/staprun/mainloop.c - gettext the err string

PR12211: Tweak the child-exit warning output

* runtime/staprun/mainloop.c (chld_proc): Use err() instead of dbug(0,)
  so we don't get the source:line dump, and remove the ':' as well.

Added help text for the dynamic metrics in the logger PMDA.

* pcp/src/pmdas/logger/logger.c (logger_text): New function that provides
  help for the dynamic metrics.
  (logger_init): Set up dynamic metrics help text.
* pcp/src/pmdas/logger/help: Removed commented out help for the dynamic
  metrics.

PR12211 stapio now reports abnormal child exit

NEWS - description of the new functionality
runtime/staprun/mainloop.c - changes to now handle and report the
exit status/signal.

Correct the local name in vfs.readv

Reported-By: Jake Maul <jakemaul@gmail.com>

Don't cache "N/A" in __find_bdevname()

Validate PMNS names in the logger PMDA install script.

* pcp/src/pmdas/logger/Install: Validate PMNS names.

Fix setjmp.exp and server tests for RHEL5 systems.

* testsuite/lib/systemtap.exp (start_server): To properly support older
  versions of tcl (as on RHEL5 systems), don't use the newer form of
  'catch'.  Instead, use the global 'errorCode' variable when getting the
  exit code of a child process.
* testsuite/systemtap.base/setjmp.exp: Ditto.

Add -DSTAP_SDT_ARG_CONSTRAINT

    * sdt.h (STAP_SDT_ARG_CONSTRAINT): Allow override of default nor constraint.
    * cxxclass.exp: Use it.