Add more syntax for shared library probing.

* dwflpp.cxx (iterate_over_libraries): New.  Get library list via
ld-linux.so.
* dwflpp.h (iterate_over_libraries): Likewise.

* tapsets.cxx (base_query): If this is a library then save the
executable path.
(query_module): For a library, call query_library_callback via
iterate_over_libraries.
(query_library_callback): New. Calls query_library.
(query_library): Substitute the library name into the chain then
derive_probes.

library.exp:  Add library("*") test.

Fixed BZ691693 by updating tests to handle newer probe timing report.

* testsuite/systemtap.base/bench.exp: Updated test to handle newer probe
  timing report output.
* testsuite/systemtap.base/skipped.exp: Ditto.

Remove unneeded initializer

The variable is already static so will be initialized to 0. Removed the
unneeded initializer and elminate a warning message from the compiling the
code.

PR12612: compatibility with old staprun/stapio

commit 3abb860f changed the staprun<->runtime message format for
the STP_RELOCATE message, without regard for backward compatibility
for older/mismatching stapruns.  That leads to kernel errors and
no kernel probes and such nonsense.  Let's change the runtime to
interoperate both with old staprun and with the current one.

* runtime/transport/symbols.c (_stp_do_relocation): Also accept
  systemtap-1.3 level relocation message, if the incoming message
  size suggests.

The logger PMDA supports multiple clients and multiple logfiles.

* pcp/src/pmdas/logger/logger.c: Changed to support dynamic metrics for
  logfile data, which enables multiple client/multiple logfile support.
* pcp/src/pmdas/logger/event.c: Changes to support multiple clients and
  multiple logfiles.  Abstracted the interface a bit.
* pcp/src/pmdas/logger/event.h: Moved 'struct LogfileData' definition here
  from logger.c.  Removed event_cleanup() declaration.
* pcp/src/pmdas/logger/help: Updated.
* pcp/src/pmdas/logger/pmns: Make 'perfile' the start of the dynamic
  metrics.
* pcp/src/pmdas/logger/GNUmakefile.in: Make logger.o depend on domain.h.

sdt_v3: avoid misleading warning on complex operands

Roland reported seeing the "Downgrading SDT_V2 probe argument to dwarf ..."
warning message on an ambitious SDT_V3 object file.  The message is
not applicable, since there is no dwarf emitted at all for SDT_V3.

* tapsets.cxx (sdt_uprobe_var_expanding_visitor::visit_target_symbol_arg):
  Remove SDT_V2 language for SDT_V3 probe.

stap.1 man page: elaborate on alternatives to -DMAXMAPENTRIES

Remove the EXPERIMENTAL scares from --remote

Update vm.write_shared_copy for kernels with copy_cow_page

tcp_init_cwnd: fix referring url

samples: new tcp_init_cwnd sample script

Find SDT semaphores even in RWX mappings

Some S390 environments don't have noexec mappings for data sections, so
the .probes section with SDT semaphores is mapped RWX rather than RW-.
Our logic which checks vm flags needs to accommodate this.

* runtime/uprobes-common.c (stap_uprobe_mmap_found): Deal with mappings
  that are both executable and writable, so semaphores can be found.

rhbz684227: also filter out FUTEX_CLOCK_REALTIME

rhbz68427: mask out FUTEX_PRIVATE_FLAG

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Conflicts:
NEWS

PR 12101: Document removal of cert database passwords.

Bump up the version to match upstream.

     * stap-postgres.exp (postgresrelease):  Bump version to 4.4.7

add jiffies & HZ to timestamp tapset

Tell rpm that systemtap-client is obsolete

Add rpm Requires for programs spawned by stap

PR 12101 stap-server should use proper cert passwords

Regenerate the certificate database if it uses the old password file
before attempting to sign the uprobes module.

Add a workaround for old systems without ppoll

A coarse approximation of ppoll is added using sigprocmask and poll, as
suggested in the ppoll manpage, but it doesn't carry the same atomic
guarantee.  I've forced it to have a non-infinite polling timeout, so we
won't block forever.

NB: This only matters on the client connecting to a remote ssh host.

* configure.ac: Check for the function ppoll.
* configure, config.in: Regenerate.
* remote.cxx (ppoll): Fill in for missing ppoll, with a healthy comment
  explaining why I think this implementation is Good Enough™.

remote: Try the legacy ssh code if stapsh isn't found

The ssh remote command is restructured so that if stapsh isn't found in
the remote PATH, it will exit 127 immediately.  On the local side, when
we fail to read the stapsh uname response, we can check the exit status
to know stapsh wasn't found.  Then we can try again with the old ssh
code with a ControlMaster.  However, I'm limiting the fallback to only
when there's a single remote, as signals and cleanup aren't really
handled as well.  (That's the point of stapsh...)

* remote.cxx (ssh_remote::create): New static function which tries a
  self-instantiation first, then if that fails to find stapsh, it tries
  again using ssh_legacy_remote instead.
  (ssh_remote::connect): Renamed from remote.  Now using a "type -P"
  trick to silently determine if stapsh is present, by exit code alone.
  (ssh_legacy_remote): Un-#ifdef'ed the old ssh_remote code, to get new
  life as our legacy access.
  (remote::create): Get ssh through ssh_remote::create.

nsscommon: Heed what fgets returns

My F14 gcc rightfully warned that a return value of fgets was unused.
It may return NULL on error or EOF, in which case we should free our
memory and return NULL to NSS as well.  I also tweaked the newline stomp
to tolerate missing newline, e.g. with oversized input, although that
case it not likely going to work anyway.

* nsscommon.c (nssPasswordCallback): Check fgets' return for success.

PR 12101: stap-server should use proper cert passwords.

Automatically regenerate certificate databases containing a password file.
Otherwise automatically started servers will fail because they won't know
the password.

PR 12101: stap-server should use proper cert passwords

Step 1: The server's certificate database now uses no password by default
        (useful for full automation).
        Preliminary support for password prompting for databases created
        with a password.

autoreconf with f14

Add gettext wrappers on new remote strings, update-po

Merge remote-tracking branch 'origin/master' into stapsh

Add a testcase for stapsh remotes

We can't generally test true remotes in the testsuite without previously
setting up ssh access on a machine.  But we can still check that the
stapsh mechanism works in general.  This runs with --remote=stapsh, and
checks that stapsh exists in the process hierarchy and a signal to stap
only is propagated through stapsh.

* testsuite/systemtap.base/stapsh.*: New.

stapsh: dbug-print on received signals

* runtime/staprun/stapsh.c (handle_signal): Add dbug.

remote: Block signals in direct_stapsh's child

We want direct_stapsh to simulate the ssh_remote signaling as much as
possible, so we must ensure that the manual stapsh child process doesn't
get signals directly.

* remote.cxx (direct_stapsh::direct_stapsh): Block signals while
  spawning the stapsh process.

PR12592: Allow -r /path/to/kernel for stap-servers

Previously, stap-serverd would parse the release string from a kernel
path, but now it also passes that full path on for stap to use.

* stap-serverd (process_r): Keep the full -r path for stap_options.
* stap-server (process_r): Ditto.
* session.cxx (systemtap_session::setup_kernel_release): Skip repeated
  kernel strings, for the case when a server -r /path/to/kernel is
  followed by a client's matching -r kernel.

PR3823: Rearrange some ostringstream foo statements

Due to the use of autosprintf, in some places it is unneeded to
define an ostringstream foo, and then use foo as a temporary string

Further gettext was added to csclient.cxx

PR3823: remove gettext from compile time errors
fix grammar in po/README

PR3823: How to add basic gettext to systemtap in po/README

PR3823: Adding gettext functionality to several base files
po/* files updated strings
csclient.cxx - added gettext
dwarf_wrappers.cxx - same
remote.cxx - same
setupdwfl.h - same
staptree.cxx - same
util.cxx - moved macros to util.h
util.h - added gettext

Cache compile_server_info attached to sessions, not static

The various vector<compile_server_info> caches in csclient have
information that's specific to the systemtap_session in question, so
they need to be saved with the session rather than kept static.  This
matters for the brave new world of having multiple unique remote targets
within a single stap execution.

* session.h (systemtap_session::server_cache): New, opaque pointer for
  a struct containing csclient's cached data.
* session.cxx (systemtap_session::systemtap_session): NULL it.
* csclient.cxx (struct compile_server_cache): Define a container for all
  the caching vectors that will be stored in the session.
  (cscache): Get the cache from the session, allocate it if needed.
  (get_default_server_info): Use a cache vector instead of a static.
  (get_specific_server_info): Ditto.
  (get_or_keep_trusted_server_info): Ditto.
  (get_or_keep_signing_server_info): Ditto.
  (get_or_keep_online_server_info): Ditto.

Clear the SSL session cache after using a server

If the cache is not cleared, then the NSS_Shutdown fails, and then
future connections (as with multi-remote) can't be initialized.

* csclient.cxx (compile_server_client::compile_using_server):
  Call SSL_ClearSessionCache before NSS_Shutdown.

PR12591: Setup the signal handler earlier

We were calling setup_signals() in passes_0_4(), but --use-server
diverts that execution path, so signaled cleanup wasn't working in that
case at all.  It's also possible with multiple --remotes that
passes_0_4() will be called multiple times, though that shouldn't really
hurt signal handling.  This patch moves setup_signals() to main(), so it
is called once early on.

* main.cxx (passes_0_4): Don't call setup_signals() here.
  (main): Call setup_signals() here instead.

Update .gitignore files to make "git status" accurate

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Add the rhelchannels.sh

Read the list of logfiles from a config file in the logger PMDA.

* pcp/src/pmdas/logger/logger.c (read_config): New function to read the
  config file.
  (main): Remove the '-m' option and accept a config file.
* pcp/src/pmdas/logger/Install: Add the capability to specify a config
  file or create one.

PR3823: Re-add po/POTFILES.in

PR3823: Added gettext functionality to runtime
also added a few missed strings, regenerated the po/* files

Force 64-bit compiles when needed.

* testsuite/systemtap.base/rep_ret.exp: Make sure we force 64-bit
  compiles.
* testsuite/systemtap.base/vta-test.exp: Ditto.  Also reindent main loop.

stapsh: Add OK/ERROR replies to file and run commands

* runtime/staprun/stapsh.c (reply): Print a reply (and dbug it too).
  (do_hello): Send uname info using reply().
  (do_file, do_run): Add OK reply, or ERROR from former stderr chatter.
  (qpdecode): Convert stderr chatter to dbug.
* remote.cxx (stapsh::get_reply): Read a one-line reply from the remote.
  (stapsh::send_file): Look for an OK reply after sending the file.
  (stapsh::start): Look for an OK reply after telling it to run.
  (stapsh::set_child_fds): Use get_reply to read the uname back.

stapsh: Add debugging macros

* runtime/staprun/stapsh.c (dbug, vdbug, die): New debugging macros.
  (usage, parse_args): New, just dealing with -v for now.
  (main): Parse arguments, and start printing debugging information.
* remote.cxx (ssh_remote::init): Set stapsh verbosity according to p5.
  (direct_stapsh::direct_stapsh): Ditto.
  (remote::run): Make sure subsession->verbose is updated for pass-5.

Updated __ip_sock_daddr() for 2.6.38 kernels.

* tapset/ip.stp (__ip_sock_daddr): Updated for 2.6.38.

fix comment typo re. %I[] gcc asm-operand syntax for powerpc

PR3823: mention top-level update-po make target

PR3823: Added a po/README file for I18N

Make user module build id check set_fs aware

* sym.c (_stpbuild_id_check): Properly bracket get_user via set_fs.

stapsh: Remove the signal command, just call it quit

As Przemysław pointed out, signal numbers are not 100% portable across
different architectures, and we should allow for the possibility of
cross-compilation in --remote execution.  Since the only point of the
signal command was to trigger an exit, let's just replace it with a
"quit" command.

* runtime/staprun/stapsh.c (do_signal -> do_quit): Forget about parsing
  signal numbers -- just call cleanup (which sends SIGHUP anyway).
  (cleanup): Mask signals, so if called from non-signal context, we
  won't get a reentry (especially for SIGCHLD).
* remote.cxx (stapsh::handle_poll): Send a quit instead of signal.

stapsh: Upload module signatures and uprobes too

* remote.cxx (stapsh::prepare): Upload any uprobes and signature files
  to the remote, so remote-unprivileged could work too.

remote: Split preparation from the actual start

* remote.h (remote::prepare): New, get ready to run.
* remote.cxx (stapsh::start, stapsh::prepare): Split the file-upload into
  the prepare step, so we're ready to go sooner.
  (remote::run): Let remotes prepare first, so they can all start as
  close together as possible.

stapsh: Use quoted-printable args in the run command

Per Frank's suggestion, discard the separate "arg" command and just add
arguments directly in the run command.  The quoted-printable encoding is
used for whitespace and characters that aren't printable ASCII.

* runtime/staprun/stapsh.c (do_arg): Remove.
  (qpdecode): New, decode quoted-printable.
  (do_run): Read and QP-decode arguments for staprun.
* remote.cxx (stapsh::send_arg): Remove.
  (stapsh::qpencode): New, encode a string with QP escapes.
  (stapsh::start): Build the run command with QP-encoded arguments.

stapsh: A systemtap "shell" to aid remote execution

This stapsh agent is a wrapper meant to be automatically invoked through
an ssh connection to transfer systemtap modules to remotes hosts and
invoke staprun on them.  The primary motivation of stapsh is make sure
all the exit cases can happen cleanly, especially with sending signals
to the remote and cleaning up the processes and temporary files.

This is meant to replace the code based on multiple connections with an
ssh ControlMaster.  For now, that code has only been #if'ed out in
case we still want it for talking with "legacy" remotes.

* runtime/staprun/stapsh.c: New, a basic command shell for uploading and
  remotely launching systemtap scripts.
* runtime/staprun/Makefile.am: Add stapsh.
* runtime/staprun/Makefile.in: Regen.
* systemtap.spec: Package stapsh in systemtap-runtime.
* remote.cxx (class stapsh): New, handle communication with a stapsh
  remote via any given file descriptors.
  (class direct_stapsh): New, launch a direct stapsh instance to run
  through.  This way we can add stapsh to the testsuite without
  requiring any remote access configuration.
  (class ssh_remote): Block out the old implementation, and rewrite
  as an inheritor of stapsh.
  (remote::create): Create direct_stapsh for "--remote stapsh".
  (remote::run): Add a polling loop during runtime, where each remote
  can add fds to watch and then respond.
* util.cxx (stap_spawn_piped): Allow piped stdin too.
  (stap_system_read): Update call to stap_spawn_piped.

PR3823: Updating po/* files with regenerated strings

PR3823: Added Gettext functionality to elaborate.cxx

tested on 32 and 64 bit architecture

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Run cert management commands silently.

Add test case for glibc setjmp/longjmp sdt probes.

* testsuite/systemtap.base/setjmp.c: New file.
* testsuite/systemtap.base/setjmp.exp: New file.
* testsuite/systemtap.base/setjmp.stp: New file.

Build -u and uprobes_path in a single argument

Optional arguments in getopt have to be part of the same word, so this
lets staprun read the uprobes_path correctly.  This was a regression
from the change to vectorized commands.

* buildrun.cxx (make_run_command): Append uprobes_path to -u.

Fixed several problems with usymbols.exp (BZ639344).

* testsuite/systemtap.context/usymbols.exp: Fixed several problems.
  (1) For ppc64/s390x, the test script wouldn't compile since syscall
  wrappers turned the probe arguments into 'long int's.  This problem was
  fixed by using @cast(). (BZ639344)
  (2) On some platforms, such as f12 ppc64, gcc defaults to outputting
  32-bit executables, even though the system has a 64-bit kernel.  Now the
  testcase always forces 64-bit compile when needed (to ensure we're
  testing what we think we're testing).
  (3) If the full path to the test executable gets too long, systemtap
  will truncate the start of the path in the script output.  This caused
  the test to fail.  Now we check for a path ending in the correct
  filename.
  (4) On a system with 64-bit and 32-bit support, if the 64-bit test
  failed, the 32-bit test wasn't executed.  Now both tests are always
  executed.
  (5) For readability's sake, the main loop was reindented properly.

Test harness improvements.

PR 12540 (rework) - Could not obtain information on password file" build error

We should only attempt to sign the uprobes.ko module if we are root or
stap-server.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Conflicts:
runtime/staprun/configure

PR 12543 - PKGLIBEXECDIR undefined, causing uprobes.ko build to fail

Always substitute the correct path for PKGLIBEXECDIR in client/server cert
management scripts when installing; not just when --enable-server is
configured.

PR 12540 - Could not obtain information on password file

While building uprobes.ko. Ensure that the required tools and resources
are in place before attempting to digitaly sign the uprobes.ko module.

tweak stap -v memory-usage message

* util.cxx (getmemusage): Output as single _F() instead of several separate chunks
* regenerate po/*.

convert po/fr.po from iso-8859-1 to utf-8

add po/fr.po to transifex database

(powerpc) Fixed PR12341 by using kernel code instead of custom code.

* runtime/loc2c-runtime.h: For powerpc, use the kernel's own macros in
  deref/store_deref instead of using custom assembly code.

PR3823: initial french translation

Always generate domain.h for the logger PMDA.

* pcp/src/pmdas/logger/GNUmakefile.in: Generates domain.h even if a
  'stdpmid' file was found.

Decode wait4.return wait status.
http://sourceware.org/bugzilla/show_bug.cgi?id=12471

* tapset/aux_syscalls.stp (WIFEXITED, WEXITSTATUS, WIFSIGNALED)
(WCOREDUMP, WTERMSIG, WIFSTOPPED, WSTOPSIG, WIFCONTINUED)
(_ptrace_event_name, _wait_status_str): New functions.
* tapset/nd_syscalls2.stp (nd_syscall.wait4): New variables
status_uaddr and status_str, call _wait_status_str.
* tapset/syscalls2.stp (syscall.wait4.return): New variable
status_str, call _wait_status_str.
* testsuite/buildok/nd_syscalls2-detailed.stp
(nd_syscall.wait4.return): Print also status_str.
* testsuite/buildok/syscalls2-detailed.stp (syscall.wait4.return):
Likewise.

PR3823: A few string corrections, regenerated po files

Sync staprun up to version 1.5 with everything else

transifex: register po/pl.po stub translation

add transifex-client config file for i18n

Fix _wait4_opt_str output.
http://sourceware.org/bugzilla/show_bug.cgi?id=12470

* tapset/aux_syscalls.stp (_internal_wait_opt_str): New.
(_wait4_opt_str, _waitid_opt_str): Call it.
* tapset/nd_syscalls2.stp (nd_syscall.wait4) <options>
(nd_syscall.waitpid) <options, options_str>: Cut it to 32-bit.
* tapset/syscalls2.stp: Likewise.

Simplified logger PMDA by no longer needing custom main loop.

* pcp/src/pmdas/logger/logger.h: Removed unused file.
* pcp/src/pmdas/logger/loggerMain.c: Ditto.
* pcp/src/pmdas/logger/GNUmakefile.in: Removed logger.h and loggerMain.c
  references.
* pcp/src/pmdas/logger/event.c (event_init): Opens logfile.
* pcp/src/pmdas/logger/event.h: Updated event_init() prototype.
* pcp/src/pmdas/logger/logger.c (logger_init): Calls event_init().
  (main): Calls pmdaMain() instead of old custom loggerMain().

Fixing long long int into to long int
now builds on 32 bit machines again

PR3823: Changes resulting from translator review

Thanks to Adrien Kunysz for pointing out these possible improvements.

Logger PMDA can now handle multiple clients.

* pcp/src/pmdas/logger/event.c (ctx_start_callback): New function.
  (ctx_end_callback): Ditto.
  (event_init): Register callbacks.
  (event_fetch): Call event_create to get new data.
* pcp/src/pmdas/logger/event.h: Removed event_create() prototype.
* pcp/src/pmdas/logger/logger.c (logger_end_contextCallBack): No longer
  call event_cleanup(), which is now called in ctx_end_callback().
* pcp/src/pmdas/logger/logger.h: Added get_monitor_fd() prototype.
* pcp/src/pmdas/logger/loggerMain.c (get_monitor_fd): New function.
  (loggerMain): Open the logfile with O_NONBLOCK.  Let event_fetch() call
  event_create().
* pcp/src/pmdas/logger/percontext.h: Update comment.

PR3823: Added gettext functionality to translate.cxx
various spelling corrections
updated related po/* files

documentation: classify kernel.data probe point family w.r.t. dwarf debuginfo needs

PR3823: Added Gettext functionality to dwflpp.cxx
also regenerated po files, tested on both 32 & 64 bit

Handle the case better when there isn't any data to read.

* pcp/src/pmdas/logger/event.c (event_fetch): When there isn't any logfile
  data to fetch, return NULL instead of an empty event record.
* pcp/src/pmdas/logger/logger.c (logger_fetchCallBack): If event_fetch()
  returned NULL, return PMDA_FETCH_NOVALUES.

First PMDA version that can correctly output event records.

* pcp/src/pmdas/logger/GNUmakefile.in: Updated dependency list.
* pcp/src/pmdas/logger/event.c (event_create): Handles EOF.
  (event_cleanup): New function.
* pcp/src/pmdas/logger/event.h: Added event_cleanup() declaration.
* pcp/src/pmdas/logger/help: Updated.
* pcp/src/pmdas/logger/logger.c (logger_end_contextCallBack): Calls
  event_cleanup() when we lose a client.
  (logger_fetchCallBack): Handles fetching event data properly.
* pcp/src/pmdas/logger/loggerMain.c (loggerMain): Instead of calling
  select() on the logfile, read it when we get a control message.
* pcp/src/pmdas/logger/pmns: Added logger.event description.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Add basic library support.

* tapsets.cxx (dwarf_derived_probe::register_patterns): Add
process.library.{statement,function}.
* library.{exp,stp}: New.

PR3823: Fix type for 32-bit machines

Fixed PMID generation code to stay with the max limit.

* pcp/src/pmdas/logger/GNUmakefile.in: Instead of going up from 511, go
  down from 511 (since 511 is the max for a PMID).

PR3823: Adding Gettext funtionality to several files.

updated po/* files
tapset-mark.cxx - added gettext functionality
tapset-perfmon.cxx - same
tapset-timers.cxx - same
tapset-utrace.cxx -same
tapsets.cxx -same
util.cxx -same

Disable systemtap.examples/process/noptrace.stp on RHEL4 systems (PR12498)

The debug information on RHEL4 kernels appears to be wrong. This causes
the noptrace.stp example to write into the wrong location. Rather than the
ptrace syscall exiting immediately, the ptrace syscall continues and the
test hangs on RHEL4 systems.  The noptrace.stp test is disabled on RHEL4
systems to work around this issue.

PR3823: Only generate po/* material if asked

I18N files will be generated if --enable-maintainer-mode is passed or
make update-po is specified.

Added makefile code to autogenerate a PMID number for the logger PMDA.

* pcp/src/pmdas/logger/GNUmakefile.in: Generate a PMID number if we can't
  find an existing PMID.