PR12645 (partial): Improved uprobe/uretprobe error message.

* tapsets.cxx (uprobe_derived_probe_group::emit_module_decls): Improve new
  error messages by including the probe name.

Improved error handling in uprobe probes.

* tapsets.cxx (uprobe_derived_probe_group::emit_module_decls): Make sure
  we go through the probe epilogue even in an error in the emitted
  enter_uprobe_probe().

Improved error handling in uretprobe probes.

* tapsets.cxx (uprobe_derived_probe_group::emit_module_decls): Make sure
  we go through the probe epilogue even in an error.

module shutdown: be verbose upon a hang

In the generated module_exit() function, there exists an infinite loop
that waits for all probe handlers that might still be struggling along
to shut down, before authorizing removal of the probe module.  If
something is stuck though, it will stay stuck without any diagnostics
short of a hung stapio/staprun process that's sitting in the kernel.

This patch causes a message to be printk KERN_ERR'd, in case the
shutdown synchronization takes more than a second.

* translate.cxx (emit_module_exit): Print a message if holdon-spinning
  for more than a second.

Fixed minor error message bug in utrace_syscall_args.stp.

* testsuite/systemtap.base/utrace_syscall_args.stp: Fixed error message
  bug.

Name the originator of the cpp-vararg-counter idea

Enable module.function.label probes

Nothing to it -- its absence seems to be just an oversight.

* tapsets.cxx (dwarf_derived_probe::register_patterns): Add bindings
  for module.function.label probes.
* stapprobes.3stap: Document it.

More testsuite fixes.

* testsuite/systemtap.base/buildid.exp: Check for uprobes, not just
  utrace.  If we get an error, go ahead and return, since the following
  stuff won't work since we've already cleaned up.
* testsuite/systemtap.base/target_set.exp: Better cleanup.
* testsuite/systemtap.base/target_set.stp: Now compiles on s390x and
  ppc64 by using @cast().
* testsuite/systemtap.context/backtrace.tcl: If we get an EOF, don't call
  exp_contine (which causes a tcl error).

Avoid side-effect-free function warnings on '_ptrace_return_arch_prctl_addr'.

* tapset/i386/aux_syscalls.stp: To avoid side-effect-free function
  warnings on '_ptrace_return_arch_prctl_addr', just return 0.
* tapset/ia64/aux_syscalls.stp: Ditto.
* tapset/powerpc/aux_syscalls.stp: Ditto.
* tapset/s390/aux_syscalls.stp: Ditto.

Added minor testsuite fixes (found when doing rawhide testing).

* testsuite/systemtap.base/stmt_rel.c: Avoid an uninitialized variable
  error.
* testsuite/systemtap.base/buildid.exp: Added utrace check.
* testsuite/systemtap.base/unresolved-struct-typedef.exp: Ditto.

Fix a local variable redefinition

* session.cxx (systemtap_session::register_library_aliases): There are
  nested n variables with different types; rename the inner for clarity.

Fix a copy-paste goof in cache cleanup

The impact of this typo is that .c and .log files were not properly
counted when computing cache utilization.  Not a big deal, but easily
fixed anyway.

* cache.cxx (cache_ent_info::cache_ent_info): Remove bad semicolons.

AUTHORS bump

Add STAP_PROBEV for variadic probe arguments

For the moment, this is only created when SDT_USE_VARIADIC is defined,
because we want to support arbitrary compiler flags, and -pedantic tends
to object to variadic macros.

* includes/sys/sdt.h (STAP_PROBEV): New.
* testsuite/systemtap.base/sdt_va_args.c: Use STAP_PROBEV.
* testsuite/systemtap.base/sdt_va_args.exp: Test STAP_PROBEV.

Simplify V3 sdt argument mode handling.

* tapsets.cxx (sdt_uprobe_var_expanding_visitor::visit_target_symbol_arg):
Treat argument extraction as a 64 bit subexpression and handle its sign if needed.

Really fix runtime/procfs.c for 2.6.39-0.rc2.

* runtime/procfs.c: kern_path_parent() looks up the parent of a path, not
  the path itself.

Updated tapset/vfs.stp for 2.6.39-0.rc2.

* tapset/vfs.stp: Kernel commit 7eaceac removed block_sync_page(), so
  those probes were made optional.  Kernel commit e64a782 renamed
  __remove_from_page_cache() to __delete_from_page_cache(), so add an
  alias.
* testsuite/buildok/vfs-detailed.stp: Updated.

Fixed runtime/procfs.c for 2.6.39-0.rc2.

* runtime/procfs.c (_stp_mkdir_proc_module): Calls kern_path_parent()
  instead of path_lookup().  For older kernels kern_path_parent() is
  defined as path_lookup().
* buildrun.cxx (compile_pass): Added autoconf-kern-path-parent.c test.
* runtime/autoconf-kern-path-parent.c: New test.

Corrected "autoconf" variable name in runtime/procfs.c.

* runtime/procfs.c: Corrected AUTOCONF_PROCFS_OWNER to
  STAPCONF_PROCFS_OWNER.

Fix typo in sdt_types.stp

sdt_types.stp: Fix variable name typo.

Allow an sdt memory offset to be an expression, albeit a simple one.

* tapsets.cxx (sdt_uprobe_var_expanding_visitor::visit_target_symbol_arg)
Allow offset to be +-N+-N+-N.
* sdt_asm.S (memory):  New test.
* sdt_asm.stp: Likewise.

PR3823: Added Gettext functionality to nsscommon.c
updated po files accordingly

PR3823: Updated the NEWS file regarding I18N

PR3823: Added gettext functionality to dtrace script

Makefile* - were modified to include dtrace as a gettext file
dtrace.in - script was modified to only enable gettext functionality
if ENABLE_NLS is true
po/POTFILES.in - updated to include dtrace in gettextizing
other po* files - updated as needed

Fixed exelib.exp so that it doesn't hang on s390x systems.

* testsuite/systemtap.exelib/libmarkunamestack.tcl: Better cleanup when
  tests fail.
* testsuite/systemtap.exelib/ustack.tcl: Ditto.

Fixed BZ692445 by updating regular expression 'all_pass_string'.

* testsuite/lib/stap_run.exp: Make expect happier by removing the '$' at
  the end of 'all_pass_string'.  The '\r\n' should catch the end of lines
  properly.

PR3823: Fix a few french translation strings

PR3823: Worked the stap usage message into blocks as per request.

po/fr.po translation was reformatted to match where available
translations allowed.
other po/* files regenerated

Merge branch 'master' of http://sources.redhat.com/git/systemtap

PR3823: Added gettext functionality to staprun files.

This was tested on a Fedora 14 x86_64 virtual machine with the
$LANG environment variable set to fr_FR.utf8 with a dummy stapio
usage message. Po files have been updated accordingly.

make pthread test case work with other tests; skip if !installctest_p

Fixed BZ692869 by using @defined() instead of checking CONFIG variable.

* tapset/syscalls2.stp (syscall.nfsservctl): Checks for the existence of
  dwarf variables instead of using CONFIG_NFSD.

Handle logfile paths that end in '|', treat it as a command to read data from.

* pcp/src/pmdas/logger/util.c: New file.
* pcp/src/pmdas/logger/util.h: Ditto.
* pcp/src/pmdas/logger/event.c (event_init): Handle opening pipe "paths".
  (event_shutdown): New function that stops piped processes and closes all
  files.
* pcp/src/pmdas/logger/event.h: Added event_shutdown() prototype.
* pcp/src/pmdas/logger/logger.c (read_config): Moved lstrip/rstrip code to
  util.c.
  (main): Calls event_shutdown() after pmdaMain() returns to clean
  everything up.
* pcp/src/pmdas/logger/GNUmakefile.in: Added util.c and util.h.
* pcp/src/pmdas/logger/Install: Support entering pipe "paths".

Add addr() for retrieving REG_IP

For probes which have CONTEXT->regs, return REG_IP, else return 0.

* tapset/context.stp (addr): New function.
* testsuite/buildok/context-embedded.stp: Test addr() compilation.
* NEWS: Let the town crier make a pronouncement of addr().

Correct use of pid for filtering

The blog on http://blog.yufeng.info/archives/1239 mentions that the script
is not properly filtering based on pid. This change corrects the
filtering to use the pid.

document more syntax for shared library probing

* NEWS:  Add process("..").library("..")
* langref.tex:  Likewise.
* stapprobes.3stap:  Likewise.

tighten up wording for stap-server related changes

Change the logger PMDA config file lines to be of the form "NAME PATHNAME".

* pcp/src/pmdas/logger/logger.c (valid_pmns_name): New function.
  (read_config): Read NAME and PATHNAME from each config file line.  Make
  sure NAME is a valid PMNS name.
* pcp/src/pmdas/logger/Install: Ask for logfile names along with paths.
* pcp/src/pmdas/logger/event.h: Swap the order of the logfile name and
  pathname to mirror the new config file.

Remove d_tag parm from iterate_over_libraries callback.

* dwflpp.h (iterate_over_libraries):  Remove type parm.
* tapsets.cxx (query_library_callback,query_library): Likewise.

Add more library wildcard matching tests.

* library.exp: Add more wildcard tests.
* tapsets.cxx (base_query::query_library_callback) Remove type parm.
  (dwarf_query::query_library): Likewise.
* dwflpp.cxx (dwflpp::iterate_over_libraries): Likewise.

Decode ptrace.
http://sourceware.org/bugzilla/show_bug.cgi?id=12500

* tapset/aux_syscalls.stp (_ptrace_options_str, _ptrace_argstr)
(_ptrace_return_geteventmsg_data): New functions.
* tapset/i386/aux_syscalls.stp: New file.
* tapset/ia64/aux_syscalls.stp: New file.
* tapset/nd_syscalls2.stp (nd_syscall.ptrace): Set argstr using
_ptrace_argstr.
(nd_syscall.ptrace.return): Set geteventmsg_data and arch_prctl_addr.
* tapset/powerpc/aux_syscalls.stp: New file.
* tapset/s390/aux_syscalls.stp: New file.
* tapset/syscalls2.stp (syscall.ptrace): Set argstr using
_ptrace_argstr.
(syscall.ptrace.return): Set geteventmsg_data and arch_prctl_addr.
* tapset/x86_64/aux_syscalls.stp: New file.
* testsuite/buildok/aux_syscalls-embedded.stp (begin): Call
_ptrace_argstr, _ptrace_return_geteventmsg_data and
_ptrace_return_arch_prctl_addr.

Testcase for pthread probes

Add more syntax for shared library probing.

* dwflpp.cxx (iterate_over_libraries): New.  Get library list via
ld-linux.so.
* dwflpp.h (iterate_over_libraries): Likewise.

* tapsets.cxx (base_query): If this is a library then save the
executable path.
(query_module): For a library, call query_library_callback via
iterate_over_libraries.
(query_library_callback): New. Calls query_library.
(query_library): Substitute the library name into the chain then
derive_probes.

library.exp:  Add library("*") test.

Fixed BZ691693 by updating tests to handle newer probe timing report.

* testsuite/systemtap.base/bench.exp: Updated test to handle newer probe
  timing report output.
* testsuite/systemtap.base/skipped.exp: Ditto.

Remove unneeded initializer

The variable is already static so will be initialized to 0. Removed the
unneeded initializer and elminate a warning message from the compiling the
code.

PR12612: compatibility with old staprun/stapio

commit 3abb860f changed the staprun<->runtime message format for
the STP_RELOCATE message, without regard for backward compatibility
for older/mismatching stapruns.  That leads to kernel errors and
no kernel probes and such nonsense.  Let's change the runtime to
interoperate both with old staprun and with the current one.

* runtime/transport/symbols.c (_stp_do_relocation): Also accept
  systemtap-1.3 level relocation message, if the incoming message
  size suggests.

The logger PMDA supports multiple clients and multiple logfiles.

* pcp/src/pmdas/logger/logger.c: Changed to support dynamic metrics for
  logfile data, which enables multiple client/multiple logfile support.
* pcp/src/pmdas/logger/event.c: Changes to support multiple clients and
  multiple logfiles.  Abstracted the interface a bit.
* pcp/src/pmdas/logger/event.h: Moved 'struct LogfileData' definition here
  from logger.c.  Removed event_cleanup() declaration.
* pcp/src/pmdas/logger/help: Updated.
* pcp/src/pmdas/logger/pmns: Make 'perfile' the start of the dynamic
  metrics.
* pcp/src/pmdas/logger/GNUmakefile.in: Make logger.o depend on domain.h.

sdt_v3: avoid misleading warning on complex operands

Roland reported seeing the "Downgrading SDT_V2 probe argument to dwarf ..."
warning message on an ambitious SDT_V3 object file.  The message is
not applicable, since there is no dwarf emitted at all for SDT_V3.

* tapsets.cxx (sdt_uprobe_var_expanding_visitor::visit_target_symbol_arg):
  Remove SDT_V2 language for SDT_V3 probe.

stap.1 man page: elaborate on alternatives to -DMAXMAPENTRIES

Remove the EXPERIMENTAL scares from --remote

Update vm.write_shared_copy for kernels with copy_cow_page

tcp_init_cwnd: fix referring url

samples: new tcp_init_cwnd sample script

Find SDT semaphores even in RWX mappings

Some S390 environments don't have noexec mappings for data sections, so
the .probes section with SDT semaphores is mapped RWX rather than RW-.
Our logic which checks vm flags needs to accommodate this.

* runtime/uprobes-common.c (stap_uprobe_mmap_found): Deal with mappings
  that are both executable and writable, so semaphores can be found.

rhbz684227: also filter out FUTEX_CLOCK_REALTIME

rhbz68427: mask out FUTEX_PRIVATE_FLAG

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Conflicts:
NEWS

PR 12101: Document removal of cert database passwords.

Bump up the version to match upstream.

     * stap-postgres.exp (postgresrelease):  Bump version to 4.4.7

add jiffies & HZ to timestamp tapset

Tell rpm that systemtap-client is obsolete

Add rpm Requires for programs spawned by stap

PR 12101 stap-server should use proper cert passwords

Regenerate the certificate database if it uses the old password file
before attempting to sign the uprobes module.

Add a workaround for old systems without ppoll

A coarse approximation of ppoll is added using sigprocmask and poll, as
suggested in the ppoll manpage, but it doesn't carry the same atomic
guarantee.  I've forced it to have a non-infinite polling timeout, so we
won't block forever.

NB: This only matters on the client connecting to a remote ssh host.

* configure.ac: Check for the function ppoll.
* configure, config.in: Regenerate.
* remote.cxx (ppoll): Fill in for missing ppoll, with a healthy comment
  explaining why I think this implementation is Good Enough™.

remote: Try the legacy ssh code if stapsh isn't found

The ssh remote command is restructured so that if stapsh isn't found in
the remote PATH, it will exit 127 immediately.  On the local side, when
we fail to read the stapsh uname response, we can check the exit status
to know stapsh wasn't found.  Then we can try again with the old ssh
code with a ControlMaster.  However, I'm limiting the fallback to only
when there's a single remote, as signals and cleanup aren't really
handled as well.  (That's the point of stapsh...)

* remote.cxx (ssh_remote::create): New static function which tries a
  self-instantiation first, then if that fails to find stapsh, it tries
  again using ssh_legacy_remote instead.
  (ssh_remote::connect): Renamed from remote.  Now using a "type -P"
  trick to silently determine if stapsh is present, by exit code alone.
  (ssh_legacy_remote): Un-#ifdef'ed the old ssh_remote code, to get new
  life as our legacy access.
  (remote::create): Get ssh through ssh_remote::create.

nsscommon: Heed what fgets returns

My F14 gcc rightfully warned that a return value of fgets was unused.
It may return NULL on error or EOF, in which case we should free our
memory and return NULL to NSS as well.  I also tweaked the newline stomp
to tolerate missing newline, e.g. with oversized input, although that
case it not likely going to work anyway.

* nsscommon.c (nssPasswordCallback): Check fgets' return for success.

PR 12101: stap-server should use proper cert passwords.

Automatically regenerate certificate databases containing a password file.
Otherwise automatically started servers will fail because they won't know
the password.

PR 12101: stap-server should use proper cert passwords

Step 1: The server's certificate database now uses no password by default
        (useful for full automation).
        Preliminary support for password prompting for databases created
        with a password.

autoreconf with f14

Add gettext wrappers on new remote strings, update-po

Merge remote-tracking branch 'origin/master' into stapsh

Add a testcase for stapsh remotes

We can't generally test true remotes in the testsuite without previously
setting up ssh access on a machine.  But we can still check that the
stapsh mechanism works in general.  This runs with --remote=stapsh, and
checks that stapsh exists in the process hierarchy and a signal to stap
only is propagated through stapsh.

* testsuite/systemtap.base/stapsh.*: New.

stapsh: dbug-print on received signals

* runtime/staprun/stapsh.c (handle_signal): Add dbug.

remote: Block signals in direct_stapsh's child

We want direct_stapsh to simulate the ssh_remote signaling as much as
possible, so we must ensure that the manual stapsh child process doesn't
get signals directly.

* remote.cxx (direct_stapsh::direct_stapsh): Block signals while
  spawning the stapsh process.

PR12592: Allow -r /path/to/kernel for stap-servers

Previously, stap-serverd would parse the release string from a kernel
path, but now it also passes that full path on for stap to use.

* stap-serverd (process_r): Keep the full -r path for stap_options.
* stap-server (process_r): Ditto.
* session.cxx (systemtap_session::setup_kernel_release): Skip repeated
  kernel strings, for the case when a server -r /path/to/kernel is
  followed by a client's matching -r kernel.

PR3823: Rearrange some ostringstream foo statements

Due to the use of autosprintf, in some places it is unneeded to
define an ostringstream foo, and then use foo as a temporary string

Further gettext was added to csclient.cxx

PR3823: remove gettext from compile time errors
fix grammar in po/README

PR3823: How to add basic gettext to systemtap in po/README

PR3823: Adding gettext functionality to several base files
po/* files updated strings
csclient.cxx - added gettext
dwarf_wrappers.cxx - same
remote.cxx - same
setupdwfl.h - same
staptree.cxx - same
util.cxx - moved macros to util.h
util.h - added gettext

Cache compile_server_info attached to sessions, not static

The various vector<compile_server_info> caches in csclient have
information that's specific to the systemtap_session in question, so
they need to be saved with the session rather than kept static.  This
matters for the brave new world of having multiple unique remote targets
within a single stap execution.

* session.h (systemtap_session::server_cache): New, opaque pointer for
  a struct containing csclient's cached data.
* session.cxx (systemtap_session::systemtap_session): NULL it.
* csclient.cxx (struct compile_server_cache): Define a container for all
  the caching vectors that will be stored in the session.
  (cscache): Get the cache from the session, allocate it if needed.
  (get_default_server_info): Use a cache vector instead of a static.
  (get_specific_server_info): Ditto.
  (get_or_keep_trusted_server_info): Ditto.
  (get_or_keep_signing_server_info): Ditto.
  (get_or_keep_online_server_info): Ditto.

Clear the SSL session cache after using a server

If the cache is not cleared, then the NSS_Shutdown fails, and then
future connections (as with multi-remote) can't be initialized.

* csclient.cxx (compile_server_client::compile_using_server):
  Call SSL_ClearSessionCache before NSS_Shutdown.

PR12591: Setup the signal handler earlier

We were calling setup_signals() in passes_0_4(), but --use-server
diverts that execution path, so signaled cleanup wasn't working in that
case at all.  It's also possible with multiple --remotes that
passes_0_4() will be called multiple times, though that shouldn't really
hurt signal handling.  This patch moves setup_signals() to main(), so it
is called once early on.

* main.cxx (passes_0_4): Don't call setup_signals() here.
  (main): Call setup_signals() here instead.

Update .gitignore files to make "git status" accurate

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Add the rhelchannels.sh

Read the list of logfiles from a config file in the logger PMDA.

* pcp/src/pmdas/logger/logger.c (read_config): New function to read the
  config file.
  (main): Remove the '-m' option and accept a config file.
* pcp/src/pmdas/logger/Install: Add the capability to specify a config
  file or create one.

PR3823: Re-add po/POTFILES.in

PR3823: Added gettext functionality to runtime
also added a few missed strings, regenerated the po/* files

Force 64-bit compiles when needed.

* testsuite/systemtap.base/rep_ret.exp: Make sure we force 64-bit
  compiles.
* testsuite/systemtap.base/vta-test.exp: Ditto.  Also reindent main loop.

stapsh: Add OK/ERROR replies to file and run commands

* runtime/staprun/stapsh.c (reply): Print a reply (and dbug it too).
  (do_hello): Send uname info using reply().
  (do_file, do_run): Add OK reply, or ERROR from former stderr chatter.
  (qpdecode): Convert stderr chatter to dbug.
* remote.cxx (stapsh::get_reply): Read a one-line reply from the remote.
  (stapsh::send_file): Look for an OK reply after sending the file.
  (stapsh::start): Look for an OK reply after telling it to run.
  (stapsh::set_child_fds): Use get_reply to read the uname back.

stapsh: Add debugging macros

* runtime/staprun/stapsh.c (dbug, vdbug, die): New debugging macros.
  (usage, parse_args): New, just dealing with -v for now.
  (main): Parse arguments, and start printing debugging information.
* remote.cxx (ssh_remote::init): Set stapsh verbosity according to p5.
  (direct_stapsh::direct_stapsh): Ditto.
  (remote::run): Make sure subsession->verbose is updated for pass-5.

Updated __ip_sock_daddr() for 2.6.38 kernels.

* tapset/ip.stp (__ip_sock_daddr): Updated for 2.6.38.

fix comment typo re. %I[] gcc asm-operand syntax for powerpc

PR3823: mention top-level update-po make target

PR3823: Added a po/README file for I18N

Make user module build id check set_fs aware

* sym.c (_stpbuild_id_check): Properly bracket get_user via set_fs.

stapsh: Remove the signal command, just call it quit

As Przemysław pointed out, signal numbers are not 100% portable across
different architectures, and we should allow for the possibility of
cross-compilation in --remote execution.  Since the only point of the
signal command was to trigger an exit, let's just replace it with a
"quit" command.

* runtime/staprun/stapsh.c (do_signal -> do_quit): Forget about parsing
  signal numbers -- just call cleanup (which sends SIGHUP anyway).
  (cleanup): Mask signals, so if called from non-signal context, we
  won't get a reentry (especially for SIGCHLD).
* remote.cxx (stapsh::handle_poll): Send a quit instead of signal.

stapsh: Upload module signatures and uprobes too

* remote.cxx (stapsh::prepare): Upload any uprobes and signature files
  to the remote, so remote-unprivileged could work too.

remote: Split preparation from the actual start

* remote.h (remote::prepare): New, get ready to run.
* remote.cxx (stapsh::start, stapsh::prepare): Split the file-upload into
  the prepare step, so we're ready to go sooner.
  (remote::run): Let remotes prepare first, so they can all start as
  close together as possible.

stapsh: Use quoted-printable args in the run command

Per Frank's suggestion, discard the separate "arg" command and just add
arguments directly in the run command.  The quoted-printable encoding is
used for whitespace and characters that aren't printable ASCII.

* runtime/staprun/stapsh.c (do_arg): Remove.
  (qpdecode): New, decode quoted-printable.
  (do_run): Read and QP-decode arguments for staprun.
* remote.cxx (stapsh::send_arg): Remove.
  (stapsh::qpencode): New, encode a string with QP escapes.
  (stapsh::start): Build the run command with QP-encoded arguments.