Merge branch 'master' of git://sources.redhat.com/git/systemtap

* 'master' of git://sources.redhat.com/git/systemtap:
  Normalize the arch in systemtap_session::clone
  Improved prcwildcard.exp and cmd_parse.exp tests.

Conflicts:
testsuite/systemtap.base/cmd_parse.exp

testsuite: testsuite/net/stap server setup

* testsuite/lib/systemtap.exp (start_server): Locate
  stap based on $SYSTEMTAP_PATH; plop in $installed_stap.
  (setup_server): Use that location rather than which(1).

kernel.trace query: linux 3.0 porting and complaining

* tapsets.cxx (tracepoint_extra_decls): Add another few they-live
  entries for linux 3.0.  Still need something for trace/events/napi.h.

* buildrun.cxx (make_tracequery): Lament the possibility of printing
  warnings that don't make much sense, and a user can't fix.

testcase: ptridx

The ptridx.exp expect regexps neglected to look for the
output of the ptridx program itself, leading to false FAIL:'s

testsuite: bump up cmd_parse.exp #8 timeout, explain why it's slow

testsuite: 3.0 kernel nomenclature

cmd_parse15 falsely kfailed on 3.0 due to naive SUBLEVEL parsing.

Normalize the arch in systemtap_session::clone

* session.cxx (systemtap_session::clone): Normalize the incoming arch
  name, so it can be consistently compared to both this->architecture
  and other cloned subsessions.

Improved prcwildcard.exp and cmd_parse.exp tests.

* testsuite/systemtap.base/prcwildcard.exp: If we're testing a stripped
  stap, don't bother running the function test, which needs debuginfo.
* testsuite/systemtap.base/cmd_parse.exp: Increase timeout.
* testsuite/lib/systemtap.exp (stripped_p): New function to
  determine if an executable is stripped.

Fix "Unable to shutdown NSS/NSS is not initialized" on RHEL5.

Could also occur for any build with HAVE_NSS && ! HAVE_LIBRPMIO.
In this case, the rpm finder must attempt to shutdown NSS (sometimes initialized
by librpm) without knowing if it was actually initialized. In this case we
will now tolerate failure to shut down NSS if the error is
SEC_ERROR_NOT_INITIALIZED.

PR 12888 - stap-serverd should be weaned from -k

- stap-serverd no longer passes -k to stap.
- -k specified on client no longer passed on to stap on the server side.
- -k specified to stap-serverd on startup instructs the server to save
  its temp dir (contains client request and server response).
- server version 1.6 no longer packs uprobes.ko twice, unless the client
  version is < 1.6.
- client version 1.6 looks for uprobes.ko in <response>/stap000000/uprobes
  unless server version is < 1.6.
- Update/modify testsuite.

Update po files

Properly initialize variables

Static analysis results showed not all variables had been properly
initialized. They have been addressed here.

* loc2c-test.c : locexpr_len
* loc2c.c : bit_offset and bit_size
* mainloop.c : signum
* stap_merge.c : ofp and fp[]
* staprun.c : unsigned i and globbuf.gl_pathc

Factor out code to normalize the architecture names and add arm arch

A few tests need to know the generic architecture name rather than
the specific variant. This patch factors out the code into
testsuite/lib/systemtap.exp and add entries for the arm architecture
variants.

Always look for .note.stapsdt sections in the main elf file.

In dwflpp::iterate_over_notes we really want the actual elf file,
not the dwarf .debug file.  Older binutils had a bug where they
mangled the SHT_NOTE type during --keep-debug.

Add tapset/arm/aux_syscalls.stp

The ARM processor needs to have _arch_ptrace_argstr() function defined
so the kernel-debuginfo smoke test used for the "make installcheck" works.

Depend on elfutils 0.142+. Remove various workarounds.

We really need at least 0.142 to support quick dwarf unwinding.
Also earlier versions had various bugs that we sometimes worked
around, but not always. Which could lead to misterious failures
when a bias was miscalculated.

Improve buildid.exp error handling.

* testsuite/systemtap.base/buildid.exp: Once 'error_handler' is called
  cleanup has occurred, so the following objcopy commands will fail.  Just
  return instead.

Fix test program to include string.h

* testsuite/systemtap.syscall/rt_signal.c: Add missing include so that
  memset() is properly defined.

resolve PR12890 vs PR10854 bunfight

The PR10854 test case uses a tight loop of staprun and a nexted loop
of pkills, written in a way that counts on staprun's pre-PR12890
"insert; unload; retry insert" module-handling heuristic.  With this
heuristic gone (and error messages properly generated), the PR10854
test case goes woozy and hangs in the while { ... pkill ... } tcl
loop.  Now we don't loop in there any more.

Improve s390x test results by specifying parameter types.

* tapset/s390/aux_syscalls.stp: Help the translator out by specifying
  types on '_ptrace_return_arch_prctl_addr' unused parameters.

To avoid problems on s390x, add a 'softirq_action' cast.

* tapset/irq.stp: Add 'softirq_action' casts for s390x in softirq.entry
  and softirq.exit.

Define PTRACE_SYSEMU[_SINGLESTEP] if undefined in aux_syscalls.stp.

Wrap ssl using cscommon code in #if HAVE_NSS.

PR10189 and PR12960 build fix

* runtime/transport/control.c (stp_ctl_write): Initialize mesg_on_queue.

PR12917: build fix for rhel4

* stap-serverd.cxx (get_stap_locale): unsigned i=-1; not considered
  kosher, rework as plain for loop.

i18n testsuite: drop redundant LANG=C from subtests

PR10189 and PR12960 reserve system cmd messages for delivery.

runtime/transport/control.c kept one pool for all cmd messages that
the module had to deliver to staprun/io.  This pool could become
empty.  This meant essential control message would not be delivered.
Leading to the module not properly starting and/or exiting.

We now set aside buffers for one time messages (STP_START, STP_EXIT,
STP_TRANSPORT, STAP_REQUEST_EXIT) and "overflow" messages that get
delivered whenever one of the dynamically allocated messages cannot
get a free slot from the pool (STP_OOB_DATA - warnings and errors,
STP_SYSTEM and STP_REALTIME_DATA).

The type field is used to mark whether or not a special pre-allocated
buffer is currently unused. This needs careful locking using a new
&_stp_ctl_special_msg_lock that is used in the new helper functions
_stp_ctl_get_buffer and _stp_ctl_free_buffer.

Now when we run out of message buffers we just drop the message and
printk. stapio will have received either the one time message or an
overflow message, there is nothing more we can do.

The STP_DEFAULT_BUFFERS for debugfs.c got decreased again to allow
8 pre-allocated and 32 dynamic (pending) cmd messages.

A new testcase testsuite/systemtap.base/warn_overflow.exp was added.

LTTng TMF Custum Text Parser Example

Added proc_snoop_parser to
    src/testsuite/systemtap.examples/process/
Follow the instructions in:
     src/testsuite/systemtap.examples/process/proc_snoop_parser_instructions.txt
to try out the eclipse plugin tracefile parser.

PR 13001 - !HAVE_NSS build failures

- Exclude entire functions and classes where possible.
- Reorder items within source files in order to combine conditional
  compilation blocks.

staprun STP_OOB_DATA payload.data "WARNING:" prefix shouldn't be translated.

The STP_OOB_DATA payload data prefix "WARNING:" or "ERROR:" is part of
the module cmd protocol.

PR12960 Don't msleep in _stp_ctl_send when out of memory.

This is mainly a documentation patch to better explain the transport
layers and the interaction between _stp_ctl_read_cmd, _stp_ctl_send and
_stp_ctl_write.

It also contains the first step to resolve PR12960. The msleep() in
_stp_ctl_send() has been replaced with a loop that checks whether there
are messages on the queue, tries to wake up _stp_ctl_read_cmd so stapio
has a change to read some of the pending messages and a small mdelay
(which is save, because it doesn't actually sleep or schedule). It
only prevents the crash and makes the possibility of loosing control
messages slightly less. A followup patch will introduce special buffers
to hold cannot be lost messages so the module will always be able to
properly shut down.

STP_DEFAULT_BUFFERS for debugfs also got increased a little from 50 to 64.

syscall.*execve: Fix argv access on newer kernels

Kernel commits ba2d0162 and 0e028465, merged in 3.0, refactored the
arguments of do_execve and compat_do_execve, such that "__argv"
is now the name of the incoming pointer, and "argv" is a local
struct user_arg_ptr.  Our tapset must adapt to the new names.

* tapset/syscalls.stp (syscall.execve, syscall.compat_execve): Use
  @defined to set an internal local __argv to either $__argv or $argv,
  then use that for the other __get_argv calls.
* testsuite/buildok/twentyseven.stp: Update for $__argv vs. $argv.
* testsuite/systemtap.base/pointer_array.stp: Ditto.

rhbz717136: Fix SDT relocations in prelinked modules

* tapsets.cxx (sdt_query::handle_probe_entry): The debuginfoless SDT
  addresses are relative to the ELF file, so get only that bias.  The
  DWARF bias is not interesting here.
  (sdt_query::setup_note_probe_entry): Add the ELF bias to the semaphore
  address too, so record_semaphore can completely relocate it.
  (sdt_query::record_semaphore): SDT V3 semaphores need relocation too,
  now removing both the bias and prelinking effects.

Move the stapgraph man page to the correct rpm.

* systemtap.spec: Move the stapgraph man page to the systemtap-grapher
  sub-rpm.

PR 13001 - !HAVE_NSS build failures

Fix the immediate errors.

server_locale.exp: Fixed env setting

server_locale.exp no longer changes dejagnu's own env vars, only stap's

PR12890 cont'd: Added 3 test cases

1. Basic Stap call
2. Direct Staprun call without -R
3. Direct Staprun call with -R

testsuite: more environment setup

Unload uprobes at beginning to make sure we exercise that
part too.  Set LANG=C for the runtest process hierarchy.

Create dropped file with mode 0400 in relay_v2.c to make it not world readable.

Document stp control channel command values under runtime/transport.

staprun: Only rename the script module, not uprobes

* runtime/staprun/staprun_funcs.c (insert_module): Compare the current
  module to the global modpath to decide if this is one to rename.

Merge branch 'master' of git://sourceware.org/git/systemtap

Add cast to function to avoid return check error

* runtime/staprun/staprun.c : add (void) cast

Update server_locale.exp with newly expected messages.

Merge branch 'master' of git://sourceware.org/git/systemtap

Remove unused variable shdr

* runtime/staprun/staprun_funcs.c : removed shdr variable

runtime: correct reference to undefined i18n text variable

Move non-common items out of nsscommon.cxx and into cscommon.cxx, csclient.cxx and stap-serverd.cxx.

update-po

usage message: fix missing \n before --tmpdir=FOO

stap-serverd.cxx: fix memory and resource leaks

While playing with cppcheck tool, I found few resource leaks in stap-serverd.cxx:
- handleRequest: arg was not freed if opening/reading argfile failed
- handleRequest: argfile was not fclosed when reading from it failed
- spawn_and_wait: dotfd was not closed if chdir fails (macro expanded to accomodate resource release)
- spawn_and_wait: cleaned some whitespace up around the fix itself

PR12890 remote: Heed the capabilities of the other side

If the remote side is < 1.6, then it won't know staprun -R, so we'll
have to live without module renaming on that host.

* buildrun.cxx (make_run_command): Add a version parameter, defaulted to
  the current VERSION.  Don't add -R unless >= 1.6.
* remote.cxx (stapsh::set_child_fds): Save the handshake version.
  (stapsh::start): Pass the remote's version to make_run_command.
  (ssh_legacy_remote::start): Pass version 1.3 to make_run_command,
  treating all "legacy" hosts as somewhat old.

PR12998: improve error messages for stapusr-only invocations

* session.h (automatic_server_mode): New field.
* session.cxx (check_options): Set it.
* main.cxx (passes_0_4): Give better error messages.
* csclient.cxx (passes_0_4): Ditto.

PR12890 con't: Added news and man page entry

configury: Regenerate under F15 tools.  Add AC_LANG_SOURCE().

PR12890 cont'd: autoconf elfutils usage in staprun

* configure.ac, Makefile.am: Look for system elfutils.
  Check for modern enough version (0.142+), set HAVE_ELF_GETSHDRSTRNDX.
* staprun_funcs.c (rename_module): Conditionally stub out.
* common.c (usage): Conditionally bury -R flag.
* staprun.cxx (init_staprun): Avoid advising people who can't to use -R.
* configure, config.in, aclocal.m4, Makefile.in: Regenerated on F15.

tweak comment in get_rawdata usage

PR12890: Renaming modules in Staprun

common.c
    Added '-R' option to staprun. This will instruct
    staprun to automatically rename the module.

buildrun.cxx
    Added '-R' to the options passed to staprun.

staprun_funcs.c
    Added rename_module() function to rename the module,
    When requested. This is called in insert_module().

staprun.c
    Replaced the module name in the arguments list
    passed to stapio with the renamed module name,
    if renamed.

session.cxx
    Added modname_given variable to keep track of whether
    stap was called with '-m'.

stapsh: Check staprun X_OK and increase error verbosity

* runtime/staprun/stapsh.c (do_run): Explicitly check that we have
  execute permissions on staprun before spawning, so we can give a
  better error message than just a non-zero status code.
* remote.cxx (stapsh::send_file): Report errors with any verbosity.
  (stapsh::start): Report errors with any verbosity, and close handles
  on failure so we don't try to wait for further activity.

Added news for pr12729

PR12729: Improve stap error message

Now report when the user doesn't have permission to run staprun
or if posix_spawnp is unable to launch the process

remote.cxx - finish now reports failure to launch
trycatch.exp - account for the new warning
util.cxx - report if staprun isn't executable or if stap_waitpid failed

PR6954 Add a used variables set for use by automatic global printing.

* staptree.h (varuse_collecting_visitor::used): New.
* staptree.cxx (varuse_collecting_visitor::visit_symbol): Use previous
  method for setting read and write sets.  Also set used set.
* elaborate.cxx (add_global_var_display): Use the used set.
* global_end.exp (global_end_var): Initialize to non-zero values.
* global_end.stp (global_end_var): Likewise.

Fix a kernel 2ism in the testsuite

PR12729: remove one unneded stap_system invocation

lberk found that this function normally produces failing stap_system
calls, which are not going to be silent for much longer.

* buildrun.cxx (kernel_built_uprobes): Simplify.

"const int" should just be "int".

BZ719966: spec file: require matching rpm v-r amongst runtime/server/etc.

PR 12917 - Implement Compile-Server/Client Versioning - Rework

- Prefer newer servers when selecting servers from a list.

PR 12917 - Implement Compile-Server/Client Versioning - Rework

- cscommon.cxx: New file for common function used by client and server.

PR 12917 - Implement Compile-Server/Client Versioning - Rework

- Use systemtap version number as the client/server protocol version
  number.
- Client and Server will both be backward compaible with the other
  by policy. i.e. both will adapt when connecting to a down-level
  version of the other.

unwind.c consolidate sanity checking and cie/fde parsing.

Checking and parsing of FDE and CIE data was done in multiple places in
the code, some things were checked/parsed multiple times. Now is_fde()
and cie_for_fde() do the structural/id/version checking of FDEs
and CIEs. parse_fde_cie() parses the content of and checks the internal
consistency the CIEs and FDEs.

unwind.h: Removed now unused fields of struct unwind_state.
And removed unnecessary static function prototype declarations.

spec: include README.unprivileged and README.security someplace

serverd: Fix the locale regex to allow '-' and not a range

[.-=] allows all characters from '.' to '=', 0x2E-0x3D
[.=-] allows exactly the characters '.' '=' '-'

The server_locale.exp test is supposed to check that '-' is allowed,
but its failure was incorrectly masked in commit 16560657.  Added a
different disallowed character ';' to test as well.

testsuite: CLONE_FOO flags need _GNU_SOURCE

PR5163: Cache uprobes.ko as we do with everything else

We now build uprobes in our writable tmpdir (rather than directly in
SYSTEMTAP_RUNTIME), and cache the result for reuse.  This relieves the
pain of having to rebuild uprobes after every kernel change, and also
makes it possible to provide uprobes for multiple unique targets, as
needed for the compiler server and for remoting.

* buildrun.cxx (make_make_cmd): New, consolidate repeated code.
  (compile_pass, make_tracequery, make_typequery_kmod): Use it.
  (make_uprobes): Rewrite to build uprobes.ko under the tmpdir, just
  using a #include to the main uprobes.c in the runtime.
  (get_cached_uprobes, set_cached_uprobes): Read/write uprobes cache.
  (uprobes_pass): Try to cache, then build if necessary.
  (may_build_uprobes, verify_uprobes_uptodate, copy_uprobes_symbols):
  Removed.
* hash.cxx (find_uprobes_hash): Prepare a hashed name for uprobes.
* main.cxx (passes_0_4): If the script was cached, make sure we still
  find or build uprobes if needed too.
* stap-serverd.cxx (handleRequest): Get uprobes from the tmpdir rather
  than from the runtime path, and sign it directly if needed.
* testsuite/lib/systemtap.exp (uprobes_p): Don't build uprobes here.
* testsuite/systemtap.base/buildid.exp: Launch a dummy pass-5 run, so we
  don't have to worry about providing a path to staprun -u.

PR6954 Do automatic global printing for RMW operands.

* staptree.h (current_lvalue_read):  New.
* staptree.cxx (varuse_collecting_visitor::visit_symbol): Do not
   treat an RMW symbol as read if the value is not a real rvalue.
  (varuse_collecting_visitor::visit_print_format): Handle current_lvalue_read.
  (varuse_collecting_visitor::visit_assignment): Likewise.
  (varuse_collecting_visitor::visit_delete_statement): Likewise.

* global_end.exp (global_end_var): Test RMW cases.
* global_end.stp (global_end_var): Likewise.

unwind.h remove unused struct unwind_table root_table.

unwind.c remove unused structs and code.

Removed struct eh_frame_hdr_table_entry, cmp_eh_frame_hdr_table_entries
and swap_eh_frame_hdr_table_entries.

Fixed BZ709190 to avoid crashes during NFS tracing.

* runtime/addr-map.c: Changed 'addr_map_lock' from a spinlock to a rwlock
  to allow more simultaneous readers.

Make the messages clearer for hw_watch_sym.stp and hw_watch_addr.stp.

Silence sys/sdt.h comparison of unsigned expression < 0 is always false.

Some arm g++ setups would complain about the wchar_t "signedness detection":
sys/sdt.h:102: error: comparison of unsigned expression < 0 is always false

jistone said: "((T)(-1) < 1)" would still get the right boolean value,
and shouldn't trigger range errors like "unsigned is never < 0".

Update the examples list

PR12947 - Add some examples to execise the probes for hardware breakpoints

PR 12955 - unprivileged mode elaboration in man pages etc

Document the actual restrictions enforced at translation time and at
run time for unprivileged users.

PR12947 Properly track the creation of probes using hardware breakpoints

The logic for creation of probes using hardware breakpoints was incorrect.
The register_wide_hw_breakpoint() can return error codes in place of the
pointer. The value of the pointer needs to be checked to determine
whether it is the range of values indicating an error. The setup
code also needs to properly track whether the registration was completed
on a probe, so the shutdown code only calls unregister_wide_breakpoint()
for the probes that are actually registered.

unwind.c fde_pointer_type fix (fake) 'P' encoding type value reading.

We are not actually interested in the personality routine value,
so don't try to deref (which will usually fail). Mask off DW_EH_PE_indirect.

runtime/unwind split fde/cie parsing.

Split parsing/sanity checking of fde and cie. This removes the bad_cie
and not_fde statics. is_fde will just return NULL and produce a warning.

unwind.c Only do a linear search if there isn't a search header.

There always should be one, we create it in the translator
if it didn't exist. Only if we are using elfutils < 0.142
should these ever be missing. If the binary search fails,
either because the unwind data is bad, or the address isn't
covered, don't fall back to linear searching. Add extra
checks and warning about bad debug frame header.

README updates

include new utrace URL, switch away from sudo, clarify stapusr/unprivileged mode

some README additions

PR13419: update rep_ret test case

repnz;ret has been accepted since commit 9ee518c4d

unwind.c fix CIE augmentation parsing.

fde_pointer_type and unwind_frame didn't handle the "S" augmentation
properly. This augmentation doesn't cary any extra data and so does
not need to be preceded by "z". Also added more sanity checking,
plus _stp_warn explanations when things go wrong/doesn't parse.

Handle CIE and FDE CFI sequentially in unwind.c instead of recursively.

Another simple unwind.c cleanup to make reasoning about the unwind state
easier, and to remove another (useless) recursive call. Also fixes CIE/FDE
comment mixup.

Refactor DW_CFA_remember/restore_state handling in unwind.c.

The old way of handling DW_CFA_restore_state involved recursively
calling processCFI() to replay the whole CFI stream up till the last
DW_CFA_remember_state instruction. This made it hard to reason about
the actual unwind state and could lead to processing the CFI stream
multiple times. In exchange for a little extra memory allocated upfront
to keep a small stack of register states we now just process all CFI in
one go. This change also splits out the unwind_reg_state from the
general unwind_state struct.

Slightly improved runtime/unwind.c debug output.

Properly report the return code (rc) for registered hw breakpoint (PR12947)

In the case of an error, the return code (rc) was not set when
registering a hw breakpoint. This lead to the the SystemTap instrumentation
module trying to unregister a non-existant hw breakpoint and causing a
kernel oops.  This patch ensure that the return code (rc) is set
and errors in hw breakpoint registration are handled correctly.

check_groups cleanup in staprun.

- Remove unused extern "unprivileged_user'
- Correct error messages about which group memberships are necessary.
  - Messages did not specify that stapusr is required if not root.

Update client/server actions for protocol version 1.1.

PR 12917 - Implement Compile-Server/Client Versioning: Part 2

- Compile server advertises its protocol version using avahi.
- Client will not automatically choose an incompatible server.

Allow the compile-server server to return error messages to the client.

- Update affacted test cases.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Conflicts:
stap-serverd.cxx