Merge commit 'origin/master' into pr7043

Improved error handling.
* testsuite/systemtap.base/flightrec3.exp: Improved error handling.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Specify how to generate Publican document with separate build directory.

PR10273. uprobes fail to insert on prelinked library.

* dwflpp.cxx (relocate_address): For .dynamic section addresses adjust for
  module bias.

Use the expanded value for sdt $$name

* tapsets.cxx (dwarf_builder::build): pass probe_table.probe_name into
  the sdt_var_expander instead of .mark_name, so wildcards are resolved.

Merge commit 'origin/master' into pr7043

Conflicts:
runtime/transport/transport.c

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Moved time.c inclusion from runtime/transport/transport.c to runtime/runtime.h.
* runtime/runtime.h: Includes time.c.
* runtime/transport/transport.c: Removed time.c inclusion.

Support -L for kprobe and utrace static user markers.

tapsets.cxx (dwarf_builder::build): Special case listing mode for kprobe and utrace.

Do not emit duplicate probes for kprobe/utrace cases.

* tapsets.cxx (dwarf_builder) Add probes_handled.
(dwarf_builder::build):  Use probes_handled to not emit duplicates.

Strip out newlines in GCC version string.

* testsuite/lib/systemtap.exp (get_system_info): Remove possible newlines
  from GCC_Version string.

Add GCC version to testsuite run output and systemtap.sum file.

Prints the gcc being used and full version. Also adds short version
number to systemtap.sum file (plus full version string). Will make
comparing failures based on compiler version being used easier.

* testsuite/lib/systemtap.exp (print_systemtap_version): Also print
  location and full version of gcc being used.
  (get_system_info): Get gcc version number and long version string.
* testsuite/lib/stap_run.exp (print_system_info): Output GCC version.

Add pgrp() context tapset function. Describe sid().

* tapset/context.stp: Add pgrp() function.
* testsuite/buildok/context_test.stp: Add pgrp() call.
* stapfuncs.3stap.in: Describe pgrp() and sid().

Signed-off-by: Josh Stone <jistone@redhat.com>

Add experimental utrace/kprobe sdt support

* sdt.h (EXPERIMENTAL_UTRACE_SDT, EXPERIMENTAL_KPROBE_SDT): New probe
point macros.
* dtrace: Add support for creating type debug info, currently invoked
with --types.
* tapsets.cxx (probe_table::convert_probe): New.
(probe_table::convert_location): New.
(dwarf_builder::build):  Use it to simplify probe point handling.
* sdt.exp (pbtype_flags, pbtype_mssgs): New to also test kprobe and utrace.
* static_uprobes.exp (pbtype_flags, pbtype_mssgs): New to also test kprobe and utrace.

PR10285. User space PROBE marks aren't found with separate debuginfo.

The original logic was a little confused. It could end up searching the
separate debuginfo twice instead of falling back to the main elf file.
Now we explicitly search the main elf file first (where the .probes
section really should be) and only then fall back to the separate
debuginfo file.

* tapsets.cxx (dwarf_builder::probe_table::probe_table): Search main
  elf file first, then fall back on separate debuginfo file if necessary.
* testsuite/systemtap.exelib/exelib.exp: Enable mark.tcl testcase.
main elf file or the debuginfo file, but would interpret

Add (disabled) testcase for stap probe marks to exelib.

* testsuite/systemtap.exelib/exelib.exp: Compile against sdt.h.
* testsuite/systemtap.exelib/uprobes_exe.c: Add main_count probe mark.
* testsuite/systemtap.exelib/uprobes_lib.c: Add func_count probe mark.
* testsuite/systemtap.exelib/mark.tcl: New test.
* testsuite/systemtap.exelib/mark.stp: New test tapset.

PR10274 Fix exelib -O3 testcase.

The testcase now uses noinline, an empty asm statement and a volatile
variable to prevent the function getting inlined, being totally unrolled
or the recursive call being replaced with an inner-iteration.

This does defeat part of the testcase though, which was testing unwinding
through an optimized recursive function. But it seems the best we can do.

* testsuite/systemtap.exelib/exelib.exp: Add -O3 to the mix.
* testsuite/systemtap.exelib/uprobes_exe.c: Use volatile bar and mark
  main_func noinline.
* testsuite/systemtap.exelib/uprobes_lib.c: Use volatile foo and mark
  lib_func noinline.

PR10279: add -DKRETACTIVE=nnnn parameter

* tapsets.cxx (dwarf/kprobe_derived_...::emit_decl/init): Define
  and use KRETPROBE instead of hard-coded max(...) values.  Raise
  the default 50%.
* testsuite/buildok/thirtytwo.stp: New test.

PR10277: fix \octal escaping of utf-8 characters in path names etc.

* util.h (lex_cast_qstring): Use unsigned rather than signed chars.

Add exelib uprobes test framework.

Tests uprobes placed in executables and shared libraries on different
arches (32-on-64 currently disabled), gcc/g++, optimizations (currently
disabled), prelinked libs (currently disabled), seperate libs/exe debuginfo
and pie executables.

* testsuite/systemtap.base/uprobes_exe.c: Moved to...
* testsuite/systemtap.exelib/uprobes_exe.c: From systemtap.base.
* testsuite/systemtap.base/uprobes_lib.c: Moved to...
* testsuite/systemtap.exelib/uprobes_lib.c: From systemtap.base.
* testsuite/systemtap.base/uprobes_lib.exp: Rewritten as...
* testsuite/systemtap.exelib/lib.tcl: From uprobes_lib.exp.
* testsuite/systemtap.base/uprobes_lib.stp: Rewritten as...
* testsuite/systemtap.exelib/lib.stp: From uprobes_lib.stp.
* testsuite/systemtap.base/uprobes_uname.exp: Rewritten as...
* testsuite/systemtap.exelib/uname.tcl: From uprobes_uname.exp.
* testsuite/systemtap.base/uprobes_uname.stp: Rewritten as...
* testsuite/systemtap.exelib/uname.stp: From uprobes_uname.stp.
* testsuite/systemtap.base/uprobes_ustack.exp: Rewritten as...
* testsuite/systemtap.exelib/ustack.tcl: From uprobes_ustack.exp.
* testsuite/systemtap.base/uprobes_ustack.stp: Rewritten as...
* testsuite/systemtap.exelib/ustack.stp: From uprobes_ustack.stp.
* testsuite/systemtap.exelib/exelib.exp: New exelib uprobes framework.
* testsuite/systemtap.exelib/cleanup.tcl: New file.

Map przemoc's name to UTF-8 in .mailmap & AUTHORS

Fixed non-bulkmode output on smp systems using transport version 2.
* runtime/transport/relay_v2.c (__stp_relay_create_buf_file_callback): Set
  the 'is_global' return parameter so that smp systems work correctly.

added quick note to README re latexml

Version bumps for the 0.9.8 release

Pick up some NEWS items from the release notes

Merge commit 'origin/master' into pr7043

remove erroneous dependency (systemtap-sdt-devel -> systemtap)

Add nd_syscalls NEWS

Reformat the module signing NEWS

Merge branch 'master' of ssh://sourceware.org/git/systemtap

PR10260: Clean up all resources after init errors

When anything in systemtap_module_init fails, and we return non-zero,
then the module load is aborted.  The normal module unload path
(systemtap_module_exit) is not even attempted, so we need to make sure
that all partially-allocated resources are returned.

Our timer callbacks for the gettimeofday subsystem are a classic example
of this error.  If we don't unregister the timers before aborting init,
they will later be called and cause a kernel fault.

We also were neglecting to free the percpu context.  A memory leak is
less harmful, but that's fixed now too.

gcc 3.4.6 compatibility: s/{true,false}/{1,0} in runtime/unwind.c

Fix condition propagation across aliases

When an instance of an alias has a condition, that condition gets
propagated to each of the locations that the alias defines.  However,
the copy of the location list was not a deep copy, and so all other
instances of the alias would also incorrectly receive the condition.

This patch makes the location list copy a little deeper, and adds a
test case which demonstrates the issue.

build compatibility fix for gcc 3.4

* translate.cxx (emit_symbol_data): Use ~0 instead of -1 for big unsigned constant

Add bounds-checking to sdt $argN

Remove probe_table's unused location member

Remove sdt_var_expanding_visitor's now-unused dw

Remove the spurious sdt @cast expansion

The result of sdt's private @cast expansion was not being used, and it's
not really needed anyway.  The global cast visitor is registered to run
as a post-processing step on ALL functions and probes, and so it will
pick up and expand sdt's casts too.

Simplify process.mark parameter parsing

This just makes it so the parameters only need to be checked and pulled
out once.

dummy empty change

* tapsets.cxx (sdt_var_expanding_visitor::process_name): New.
(sdt_var_expanding_visitor::visit_target_symbol): Have @cast use
types from a dtrace built object instead of a dtrace supplied header.
(dwarf_builder::build): Use it.

Fixed cut-and-paste error.
* runtime/task_finder.c (__stp_call_mmap_callbacks_for_task): Fixed
  cut-and-paste error.

Avoid holding semaphore while making mmap callbacks.
* runtime/task_finder.c (__stp_call_mmap_callbacks_for_task): Grabs the
  'mmap_sem' sempaphore. Caches vma information, releases the semaphore,
  then makes mmap callbacks.
  (__stp_utrace_task_finder_target_quiesce): Calls
  __stp_call_mmap_callbacks_for_task() to make mmap callbacks on initial
  attach to a task.

Avoid 1 case of holding a semaphore while mmap callbacks are being made.
* runtime/task_finder.c (__stp_call_mmap_callbacks_with_addr): Renamed
  from __stp_call_mmap_callbacks_with_vma().  Also added some code from
  __stp_utrace_task_finder_target_syscall_exit() that locks the 'mmap_sem'
  semaphore.  This avoids holding the semaphore while the mmap callbacks
  are made.
  (__stp_utrace_task_finder_target_syscall_exit): Just calls
  __stp_call_mmap_callbacks_with_addr() in the mmap case.

Fix uninitialized shdr in probe_table

(redo commit 3d022fa9c6bdbca383dfc639d08d65287c708f56)

* tapsets.cxx (dwarf_builder::probe_table::probe_table): gcc 4.4
complains that shdr may be used uninitialized.  I added returns to
ensure that it's ok, but gcc still complains.  Set the thing to NULL
as well to silence the beast.

* tapsets.cxx (probe_table): Make mark_name and sess refs.
(probe_table::get_next_probe): Dissect using struct probe_table.
(sdt_var_expanding_visitor): Use lex_cast.
(dwarf_builder::build): Copy probe and location for TOK_MARK cases.
Call derive_probes for kprobe and utrace cases.

Remove dwflpp::default_name

It was just a basic NULL check, but creating its string temporaries was
causing a fair slowdown.  Removing this function and adjusting the
callers shaves ~5% off the syscall.* elaboration time.

Let query_module abort early for simple matches

query_module was already returning DW_CB_ABORT when a simple match was
found, but dwflpp::iterate_over_modules was ignoring that and instead
forcing the module loop to restart.  The only way out of the loop was
with the pending_interrupts flag, which is only for signalled
interrupts.

Now iterate_over_modules will only attempt the dwfl_getmodules loop
once, since that loop will only abort if the CB returns DW_CB_ABORT.
Then query_module is also modified to return ABORT if pending_interrupts
is flagged.

My trusty test, stap -l syscall.*, is nearly 2x faster with this change.
Empirically, I found that the kernel object is always the first "module"
returned, so the syscall probepoints always gets to short-circuit the
loop right away.

ttyspy: struct pid->number[0]->nr arrived with 2.6.24 not later

ttyspy.stp: new sample script

PR10209: extend configury for --disable-translator

* configure.ac: Added --disable-translator feature, creates AM_CONDITIONAL BUILD_TRANSLATOR.
* Makefile.am: Only build runtime components (staprun, stapio) if BUILD_TRANSLATOR == FALSE.
* configure: Regenerated.
* Makefile.in: Likewise.
* aclocal.m4: Likewise.
* config.in: Likewise.
* doc/Makefile.in: Likewise.
* doc/SystemTap_Tapset_Reference/Makefile.in: Likewise.
* grapher/Makefile.in: Likewise.

Fix uninitialized shdr in probe_table

* tapsets.cxx (dwarf_builder::probe_table::probe_table): gcc 4.4
complains that shdr may be used uninitialized.  I added returns to
ensure that it's ok, but gcc still complains.  Set the thing to NULL
as well to silence the beast.

Make sure all DEBUG_TRANS output uses printk.
* runtime/transport/control.c (_stp_ctl_write_cmd): Calls dbug_trans2
  instead of _dbug (so that printk is used instead of the transport
  itself).
  (_stp_ctl_write_dbug): Ditto.
* runtime/debug.h (dbug_trans2): New macro.

* tapsets.cxx (dwarf_builder::probe_table): New.  Derived from
dwarf_builder::build to handle the .probes section
(sdt_var_expanding_visitor): New.  Expand static probe $argN.
(dwarf_builder::build): Use probe_table.  Add kprobe and utrace probe types.

Fixed STP_TRANSPORT_VERSION 1 behavior.
* runtime/transport/control.c (_stp_ctl_write_dbug): Added support for
  more messages.
* runtime/transport/relay_v2.c (_stp_transport_data_fs_start): New
  function.
  (_stp_transport_data_fs_stop): Ditto.
  (_stp_transport_data_fs_close): Moved some functionality into
  _stp_transport_data_fs_stop() and calls _stp_transport_data_fs_stop()
  also.
  (_stp_transport_data_fs_init): Moved some functionality into
  _stp_transport_data_fs_start() and calls _stp_transport_data_fs_start()
  also.
* runtime/transport/relayfs.c (_stp_transport_data_fs_start): New
  function.
  (_stp_transport_data_fs_stop): Ditto.
  (_stp_transport_data_fs_close): Moved some functionality into
  _stp_transport_data_fs_stop() and calls _stp_transport_data_fs_stop()
  also.
  (_stp_transport_data_fs_init): Moved some functionality into
  _stp_transport_data_fs_start() and calls _stp_transport_data_fs_start()
  also.
* runtime/transport/ring_buffer.c (_stp_transport_data_fs_start): New
  empty function.
  (_stp_transport_data_fs_stop): Ditto.
* runtime/transport/transport.h: Added _stp_transport_data_fs_start() and
  _stp_transport_data_fs_stop() prototypes.
* runtime/transport/transport.c (_stp_cleanup_and_exit): Calls
  _stp_transport_data_fs_stop().
  (_stp_transport_close): Calls _stp_transport_fs_close() earlier.
  (_stp_transport_init): Calls _stp_transport_data_fs_start().

Detect kretprobe trampoline and use fallback unwinder.

* runtime/sym.h (_stp_kretprobe_trampoline): Document.
* translate.cxx (unwindsym_dump_context): Add stp_kretprobe_trampoline_addr.
  (dump_unwindsyms): Detect kretprobe_trampoline_holder symbol address.
  (emit_symbol_data): Initialize and emit _stp_kretprobe_trampoline.
* runtime/transport/symbols.c (_stp_do_relocation): Detect kernel load
  address and adjust _stp_kretprobe_trampoline.
* runtime/stack-i386.c (__stp_stack_print): Always use fallback unwinder
  when hitting kretprobe_trampoline_holder.
* runtime/stack-x86_64.c (__stp_stack_print): Likewise.

Add $arch/nd_syscalls.stp

These are all the dwarfless analogs to $arch/syscalls.stp.
(Only i686 and x86_64 have been tested...)

Clean up the formatting of $arch/syscalls.stp

Complete a few TODO probe points in nd_syscalls2

This adds renameat, unlinkat, unshare, and compat_sys_semctl.

Fixed cut-and-paste error.
* runtime/task_finder.c (__stp_call_mmap_callbacks_for_task): Fixed
  cut-and-paste error.

Fix nd_syscall2 open.return typo.

* tapset/nd_syscalls2.stp (nd_syscall.open.return): Add commas after
  alternatives.

More nd_syscalls2 cleanup, and add SYSCALL_WRAPPERS

- Fix a few more formatting issues
- Add SYSCALL_WRAPPERS analogous to 132c33 tapset/syscalls2.stp

Thanks to Przemysław Pawełczyk for the helpful translation scripts.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Cache the last result of dwarf_getscopes

This one function accounted for ~30% of my callgrind profile of
"stap -l 'syscall.*'", even though it was only called ~1200 times.  We
call dwarf_getscopes for each $target variable, with the same parameters
within a given probe.  Since they're no nicely grouped, it's easy to
just cache the most recent call, and the next few calls will be a hit.

Overall this cuts the number of calls down to about 300, for an easy
speed gain.

Move the blacklist functions into dwflpp

For a call like "stap -l 'syscall.*'", I found that ~10% of the time was
spent compiling the blacklist regexps over again for each probe point.
By moving this functionality into the kernel dwflpp instance, we can
reuse the regexps and get an easy speed boost.

Add debuginfo-install suggestion for kernel probing.

Better sdt.exp test cleanup.
* testsuite/systemtap.base/sdt.exp: Better cleanup.

Avoid holding semaphore while making mmap callbacks.
* runtime/task_finder.c (__stp_call_mmap_callbacks_for_task): Grabs the
  'mmap_sem' sempaphore. Caches vma information, releases the semaphore,
  then makes mmap callbacks.
  (__stp_utrace_task_finder_target_quiesce): Calls
  __stp_call_mmap_callbacks_for_task() to make mmap callbacks on initial
  attach to a task.

Fix a few variables in nd_syscalls2

Clean up nd_syscalls2 formatting

This applies some of the formatting rules specified in c0c1ccc.

Kill trailing whitespace in nd_syscalls[2]

Convert nd_syscalls2 to kprobe.function

Add JoeLynn Keniston to AUTHORS

Create nd_syscalls2.stp

This contains an initial transformation of syscalls2.stp to start using
numbered parameter access instead of relying on dwarf.

Signed-off-by: Josh Stone <jistone@redhat.com>

PR10206: Include NOTYPE symbols in stap-symbols.h

On powerpc, function descriptors are in the .opd section as NO_TYPE.
Include them in stap-symbols.h

Avoid 1 case of holding a semaphore while mmap callbacks are being made.
* runtime/task_finder.c (__stp_call_mmap_callbacks_with_addr): Renamed
  from __stp_call_mmap_callbacks_with_vma().  Also added some code from
  __stp_utrace_task_finder_target_syscall_exit() that locks the 'mmap_sem'
  semaphore.  This avoids holding the semaphore while the mmap callbacks
  are made.
  (__stp_utrace_task_finder_target_syscall_exit): Just calls
  __stp_call_mmap_callbacks_with_addr() in the mmap case.

Add ucontext-symbols and ucontext-unwind tapset functions to the manual.

* tapset/ucontext-unwind.stp (ubacktrace): Remove empty line before function
  triggering parse errors for doc scanner.
* doc/SystemTap_Tapset_Reference/tapsets.tmpl (chapter context_stp): Add
  tapset/ucontext-symbols.stp and tapset/ucontext-unwind.stp.

More testsuite tweaks to make it work with SYSCALL_WRAPPERS

Suggest rpms to install using debuginfo-install.

The patch makes use of the RPM libraries to determine which rpm supplied
the executable and from that information suggest a command to install the
appropriate debuginfo rpm.

This is enabled using the "--with-rpm" option for configure. Can be
explicitly disabled with "--without-rpm".

Cleanup and better original transport support.
* runtime/print.h: Moved _stp_reserve_bytes() prototype here.
* runtime/vsprintf.c (_stp_vsnprintf): Includes print.h to get
  _stp_reserve_bytes() prototype.

* runtime/transport/transport.c (_stp_remove_root_dir): Better cleanup
  for STP_TRANSPORT_VERSION == 1.
  (_stp_transport_fs_close): Ditto.

Fix nd_syscalls.stp for architectures using SYSCALL_WRAPPERS.

Add kprobe.function("SyS_*") probe points to nd_syscall.* probe aliases.
Analogue of commit 132c337c with two exceptions:
- remove sufficiency of these new probe points (use '?' instead of '!'),
  because translator always considers them resolved,
- make non-SyS probe points optional in probe aliases affected by
  syscall wrappers, because otherwise they will fail on such
  architectures.

Signed-off-by: Josh Stone <jistone@redhat.com>

Fix another kernel/kprobe.function conflict

Both kernel.function and kprobe.function were defining a global array
stap_unreg_kprobes to use in bulk kprobes unregistration.  The compiler
allowed the duplicate definition as long as they were the same size, as
it was when exercised in buildok/thirtyone.

kprobe.function now uses a separate stap_unreg_kprobes2, and the
testcase is modified to produce an imbalanced number of probes.

PR10190: Suppress warnings for optional kprobes

When a kernel.function or kprobe.function fails in registration, we
usually print a WARNING and move on.  With this patch, kprobes that have
the optional '?' flag will not print any WARNING.

Move the "pure" tag into the body of __is_user_regs

The "/* pure */" tag has no effect unless it is within the embedded-C
body of a function.  In this instance, they were accidentally moved out
during the syscall cleanups.

Use embedded-C for empty functions

The functions asmlinkage() and fastcall() are used to help access
syscall parameters on i686.  All other archs don't need this, but they
still define empty functions to shield the callers from arch details.

However, stap issues warnings for empty script-level functions.  This
patch changes them to "%{ /* pure */ %}" so there's no complaint, and
they will still get optimized away.

Uncomment 'name' variable in nd_syscall.lseek probe point.

Signed-off-by: Josh Stone <jistone@redhat.com>

Add missing probe points in nd_syscalls.stp.

Add probe points for faccessat, fchmodat, fchownat, linkat and mknodat.
Analogue of commits: a3d153e5, 335972be, 46e2c2c1, c815c982, dac6e242
and bad69f1d.

Signed-off-by: Josh Stone <jistone@redhat.com>

Remove return probes for exit[_group] in nd_syscalls.stp.

Analogue of commit 39a8b0bc.

Signed-off-by: Josh Stone <jistone@redhat.com>

Unify formatting of nd_syscalls.stp.

Rules were already specified in commit c0c1ccc6.

Signed-off-by: Josh Stone <jistone@redhat.com>

Restore staprun's support for REAL_UID/GID

This is needed for run-stap so that stapio and all child processes can
run as the originally invoking user instead of root.

Added error checking and other updates.
* runtime/vsprintf.c: Added transport.h inclusion for STP_BUFFER_SIZE
  definition.

* runtime/transport/debugfs.c (_stp_register_ctl_channel_fs): Added error
  checking.
* runtime/transport/transport.c (_stp_get_root_dir): Ditto.
  (_stp_transport_fs_init): Added original transport support and error
  checking.
* runtime/transport/relay_v2.c (__stp_relay_create_buf_file_callback):
  Added error checking.
  (_stp_transport_data_fs_init): Ditto.
* runtime/transport/ring_buffer.c (_stp_transport_data_fs_init): Ditto.

* runtime/transport/utt.c: Removed unused file.
* runtime/transport/utt.h: Ditto.

Merge commit 'origin/master' into pr7043

Conflicts:
runtime/print.c
runtime/transport/transport.c
runtime/transport/transport_msgs.h

PR10182: clean uprobes.ko during rpm upgrade

some versions of bundled elfutils needs m4 for building

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Fix gcc warning about Dwarf_Addr initialization.

* translate.cxx (dump_unwindsyms): Initialize eh_frame to 0, not NULL.

PR10177: init/kill time in sleepy context only

Previously, _stp_init_time and _stp_kill_time were being called from
begin/end/error probes, which will run with preemption disabled.  The
BUG reported on RT kernels showed that cpufreq_unregister_notifier can
end up sleeping, which violates our preemption block.

This patch moves the init/kill into systemtap_module_init/exit, where it
is safe to sleep.  The code maintains a new predicate with the define
STAP_NEED_GETTIMEOFDAY, so we don't still incur any timer overhead if
it's not used.

Add the schedtimes.stp and associated schedtimes.meta files to the examples.

Properly read eh_frame and pass is_ehframe correctly.

* runtime/unwind.c (adjustStartLoc): Add extra dbug_unwind.
  (_stp_search_unwind_hdr): Always pass true for is_ehframe.
  (unwind_frame): Properly pass through is_ehframe to adjustStartLoc().
  (unwind): Add extra dbug_unwind.
* translate.cxx (dump_unwindsyms): Output and use correct eh_frame
  and eh_len.