Regen script index for process/syscalltimes.

Fix systemtap.examples/process/syscalltimes script and add test.

stap was a little too smart for the script, optimizing out unused
variables and producing WARNINGS/ERRORS for deleted variables.
Make all variable manipulation conditional on their actual usage,
add -w to surpress warnings, add a new option -c 'process' to run
during script invocation and add a meta testcase for the testsuite.

Remove CONFIG_UTRACE check in pass 2 (dwarfbuilder).

pass 4 (buildrun) already checks for CONFIG_UTRACE, so remove it from
pass 2 (dwarfbuilder) so scripts containing process() probes can at least
be semantically checked and inspected with stap -l on arches that don't
have utrace yet.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Remove kfail from backtrace.exp. Fixed by commit 207d2d.

Use "unsigned long" in place of "uintptr_t" to compile on older kernels

Remove commented out and outdated (confusing embedded C) example from SBG.

Just remove so there are no false positives while looking for dangerous
embedded C snippets. The actual example just includes the thread-times.stp
file which is fine.

Don't try to be smart detecting perf event was in user mode.

Just use user_mode(regs) always.
Add test to check we always detect some user_mode activity.

s390 also has ambiguous asm opcode.

* sdt.exp: Add s390 to the ambiguous asm opcode list.

PR12221: Added the build ids to the script's  hash

hash.cxx
  Added the build IDs from the session variables's build_ids
  vector to the script's hash.

session.h
  Added the build_ids vector to the session.

setupdwfl.cxx
  Extracted the build IDs in setup_dwfl_kernel and
  setup_dwfl_user and added them to the build_ids vector.
  Also, rearranged the code for downloading the debuginfo
  to facilitate this patch.

Rename CONTEXT regflags to probe_flags. Now simply indicates user mode.

Renamed common_probe_context.h regflags to probe_flags, rename constant
from _STP_REGS_USER_FLAG to _STP_PROBE_STATE_USER_MODE and use throughout
tapsets to check whether in user_mode() or not.

Allow xfails for sdt.exp.

* sdt.exp (sdt_stap_run): New.  Like stap_run3 but adds FAIL.
Use it for known xfails.

Remove unused runtime/counter.c file.

change probe wildcard matching criterion in sdt_misc.exp

On i386 and x86_64 system, sdt_misc.exp fails with those messages:

i386:
FAIL: sdt_misc wildcard (40) V1_uprobe
FAIL: sdt_misc wildcard (40) V2_kprobe
FAIL: sdt_misc wildcard (40) V2_uprobe
FAIL: sdt_misc wildcard (40) V3_uprobe

x86_64:
FAIL: sdt_misc wildcard (48) V1_uprobe
FAIL: sdt_misc wildcard (48) V2_kprobe
FAIL: sdt_misc wildcard (48) V2_uprobe
FAIL: sdt_misc wildcard (48) V3_uprobe

I believe this because three variables, arr_struct, primary_colors_var, incomplete_struct_type, has been changed to conditional defined in systemtap.base/sdt_types.c:

 92 # if !defined(__cplusplus) || \
 93         ((__GNUC__ > 4 || (__GNUC__ == 4 && __GNUC_MINOR__ >= 5)) && __GXX_EXPERIMENTAL_CXX0X__)
 94   struct {
 95     int int_var;
 96   } arr_struct [2] = {{1},{2}};
 97
 98   enum  {
 99     red = 0,
100     green = 1,
101     blue = 2
102   } primary_colors_var = green;
103
104   struct opaque_struct *incomplete_struct_type = 0;
105 # endi

The criterion should be changed.

Signed-off-by: Han Pingtian <phan@redhat.com>

PR11441 - unprivileged mode test suite enhancements.

- Created a script which identifies all embedded C code in our tapset
  sources.
- Tests to ensure that calls to each function containing embedded C are
  accepted/rejected for unprivileged users, as appropriate.

runtime/staprun/configure.ac: AC_CHECK_LIB before adding -lelf.

Update known and expected failures in unprivileged_all.exp

Remove unused STP_WORK_TIMER define.

* runtime/transport/transport.h: Remove unused STP_WORK_TIMER.

Allow STP_WORK_TIMER to be changed on the stap command line.

* runtime/transport/transport.h: Allow user to override STP_WORK_TIMER
  from the command line using '-DSTP_WORK_TIMER=value'.

PR13112 Add include/asm/io_64.h blacklist.

Also simplify blfile include list (starting .* pattern needed for all
asm/include files means we can collapse some).

PR13108 blacklist probing paravirt ops from paravirt.c or paravirt.h.

PR13112 (and PR13108) blacklist probing function from include/asm .h files.

dwflpp.cxx (build_blacklist): all include/asm .h blfile patterns might
need "full path" so prefix those with '.*'
Add new XFAIL semok.exp inb_blacklisted.stp testcase.

non-guru printk test fail during semantic (p2) time, not build (p4) time.

guru functions are checked during pass 2 (semantic analysis) time.

PR6503: introduce systemtap_module_refresh() entry point

This new function in the generated code is to get all active probe
point families to reevaluate applicability, to retry inserting probes
that may have failed during systemtap_module_init (e.g., due to
modules being offline), or disarm/remove probes that are no longer
applicable (e.g. due to modules having gone offline).  The default
implementation is empty.

* elaborate.h (derived_probe_group::emit_module_refresh): Define
  empty default.
* translate.cxx (c_unparser::emit_module_refresh): Call the
  per-probe-group functions.
  (translate_pass): Call emit_module_refresh().

PR13101 - Networking tapsets should have structured comments

Make the descriptions of the default filter functions clear.

PR13101 Networking tapsets should have structured comments

Fix up formatting issues in documentation comments.

PR13101 Networking tapsets should have structured comments

Fix up formatting issues in documentation comments.

PR6503: make module notifier update kmodule section addresses, GRSECURITY version

Some struct module fields are renamed under STAPCONF_GRSECURITY.

PR6503: make module notifier update kmodule section addresses

* runtime/sym.c (_stp_kmodule_update_address): Tolerate null reloc
  (section name) parameter, treat as "all".

* runtime/transport/symbols.c (_stp_module_notifier): A hack worthy of
  Alan Smithee himself, supply a disappointing subset of
  module-section-address data tuples as modules come and go.

testsuite: remove process.*.return.maxactive(NNN) variants

PR6503: add module notifier

* runtime/transport/symbols.c (_stp_module_notifier): New function.
  Do nothing.
* runtime/transport/transport.c (_stp_handle_start): Register it.
  (_stp_cleanup_and_exit): Unregister it.

runtime: remove probe_start/_exit() intermediary

These functions were unnecessary; the runtime can call to the
translator-generated systemtap_module_init|exit throughout.
Documentation and comment changes dominate this patch.

PR6503 part 1: separate out _stp_kmodule_update_address

* runtime/sym.c (_stp_kmodule_update_address): New function, body
  pulled from river at ...
* runtime/transport/symbols.c (_stp_do_relocation): Chop into two bits.

PR13101 Networking tapsets should have structured comments

Proof read and correct typos.

Configuration improvements.

Auto-discovered dependencies are fine when building on the system the
package will be used on; but for distributions such as Gentoo or for
cross-compilation, they only cause headaches if they are not configurable.

By adding two simple ./configure options, the problem is solved.

Configuration Inprovements for NSS and avahi.

Checking for directories directly on the /usr disallows building against a
locally-installed NSS or Avahi, and makes cross-compilation difficult.

By using pkg-config, it's easy to override the results, which allow
building against non-system libraries as well as properly identifying
cross-compiled libraries.

PR13102 nfs tapsets should have structured comments

Fixing typos in new documentation.

Fixed PR13146 by not allowing memory allocations to sleep.

* runtime/alloc.c:  Turn off __GFP_WAIT when allocating memory.
* runtime/transport/ring_buffer.c (__stp_alloc_ring_buffer): Ditto.
* runtime/counter.c (_stp_counter_init): Handles memory allocation failure
  better.
* runtime/task_finder.c (__stp_call_mmap_callbacks_with_addr): Better
  cleanup if memory allocation fails.

PR12773 cont'd: Fixed NT_GNU_BUILD_ID undefined error on RHEL 4 and 5

Merge branch 'master' of git://sources.redhat.com/git/systemtap

PR13142: Stopping script execution on Android (ARM) does not unload kernel module

PR12773 cont'd: Added check for --download-debuginfo for kernel

PR12773 cont'd: Added Kernel Debuginfo Support

NOTE: Due to BZ733690, abrt cannot download the kernel-debuginfo.
As soon as that bug is fixed, this feature should work.

setupdwfl.cxx
    - Added get_kernel_build_id_from_notes()
        - This is used to extract the build ID hex string
          from /sys/kernel/notes
    - Added download_kernel_debuginfo(systemtap_session &s)
        - This attempts to extract the build ID hex string
          from /lib/modules/<release>/build/vmlinux.id and
          if it fails, it calls the above function. It then
          calls abrt to attempt to download the associated
          debuginfo.
setupdwfl.cxx
    Added function declarations for the above.

PR13136: add guru-mode printk() tapset function

PR13057 related, remove process.**.return.maxactive(N) probe type

The .maxactive stuff is strictly for kretprobes, so should not be
present in process (uprobes) probes.  Use the existing
bind_unprivileged_p flag as a proxy for whether we're dealing with
kernel vs. process probe point hierarchy.

* tapsets.cxx (dwarf_derived_probe::register_*_variants): Make
  bind_unprivileged_p an explicit (non-defaulted) argument.
  Update callers.
  (register_function_variants): Skip TOK_MAXACTIVE variant for process
  probes.

docs: add missing " * " line for tapset doc extraction tool

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Conflicts:
NEWS
session.cxx
session.h

PR 11441 - continue with unprivileged test suite

- New unprivileged_all.exp replaces previously existing unprivileged
  mode test suites.
- Tests all known probe point types for expected success/failure for
  unprivileged users.
- Checks the above directly and also using an alias.
- Checks that all known probe point types have been tested (uses
  --dump-probe-types).

PR 13057 Provide a Command Line Option to Dump Supported Probe Points

New command line option, --dump-probe-types, has been added. If
--unprivilged is also specified, the dump will be limited to
probe types available to unprivileged users.

Fix pr10678.stp failure if system doesn't have ne2k-pci module.

Change from Han Pingtian <phan@redhat.com>

* testsuite/buildok/pr10678.stp: Just use a begin probe if the ne2k_pci
  module doesn't exist.

Correct atomic.stp documentation comments. They should be sfunction.

add copyright/license blurb to process/schedtimes.stp sample

Requested-By: Jason Baron <jbaron@redhat.com>

Default --disable-sdt-probes for  gcc version 3

    * configure.ac: Check for the function ppoll.
    * configure, config.in: Regenerate.

Convert 4 autoconf tests to exportconf tests.

* buildrun.cxx (output_dual_exportconf): New function.
(compile_pass): Converted several autoconf tests to exportconf tests.
* runtime/autoconf-probe-kernel.c: Removed unneeded autoconf test.
* runtime/autoconf-synchronize-sched.c: Ditto.
* runtime/autoconf-unregister-kprobes.c: Ditto.
* runtime/autoconf-vm-area.c: Ditto.

loc2c.c (location_from_attr): Add pc address where location isn't accessible.

Sometimes a probe point expands to multiple addresses, only some of
which cannot access a particular variable or argument.

Document atomic.stp and add to the SystemTap Tapset Reference Manual.

PR13101 Add linuxmib-filter-default.stp to Tapset Reference Manual.

PR13101 Add ipmib-filter-default.stp to documentation.

Add documentation comments to inet_sock.stp

Document and relocate information about default tcpmib_filter_key function.

PR13101 Add structured comments to document rpc.stp.

Add documentation comments to nfs_proc.stp.

Fixed PR13055 by getting procfs probes working on 3.1 kernels.

* runtime/procfs.c (_stp_rmdir_proc_module): Fix problem where
  '/proc/systemtap' wasn't getting removed correctly.
  (_stp_mkdir_proc_module): Add support for kernels where neither
  path_lookup() or kern_path_parent() are exported (such as the 3.1
  kernels).
* buildrun.cxx (compile_pass): Convert compile test for kern_path_parent()
  to an export test.  Add exports tests for path_lookup() and
  vfs_path_lookup().
* runtime/autoconf-kern-path-parent.c: Removed.

Update parse_kernel_exports() for RHEL4.

* main.cxx (parse_kernel_exports): Now handles RHEL4 (2.6.9) kernels
  correctly, whose 'Modules.symvers' file only has 3 tokens per line.

debian bug#604453: tweak new blacklist items to exploit regexps

debian bug#604453: add more items to kprobe blacklist

Add documentation comments to inet.stp.

Initial checkin of nfsd.stp documentation.

Add tapset reference manual description for nfsderrno.stp.

PR13078: Support stap --remote unix:/path sockets

* remote.cxx (unix_stapsh): New, connects to an AF_UNIX socket.
  (stapsh::get_reply): Deal with possible stapsh stderr chatter.
  (stapsh::handle_poll): Rework to handle some corner cases better,
  like having the same fd for in and out.
* testsuite/systemtap.base/stapsh-unix.exp: New test using socat.
* testsuite/systemtap.base/stapsh-unix.stp: New test.

Add "documentation" for cpu parameter to tapset/timestamp_monotonic.stp.

Reorder the nfs tapset entries to group nfsd material together.

Add the structure comments for tapset reference manual to nfs.stp

Initialize POD members that were previously uninitialized

* coveragedb.h: initialize type in coverage_element
* csclient.h: initialize argc in compile_server_client
* dwflpp.cxx: initialize blacklist_func, blacklist_func_ret,
              and blacklist_file in dwflpp
* dwflpp.h: initialize entrypc in func_info
* elaborate.cxx: initialize num_newly_resolved, num_still_unresolved,
                 assert_resolvability and t in typeresolution_info
* session.cxx: initialize automatic_server_mode in systemtap_session
* staptree.cxx: initialize privileged in probe, tok in component,
                and epilogue_style in probe_alias
* staptree.h: initialize num_index and expr_index in component
* tapset-utrace.cxx: initialize has_library in derived_probe
* tapsets.cxx: initialize has_process and has_library in
               dwarf_derived_probe, has_library in base_query,
               has_relative, relative_val, choose_next_line, and
               entrypc_for_next_line in dwarf_query, op in
               var_expanding_visitor and probe_type, probe_loc,
               probe_scn_offset, probe_scn_addr, arg_count, base,
               and semaphore in sdt_query
* translate.cxx: initialize action_counter and
                 probe_or_function_needs_deref_fault_handler in
                 c_unparser

Really old kprobes didn't have a symbol_name field, autoconf it.

kprobes on addresses do just work and can now be build.
symbol_named kprobes now get a registration warning if the
symbol_name field isn't available.

PR1277 cont'd: NEWS and man page entry

PR6961 - backtrace from non-pt_regs probe context

When printing a kernel backtrace use the kernel dump_trace if available.
If the kernel is compiled with frame pointers we can guess the stack
pionter pretty reliably, otherwise let dump_stack figure it out and
skip some of the framework stack frames before starting the print the
remaining stack.

PR13103 substr 3 argument length description is wrong.

PR11209: Add cpu_clock and local_clock

This adds cpu_clock_ns(cpu), local_clock_ns(), and their coarser
variants.  These are monotonic wallclock time sources, rather than the
absolute time-since-epoch sort.  On kernels too old for these functions,
it falls back to stap's gettimeofday.

A kernel supports this only if it has the functions exported, and if it
is deemed new enough to have the patches that make it NMI-safe.  See the
comment in timestamp_monotonic.stp for details.

* buildrun.cxx: Add export checks for cpu_clock and local_clock.
* tapset/timestamp_monotonic.stp: Define the new functions.
* testsuite/buildok/timestamp_monotonic-embedded.stp: Build them.
* doc/SystemTap_Tapset_Reference/tapsets.tmpl: Include the new docs.

Testsuite Improvements.

Previously, server.log and the server certificates were cleared each
time a server was started. Clearing them once per test run instead
allows the log of all servers started during testing to be examined
after the tests are finished. It also ensures that the same server
certificates are used by all servers started during testing.

Check ix is not NULL before dereferencing for both cases

staptree.cxx: add the assert and remove the (now) redundant portion
              of the conditional.

doc: correct chapter heading for function::system

PR12773 cont'd: Added --download-debuginfo= option

 Possible values for option:

 'yes':      Automatically download debuginfo - no timeout.
             Also, if no value is given to the option, it
             is the same as this.
 'no':       Do not automatically download debuginfo. Also
             if the option is not specified at all, it
             defaults to this.
 'ask':      Show output from abrt, including file size of
             needed debuginfo, and make it wait for user
             input before downloading.
 '<number>'  A positive number, in seconds, to represent
             the timeout to use when downloading. If the
             download takes longer than this, it will
             abort the download.

 **NOTE** Due to a few bugs in abrt, both the 'ask' feature
 and the 'timeout' feature will not work properly. In terms
 of the 'ask feature (BZ726192), it will ask the user, but
 abrt then assumes 'yes' right away and continues the
 download. When this is fixed in abrt, stap should function
 properly. In terms of the timeout feature (BZ730107), stap
 does stop if a timeout occurs, but the download process
 continues to completion.

warn_overflow.exp: Add -DMAXSKIPPED=9999 to prevent false failures.

The syscall.* probe handlers try to overflow the cmd message buffers
which might take some time, so add -DMAXSKIPPED=9999 to not error
out because some probes take too long.

Bug 11859 - print_ubacktrace() prints kretprobe addresses

runtime/stack.c (_stp_stack_print): Check whether we are printing a user
or kernel stack, only handle [ku]retprobe addresses if the "right" kind.

Reintroduce timer for transport cmd channel, don't wake_up unconditionally.

Revert parts of commit a85c8a "runtime/io.c: Explicitly signal setting of
_stp_exit_flag" and commit 46ac9e "Remove _stp_ctl_work_timer from module
transport layer". Introduce a new test wake_up.exp that shows a deadlock
when sending cmd messages and waking up the reader immediately.

Renamed _stp_ctl_write to _stp_ctl_send, which can be called from
everywhere. Rename _stp_ctl_send to _stp_ctl_send_notify that can be
called from user context in the transport layer itself (this will
immediately notify any readers). Document all places that use
_stp_ctl_send_notify directly to clarify why that is safe.

See http://sourceware.org/ml/systemtap/2011-q3/msg00163.html

translate symbol/unwind extraction: shrink output

* translate.cxx (dump_unwindsyms): Use plain decimal formatting
  instead of 0xFF hex for bulk data, to save 1-3 bytes of C source per
  byte.

Add a compat #define FIELD_SIZEOF

This was added in kernel 2.6.18.  RHEL4 backported this definition, but
it was reported missing in another enterprise distro.  It's an easy
one-line definition to add for compatibility though.

tweak wording of SYSTEMTAP_DEBUGINFO_PATH env var

Update testsuite configury to autoconf 2.68 too

update autoconf files for 2.68

PR11775: Add more tapsets to the tapsets.tmpl file

doc/SystemTap_Tapset_Reference/tapsets.tmpl: Added tapsets and Network
File Storage chapter

Makefile: Add an srpm target

This target prepares a source rpm without doing a build, useful for
feeding into other build tools, like mock.

Implement and use select to wait for cmd channel data.

Add a poll implementation to runtime/transport/control.c
(_stp_ctl_poll_cmd) based on the _stp_ctl_ready_q wait queue.
Check whether select is supported in runtime/staprun/mainloop.c
(stp_main_loop) and use pselect with a sigmask that includes
SIGURG to get EINTR notifications whenever an interruptable
event occurred.

runtime/io.c: Explicitly signal setting of _stp_exit_flag.

Call wake_up_interruptible(&_stp_ctl_wq) in _stp_exit()
to signal possible waiters in _stp_ctl_read_cmd().

Remove _stp_ctl_work_timer from module transport layer.

The _stp_ctl_work_timer would trigger every 20ms to check whether
there were cmd messages queued, but not announced yet and to
check the _stp_exit_flag was set.

This commit makes all control messages announce themselves and
check the _stp_exit_flag in the _stp_ctl_read_cmd loop (delivery
is still possibly delayed since the messages are just pushed on
a wait queue).

Add the func_time_stats.stp to the index.

Add the func_time_stats.stp example.

Clean up func_time_stats information.

ucontext.stp: Remove STP_NEED_VMA_TRACKER, done through pragma:vma.