Move __stp_tf_vma_map check from commit 972ea1 to stap_find_vma_map_info().

Commit 972ea1 misapplied the check to stap_add_vma_map_info. This can
never be called when the vma tracker hasn't been initialized. But
stap_find_vma_map_info[_user] potentially could be called. And so this
function needs to check that sure__stp_tf_vma_map is initialized.

stap_add_vma_map_info: Make sure__stp_tf_vma_map is initialized.

stap_add_vma_map_info can even be called when the vma tracker was never
activated by _stp_snprint_addr().

stap_add_vma_map_info: Reserve __stp_tf_vma_entry memory before taking locks.

Otherwise we could sleep while a reader was waiting on us.

cache.cxx (clean_cache): Use difftime to compare times.

Otherwise on some systems you will get a error: comparison between signed
and unsigned integer expressions.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

PR11671 Allocate __stp_tf_vma_entry dynamically.

Get rid of TASK_FINDER_VMA_ENTRY_ITEMS and __stp_tf_vma_free_list_items
array list completely. All __stp_tf_vma_entry are allocated dynamically
now. This is possible since stap_add_vma_map_info() is only called
through the task_finder from a user context.

There is no more fixed maximum number of VMA pages that will be tracked
at runtime. This reduces memory use for those scripts that don't need any,
or only limited target process VMA tracking and allows easier system
wide probes inspecting shared library variables and/or user backtraces.
stap will now silently ignore -DTASK_FINDER_VMA_ENTRY_ITEMS.

tracepoints: tolerate kernel event headers without their own #include <linux/tracepoint.h>

include/trace/events/writeback.h lacks this, which means that
systemtap tracepoint _aux.o files fail to build.

* tapsets.cxx (tracepoint_derived_probe_group::emit_module_decls): Generously
  offer to emit the possibly missing #include <...> into the FOO_aux_N.c file.

Initialize the task_finder mmap entries in task_finder2.

* runtime/task_finder2.c (stap_start_task_finder): Be sure to initialize
  the map entries.

Introduce stap_destroy_vma_map and allocate vma free at vma init time.

We don't keep a static __stp_tf_vma_free_list_items anymore, but allocate
the items once in stap_initialize_vma_map(), which can now return failure
when there isn't enough memory. Make sure to call stap_destroy_vma_map()
when the module is unloaded to clean up.

PR13076: Added man page entry

stap.1
  Added info under CACHING. Also updated the cache_mb_limit defult
  value to 256 MiB rather than 64MiB

PR13076: Added time interval to cache cleaning

cache.cxx:
  Added a new file to the cache - cache_clean_interval_s - to keep
  track of the new cache clean time interval. Now the cache will
  only be cleaned when the time since the previous clean is longer
  than the interval, rather than every time a new entry is added
  to the cache. The default interval is 30 sec.

stap_initialize_vma_map() doesn't need any locking.

I must be called before any other task_finder_vma routine can be called,
so it will never run concurrently.

Make sure 'environ' is not NULL before passing it (via env) to posix_spawnp.

staprun: User privilege checking in restricted environments.

- Make sure staprun builds with all combinations of HAVE_ELF and
  HAVE_ELF_GETSHDRSTRNDX.
- When HAVE_ELF_GETSHDRSTRNDX is not defined, we must assume the
  highest required privilege level for signed modules (stapsys).

--modinfo testsuite

tweak expect clauses to consume all lines

tapset: Make addr_to_node ignore !NODE_DATA(nid)

In the block added for RHEL4 compatibility, there was even a comment
indicating that we'd like to skip nodes that aren't online.  We can't
make that check due to missing an EXPORT for node_online_map, but
checking for a non-NULL pointer for NODE_DATA(nid) gets approximately
the same result.

PR 13323: Fix regression checking return code of init_ctl_channel.

- init_ctl_channel can return 0 or 1 on success
- remove_module must be called if it returns < 0

Add new --modinfo option.

* session.cxx (parse_cmdline): Parse it.
  (usage): Note it.
* session.h (modinfos): Store it.
* hash.cxx (find_script_hash): Mix it.
* translate.cxx (translate_pass): Use it.
* testsuite/systemtap.base/modinfo.exp: Lightly test it.
* NEWS, stap.1: Document it.

Don't mark skipped unprivileged_embedded_C.exp tests as UNTESTED.

Fixed uninitialized error in _stp_vsnprintf()

vsprintf.c:
  Initialized both char *end and char *str to NULL.

PR 13323: staprun should check return code from send_request when sending messages via the transport layer

The return code of send_request is now propagated and checked back to
init_staprun.

runtime/stack-dwarf.c: arch_unw_init_frame_info() call takes an int.

tapset/arm/registers.stp (_stp_arg): should return signed values.

testsuite/systemtap.context/num_args.stp: Define ri and rl registers for ARM.

_stp_get_mm_counter: Fix kernel version check.

The kernel version check was wrong in two ways. First it tested against
kernel_v >= "3.1.0" but linux commit 172703 "mm: delete non-atomic mm
counter implementation" was actually integrated for 3.0. But fedora
names their 3.0 kernels 2.6.40 (and 3.1 kernels 2.6.41, depending on
release). So change the test to kernel_v >= "2.6.40".

The reason this wasn't found earlier was that there is another check
for CONFIG_NR_CPUS >= CONFIG_SPLIT_PTLOCK_CPUS which is almost always
true (but not on arm tegra kernels).

systemtap.examples/check.exp: Don't try running tests that failed to build.

Just mark them UNTESTED if the build phase FAILed. This also saves time
since the run phase will try to build the testcase again (and will always
FAIL doing that).

PR13462 symdata() returns ARM mapping symbols.

Introduce skippable_arch_symbol() function that filters out arch specific
symbols that should be ignored in dump_symbol_tables().

Fix the dtrace_clone.exp test to properly test with/without semaphores.

* testsuite/systemtap.clone/dtrace_clone.exp: Use the correct #define to
  get rid of the semaphores.
* testsuite/systemtap.clone/dtrace_clone.c: Be sure to ifdef out all the
  semaphores.

tapsets.cxx: Fix arguments passed to common_probe_entryfn_epilogue.

Merge branch 'master' into jistone/inode-uprobes

Document some new features and improvements since systemtap 1.6.

task_backtrace removed, MAXBACKTRACE documented, new probe_type() function,
unwind and symbol data only processed when really necesessary, kernel
backtraces for non-pt_regs probe context (timer and tracepoints),
ubacktrace() from kernel probe points, s390x user space support, ppc,
s390x and arm dwarf unwinder support, arm uprobes port.

PR13306: test 'er

PR13306: document new option

PR13306: introduce stap --suppress-handler-errors option

PR13306 asked for a way to skip handlers when probe alias prefixes
fail.  This implementation is a little bigger hammer, but believed
to be more generally useful.

* session.cxx: Initialize/copy/getopt new option.
* session.h: Store it.
* hash.cxx (find_script_hash): Mix it in.
* tapsets.cxx (common_probe_entryfn_epilogue): Skip various
  MAXERRORS/MAXSKIPPED processing when flag is set.
* tapset.h (common_probe_entryfn_epilogue): Drop middle default
  argument since it got confusing.  Add new argument.
* tapsets*.cxx (*::emit_module_decls): Update ..._epilogue callers.

Merge branch 'master' into jistone/inode-uprobes

testsuite: more xfail->kfail transforms

As per commit 174c4d74, use kfail for transient environmental
problems as opposed to want-to-fail test cases.

nd_syscalls.stp: Probe sys_accept4 for kernel 2.6.28+.

Since 2.6.28 sys_accept is chained through sys_accept4. Probe
sys_accept4 only for newer kernels to not miss some accept
syscalls. Don't probe both or we will get double hits.

Add DWARF unwinder support for ARM.

testsuite: xfail->kfail buildok failures

Use kfail to designate problems that represent unfixable issues such
as compiler limitations (debuginfo missing from here or there).
xfail is inappropriate, as we use this to designate failures we
want to see, e.g., the detection of deliberate input errors.

* lib/stap_buildok.exp: Removed, inlined back into
* systemtap.pass1-4/buildok.exp: Pull switch code in here.  Use kfail*.
* systemtap.exelib/pthreadprobes.exp: Don't look at buildok_known_failures,
  which didn't have any pthread awareness anyway.

Added individual tests for function.call and function.return probes.

* testsuite/systemtap.base/uprobes.exp: Added sub-tests that check .call
  and .return probes individually.
* testsuite/systemtap.base/uprobes_call.stp: New file.
* testsuite/systemtap.base/uprobes_return.stp: New file.

PR13458: laugh in the face of xslt

Using a dozen-line xslt script, one can sort the generated tapsets.xml
documentation's reference sections.  Thank you interwebs:
http://stackoverflow.com/questions/572854/how-to-sort-a-subelement-of-xml-with-xslt
http://www.w3schools.com/xpath/xpath_syntax.asp

Mark buildok/memory-write_shared_copy.stp as KFAIL when it fails

Kernels built with older versions of gcc do not have the needed argument
information for inlined functions. vm.write_shared_copy probes inlined
functions and suffers from PR1155 in this situation. This patch marks
it as a KFAIL with a mention of PR1155 when it fails.

nd_syscall.exp KFAIL PR13451, PR13452, PR13453, PR13454, PR13455 and PR13456

dup, eventfd, inotify, pipe, signalfd and poll are incomplete in nd_syscalls.

PR13420 cast-scope.exp: kfail all non-optimized test cases.

On powerpc both -m32 and -m64 unoptimized fail because of PR13420.
Better to accidentially KPASS on some arches than have XFAILS on some others.

Make cast-scope testcase more robust. Prevent line-reordening.

Setting a statement line probe is somewhat fragile since different GCCs
output different line tables. Make sure that there is a known single
statement line in the testcase to probe.

PR10739 kfail all backtrace.exp tests on non-x86 architectures.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Support fallback kernel dump_stack() with or without bp argument.

There has been some flip-flopping in the kernel whether or not dump_stack()
takes a bp argument. We now support either with or without.
See linux commits v2.6.36-9872-g9c0729d and v2.6.38-793-ge8e999c.

Support fallback kernel dump_stack() with or without bp argument.

There has been some flip-flopping in the kernel whether or not dump_stack()
takes a bp argument. We now support either with or without.
See linux commits v2.6.36-9872-g9c0729d and v2.6.38-793-ge8e999c.

PR10739 kfail on non-x86 architectures, no dump_trace available.

Fixed compile problem when HAVE_NSS isn't defined.

* runtime/staprun/staprun_funcs.c (check_signature): If HAVE_NSS isn't
  defined, mark the arguments as unused to avoid gcc errors.

RHBZ 757802: Add '--' to regexp commands in server_args.exp.

PR13440: Use real userspace addresses in @cast tests

Some architectures make a harder distinction between user/kernel
addresses, so we shouldn't be faking our user memory.

* testsuite/systemtap.base/cast.*: Remove userspace @cast.
* testsuite/systemtap.base/cast-user.*: Add a new test for userspace
  @casts with an honest userspace address.

PR13354: Add a type cast to satisfy old compilers

RHEL4-era gcc tried to make "fake_remote?-1:i" unsigned (as 'i' is), and
then complained about making -1 unsigned.  Since remote::create just
wants an int anyway, cast "i" in the ternary.

PR13445: shrink ctl command handler function use less stack space

* runtime/transport/control.c (_stp_ctl_write_cmd): Make larger struct
  copies static.  Explain why this is safe.

_stp_vma_mmap_cb: Really mean that we are only interested in the first load.

There was a chance our test for whether this was the first load of the
whole module that is executable could miss a second load, which would
override the original start address. Fix that by explicitly checking
whether we already registered this module or not.

PR13354: remote_id() and remote_uri() tapset functions

This little thing required changes all through the stack!

* main.cxx (main): Pass the explicit --remote option index to the
  remote::create invocations.
* remote.cxx (remote::create): Pass incoming index/uri to build staprun_r_arg.
  (direct::start): Use value.
  (stapsh::start): Use value if remote end is believed to be >= v1.7.
  (ssh_legacy_remote::start): Don't use value, as remote end may not know staprun -r.
* remote.h (remote): New field staprun_r_arg.

* runtime/transport/transport_msgs.h: Define new STP_REMOTE_ID message type.

* runtime/staprun/common.c (parse_args, usage): Support new -r option.
* runtime/staprun/staprun.8: Document it.
* runtime/staprun/staprun.c: Pass remote id/uri to runtime via
  new STP_REMOTE_URI message.
* runtime/staprun/staprun.h: Declare new variables.

* runtime/transport/control.c (_stp_ctl_write_cmd): Accept STP_REMOTE_ID message
  from euid=0.
* runtime/transport/transport.c (_stp_handle_remote_id): Process it.

* tapset/context.stp (remote_id, remote_uri): New functions.
* testsuite/systemtap.base/remote.exp: Extend to print/check those functions' values.

PR13354: NEWS blurb for remote_id() and remote_uri()

PR13354: run remote.exp by default, even if $TESTREMOTES were unset

Just run it with direct: and stapsh:

Pass through user flag into all of unwinder.

runtime/unwind.c relied on passing of struct task being not NULL
to see whether to access user space. In practice tsk was always
either NULL or current. And not all bits of the unwinder checked
it. Now we just pass a user flag and push it down to every
function that needs it.

PR13155 mention in NEWS

examples index bump

Fix build error in staprun_funcs.c when HAVE_ELF_GETSHDRSTRNDX is not set.

Mark find_section_in_module arguments unused when HAVE_ELF_GETSHDRSTRNDX
isn't set.

Use __get_user and __put_user for s390 uderef/kderef.

Replace costum s390 [store_][uk]deref() implementations with standard
s390 kernel __get_user() and __put_user() functions. Wrapped in get_fs()
set_fs() calls to switch between user/kernel space addresses.

loc2c-runtime.h: Split deref and store_deref into user and kernel version.

All references to deref have been updated to use either the user or kernel
variant where appropriate, but kderef is currently still defined as uderef,
and store_kderef as store_uderef. Which should work fine for all arches
except s390.

runtime/loc2c-runtime.h remove unused deref_buffer define.

Consolidate fetch_[uk]register defines in one place in tapsets.cxx.

Create stapusr, stapsys and stapdev groups with their assigned group ids, if possible.

- Group IDs were assigned by RHBZ 756807

PR 13128: NEWS and man page updates.

PR 13128: No need to exhaustively test every tapset function.

- Test a subset by default
- Test them all if SYSTEMTAP_TEST_ALL_EMBEDDED_C is defined in the environment.

PR 13128: Implement module privilege check in staprun.

- staprun extracts the required privilege level from signed modules
  and compares it against the user's actual privilege credentials
  before loading.

PR 13128: Implement the new --privilege=stapsys

- Users belonging to the group stapsys can use all probe points and tapset
  functions (including those which contain embedded C), but cannot
  use the -g option.
- Loading of modules for stapsys users requires signing by a trusted compile-server.
- Add testing for stapsys throughout as appropriate.
- Update existing unprivileged test suites to test stapsys as appropriate.
- New test suite tests -g against all privilege levels.

ARM uprobes support

Basic uprobes support for ARM.

Signed-off-by: Wade Farnsworth <wade_farnsworth@mentor.com>

Simplify arch specific fallback for kernel backtraces __stp_stack_print.

Only needs regs, sym_flags and levels to print.
Drop uwcontext, ri and uregs_valid.

testsuite/systemtap.base/cxxclass.exp: Fix typo in untested case.

PR13430 Split user tests from stmt_rel.exp into stmt_rel_user.exp.

The new stmt_rel_user.exp testcase runs the same test against all
available abi/opt variants. It kfails all the optimized builds
because of PR13430.

dwflpp::die_entrypc: Add missing closing brace in verbose message.

Fixed PR13428 by updating nfsd.stp.

* tapset/nfsd.stp: Fixed nfsd.createv3 and nfsd.createv3.return probes
  after the kernel function they probe was renamed.

Add autoconf check for the addition of the pte argument for alloc_vm_area

Linux Kernel commit cd12909cb5 add the pt argument to the alloc_vm_area
function. Need to check whether that pte argument exists and sets a define
as required.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Merge branch 'master' into dsmith/task_finder2

Update testsuite to check for new utrace requirements.

* testsuite/lib/systemtap.exp (utrace_p): Properly tests for the new
  utrace requirements.
* runtime/task_finder.c: Remove code that hardcoded new utrace.
* runtime/uprobes/uprobes.h: Reset to "normal" version.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

testsuite/systemtap.base/cast-scope.exp: KFAIL: cast-scope-m64 (PRMS: 13420)

PR13420 prologue detection fails for unoptimized 64bit cast-scope.exp.

testsuite/lib/systemtap.exp: Check abi arch flags (-m64, -m32/31) work.

Make sure all development packages for the supported ABIs (-m64 -m32/-m31)
are installed by building a quick hello.c and hello.cxx program with both.

Add testsuite/lib/compile_flags.exp and use it in tests.

testsuite/lib/compile_flags.exp defines all_compile_flags(),
all_compile_flag(INDEX) and all_compile_flag_name(INDEX) which return
the number, actual flag and extra test name to use in tests that use
target_compile for use space testing. On architectures that support
multiple ABIs it will return all combinations of all optimizations
(none, -O, -O2) and the ABI flags (-m64, -m32 or -m31).

Use in a for loop like: for {set i 0} {$i < [all_compile_flags]} {incr i} {
  set extra_flag [all_compile_flag $i] # Add to target_compile flags
  set extra_name [all_compile_flag_name $i] # Add to test pass/fail message
...
}

uprobe_stmt_num.exp run the last test, but explicitl kfail PR10454.

Check for the new task_finder config variable requirement.

* tapsets.cxx (check_process_probe_kernel_support): Add support for the
  requirements of the new task_finder (and even look ahead to the new
  uprobes).
* tapset-utrace.cxx (utrace_derived_probe_group::emit_module_decls): Minor
  change to match "real" tapset-utrace.cxx.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Merge branch 'master' into dsmith/task_finder2

Move common CONFIG_UTRACE check to its own function.

* tapsets.cxx (check_process_probe_kernel_support): New function.
  (dwarf_builder::build): Moved CONFIG_UTRACE check to
  check_process_probe_kernel_support() which we call instead.
* tapset-utrace.cxx (utrace_derived_probe::utrace_derived_probe): Call
  check_process_probe_kernel_support() instead of doing CONFIG_UTRACE
  check.
* tapsets.h: Declare check_process_probe_kernel_support().

PR12136: Tweak the cast-scope testcase

- Use unnamed process.* to allow -c to guarantee the right path
- Specify the function probe's file, so we don't accidentally pick up
  any other length(), like string::length().

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

PR12136: Add a statement probe for testing @cast scopes

There's still an issue with getting the entry value, but the rest looks
like it's working properly...

Add UTRACE_API_VERSION to determine which utrace version we've got.

* runtime/stp_utrace.h: Added UTRACE_API_VERSION back.
* tapset-utrace.cxx (utrace_derived_probe_group::emit_module_decls): Use
  UTRACE_API_VERSION, which stp_utrace.h now provides, so that we don't
  have to check STP_TASK_FINDER2.

Merge branch 'master' into dsmith/task_finder2

Don't use dwfl_module bias in either emit_address() and vardie_from_symtable().

dwflpp::emit_address() is called by loc2c for emitting DW_OP_addr.
DW_OP_addr could come from the actual dwarf location description or
could be synthetically generated from through vardie_from_symtable().
vardie_from_symtable() would keep the dwfl module bias (if there was one),
but the DW_OP_addr from real dwarf debuginfo would not have it.
Now we are consistently not having the module bias added.

Add some variants of the externalvar.exp testcase, which previously
failed with older GCC versions (where we would pick up the DW_OP_addr
from the dwarf location description), while newer GCCs emit dwarf DIEs
for these variables that only have the external flag set. The new
testcase variants use static vars, which will have DW_OP_addr emitted
in both old and new GCC versions.

Add the kvm_service_time.stp example

Update the examples index with qemu_io.stp and qemu_count.stp.

Add qemu_count.stp example