PR13489: comment on task_user_regset_view usage

PR13513: undo PR11759 PREEMPT_RT hack

Just go back to using plain spinlock_t etc. throughout the runtime:

-#if CONFIG_PREEMPT_RT
-static raw_spinlock_t itrace_lock;
-#else
 static spinlock_t itrace_lock;
-#endif

* runtime/*, translate.cxx: Just use plain spin/other locks.

PR13489: Look up kallsyms_task_user_regset_view if needed, even without any uprobes

This is needed to compile loc2c-runtime.h on zero-uprobes kernels.

* runtime/runtime.h: Unwrap it from if CONFIG_UPROBES.
* runtime/transport/transport.c: Look it up.

PR13499: grapher: remove systemtap-runtime=V-R dependency

This should make it easier for an old systemtap-grapher rpm
to remain installed as other parts of the package move forward.

* NEWS: mention grapher deprecation

scheduler.ctxswitch: arm has context_switch(), not __switch_to().

Rename tapset/rpc.stp variable to indicate its internal-only nature.

* tapset/rpc.stp (_sunrpc.clnt.create_client.rpc_new_client_inline):
  Rename 'args' to '__args' to indicate that '__args' is an internal-only
  variable.  Deprecate old name.
* NEWS: Mention 'args' variable deprecation.
* stap.1: Ditto.

task_finder_vma.c (__stp_tf_vma_new_entry): No unnecessary atomic allocs.

We can be a little nicer when allocating kernel memory under the
traditional task_finder which uses utrace. See
http://sourceware.org/ml/systemtap/2011-q4/msg00357.html

Check that unset CONFIG options compare equal the empty string and/or zero.

Fix PR13501 (partial) by making 'stap -L __scheduler.process_exit.kp' work.

* tapset/scheduler.stp (__scheduler.process_exit.kp): Added value for
  '__tsk' so that 'stap -L' doesn't complain about an unknown type.

periodic.stp example truncate fname to 50 chars to keep table readable.

modname/symdata: Try harder to retrieve module name when requested.

When the user really wants a kernel module name with an address and
we are unable to map it to any existing one then fall back on using
__module_text_address() with appropriate locking.

_stp_vma_mmap_cb: Also extend mapping that don't overlap but are connected.

If a vma mapping for a module already exist but a new mapping for the module
is added that is connected right at the end of it, then just extend the
existing vma mapping. This fixes the exelib.exp testcase on s390x for PIE
executables.

Fix gcc warning in uprobes2/uprobes.c.

* runtime/uprobes2/uprobes.c (uprobe_free_task): Fix "ISO C90 forbids
  mixed declarations and code" warning by rearranging some code.

Fix 13501 (partial) by making 'stap -L scheduler.ctxswitch' work.

* tapset/scheduler.stp (scheduler.ctxswitch): Merge the probe aliases for
  '__scheduler.ctxswitch.tp' and '__scheduler.ctxswitch.kp'.
* testsuite/buildok/scheduler-ctxswitch.stp: Remove
  '__scheduler.ctxswitch.kp' testing.

Improved __rpc_create_args global handling for sunrpc.clnt.create_client probe.

* tapset/rpc.stp: Ensure better matching with the .return probe by putting
  .call on the probes that handle the __rpc_create_args global variable.

Fix PR13501 (partial) by making 'stap -L sunrpc.clnt.create_client' work.

* tapset/rpc.stp: Fix unresolved type error by providing a value for the
  'args' variable even in the branch where we don't use it.

Adjust periodic.stp example to run on kernels without struct delayed_work

RHEL-5 kernels have the timer_expire_entry tracepoint, but do not have
struct delayed_work.  Some @defined magic is used to select the
fallback if struct delayed_work is not around.

Fix PR12413 by fixing 'kprocess.release' variable problems.

* tapset/kprocess.stp: Deprecate 'pid' variable and fix 'released_pid' and
  'released_tid' variables in the kprocess.release probe.
* testsuite/buildok/kprocess-detailed.stp: Update kprocess.release test.
* NEWS: Mention kprocess.release 'pid' variable deprecation.
* stap.1: Ditto.

Add the periodic.stp example to the index

Add the periodic.stp example

Remove the possibililty of sleeping from __stp_call_mmap_callbacks_*().

* runtime/task_finder.c (__stp_call_mmap_callbacks_with_addr): Change
  down_read() to down_read_trylock() instead, which won't sleep.
  (__stp_call_mmap_callbacks_for_task): Ditto.

PR13489/PR11671: more lockdep antihistamines

* runtime/task_finder_vma.c (__stp_tf_vma_new_entry): Use
  STP_ALLOC_FLAGS for new vma entry memory allocation needs.

PR13386: move _stp_kill_time out of preemption-disabled interval at shutdown

Without this change, it was possible to get this warning:

[ 2083.250059] stap_76e60190a026972913d9501600bceb0a_767363: systemtap: 1.7/0.152, base: fffffff
fa066f000, memory: 4269data/40text/62ctx/2058net/377alloc kb, probes: 5474
[ 2085.743714] BUG: sleeping function called from invalid context at kernel/mutex.c:271
[ 2085.747088] in_atomic(): 1, irqs_disabled(): 0, pid: 31536, name: stapio
[ 2085.749797] no locks held by stapio/31536.
[ 2085.751520] Pid: 31536, comm: stapio Tainted: G           O 3.2.0-rc5-next-20111213 #1
[ 2085.754634] Call Trace:
[ 2085.756109]  [<ffffffff81094f35>] __might_sleep+0x135/0x1f0
[ 2085.758339]  [<ffffffff81670c5f>] mutex_lock_nested+0x2f/0x3a0
[ 2085.760624]  [<ffffffff810c14ed>] ? trace_hardirqs_on+0xd/0x10
[ 2085.763117]  [<ffffffff81072482>] ? try_to_del_timer_sync+0xb2/0x1a0
[ 2085.765854]  [<ffffffff8108ff6f>] srcu_notifier_chain_unregister+0x2f/0xf0
[ 2085.771204]  [<ffffffff81072570>] ? try_to_del_timer_sync+0x1a0/0x1a0
[ 2085.774824]  [<ffffffff814f462c>] cpufreq_unregister_notifier+0x1c/0x40
[ 2085.780119]  [<ffffffffa06717ce>] _stp_kill_time+0x9e/0xa0 [stap_76e60190a026972913d9501600bceb0a_767363]
[ 2085.785254]  [<ffffffffa0677a15>] _stp_cleanup_and_exit+0x375/0x430 [stap_76e60190a026972913d9501600bceb0a_767363]
[ 2085.790342]  [<ffffffffa0677d82>] _stp_ctl_write_cmd+0x272/0xbb5 [stap_76e60190a026972913d9501600bceb0a_767363]
[ 2085.794189]  [<ffffffff811ac4a6>] vfs_write+0xb6/0x180
[ 2085.796239]  [<ffffffff81677579>] kretprobe_trampoline_holder+0x9/0x9
[ 2085.798521]  [<ffffffff81677579>] kretprobe_trampoline_holder+0x9/0x9

* translate.cxx (c_unparser::emit_module_exit): Move _stp_kill_time up a wee.

Distinguish tests run using different privilege levels.

PR 13496: stap could show some progress of the communication with the server

- Moved "Using a compile server" message to -v level
- Moved details of automatic server detection to -vv level
- Moved reasons for server acceptance/rejection to -vvv level
- Moved details of clent/server request/response packaging to -vvvv level.

PR 13318: Add -D option to stap-server and stap-serverd.

Now supported on the command line as -D macro[=value] and
in the stap-server config files as DEFINE=macro[=value].

Add HAVE_TASK_FINDER define to simplify some code.

* runtime/runtime.h: Add HAVE_TASK_FINDER define if we've got any form of
  utrace.
* runtime/task_finder.c: Use HAVE_TASK_FINDER to know whether to define
  dummy functions.
* runtime/vma.c (_stp_vma_init): Use HAVE_TASK_FINDER define.

modinfo.exp testcase needs modinfo from /sbin, which might not be in PATH.

Older glibc elf.h don't know about new STB_GNU_UNIQUE constant.

configury: fix make -j all install

Due to an autoconf weirdness, make -j all install would run make
all-recursive and make install-recursive in parallel, and let the two
builds step on each others' toes.

* Makefile.am (install): Explicitly require all.  Recurse by hand.
* Makefile.in: Regenerated.

PR13467 Provide alternative testcase for pointer_array.exp.

pointer_array.exp depends on indexing an array from a user pointer in
kernel context. This doesn't work on s390x, which has separate user and
kernel space addresses. kallsyms_expand_symbol.exp decodes the kallsyms
table from kernel space using various array pointer manipulations.

Revert accidental "work in progress" commit

This reverts commit 658ebe79050b8e5574464a63c15d1c5dfabaf545.

Also consider STB_GNU_UNIQUE symbols to be exported.

* dwflpp.cxx (dwflpp::func_is_exported): Consider STB_GNU_UNIQUE.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Conflicts:
NEWS

PR 13460: Expose stap-serverd options to stap-server.

The --log, --port and --ssl options of stap-serverd are now
exposed to stap-server.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Protect just the transport state with _stp_transport_mutex.

_stp_transport_mutex was held over the whole of _stp_handle_start()
and _stp_cleanup_and_exit(). This is unnecessary and dangerous since
some functions that get called could sleep. Add a new state variable
_stp_start_called and protect just that together with _stp_exit_called
to make sure _stp_handle_start() and _stp_cleanup_and_exit() are only
executed once.

uprobes.c add rcu_read_lock for pid_task(), rcu_dereference and utrace.

pid_task(), rcu_dereference() and the utrace functions that convert a
given pid to a task need to be protected by the rcu_read_lock().

PR13489: support inode-uprobes without EXPORT_SYMBOL*'s

Until lkml sees fit to EXPORT_SYMBOL* various inode-uprobes related
symbols, we must kludge around this.

* buildrun.cxx (compile_pass): Track export status for
  register_uprobe, unregister_uprobe, task_user_regset_view.
* runtime/runtime.h: Declare void* versions if needed.
* runtime/transport/transport.c: kallsyms_lookup_name them if needed.
* runtime/loc2c-runtime.h, runtime/uprobes-inode.c: Use them.

PR13076: fix -timeout tcl error

* testsuite/systemtap.base/cache_clean.exp: Use
  expect { -timeout N } instead of expect { timeout N }

inode-uprobes: recognize it even without exported symbols

Add process, kernel and module function.exported probes to unprivileged tests.

Add function(...).exported

* dwflpp.cxx (dwflpp::func_is_exported):  New.
* tapsets.cxx (dwarf_query::dwarf_query):  Add has_exported
  (query_dwarf_func): Check for .exported
* library.exp:  Add .exported test
* NEWS, langref.tex, stapprobes.3stap:  Document it.

work in progress

Add new test that probes by pid.

* testsuite/systemtap.clone/probe_by_pid.exp: New test file.
* testsuite/systemtap.clone/Makefile.probe_by_pid: Ditto.
* testsuite/systemtap.clone/probe_by_pid.c: Ditto.
* testsuite/systemtap.clone/probe_by_pid.exp: Ditto.
* testsuite/systemtap.clone/probe_by_pid_function.stp: Ditto.
* testsuite/systemtap.clone/probe_by_pid_utrace.stp: Ditto.

Bogus error message being logged by stap-serverd.

Remove the possibililty of sleeping from __stp_call_mmap_callbacks_*().

* runtime/task_finder2.c (__stp_call_mmap_callbacks_with_addr): Change
  down_read() to down_read_trylock() instead, which won't sleep.
  (__stp_call_mmap_callbacks_for_task): Ditto.

Removed ifdef'ed out code from stp_utrace.[ch].

* runtime/stp_utrace.c: Removed unused code (no actual code changes).
* runtime/stp_utrace.h: Ditto.

Initializce the vma tracker for internal utrace.

* runtime/vma.c (_stp_vma_init): Do the initialization when we're using
  our internal utrace.

pf2.stp example probefunc() is deprecated, use symname(addr()) instead.

Also explicitly exclude user space function names as advertised.
Otherwise the aggregate will quickly overflow on a busy system.

PR13076: Added test cases

Move __stp_tf_vma_map check from commit 972ea1 to stap_find_vma_map_info().

Commit 972ea1 misapplied the check to stap_add_vma_map_info. This can
never be called when the vma tracker hasn't been initialized. But
stap_find_vma_map_info[_user] potentially could be called. And so this
function needs to check that sure__stp_tf_vma_map is initialized.

stap_add_vma_map_info: Make sure__stp_tf_vma_map is initialized.

stap_add_vma_map_info can even be called when the vma tracker was never
activated by _stp_snprint_addr().

stap_add_vma_map_info: Reserve __stp_tf_vma_entry memory before taking locks.

Otherwise we could sleep while a reader was waiting on us.

cache.cxx (clean_cache): Use difftime to compare times.

Otherwise on some systems you will get a error: comparison between signed
and unsigned integer expressions.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

PR11671 Allocate __stp_tf_vma_entry dynamically.

Get rid of TASK_FINDER_VMA_ENTRY_ITEMS and __stp_tf_vma_free_list_items
array list completely. All __stp_tf_vma_entry are allocated dynamically
now. This is possible since stap_add_vma_map_info() is only called
through the task_finder from a user context.

There is no more fixed maximum number of VMA pages that will be tracked
at runtime. This reduces memory use for those scripts that don't need any,
or only limited target process VMA tracking and allows easier system
wide probes inspecting shared library variables and/or user backtraces.
stap will now silently ignore -DTASK_FINDER_VMA_ENTRY_ITEMS.

tracepoints: tolerate kernel event headers without their own #include <linux/tracepoint.h>

include/trace/events/writeback.h lacks this, which means that
systemtap tracepoint _aux.o files fail to build.

* tapsets.cxx (tracepoint_derived_probe_group::emit_module_decls): Generously
  offer to emit the possibly missing #include <...> into the FOO_aux_N.c file.

Initialize the task_finder mmap entries in task_finder2.

* runtime/task_finder2.c (stap_start_task_finder): Be sure to initialize
  the map entries.

Introduce stap_destroy_vma_map and allocate vma free at vma init time.

We don't keep a static __stp_tf_vma_free_list_items anymore, but allocate
the items once in stap_initialize_vma_map(), which can now return failure
when there isn't enough memory. Make sure to call stap_destroy_vma_map()
when the module is unloaded to clean up.

PR13076: Added man page entry

stap.1
  Added info under CACHING. Also updated the cache_mb_limit defult
  value to 256 MiB rather than 64MiB

PR13076: Added time interval to cache cleaning

cache.cxx:
  Added a new file to the cache - cache_clean_interval_s - to keep
  track of the new cache clean time interval. Now the cache will
  only be cleaned when the time since the previous clean is longer
  than the interval, rather than every time a new entry is added
  to the cache. The default interval is 30 sec.

stap_initialize_vma_map() doesn't need any locking.

I must be called before any other task_finder_vma routine can be called,
so it will never run concurrently.

Make sure 'environ' is not NULL before passing it (via env) to posix_spawnp.

staprun: User privilege checking in restricted environments.

- Make sure staprun builds with all combinations of HAVE_ELF and
  HAVE_ELF_GETSHDRSTRNDX.
- When HAVE_ELF_GETSHDRSTRNDX is not defined, we must assume the
  highest required privilege level for signed modules (stapsys).

--modinfo testsuite

tweak expect clauses to consume all lines

tapset: Make addr_to_node ignore !NODE_DATA(nid)

In the block added for RHEL4 compatibility, there was even a comment
indicating that we'd like to skip nodes that aren't online.  We can't
make that check due to missing an EXPORT for node_online_map, but
checking for a non-NULL pointer for NODE_DATA(nid) gets approximately
the same result.

PR 13323: Fix regression checking return code of init_ctl_channel.

- init_ctl_channel can return 0 or 1 on success
- remove_module must be called if it returns < 0

Add new --modinfo option.

* session.cxx (parse_cmdline): Parse it.
  (usage): Note it.
* session.h (modinfos): Store it.
* hash.cxx (find_script_hash): Mix it.
* translate.cxx (translate_pass): Use it.
* testsuite/systemtap.base/modinfo.exp: Lightly test it.
* NEWS, stap.1: Document it.

Don't mark skipped unprivileged_embedded_C.exp tests as UNTESTED.

Fixed uninitialized error in _stp_vsnprintf()

vsprintf.c:
  Initialized both char *end and char *str to NULL.

PR 13323: staprun should check return code from send_request when sending messages via the transport layer

The return code of send_request is now propagated and checked back to
init_staprun.

runtime/stack-dwarf.c: arch_unw_init_frame_info() call takes an int.

tapset/arm/registers.stp (_stp_arg): should return signed values.

testsuite/systemtap.context/num_args.stp: Define ri and rl registers for ARM.

_stp_get_mm_counter: Fix kernel version check.

The kernel version check was wrong in two ways. First it tested against
kernel_v >= "3.1.0" but linux commit 172703 "mm: delete non-atomic mm
counter implementation" was actually integrated for 3.0. But fedora
names their 3.0 kernels 2.6.40 (and 3.1 kernels 2.6.41, depending on
release). So change the test to kernel_v >= "2.6.40".

The reason this wasn't found earlier was that there is another check
for CONFIG_NR_CPUS >= CONFIG_SPLIT_PTLOCK_CPUS which is almost always
true (but not on arm tegra kernels).

systemtap.examples/check.exp: Don't try running tests that failed to build.

Just mark them UNTESTED if the build phase FAILed. This also saves time
since the run phase will try to build the testcase again (and will always
FAIL doing that).

PR13462 symdata() returns ARM mapping symbols.

Introduce skippable_arch_symbol() function that filters out arch specific
symbols that should be ignored in dump_symbol_tables().

Fix the dtrace_clone.exp test to properly test with/without semaphores.

* testsuite/systemtap.clone/dtrace_clone.exp: Use the correct #define to
  get rid of the semaphores.
* testsuite/systemtap.clone/dtrace_clone.c: Be sure to ifdef out all the
  semaphores.

tapsets.cxx: Fix arguments passed to common_probe_entryfn_epilogue.

Merge branch 'master' into jistone/inode-uprobes

Document some new features and improvements since systemtap 1.6.

task_backtrace removed, MAXBACKTRACE documented, new probe_type() function,
unwind and symbol data only processed when really necesessary, kernel
backtraces for non-pt_regs probe context (timer and tracepoints),
ubacktrace() from kernel probe points, s390x user space support, ppc,
s390x and arm dwarf unwinder support, arm uprobes port.

PR13306: test 'er

PR13306: document new option

PR13306: introduce stap --suppress-handler-errors option

PR13306 asked for a way to skip handlers when probe alias prefixes
fail.  This implementation is a little bigger hammer, but believed
to be more generally useful.

* session.cxx: Initialize/copy/getopt new option.
* session.h: Store it.
* hash.cxx (find_script_hash): Mix it in.
* tapsets.cxx (common_probe_entryfn_epilogue): Skip various
  MAXERRORS/MAXSKIPPED processing when flag is set.
* tapset.h (common_probe_entryfn_epilogue): Drop middle default
  argument since it got confusing.  Add new argument.
* tapsets*.cxx (*::emit_module_decls): Update ..._epilogue callers.

Merge branch 'master' into jistone/inode-uprobes

testsuite: more xfail->kfail transforms

As per commit 174c4d74, use kfail for transient environmental
problems as opposed to want-to-fail test cases.

nd_syscalls.stp: Probe sys_accept4 for kernel 2.6.28+.

Since 2.6.28 sys_accept is chained through sys_accept4. Probe
sys_accept4 only for newer kernels to not miss some accept
syscalls. Don't probe both or we will get double hits.

Add DWARF unwinder support for ARM.

testsuite: xfail->kfail buildok failures

Use kfail to designate problems that represent unfixable issues such
as compiler limitations (debuginfo missing from here or there).
xfail is inappropriate, as we use this to designate failures we
want to see, e.g., the detection of deliberate input errors.

* lib/stap_buildok.exp: Removed, inlined back into
* systemtap.pass1-4/buildok.exp: Pull switch code in here.  Use kfail*.
* systemtap.exelib/pthreadprobes.exp: Don't look at buildok_known_failures,
  which didn't have any pthread awareness anyway.

Added individual tests for function.call and function.return probes.

* testsuite/systemtap.base/uprobes.exp: Added sub-tests that check .call
  and .return probes individually.
* testsuite/systemtap.base/uprobes_call.stp: New file.
* testsuite/systemtap.base/uprobes_return.stp: New file.

PR13458: laugh in the face of xslt

Using a dozen-line xslt script, one can sort the generated tapsets.xml
documentation's reference sections.  Thank you interwebs:
http://stackoverflow.com/questions/572854/how-to-sort-a-subelement-of-xml-with-xslt
http://www.w3schools.com/xpath/xpath_syntax.asp

Mark buildok/memory-write_shared_copy.stp as KFAIL when it fails

Kernels built with older versions of gcc do not have the needed argument
information for inlined functions. vm.write_shared_copy probes inlined
functions and suffers from PR1155 in this situation. This patch marks
it as a KFAIL with a mention of PR1155 when it fails.

nd_syscall.exp KFAIL PR13451, PR13452, PR13453, PR13454, PR13455 and PR13456

dup, eventfd, inotify, pipe, signalfd and poll are incomplete in nd_syscalls.

PR13420 cast-scope.exp: kfail all non-optimized test cases.

On powerpc both -m32 and -m64 unoptimized fail because of PR13420.
Better to accidentially KPASS on some arches than have XFAILS on some others.

Make cast-scope testcase more robust. Prevent line-reordening.

Setting a statement line probe is somewhat fragile since different GCCs
output different line tables. Make sure that there is a known single
statement line in the testcase to probe.

PR10739 kfail all backtrace.exp tests on non-x86 architectures.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Support fallback kernel dump_stack() with or without bp argument.

There has been some flip-flopping in the kernel whether or not dump_stack()
takes a bp argument. We now support either with or without.
See linux commits v2.6.36-9872-g9c0729d and v2.6.38-793-ge8e999c.

Support fallback kernel dump_stack() with or without bp argument.

There has been some flip-flopping in the kernel whether or not dump_stack()
takes a bp argument. We now support either with or without.
See linux commits v2.6.36-9872-g9c0729d and v2.6.38-793-ge8e999c.