Add loadavg tapset

Provide a tapset to obtain the load average.

Sample usage via a timer probe:

probe timer.s(1) {
printf("%s: Load average: %s",
ctime(gettimeofday_s()),
sprint_loadavg())
}

$ sudo stap ./show_loadavg.stp
Tue Nov 26 16:54:04 2013: Load average: 0.12 0.33 0.30
Tue Nov 26 16:54:05 2013: Load average: 0.11 0.33 0.30
Tue Nov 26 16:54:06 2013: Load average: 0.11 0.33 0.30
Tue Nov 26 16:54:07 2013: Load average: 0.11 0.33 0.30
Tue Nov 26 16:54:08 2013: Load average: 0.11 0.33 0.30
Tue Nov 26 16:54:09 2013: Load average: 0.11 0.33 0.30
Tue Nov 26 16:54:10 2013: Load average: 0.18 0.34 0.30
Tue Nov 26 16:54:11 2013: Load average: 0.18 0.34 0.30

Signed-off-by: Aaron Tomlin <atomlin@redhat.com>

examples: Print header once in interrupts-by-dev.stp

Trivial change. Avoid printing the header multiple times.
For instance:

  DEVICE   NUMBER OF INTERRUPTS
        virtio0-input :      2
        virtio0-input :      1
        virtio0-input :      1
        virtio0-input :      2
     virtio3-requests :      4

Signed-off-by: Aaron Tomlin <atomlin@redhat.com>

PR16207 partial fix: Fix the 'pipe' [nd_]syscall.exp tests on rawhide.

* tapset/linux/syscalls.stp: Handle syscall nesting in syscall.pipe.
* tapset/linux/nd_syscalls.stp: Handle syscall nesting in
  nd_syscall.pipe.
* runtime/linux/compat_unistd.h: Add __NR_compat_pipe2.
* tapset/linux/aux_syscalls.stp (_sys_pipe2_flag_str): Handle a flags
  value of 0.
* testsuite/systemtap.syscall/pipe.c: Add a new test.

Minor fix.

PR16207 partial fix: Fix the 'net1' [nd_]syscall.exp tests on rawhide.

* tapset/linux/syscalls.stp: On rawhide, all sys_accept calls don't go
  through sys_accept4.
* tapset/linux/nd_syscalls.stp: Similar changes.

futexes2.meta: mark UNTESTED if not supported

PR16207 partial fix: Fix the 'inotify' [nd_]syscall.exp tests on rawhide.

* tapset/linux/syscalls.stp: Handle syscall nesting in syscall.inotify_init.
* tapset/linux/nd_syscalls.stp: Handle syscall nesting in
  nd_syscall.inotify_init.
* runtime/linux/compat_unistd.h: Added the __NR_compat_inotify_init1 define.

PR16207 partial fix: Fix the 'dup' [nd_]syscall.exp tests on rawhide.

* tapset/linux/syscalls.stp: Split the syscall.dup2 probe into
  syscall.dup2 and syscall.dup3.
* tapset/linux/nd_syscalls.stp: Split the nd_syscall.dup2 probe into
  nd_syscall.dup2 and nd_syscall.dup3.
* runtime/linux/compat_unistd.h: Added the __NR_compat_dup3 define.
* testsuite/buildok/syscalls-detailed.stp: Added dup3 test.
* testsuite/buildok/nd_syscalls-detailed.stp: Ditto.

PR16207 partial fix: Fix the link [nd_]syscall.exp tests on rawhide.

* tapset/linux/syscalls.stp: Add @__syscall_compat_gate() macro call to
  syscall.linkat probe.
* tapset/linux/syscalls2.stp: Add @__syscall_compat_gate() macro call to
  syscall.readlinkat and syscall.symlinkat probes.
* tapset/linux/nd_syscalls.stp: Add @__syscall_compat_gate() macro call to
  nd_syscall.linkat probe.
* tapset/linux/nd_syscalls2.stp: Add @__syscall_compat_gate() macro call
  to nd_syscall.readlinkat and nd_syscall.symlinkat probes.
* runtime/linux/compat_unistd.h: Added the __NR_compat_linkat,
  __NR_compat_readlinkat, and __NR_compat_symlinkat defines.
* testsuite/systemtap.syscall/link.c: Updated testcase to handle syscall
  probes no longer being a wrapper around other syscall probes.

elaborate.cxx: remove extra space

fix various issues coverity unearthed

Most of these were 'CHECKED_RETURN' type errors.

PR16207 partial fix: Fix the chmod [nd_]syscall.exp tests on rawhide.

* tapset/linux/syscalls.stp: Add @__syscall_compat_gate() macro call to
  syscall.fchmodat, syscall.fchmodat.return, syscall.fchownat, and
  syscall.fchownat.return probes.
* tapset/linux/syscalls.stp: Add @__syscall_compat_gate() macro call to
  nd_syscall.fchmodat, nd_syscall.fchmodat.return, nd_syscall.fchownat,
  and nd_syscall.fchownat.return probes.
* runtime/linux/compat_unistd.h: Added __NR_compat_fchmodat and
  __NR_compat_fchownat defines.
* testsuite/systemtap.syscall/chmod.c: Updated testcase to handle
  syscall probes no longer being a wrapper around other syscall probes.

PR16207 partial fix: Fix the access [nd_]syscall.exp tests on rawhide.

* tapset/linux/syscalls.stpm: Add @__syscall_compat_gate() macro.
* tapset/linux/syscalls.stp: Add @__syscall_compat_gate() macro call to
  syscall.faccessat and syscall.faccess.return.
* tapset/linux/nd_syscalls.stp: Add @__syscall_compat_gate() macro call to
  nd_syscall.faccessat and nd_syscall.faccess.return.
* testsuite/systemtap.syscall/access.c: Updated testcase to handle
  access() no longer being a wrapper around faccessat().
* runtime/linux/compat_unistd.h: New file.
* tapset/linux/aux_syscalls.stp: Include compat_unistd.h.

PR15219 partial fix. The [nd_]syscall.timer_settime probes no longer nest.

* tapset/linux/syscalls2.stp: Add compat function support to
  'syscall.timer_settime' and 'syscall.timer_settime.return' probes.
* tapset/linux/nd_syscalls2.stp: Add compat function support to
  'nd_syscall.timer_settime' and 'nd_syscall.timer_settime.return'
  probes.
* tapset/linux/aux_syscalls.stp (_struct_compat_itimerspec_u): New
  function.

Add STAP_ERROR macro

Instead of CONTEXT->last_error = "foo"; goto out; in an embedded-C
function, a newly defined macro STAP_ERROR(str) should be used.
The script can catch the exception with try { } catch { }.

Signed-off-by: Aaron Tomlin <atomlin@redhat.com>

Tighten -Wno-format-nonliteral to just where it's needed

We only have one function, stap_strfloctime(), which actually requires
relaxing this warning; the rest can and should be checked.  Split this
function into its own file, and give just that the relaxed option.

Fix retstr in __nd_syscall.clock_settime.return

Probably just a copy-paste typo, but nd_syscalls can't use $return.

parse: Let pp1_activation own the token rather than copying

This works around the RHEL4 compiler, which apparently doesn't see
parser::pp1_activation as a friend of token, even though parser is.
So it was failing to invoke the now-restricted copy-constructor, but
there's not really any reason for it to make a copy anyway.

Don't check kernel "utrace" support for dyninst

This regressed after commit d0923e365964097a2209cfc23568d5770f596bad,
which stopped reading kernel CONFIG variables at all for --dyninst.
We don't need them, but it didn't hurt much to check before.

Fix PR16187 by improving the syscall.sendfile/nd_syscall.sendfile probes.

* tapset/linux/syscalls2.stp (syscall.sendfile): Added
  'compat_sys_sendfile' and 'compat_sys_sendfile64' support.
* tapset/linux/nd_syscalls2.stp (nd_syscall.sendfile): Similar changes.

PR16184: Fix sigmask decoding in the presence of TRACESYSGOOD

Commit f1e0e63bb6992df4127bc7ae7ba89be478b9c250 added SIGTRAP|0x80 to
indicate PTRACE_O_TRACESYSGOOD signals.  However, _stp_sigset_str became
unpredictable, because it checks sigismember for all known signals, but
SIGTRAP|0x80 is out of the bitrange possible in a sigmask.

Now _stp_sigset_str only checks sigismember for values <= _NSIG.

(Re)Fix PR16175 by updating mmap.c test program.

* testsuite/systemtap.syscall/mmap.c: Avoid mmap ulimit by only mmap'ing a
  maximum of 4K.

PR16176: Fix 'nd_syscall.truncate' probe alias on ia32.

* tapset/linux/nd_syscalls2.stp (__nd_syscall.truncate): Add
  'asmlinkage()' call.
  (__nd_syscall.truncate64): Ditto.

PR10574: Fix a few pc=0 that escaped this old bug

We already checked for pc=0 in dwflpp::die_entrypc, but a couple places
didn't check the return value to notice COMDAT rejection.  We also need
to check this in the simpler dwflpp::function_entrypc, and both
functions are now marked warn_unused_result.

The new testsuite/semok/nullpc.stp makes sure we don't have any pc=0 in
stap itself, which is a large enough C++ binary to sometimes have these
COMDAT-eliminated null functions.

PR15999 with symbol-table fallback, fill in empty $$parms, $$vars, etc

*tapsets.cxx - format empty symbol context, a few whitespace fixes

Fix PR16175 by upping offsets in mmap.c test program.

* testsuite/systemtap.syscall/mmap.c (main): Upped offsets to 64k, since
  ppc64 has a 64k page size.

levenshtein: half substitution penalty if same case

We tweak the penalties so that if they differ only by their casing, then
the substitution penalty is halved.

Example of the effect:

Equal weights:
SYS_close --> SYSC_close, SyS_close, SYSC_clone, SyS_clone, con_close

Half penalty for diff casing
SYS_close --> SyS_close, SYSC_close, SyS_clone, sys_close, SYSC_clone

The 'SYSC' versions rank lower. But more importantly, we see 'sys_close'
become higher rank than 'con_close'.

PR15219 partial fix. Several syscall.clock_* probes longer nest.

* tapset/linux/syscalls.stp: Add __syscall_get() macro calls to
  syscall.clock_nanosleep and syscall.clock_nanosleep.return to reject
  nested syscalls. Added compat_sys_clock_settime support to
  syscall.clock_settime and syscall.clock_settime.return.
* tapset/linux/nd_syscalls.stp: Similar changes as above.
* tapset/linux/syscalls.stpm: New file.
* tapset/linux/aux_syscalls.stp (_stp_syscall_nr): New function.

also suggest function aliases on unresolved dwarf probes

This patch does two things:
1. It removes sym_seen and replaces it with inlined_funcs, which only
   picks up inlined functions.
2. suggest_dwarf_functions() now aggregates functions from both
   inlined_funcs and the module_info symtab function cache.

The net result is that (1) we're no longer storing duplicate
information, and (2) we now also suggest function aliases (which are in
the cache).

PR16165: make token ctors private and befriend only the necessary

PR16165: extend print_format::create

In an effort to restrict token creation, we change the
print_format::create() function to accept a string to denote the type of
print statement we want, rather than always deriving it from the token's
content. This allows us to skip the creation of tokens in a few places
that synthesize print statements.

- staptree.h: update print_format::create() declaration to accept new
  parameter and add new member print_format_type
- staptree.cxx: update print_format::create() and use print_format_type
  in print_format::print()
- elaborate.cxx: don't create token, use new parameter instead
- tapset-mark.cxx: ditto
- tapset-utrace.cxx: ditto
- tapsets.cxx: ditto

testsuite: Support prelink even on NFS paths

We had an issue that prelink would fail trying to restore selinux
context if the file is on NFS, e.g. for someone working in NFS $HOME.
It turns out prelink see nfs_t on the source, but isn't allowed to set
nfs_t on the destination (even though it will already be nfs_t).

Now we have a [prelink] proc for test to run prelink though a mktemp
file.  The source is copied to tmp, prelinked, and copied back.

PR16162: Support .plt probes on prelinked libraries

There were a few bias issues in how plt addresses were handled, which
broke in the face of prelink offsets.  This patch tries to standardize
how these addresses are handled.

* tapsets.cxx (query_plt_statement): New function to fix plt addresses,
  both adding dwfl's elf bias and subtracting the dw bias, so it will
  work with dwflpp::relocate_address like everything else.
  (base_query::base_query): Leave session::consult_symtab alone!
  (dwarf_query::query_module_symtab): PLT doesn't fake a path through
  the symbol table anymore.
  (dwarf_query::handle_query_module): Direct PLT to query_plt_statement.
  (dwarf_query::add_probe_point): Remove the relocate exemption for plt.
* testsuite/systemtap.base/plt.exp: Update with a prelink test, and
  refactor a lot of the test on the way.

PR16165: re-use perf_op token when expanding

PR16166: assign token to new block

Define EM_AARCH64 if elf.h doesn't.

stapdyn: warn on !isInstrumentable functions

The most common reason I've found that Dyninst won't allow us to
instrument a function is an indirect jump.  This prevents them from
creating a control-flow graph, so they conservatively refuse.

Explicit indirect jumps are rare, like in the internals of longjmp, but
they may also occur for switches that are implemented with a jump table,
or tail calls to a vtable function, for instance.

Merge branch 'jlebon/mismatch' (PR16097)

update NEWS

perf.exp: adapt for new error msg

add mismatch_complexity

The mismatch_complexity variable allows us to only print out the most
complex kind of mismatch, and skip over simpler mismatches, in order to
keep the mismatch reporting as simple to understand as possible.

When assert_resolvability is false, mismatch_complexity simply remembers
the most complex mismatch we've met so far during each pass (e.g.
unresolved() is 0, mismatch(e) is 1, mismatch(tok, t1, t2) is 2, and
mismatch(tok, t, decl, index) is 3).

Once we turn on assert_resolvability, we check mismatch_complexity in
mismatch() and unresolved() to determine whether to print out an error
or not. If mismatch_complexity is higher than our own complexity, then
we don't print anything since we know that there is a better-suited
mismatch coming up.

implement resolved() and mismatch() and use them

We finally complete the new function bodies. In resolved(), we add items
to the resolved_types vector, while in mismatch(), we retrieve from the
vector to print out exactly where the decl type was initially resolved.

new resolved_type struct and mismatch/resolved functions

The resolved_type struct holds all the information about a newly
resolved decl. The token 'tok' holds where the resolution occurred, and
'index' is the position of the function-argument/array-index of the
decl.

The vector resolved_types will hold all the decls we resolve. A new
resolved() function is introduced which will add elements to the vector,
while an analogous mismatch() function will be used to report mismatches
between type and resolved decl.

remove resolved_toks and printed_toks

This patch reverts commit d5f0c423 (which introduced the "type was first
inferred here" message) in anticipation for a replacement.

Makefile.am: give warning if %_topdir is not writeable

Add tapset/arm64/aux_syscalls.stp

The AArch64 processor needs to have _arch_ptrace_argstr() function
defined so anything using the syscall.ptrace probe will function.

Add basic register access support for arm64

The no dwarf syscalls tapset needs some code to access the syscall
parameters.  This is a first pass to add the support for the ARM64
architecture.

Fixed a typo introduced in commit 7acb3e34.

* runtime/linux/uprobes-common.c (stap_uprobe_change_plus): The outer if
  statement use curly braces to create a block, however the ending
  curly brace ended up outside macro conditional.

don't require .config and Module.symvers for dyninst runtime

Signed-off-by: Adrian Negreanu <adrian.m.negreanu@intel.com>

Revert commit 65ddca0 since s390x can get get syscall arguments 7+.

* tapset/linux/nd_syscalls2.stp (nd_syscall.pselect7): Since the fix for
  PR15913, s390x systems can get arguments 7 (and following) off the
  stack. Revert commit 65ddca0 which hardcoded argument 7 to -1.
  (nd_syscall.compat_pselect7): Ditto.

stap.1: remove 'experimental' designation from regex/macro blurbs

stapdyn: Tighten BPatch insertion sets

We were doing insertion sets in instrument_object_dynprobes(),
regardless of whether there was even a target match.  This sometimes
triggers bad corner cases in Dyninst when the finalize tries to go do
things in a nascent process, with no action actually needed.  While this
gets investigated in Dyninst, we can narrow down our insertion sets to
instrument_dynprobe_target(), where at least we know it's a match.

systemtap.spec: specify /usr for udev rules on UsrMove systems

Hopefully rpmdiff will like that better.

Add basic print_regs() support for aarch64

Signed-off-by: William Cohen <wcohen@redhat.com>

Add basic aarch64 support for kprobes

Signed-off-by: William Cohen <wcohen@redhat.com>

PR16132: staprun: fix a comment to not remove a not double not negative.  not.

PR16132: staprun: fix fallback for openat/open modes for debugfs trace%d

Previous code got confused as to how many trace%d files to open and
where.  Now we openat() only from the incoming staprun/stapio -F fd
directory, or open() right from /sys/kernel/debug/systemtap/..., with
no hanky panky between them.

NEWS: add timestamp of 2.4 release

version bump and autoreconf

pre-release version bump

PR16129: add task_work handling for utrace_death events

* runtime/stp_utrace.c (utrace_report_work): New task_work callback
  for handling utrace_report_death events.
  (utrace_cleanup, utrace_task_alloc, utrace_free): Manage its cleanup.

NEWS re. stap-server ssl: mention changes

stap-server ssl: enable all cipher suites manually

On some versions of NSS, NSS_SetDomesticPolicy doesn't work right,
so let's use lower-level functions with the appropriate (zero)
level of return-code checking.

stap-server ssl: enable all cipher suites

The "export" set of cipher suites is too limited and going away.

tapset: Decode SIGTRAP|0x80 from PTRACE_O_TRACESYSGOOD

CONFIG_UIDGID_STRICT_TYPE_CHECKS workaround, cont'd

The stap runtime doesn't play that well with k[gu]id_t and namespaces.
$SUBJECT kconfig option highlights the extent to which we use [ug]id_t.
An earlier commit 857163157b8 papered over the problem to some extent;
the present commit adds anothet coat of slop to cover the cracks.

testsuite: disable color_parsing staprun tests unless instaltest_p

testsuite: disable sdt_asm.exp unless installtest_p

Fix typo in man/error::7stap

Correct spelling typo in man/error::7stap

revert previous commit and strengthen inode_uprobes_p instead

don't test uprobes_filtering.exp on RHEL5/6

We don't want to run this test on RHEL5/6, where we compile our own
uprobes module (there's no filtering possible anyway, since these
kernels don't support UPROBE_HANDLER_REMOVE).

update user_string_n_quoted.exp test case

With commit 7bec2c2, the default behaviour of user_string_n_quoted() has
changed. The test case is now updated to test that
user_string_n_quoted() trims strings according to input length and that
user_string_n2_quoted() trims strings according to output length given
the inverse parameters.

authors bump

Fix BZ1020853 by fixing procfs probe compile problems on newer kernels.

* runtime/procfs.c (_stp_mkdir_proc_module): Support kern_path(), along
  with vfs_path_lookup().
* buildrun.cxx (compile_pass): Added 'exportconf' for kern_path().

Merge branch 'jlebon/levensh'

NEWS: mention improved suggestions

improve levenshtein performance

Doing this simple bypass has drastic performance consequences. E.g. when
matching against small-ish strings, we see ~10 time speed improvements,
while with larger strings we see slightly more than twice the speed.

See comments for explanation

fix off-by-one error in levenshtein

Well, this is embarrassing... I swear I tested it back then! This should
greatly improve accuracy for especially shorter strings.

clarify msg for unresolved global in foreach loop

Instead of printing the foreach token when the global array is
unresolved, print the array token.

levensh suggest unresolved script functions

probe begin { user_string_m() }
              ^ suggests user_string_n, user_string, user_string2, ...

improve function arity mismatch error msg

The symbolic semantic_pass now prints a clearer error when a function
matches by name, but not by arity. Previously, there was no distinction
between referencing a non-existent function and one that exists but does
not match arity.

Upon arity mismatch, we print both where the function call occurred, and
where the function was defined.

suggest trace alternatives on mismatch

probe kernel.trace("sched_switchz") -> suggests sched_switch

suggest PLT alternatives on mismatch

probe process("ls").plt("getent") --> suggests getenv

remove suggest_functions from dwarf_builder class

And rename it to suggest_dwarf_functions. This will allow us to use it
from other builders, as we will see in an upcoming patch.

add plt_funcs to module_info

PLT functions seen in a module are added to its module_info so that we
can provide suggestions in an upcoming patch.

move visited_modules from dwarf_query to base_query

The visited_modules set is now part of base_query. This helps us
centralize the place where modules are added to the set (in
query_module) and will be needed for implementing suggestions for
non-dwarf-related probes.

levensh suggest unresolved struct member

List alternatives in Levenshtein score order.

probe process("ls").function("print_file_name_and_frills") {
   println($f->linknode)
}              ^ suggests linkmode, linkname, linkok

levensh suggest unresolved dwarf locals

List alternatives in Levenshtein score order.

probe process("ls").function("main") {
   println($argd)
}          ^ suggests argc, argv

levensh suggest tracepoint variables

List alternatives in Levenshtein score order.

probe kernel.trace("sched_switch") {
   println($nexts)
}          ^ suggests $next

levensh suggest never-assigned vars

List alternatives in Levenshtein score order.

Never-assigned local vars in probes:

probe begin { var = 1; println(vor) }
                               ^ suggests var

Never-assigned local vars in functions:

function func() { var = 1; println(vor) } \
   probe begin { func() }          ^ suggests var

Never-assigned global vars:

global bla, blo \
   probe begin { blo = 1; println(bla) }
       ^ suggests blo

levensh suggest unresolved probe points

This patch adds Levenshtein suggestion to match_node::find_and_build().
Suggestions are made in three cases:
   - Unresolved double-glob (e.g. syscall.poen**)
   - Unresolved glob (e.g. syscall.poen*)
   - Unresolved no-glob (e.g. kernel.functoin("bla"))

Note that suggestions for globby functors are based on the prefix part
only (part of functor prior to the **) to increase meaningfulness.

Example outputs:

syscall.poen --> similar: open, chown, fork, iopl, mount
kernel.functoin --> similar: function, data, trace, mark, statement

syscall.poen** --> similar: open, chown, fork, iopl, mount
syscall.poen* --> similar: open, chown, fork, iopl, mount
syscall.*poen --> similar: open, chown, ppoll, capget, capset
syscall.**poen --> similar: open, capget, capset, chown, fchown

Non-globby functors in general give good results. Globby stuff can be
troublesome:

sys**poen --> similar: nfs, vfs, _nfs, _vfs, end

refactor levenshtein suggesting

In anticipation for a wider use of levenshtein(), we factor out the
common part into a new function levenshtein_suggest(). We then change
suggest_functions() to use levenshtein_suggest().

Removed unused code in tapset-method.cxx

*tapset-method.cxx - remove the unused bmoption_escape function

Flip user_string_n_quoted to limit the input count

The documentation of that function implies that it's counting n from the
input string, but in fact that limit was being applied to the output,
including quotes and escaping.

Now _stp_text_str takes two length parameters to limit the input count
and output size separately.  A new user_string_n2_quoted() lets you
specify both of these lengths, and user_string_n_quoted now uses that to
limit input length, or output still in compatibility mode.

Several syscall tapsets which read user buffers of known length will now
use user_string_n2_quoted to fit that.  This was seen in syscall.write
which may not necessarily have any '\0' at the end of its buffer.

Fix typo in man/stap.1

Correct spelling typo in man/stap.1

Signed-off-by: Masanari Iida <standby24x7@gmail.com>

debuginfo man pages: mention elfutils & compressed-debuginfo

last_100_frees example: make it even more lockless

jistone advised that a global var++ was a source of
contention.  So, use a timestamp instead to order
the operations.

NEWS: mention duplicate error elimination

last_100_frees example: run lock-free

Switch to using an aggregate array (using a counter as the <<< operand
and @max+ at the reader-sorting side).

PR16058 style fixups for other nd_syscalls aliases

Specifically, nd_syscall.rt_sigtimedwait and .truncate used the same
erroneous

   probe alias = foo1, foo2 { }
   probe foo1 = kprobe.function("foo") ? { }
   probe foo2 = kprobe.function("foo") ? { }

construct, whereas the optionality should appear at the top-level alias
level.