PR12773: Fixed Test Suite Regressions

PR12773: Fixed NULL check - no longer aborts

PR12773: Use abrt to download and install debuginfo

dwflpp.cxx
  In setup_user(), pass the session to setup_dwfl_user().

setupdwfl.cxx
  Added internal_find_debuginfo() and
  execute_abrt_action_install_debuginfo_to_abrt_cache() to call
  abrt to automatically download and install the needed debuginfo.

setupdwfl.h
  Added function declarations.

util.h
  Added hex_dump() to convert a binary string to a hex string.

Relax -G regexp slightly to allow 1-char variable names

sdt*exp: When the compiler doesn't recognize flag, mark test as UNTESTED.

Older gcc compilers don't recognize all the -std=[c|gnu]++0x flags we
throw at them. Instead of marking these compilations as FAIL, mark them
as UNTESTED now, so we only see real FAILures in the result (there are
still a couple left against -pedantic).

Add NULL context when creating perf event counter, remove nmi from handler.

More fallout of kernel commit 4dc0da "perf: Add context field to perf_event"
and commit a8b0ca "perf: Remove the nmi parameter from the swevent and
verflow interface". And new autoconf checks for both.

proc_mem.stp: Always use atomic counters with kernel 3.1 or higher.

Kernel commit 172703 "mm: delete non-atomic mm counter implementation"
did away with the non-atomic variant of mm_struct rss_stat->count[member].

Add destructor to struct block and delete statements to avoid scope leaks

* staptree.h: Add destructor to struct block
* elaborate.cxx: Add delete statements to add_global_var_display

Check for hw_breakpoint context argument.

Kernel commit 4dc0da8 "perf: Add context field to perf_event" added
a new void *context field to the register_*_hw_breakpoint() functions.
Detect with a new runtime/autoconf-hw_breakpoint_context.c plus
STAPCONF_HW_BREAKPOINT_CONTEXT conditional.

context-unwind.stp: More STAPCONF_UPROBE_GET_PC wrapping.

runtime/stack.c: Wrap GET_PC_URETPROBE_NONE in #ifdef STAPCONF_UPROBE_GET_PC

Move the comment for STP_MAX_PROCFS_FILES closer

vim: bump the date and use a generic email contact

Use $dfd not $mode in testsuite/transok/tval-opt.stp.

Kernel commit 47c805 "switch do_filp_open() to struct open_flags"
changed the arguments of do_filp_open. Use another int argument
that hasn't changed in testcase.

Check whether syscalls2.stp sigprocmask argument is set or nset.

kernel commit b013c3 "signal: cleanup sys_sigprocmask()" renamed the set
parameter to nset. commit bb7efe "signal: cleanup sys_rt_sigprocmask()"
did the same. Check with @defined($set) to see if we want the old or
new definition.

Fix autoconf-ring_buffer_lost_events.c compile warning.

Newer GCC will warn about the event variable not being used,
making this test fail. Just remove the 'event' variable.

testsuite warn_overflow be more precise and a bit more lenient.

log exactly once for syscall probe hit and counter i == 256.
But do allow more than 3 overflow warning messages to occur
in case stap miraculously recovers and overflows immediately
afterwards.

testsuite warnings.stp: match all lines in bio_init@fs/bio.c:*.

Since we aren't actually interested in the probe itself, and
different kernels have different lines that can be probed, just
match them all.

Merge branch 'master' of git://sourceware.org/git/systemtap

Add pattern_root to destructor

* session.cxx: add delete pattern_root to ~systemtap_session()

probe_type: make unexpected types an error for probe_type()

implicitptr.exp: Add implicitptr.exp to test_flags.

Previously the testcase wouldn't compile unless the system had sys/sdt.h.

common_probe_context.h: Put Individual Probe State (ips) into a union.

Various probe handlers have dedicated fields in the common probe context
struct. Since the handlers cannot be active at the same time (on the same
cpu) these can just be put into a union to save space. In runtime code
when there might be ambiguity about which probe handler is running, the
CONTEXT->probe_type field can be used to check which field has actual
life data.

Add probe_type to common probe context.

This exposes the type of probe handler for use in runtime functions,
so they can better anticipate which common probe context is valid at
runtime. Also introduces a new context tapset function probe_type()
that exposes a (informational) probe handler string to scripts. Mainly
useful for debugging, when the user wants to find out which kind of
low level probe handler a high-level probe translates to for a particular
kernel/systemtap version.

Add destructor to struct dwarf_pretty_print

*tapsets.cxx: add destructor to deallocate ts

Remove old context.stp uaddr() comment.

PR10080 was resolved and we no have  VDSO tracking support.

Remove old comment in kretprobe handler.

c->ri -inst is saved just above the old comment.

PR12135: Pretty-print should skip masked inherited members

* tapsets.cxx (dwarf_pretty_print::recurse_struct_members): Traverse
  inheritance breadth-first, and remember shallower names printed.
* testsuite/systemtap.base/inherit.*: Add pretty-printing to the test.

PR12135: Discard inheritance "dupes" in suggested alternatives

* dwflpp.cxx (dwflpp::print_members): Track already seen members in a
  set, so we don't print names twice (as with masked inherited members).

PR12135: Prefer subclass members if they mask the superclass

* dwflpp.cxx (dwflpp::find_struct_member): Use a breadth-first search
  through inheritance trees, so masked members will be pulled from the
  subclass rather than the superclass.
* testsuite/systemtap.base/inherit.*: New test for inheritance games.

Probe context data field is only used for procfs. Rename to procfs_data.

itrace and mark probes would also scribble (useless) data into this
context field, without ever using it, for no apparent reason, except
that they had "data" around. Renamed the field to procfs_data to make
clear it has a specific purpose.

Also add documentation for remaining undocumented common_probe_context fields.

Restore stream state

* util.h: retore stream state back to std::dec

Only add probe_name to the common probe context when really needed.

Guard probe_name with STP_NEED_PROBE_NAME. It is only needed when we include
the pn() tapset function. All this needed was moving the STP_NEED_PROBE_NAME
define from the tapset function to a top-level embedded C block (which are
included early, unlike the tapset functions themselves).

Also document common_probe_context.h busy, probe_point and probe_name fields.

Correct year for systemtap beginners guide.

Bump beginners guide to 1.6.

security: name fixed CVE's in release sections

Suggested-By: Vincent Danen <vdanen@redhat.com>

Add the watchdog.stp to the index.

Add the watchdog.stp example

pull in some debian patches

Appling a couple of no-brainer patches from
http://anonscm.debian.org/gitweb/?p=collab-maint/systemtap.git;a=tree;f=debian/patches

Put common probe and session context state definitions in their own files.

translate.cxx contained code to produce the common probe and session
context state as C code snippets. Large parts were not dependent on the
session state at all, so they really were just static blobs of C code
wrapped in c++ io stream operators. These have been put in their own
C runtime header files (common_session_state.h, common_probe_context.h
and runtime_defines.h) to make it easier to edit and document.

tapset-utrace.cxx: Use 'utrace_engine' instead of 'utrace_attached_engine'

Commit 6890af reversed the utrace compatibility fix in utrace_compatibility.h.

Guard regparm in probe context with STAP_NEED_REGPARM.

regparm is only used on i386 (and x86_64 when probing 32bit) for
signaling what the parameter packing is for the probed function
as set in register.stp. So only include it in the probe context
struct when actually used in a stap script.

Also updated docs and fixed signature on other arches.

Properly initialize variables and consistently check getenv

* session.cxx: initialize long_opt, change conditional to match other
getenv checks against null
* stap-serverd.cxx: initialize long_opt

PR 12916 - Aliased process probes aren't allowed for unprivileged

Make all probe aliases OK for unprivileged users. The actual referenced
probe points will be checked once the aliases are resolved.
Update test suite.

Rearrange conditional to include return value check

* tapsets.cxx: add a conditional to check get_param's return value,
this also keeps a consistent check of get_param throughout the function

PR13037 Make lock blacklist more specific.

The dwflpp::build_blacklist() would also match things like _nolock,
block or clock. Be more specific that we want to only match things
like _lock, _unlock, _trylock or seq[un]lock.

Two task_finder cleanups.

* runtime/task_finder.c: Two cleanup fixes. Merged 2 different state
  variables into 1. Reversed utrace compatibility fix.  Instead of
  making new utrace look like old utrace, made old utrace look like new
  utrace (i.e. use 'utrace_engine' instead of 'utrace_attached_engine').
* runtime/utrace_compatibility.h: Reversed utrace compatibility fix (use
  'utrace_engine' instead of 'utrace_attached_engine').

Add autoconf-ring_buffer_read_prepare.

Kernel commit 72c9dd split ring_buffer starting in a prepare and start phase.

Add autoconf-ring_buffer_lost_events.

Kernel commit 66a8cb added place holder recording of dropped events.

Merge branch 'mjw/backtrace'

Fix typo in 1.6 release date.

Allow gcc to optimize away uprobe_get_pc() calls in some situations.

If a call is made to the stack-x86.c __stp_stack_print() it might
try to call uprobe_get_pc(). If this is just a kernel backtrace
then uprobes might not be loaded. Add a hint by explicitly clearing
the struct uretprobe_instance *ri variable in that cass in the
calling function _stp_stack_print() in stack.c, so that gcc
optimizes away the uprobe_get_pc() call, so that the symbol isn't
in the module anymore.

Would cause issues like:
WARNING: "uprobe_get_pc" [stap_d46895_3786.ko] undefined!
Error inserting module 'stap_d46895_3786.ko': Unknown symbol in module

Adjust expected "no backtrace" string in context/backtrace.tcl test.

The new generic form is now "<no kernel backtrace at PROBEPOINT>".

Bump the runtime version to 1.7 too

Break user_int64 64-bit operation into two for arm

Like the i386, the arm processor is also limited to 32-bit oprations.
The user_int64() needs to break the 64-bit access into 32-bit operations.

Revert "Break user_int64 64-bit operation into two for arm"

This reverts commit 77bfa15c05ae30b5aed520f5587b8ee6b2b1c446.

Add \n at end of debug message in staprun/mainloop.c.

 bump version numbers to 1.7, for future release cycle

Break user_int64 64-bit operation into two for arm

Like the i386, the arm processor is also limited to 32-bit oprations.
The user_int64() needs to break the 64-bit access into 32-bit operations.

PR12895: Use NOSTDINC_FLAGS in kernel stapconf checks

We should never be looking in /usr/include/ for headers when building
for the kernel.  This particularly bit us in a case where RHEL6 gained
blk_types.h in newer kernels.  So if the system had kernel-headers.rpm
with this new header in /usr/include/, but was still running an older
kernel that lacked it in /lib/modules/`uname -r`/build/, then we'd
misidentify that header's availability in stapconf.

* buildrun.cxx (compile_pass): Add NOSTDINC_FLAGS to CHECK_BUILD.

stap-server security: use @PIELDFLAGS@ for all binaries

* Makefile.am (stap-authorize-cert, stap-gen-cert, stap-serverd,
  stap-sign-module): Add @PIELDFLAGS@ to foo_LDFLAGS.

Fix stack-ppc.c typo level -> levels.

Push all stack logic into stack.c. tapset functions just pass flags.

Some of the logic determining what to print, which register sets to use
and whether the context was valid was repeated multiple times in the
[u]context-unwind.stp functions. Just do all the logic in one place
(_stp_print_stack) and make the tapset functions just push the context
and symbols/stack flags.

Don't pass kregprobe, uretprobe and unwind_context around separately.

Just pass whole struct context to stack.c _stp_stack functions.

spec: retroactively add %changelog entries for 1.6 / 1.5

PR 12888 - Filter server-side file paths in the server's response.

copyright year bump for translator

Fix sdt v1/v2 shared object probes.

* dtrace (_provider):  Don't use hidden visibility attribute for sdt v1/v2

CVE-2011-2503: read instead of mmap to load modules

As staprun is preparing to load a kernel module, we first mmap the whole
module as MAP_PRIVATE. Then we proceed with our security checks,
including a trusted-signature validation on the mapped region, and if
all checks out, we'll call init_module() with that same mapped region.

However, MMAP(2) says of MAP_PRIVATE, "It is unspecified whether changes
made to the file after the mmap() call are visible in the mapped
region."  From my testing, it appears that file changes do indeed show
up in our mapped memory.  This means we have a TOCTOU race between
verifying the signature of that memory and then calling init_module().

By using read() instead of mmap(), we ensure that we have a fully
private copy of the module to verify and load, without fear of change.

CVE-2011-2502: Don't allow path-based auth for uprobes

For users that are only members of stapusr, and not stapdev, we only
allow loading modules that are either signed with a trusted certificate
or located in controlled paths.  For the script itself, that path is
/lib/modules/.../systemtap/, and for uprobes it is the runtime.  When
this policy was first written, uprobes only ever came from the runtime
path, so the path check just returned 1 always.

Later, commit 474d17ad added an optional argument to staprun -u, to
allow the user to specify their own signed copy of uprobes to load.
Unfortunately, if presented with an unsigned module, that would still
fall back to the path check, which blissfully approved it anyway.

Our policy is now that stapusr can only load a signed uprobes.ko, so the
path check for uprobes now unconditionally returns 0.

Fixed tracescripts.exp when 'stap' is stripped.

* testsuite/systemtap.base/tracescripts.exp: Look for markers in 'stap'
  executable instead of a function.

Remove superfluous definition of MAXSTRINGLEN from runtime.h.

Already always defined by translator.

Clean up maximum backtrace level code. And document MAXBACKTRACE.

Lots of functions passed around the maximum level of backtraces allowed.
Now all consolidated inside stack.s. And documented in stap.1.

Remove unused arch_unw_init_blocked arch specific unwind functions.

Only include runtime/stack.c functions when needed.

Remove task_backtrace tapset function support.

Deprecated with 1.6. Now removed.
Although useful in some circumstance the current support for it was really
ugly (you had to provide a pointer to a task struct, which couldn't be
sanity checked at all) and it made the current unwind code really ugly
since this task struct had to be carried around. It made creating more
accurate backtraces harder because we would have had to make a distinction
between "reliable" and "unreliable" unwind info.

Merge branch 'master' into mjw/backtrace

Tweak context-unwind.stp and context.stp to allow documentation to build.

AUTHORS bump

PR12427: tweak NEWS blurbage

testsuite: memory1 test case name

Reorder the parameters to stap_run2 to put the script name first.

testsuite framework: stap_run2 quoting fix

When invoking stap_run2 with multiple optional stap arguments, the
extra arguments are captured in the tcl list $args.  When stap_run2
calls down to stap_run3 to do the real work, it gets packaged as a
single quoted string instead of the original list of options.
We need to unpack this list to pass it on, e.g. via tcl eval.

This impacts test cases that pass multiple parameters, such as
memory1.exp, const_value.exp, process_by_cmd.exp.

Deprecated task_backtrace:string (task:long).

This function will go away after 1.6.

Introduce /* pragma:unwind */

By marking all tapset functions that really need the unwinder with
/* pragma:unwind */ we can make sure to only compile in unwind.c
when it is really needed.

Remove stack-x64x.c specific fallback for _stp_stack_print_fallback().

If the standard kernel based _stp_stack_print_fallback() isn't available
don't try to be smart and guess at stack addresses ourselves. Just give
up. Dwarf based unwinding is good enough now and the kernel dump_stack()
does a much better job than we can at guessing stack values.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Conflicts:
NEWS

Don't allow the compile server client to honour -I/

- Found by server_args.exp fuzzing tests
- Would require special case code to handle but is a bad bad idea anyway
  so don't allow it.
- Update test suite with the offending test case and some similar ones.

Remove STP_USE_FRAME_POINTER support and merge i386/x86_64 into stack-x86.c

The only real difference between stack-i386.c and stack-x86_64 was that
the former supported a buggy frame pointer based unwind. Which we never
used and for which the kernel has a better fallback (dump_trace).

PIPEFAIL is in bash, but not in sh

Explicitly use /bin/bash because some /bin/sh interpreters do not support
PIPEFAIL.

Protect library test from globbing and missing debuginfo.

library.exp: Allow for debuginfo errors; quote glob pattern.

Add basic functionality for ARM architecture support of nd_syscall.*

The no dwarf syscalls tapset needs some code to access the syscall parameters.
This is a first pass to add the support for the ARM architecture. This
basic support only handles the first 4 arguments on ARM. Argument 5 and
later are on the stack and are not handled.

Improve ppc64 test results by handling unimplemented signal syscalls.

* testsuite/systemtap.syscall/signal.c (main): On ppc64, handle the fact
  that sigprocmask()/sigaction() are unimplemented.

Merge branch 'master' of git://sourceware.org/git/systemtap

Reorder open/access sequence

* ctl.c: reorder access()/open()

The previous order was not actually subject to a race condition,
because the file being accessed cannot be modified by a non-root
user.

Fix unprivilegedok.exp testcase by making test program return 0.

* testsuite/systemtap.unprivileged/foo.c (main): Make sure to return 0, to
  avoid warnings from staprun.

Added notes that the STP_OOB_DATA prefixes shouldn't be translated.

* runtime/transport/control.c (_stp_ctl_alloc_special_buffers):  Added a
  note that the STP_OOB_DATA prefixes ("WARNING:" and "ERROR:") shouldn't
  be translated.
  (_stp_ctl_get_buffer): Ditto.

Added a note that the STP_OOB_DATA prefixes shouldn't be translated.

* runtime/staprun/mainloop.c (stp_main_loop): Added a note that the
  STP_OOB_DATA prefixes ("WARNING:" and "ERROR:") shouldn't be
  translated.

Update NEWS about improved support for ARM architecture.

Make loc2c-runtime.h treat ARM architecture as a 32-bit architecture

The arm is a 32-bit architecture it should be doing the kread()
and kwrite operations in the same manner as other 32-bit architecture
such as the i386.

Avoid "unknown type" errors on unused parameters.

* tapset/arm/aux_syscalls.stp:  Help the translator out by specifying
  types on '_ptrace_return_arch_prctl_addr' unused parameters.
* tapset/i386/aux_syscalls.stp: Ditto.
* tapset/ia64/aux_syscalls.stp: Ditto.
* tapset/powerpc/aux_syscalls.stp: Ditto.