work in progress

Clean out tracking for blocks that are merged into other blocks

The IO system in linux often merges blocks together to reduce the number of
IO operations sent to IO devices. If nothing is done the tracking for
merged IO operations can fill up the associative arrays, causing the script
to fail.  This problem was reported in rhbz743591. This commit resolves
this problem.

Revert "Clean out tracking for blocks that are merged into other blocks"

This reverts commit 0102305e3573868b852faf5183451676beaedbe6.

Clean out tracking for blocks that are merged into other blocks

The IO system in linux often merges blocks together to reduce the number of
IO operations sent to IO devices. If nothing is done the tracking for
merged IO operations can fill up the associative arrays, causing the script
to fail.  This problem was reported in rhbz743591. This commit resolves
this problem.

Match Requires to existing package layout.

* systemtap.spec (main): Only BuildRequires gcc-c++
(devel): Requires gcc make
(testsuite): Requires gcc gcc-c++ make glibc-devel and possibly glibc-devel.i386

Regenerate systemtap.examples indexes.

BZ613992: new enospc.stp sample script

PR13721 (partial): Move cross-file WARNING before setting arity

For PR10799, there is a WARNING check for when globals are used across
different files.  However, set_arity was done first, so any exception
there would bypass the check.

* elaborate.cxx (symresolution_info::find_var): Warn before set_arity.

dwflpp::iterate_over_libraries arm uses /lib/ld-linux.so.3 as interpreter.

Fix PR13646 (partial) by adding IPv6 support to tcp.sendmsg/tcp.disconnect.

* tapset/tcp.stp (tcp.sendmsg): Added 'family' member.
  (tcp.disconnect): Ditto.
* testsuite/buildok/tcp-detailed.stp: Added tests for new 'family'
  members.

Fix PR13646 (partial) by adding IPv6 support to tcp.setsockopt.

* tapset/tcp.stp (tcp_sockopt_str): Updated with more IPV4 socket
  options.  Uses #defines instead of magic constants.
  (tcp_ipv6_sockopt_str): New function.
  (tcp.setsockopt): Added 'family' member.  Added IPv6 support.
* testsuite/buildok/tcp-all-probes.stp: Updated.
* testsuite/buildok/tcp-detailed.stp: Added support for
  tcp.ipv[46].setsockopt and tcp.ipv[46].setsockopt.return.
* testsuite/buildok/tcp-embedded.stp: Added tcp_ipv6_sockopt_str() compile
  test.

Fixed buildok.exp by moving comments out of switch statement.

* testsuite/systemtap.pass1-4/buildok.exp: Fixed testcase by moving
  comments out of switch statement (which tcl doesn't like).

Add BuildRequires for gcc and gcc-c++

* systemtap.spec (BuildRequires): Add gcc and gcc-c++
(Requires):  Remove gcc and gcc-c++

Normalize my name in .mailmap.

kernel/sched.c is no more, use kernel/time.c in examples and tests.

kernel commit v3.2-rc1-319-g391e43d
"sched: Move all scheduler bits into kernel/sched/"
removed kernel/sched.c. Use kernel/time.c in langref.tex and
stapprobes.3stap examples and systemtap.stress/current.stp test instead.

PR13609: Added a concurrency test case

PR13609: Fixed interrupts and race conditions

 - Interrupts are now handled properly. They
   wait for any outstanding threads to finish
   before exiting (unless a timeout occurs or
   another interrupt happens)
 - client_version is now local
 - spawned_pids[] is now protected

Update uprobes_p() to fail if we're on ia64.

* testsuite/lib/systemtap.exp (uprobes_p): Fail if we're using classical
  utrace and we're on an ia64 system.

Don't do exelib prelink tests if the system doesn't have prelink.

* testsuite/systemtap.exelib/exelib.exp: On platforms with no prelink
  executable, don't try the prelink tests.

Support fallback kernel dump_stack() with or without bp argument. cont.

Original patch forgot to add the new autoconf file...

Do not probe ARM assembly language __switch_to function in current.stp test

The systemtap.stress/current.stp test did not work on ARM because the
test was trying to probe a function that is an assembly language function
on ARM. This patch avoids probing assembly language function.

Marked twentyeightprime.stp as KFAIL if no uprobes in buildok.exp.

* testsuite/systemtap.pass1-4/buildok.exp: Marked twentyeightprime.stp as
  KFAIL if no uprobes.  Grouped the different types of kfails together.

Increase systemtap.base/warnings.exp timeout for slow processors

On arm machines this test takes much longer than 30 seconds to get started.
Increased the timeout to allow for slow machines.

syscalltimes sample: tolerate partially specified filters without type problems

Fix PR13646 (partial) by updating ipaddr testcase.

* testsuite/systemtap.base/ipaddr.exp: Change start_server() and
  stop_server() procedure names to avoid clashing with procedures in
  testsuite/lib/systemtap.exp.

Update stappaths paths to reflect reality a bit better

mention CVE in NEWS

Fix PR13646 (partial) by adding IPv6 support to _struct_sockaddr_u().

* tapset/aux_syscalls.stp (_struct_sockaddr_u): Fixed IPv6 support and
  updated IPv4 support.

Fix PR13646 (partial) by adding IPv6 support to 'tcp.receive'.

* tapset/tcp.stp: Added IPv6 support to tcp.receive by splitting it into
  tcp.ipv4.receive and tcp.ipv6.receive (and making tcp.receive link to
  both).  Added a 'family' variable.
* testsuite/buildok/tcp-detailed.stp: Added compile testcase for
  tcp.ipv4.receive and tcp.ipv6.receive.
* testsuite/systemtap.base/ipaddr.exp: Improved script output regexp.
* testsuite/systemtap.base/ipaddr2.stp: Works for IPv4 and IPv6.

Fix PR13646 (partial) by improving inline embedded-C expressions using AF_INET.

* tapset/inet_sock.stp: Add '/* pure */' to all inline embedded-C
  expressions returning AF_INET/AF_INET6 so they can be optimized away.
* tapset/ip.stp: Ditto.
* tapset/nfs_proc.stp: Ditto.
* tapset/rpc.stp: Ditto.
* tapset/tcp.stp: Ditto.

PR13714 - Make sure REG_STATE.cfa_is_expr is always set correctly.

runtime/unwind.c (processCFI): Always set REG_STATE.cfa_is_expr and
add new sanity checks to make sure the cfa definition rules are sane.

Since the cfa expr pointer and cfa register/offset rule shared a union
not setting REG_STATE.cfa_is_expr could result in compute_expr ()
wrongly being called and using the register/offset as expr pointer.

Fix PR13646 (partial) by updating spec file to require 'nc' for testsuite.

* systemtap.spec: Add 'nc' as a requirement for the 'systemtap-testsuite'
  rpm (since the new 'ipaddr' testcase uses it).

Fix PR13646 (partial) by adding a testcase and some fixes.

* tapset/ip.stp (format_ipaddr): Marked as 'pure' so that it can be
  optimized away.  Fixed handling of IPv6 addresses.
  (__ip_sock_saddr): Added support for IPv6 sockets.
  (__ip_sock_daddr): Ditto.
* tapset/tcp.stp: Added 'family' variable to tcp.recvmsg and
  tcp.recvmsg.return probes.
* tapset/nfs_proc.stp (AF_INET): Marked as 'pure' so that it can be
  optimized away.
  (AF_INET6): New function.
* testsuite/buildok/nfs_proc-embedded.stp: Added AF_INET6() compile test.
* testsuite/buildok/tcp-detailed.stp: Prints 'family' variable in
  tcp.recvmsg and tcp.recvmsg.return probes.
* testsuite/systemtap.base/ipaddr.exp: New testcase.
* testsuite/systemtap.base/ipaddr.txt: Ditto.
* testsuite/systemtap.base/ipaddr1.stp: Ditto.
* testsuite/systemtap.base/ipaddr2.stp: Ditto.

Fix PR13646 (partial) by handling IPv6 support in a module (for RHEL[56]).

* tapset/ip.stp: Handle the case where IPv6 support is in a module (as
  it is on RHEL5 and RHEL6).

Fix PR13646 (partial) by properly converting IPv6 addresses to strings.

* tapset/ip.stp: Added the format_ipaddr() function to handle converting
  an IP address to a string.  The ip_ntop() function now just calls
  format_ipaddr().  Added the __ip_sock_family() function to return the IP
  address family for a 'struct inet_sock'.
* tapset/inet_sock.stp: The inet_get_ip_source() function uses
  format_ipaddr() to format an IP address as a string.  The
  daddr_to_string() function has been deprecated.
* tapset/rpc.stp: Make addr_from_rqst_str() handle IPv6 addresses.
* tapset/tcp.stp: Use format_ipaddr() instead of ip_ntop() to convert IP
  adresses to strings.
* runtime/loc2c-runtime.h (kderef_buffer): New function.
* testsuite/buildok/inet_sock-embedded.stp: Deprecated daddr_to_string()
  function test.
* testsuite/buildok/ip-embedded.stp: Added format_ipaddr() and
  __ip_sock_family() tests.
* NEWS: Mention daddr_to_string() deprecation.
* stap.1: Ditto.

Fixed PR13694 by returning proper value for tcp.sendmsg 'sock' variable.

* tapset/tcp.stp (tcp.sendmsg): Returns proper value for 'sock' local
  variable.

Update 3 semok tests for RHEL4.

* testsuite/semok/entry01.stp: Added 'kernel.function("filp_open")' probe
  point for RHEL4 (which doesn't have 'kernel.function("do_filp_open")'.
* testsuite/semok/entry03.stp: Ditto.
* testsuite/semok/kretprobe-data.stp: Added
  'kernel.function("path_lookup")' probe point for RHEL4 (which doesn't
  have 'kernel.function("do_path_lookup")'.

Mark semok uprobes tests as untested on platforms with no uprobes.

* testsuite/systemtap.pass1-4/semok.exp: Mark several tests as 'untested'
  on platforms that don't have uprobes.

Make sure that procfs.c runtime code include <linux/mount.h>

On the arm architecture the <linux/mount.h> isn't pulled in by other
code.  This one line change makes sure that the include file gets
pulled in.  This allows the test using the procfs to build on arm.

(Fixed PR13681) Bulk mode scripts no longer leave the module behind on rhel4.

* runtime/staprun/relay_old.c (close_relayfs_files): 0 can be a valid
  relay_fd[cpu] value.
  (open_relayfs_files): On error, initialize relay_fd[cpu] to -1, not 0.
  (init_oldrelayfs): Initialize relay_fd[cpu] to -1, not 0.

Handle missing inlined parameters for 'netdev.change_rx_flag'.

* tapset/networking.stp (netdev.change_rx_flag): Provide default values
  for missing inlined parameters.

PR13609: Fixed compile issue using --without-nss

Fixed PR13672 by updating method used to get elevator names.

* tapset/ioscheduler.stp: Probes properly return the elevator name for 3.3
  kernels where the 'elevator_type' field was renamed 'type'.

PR1609: Fixed NSPR dependency

Fixed PR13670 by getting task_dentry_path() working on 3.3 kernels.

* tapset/dentry.stp (real_mount): New function.
  (task_dentry_path): Uses real_mount() to get the 'struct mount' pointer
  for a 'struct vfsmount' pointer (needed on 3.3 kernels).
* testsuite/buildok/dentry-embedded.stp: Added real_mount() test.

PR13609: tweak documentation wording

PR13609 Cont'd: Added NEWS and man page entries

PR13609: Parallel Server Connections

Used pthreads to parallelize the server. A new thread is created to
handle each incomming connection. The maximum number of threads
created is limited by the new --max-threads=N option. If a value of
0 is passed, no new threads are created and each connection is
handled in the main thread, in serial. The default value is
equal to the number of processors on the host.

Get all source line matches for statement probes.

* dwflpp.cxx (iterate_over_srcfile_lines): Pass nsrcs=0 to
  dwarf_getsrc_file so all source matches are returned instead of just
  nsrcs=N matches.
* (has_single_line_record): Fix indentation.  No other changes.

Fix PR13646 (partial) by improving use of 'AF_NET'.

* tapset/nfs_proc.stp: Added copyright header. Change AF_INET() to just do
  'return %{ AF_INET %}'. Changed NFS_I() to used in-line embedded-C to
  get 'AF_INET'.
* tapset/rpc.stp: Use in-line embedded-C to get 'AF_INET' instead of
  calling AF_INET().
* testsuite/systemtap.examples/process/pfiles.stp: Use in-line embedded-C
  to get 'AF_UNIX', 'AF_INET', and 'AF_NET6'.

remove grapher

Deprecated and unmaintained, time to delete this subpackage.

Avoid changing the linebreak in tapset.xml

There are cases where the linebreaks mess up the output for the man pages.
Removing the '<xsl:strip-space elements="*"/>' in sort-tapsets.xslt avoids
these issues.

Properly quote minus sign in man pages

Fix more spelling errors

Fix spelling errors

RHBZ717123: mention /etc/login.defs when mentioning uid>500 tests

Update Copyright information in SystemTap Tapset Reference Manual

Update some versoin and year in the SystemTap Beginners Guide

Add a comment clarifying GFP_ATOMIC need for PR13641

* testsuite/systemtap.examples/process/pfiles.stp: Add a comment
  describing why we need GFP_ATOMIC.

Fix PR13641 by not calling a sleeping function from an invalid context.

* testsuite/systemtap.examples/process/pfiles.stp: To avoid the
  possibility of sleeping while holding a lock, change GFP_KERNEL
  allocation to GFP_ATOMIC allocation.  Also convert i_mode2str() from an
  embedded-C function.

Make stopwatches.stp example executable.

post-release version bump to 1.8

release 1.7 prep

i18n: update-po

Move warnings for embedded privilege credentials in modules to -v.

Give information about online servers and which servers were specified when no suitable servers are found.

runtime: document reason runtime/staprun* are compiled with -Wno-format-nonliteral

Modiified eventcount.stp example to wrap the map

general/eventcount.stp example now has a sample of map wrapping.

bump copyright date on startup message

Merge branch 'mjw/create_atomic'

PR13640: don't start stap-server service by default

testsuite: make #! .stp files executable to make rpmlint happy

PR13461: systemtap.spec: reorganize subpackages, new -client, -devel

utrace_compatibility.h: Fix typo/thinko in UTRACE_ATTACH_ATOMIC comment.

s/non-interrupt/interrupt/ context.

tapset/task.stp (pid2task) Extend scope of rcu_read_lock to include pid2task.

itrace.c: rcu_dereference needs to be called under rcu_read_lock.

Use UTRACE_ATTACH_ATOMIC when calling utrace create under lock.

UTRACE_ATTACH_ATOMIC is very new, but we need it when calling
utrace create while holding a lock or in interrupt context.
If it doesn't exist we do as before (define it as zero).

See http://sourceware.org/ml/systemtap/2011-q4/msg00340.html

Updates the example indices.

Add example and buildok test for stopwatch.stp tapset

Add the stopwatch.stp tapset

The stopwatch.stp tapset provides multiple, independent timers to user
scripts.  Stopwatches can be created by the user script at
anytime. The created stopwatches can be stopped and started by the
user script. The times from the stopwatches can be read in seconds,
milliseconds, microsecons, and nanoseconds.

Signed-off-by: William Cohen <wcohen@redhat.com>

PR12773 Update: Fixed abrt install path

abrt-action-install-debuginfo-to-abrt-cache is now
installed in /usr/libexec/ rather than in /usr/bin/.

It now checks both paths, so it should work with
older versions of abrt as well as the newest ones.

13631 - Detection of Reqested Privilege Level in stap-serverd

Test for the privilege levels which require signing explicitely.

PR 13631 and other rework of multi-privilege level support

  - PR 13631 - Detection of Reqested Privilege Level in stap-server
    - Parsing of the client's command now uses getopt_long and shares
      the getopt input with session.cxx
      - cmdline.cxx, cmdline.h
  - Do not allow multiple privilege-setting options to specify
    different privilege levels.
  - No longer a need for stap-serverd to generate a --privilege
    option for the spawned stap.
  - stap-serverd cannot (and no longer does) rely on knowledge of
    the highest signed privilege level when evaluating the user's
    credentials.
  - Simplified user credentials test against those required by the module
    in stap-serverd.
  - Some kernel.* probes were being registered for use by stapdev only.
    Corrected to be stapdev | stapsys.
    - Corrected testsuite problem which was hiding this bug.

task_finder2: update an unprivileged check for stapsys

* runtime/task_finder2.c (stap_start_task_finder): Update the macro
  around the "only probe their own threads" check to exempt both stapdev
  and stapsys modules (as __stp_utrace_attach_match_filename does).

AUTHORS bump

PR13628: override LANG for stap-prep operation in non-english locales

PR13626 Add extra whitespace in sdt.h to deal with C11/C++11 UDF.

gcc 4.7 supports C11/C++11 user defined literals (UDF):
https://en.wikipedia.org/wiki/C%2B%2B11#User-defined_literals
In std=c++0x mode one now needs to add whitespace between string literals.
See http://gcc.gnu.org/gcc-4.7/porting_to.html

PR13546 Cont'd: Added stress tests

Tests both normal and statistics arrays with integer,
string and two string keys with 2048 enties each.

PR13546 Cont'd: Updated NEWS

PR13546 Cont'd: Fixed failing test cases

Since we introduced a random seed to the hash function,
certain tests that printed results in an unordered
fashion could now fail, since the order is not necessarily
the same from run to run. These tests have been fixed and now
print in a certain order as to avoid those errors.

PR13546 - Improve Map Hashing

- Made str_hash() in map.c more hashy.
- Introduced a runtime random seed to the hash calculations
  to reduce the chance of deliberate hash collision inducing
  attacks.
- Made the HASH_TABLE_SIZE depend on MAXMAPENTRIES, rather than
  just a static 256. This effectivly increases the size of the
  hash table.

Don't squash to pass 4 when using --remote

Our native_build check is a little too zealous, squashing runs to pass 4
when the local kernel doesn't match the command-line arguments.  When
we're running on a remote host, the local kernel is irrelevant.

This issue only cropped up if the user provided explicit -r/-a arguments
to match the remote -- otherwise the implicit searching was doing the
right thing with matching each kernel.

* session.cxx (systemtap_session::check_options): Remote targets don't
  care a whit whether the local kernel matches the build.

credit for systemtap.spec mktemp

recognizing original version of commit 87600139

PR13539

(Add credit for Jim Keniston's earlier version of these uprobes patches.)

PR13539: fight uprobes unregister-vs-exit races

While I still cannot see a reason how uprobe_{free,put}_process can
race uprobe_report_{exit,exec}, I certainly think somebit of cleanup
can be done.  However I am dont think we need to do a utask or uproc lookup
from the table. Especially in case of callbacks.

Mostly similar to what Jim proposed.
I haven't tested this patch myself and I couldn't reproduce the problem.
[fche corrected some typos and removed meddlesome printk's]

Regenerate systemtap.examples index to include new pstrace_exec.stp.

Add the pstrace function to tapset with documentation and example test

The pstrace function generates a string that traces the processes from
the task_struct passed in back to the ancestor spawned by init(1).
This allows you to determine what processes are ancestors for a particular
process.

dump_symbol_tables: kernel entry functions are NOTYPE.

Commit a09fc5 restricted symbol inclusion of STT_NOTYPE to ET_REL files
(kernel modules) to get fn-desc in .odp which don't occur anywhere else.
But kernel entry functions are also not STT_FUNC but are marked STT_NOTYPE.

improve error message if script requires -g but lacks it, part 3

* tapsets.cxx (dwarf_var_expanding_visitor::visit_target_symbol): Suggest -g
  if missing.
  (dwarf_cast_expanding_visitor::visit_cast_op): Ditto.
  (tracepoint_var_expanding_visitor::visit_target_symbol_arg): Ditto too.

Document --log, --port and --ssl in the stap-server(8) man page.