PR11441 stop testing deprecated kernel.function(number).inline

commit 440d9b00db23a1cb4b1 removed the code from the translator;
let's remove their tests from the testsuite.

testsuite: disable rlimits test for !installtest_p

PR13878: Mention the module in @cast "not found" message

To help understand when @cast fails to find a type, mention the module
that was searched.  This may already hinted by the e->tok source
location, but stating the module explicitly is a useful hint if the user
left the module field to be implicitly filled in.

Make uprobes_p() testsuite function find new inode-uprobes.

* testsuite/lib/systemtap.exp (uprobes_p): Handle change in inode-uprobes
  registration function name.

stap.1: Document - (read from stdin) and -e SCRIPT.

Move PERF probe family description before EXAMPLES section.

Fix PR13815 by fixing task_dentry_path() tapset function for RHEL5.

* tapset/dentry.stp (task_dentry_path): Fix for later RHEL5 kernels by
  handling 'struct path' renamed to 'struct vfs_path' (problem first
  noticed in kernel 2.6.18-308.el5).

PR13847: simplify compiled-printf functions

* translate.cxx (emit_compiled_printfs): Emit flatter code, with
  fewer { variables; } that a bad compiler can translate to a large
  call frame.  This appears to allow normal (non-noinline) functions.

PR13847: document CONFIG_DEBUG_INFO= default

PR13847: don't build debuginfo for stap modules

Suppressing the -g (by default) for stap_*.ko reduces compile time
and greatly reduces resulting .ko file size.  Since stap modules
are not usually probed themselves, this is a good default.

* buildrun.cxx (make_any_make_cmd): Prefix kbuildflags with CONFIG_DEBUG_INFO=.

PR13661 - Added test cases

Also added a proc in testsuite/lib/systemtap.exp
to run as_non_root.

Allow sysroot_sysenv.exp to run correct on machines without uprobes

If the kernel does not have uprobes support, the sysroot_sysenv test
is untested. The catch and wait statements are only needed for the
case where the test is actually run. Having the catch statment run
when the test does not run causes an error.

Test the .library modifier for RPATH awareness

* library.exp (globbing_test):  Created from main for rpath testing.

Make the .library modifier aware of RPATH

* tapsets.cxx (base_query): Treat .library("lib") as a wildcard if it
  isn't found in LD_LIBRARY_PATH
  (query_modue): Likewise.
  (query_one_library): Likewise.
  dwarf_builder::build): Likewise.

langref.tex: Document foreach (value = key in array) variant.

langref.tex: ref statement foreach subsection from arrays iteration section.

Adapt to the inode-uprobes name change in tip

We now have the functions register_uprobe -> uprobe_register and
unregister_uprobe -> uprobe_unregister.  The client API has otherwise
not changed.

I've made our code reflect the new names as much as possible, treating
the old names as the exceptional case, in case we ever want to remove
that compatibility.  For now, it should work in all cases, although I
don't have a full complement of old/new & exported/!exported kernels to
test with.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Document new @var construct in NEWS, langref, beginners and stapprobes.

Quietly wget upstream sources.

mysql.exp (wget): Add -q
postgres.exp (wget): Likewise
stap-tcl.sh (wget): Likewise
xulrunner.exp (wget): Likewise

tapset/guru-delay.stp (mdelay): Fix @us argument documentation typo.

tapset/dentry.stp (real_mount): Fix typo in @vfsmnt argument documentation.

global_var_kernel.exp: tz_minuteswest can be negative.

Preliminary SDT semaphores with inode-uprobes

This adds mmap tracking to our inode-uprobes client, so we may
manipulate SDT semaphores as modules come and go.  It seems to work ok,
though remaining sleepiness issues may need to be worked out in
task_finder2.

Global vars don't need (cannot use) frame base in location descriptor.

And so they also don't need cfa_ops (CFI) to calculate the frame base.

Update verbose log and semantic exception messages for local vs global vars.

Global @vars (with @cu/src_name.c) have a fixed scope/CU and don't depend
on location/PC. Make that clean in verbose log and semantic error messages.

Merge branch 'sysroot'

Conflicts:
cmdline.cxx
cmdline.h
session.cxx
(Reconciled with commit 372c6458, "Long options rework.")

PR12331: Add testcase for --sysroot and --sysenv

Signed-off-by: Wade Farnsworth <wade_farnsworth@mentor.com>

PR12331: Document --sysroot and --sysenv

Update stap.1 and NEWS to document the new options.

PR12331: Introduce stap options --sysroot and --sysenv

This adds new command-line options to facilitate different file locations at
compile-time versus run-time when generating stap kernel modules for a remote
system:

1. --sysroot=DIR
   Specifies a separate filesystem for the remote system on the local
   system.  The following stap functionalities will make use of this:

   a. When compiling process and library probes with a remote filesystem path
      (e.g. process("/bin/foo") with --sysroot=/bar/baz).  In this case symbols
      will be taken from the local filesystem (/bar/baz/bin/foo), but the
      resulting .ko will still contain paths on the remote filesystem
      (/bin/foo).

   b. When passing a kernel release with -r (not a full path), the kernel
      build directory will be expected in the sysroot.

   c. When DWARF debug info is contained in a separate file from the
      executable, the sysroot is used to find the debug info files.

   d. All calls to find_executable() search the path passed in the
      argument env_path relative to the sysroot.  For example if
      PATH=/bin/foo, and --sysroot=/bar/baz is provided, then
      find_executable() called with env_path == "PATH" will search
      /bar/baz/bin/foo.

   e. stap attempts to detect if a path in a probe would be outside of the
      sysroot and errors appropriately.  This situation may occur, for
      example, if the path contains several ".." directories.

2. --sysenv=VAR=VALUE
   Specifies a different environment variable for the remote system as opposed
   to the local one, and that the value on the remote system should be used.
   Currently only valid env_path arguments to find_executable() are handled
   (i.e. PATH, LD_LIBRARY_PATH).  If --sysroot is provided and --sysenv
   is omitted, then the local environment relative to the sysroot will
   be used.

These options are disabled for systemtap clients.

Signed-off-by: Wade Farnsworth <wade_farnsworth@mentor.com>

PR13819: avoid warning on CONFIG_DEBUG_PER_CPU_MAPS=y

* translate.cxx (c_unparser::emit_module_exit): Use
  for_each_possible_cpu instead of NR_CPU iteration, even
  though that should not matter.

Cannot use @var DWARF variables in tracepoints, warn, but don't crash.

Make sure @var works for process.mark probes.

guru-delay: add tapset documentation

new tapset: guru delays

Select most specific CU srcfile that matches @var("var@src") specification.

dwarf_var_expanding_visitor::getcuscope: If there is a perfect match
select that CU, otherwise, select the CU srcfile that is most specific
(matching path/src file lenght is shortest).

Merge branch 'at_var'

PR13784 Allow defining a diffent CU source in @var.

Add cu_name to struct target_symbol. Set it in parse_target_symbol
to the string after @ in @var("somevar@some/src/file.c"). Make
target_symbol::sym_name() aware of @cu_name postfix (don't return it).
Add dwarf_var_expanding_visitor::getcuscope() which figures out the
CU DIE to use as scope if target_symbol has cu_name part. Extend
global_var.exp test to show new capability.

Remove CONFIG_UTRACE use in testsuite and just depend on utrace_p/uprobes_p.

* testsuite/buildok/pretty.stp: Moved uprobes tests to pretty-uprobes.stp.
* testsuite/buildok/pretty-uprobes.stp: New test.
* testsuite/buildok/ucontext-symbols-embedded.stp: Remove CONFIG_UTRACE
  check and let buildok.exp kfail the test if no uprobes.
* testsuite/buildok/ucontext-unwind-embedded.stp: Ditto.
* testsuite/buildok/utrace.stp: Ditto.
* testsuite/semko/utrace.stp: Remove CONFIG_UTRACE check and let semko.exp
  handle it.
* testsuite/semok/pretty.stp: Move uprobes tests to pretty-uprobes.stp.
* testsuite/semok/pretty-uprobes.stp: New test.
* testsuite/semok/thirtysix.stp: Move utrace tests to thirtysix-utrace.stp.
* testsuite/semok/thirtysix-utrace.stp: New test.
* testsuite/semok/utrace01.stp: Remove CONFIG_UTRACE check and let
  semok.exp handle it.
* testsuite/systemtap.base/bz10294.stp: Remove CONFIG_UTRACE check and let
  statement.exp handle it.
* testsuite/systemtap.base/bz6905.stp: Ditto.
* testsuite/systemtap.base/statement.exp: Handle no utrace by marking
  tests as untested.
* testsuite/systemtap.base/func_alias.exp: If no utrace, mark test as
  untested.
* testsuite/systemtap.pass1-4/buildok.exp: Kfail more utrace/uprobes tests.
* testsuite/systemtap.pass1-4/semko.exp: Ditto.
* testsuite/systemtap.pass1-4/semok.exp: Ditto.

PR13661: Rewrote test cases to be more stable

Introduce @var("varname") as alternative syntax for $varname.

Adds a field target_name and a method sym_name() to struct target_symbol
to be used by the parser and tapsets translator so $name and @var("name")
can be used interchanably. Adds a testcase at_var.exp to test this for
various combinations of uprobes, kprobes, parameters, variables, arrays,
fields access, pretty printing and taking addresses.

Fix kallsyms_expand_symbol.exp regression after commit 4d51e8.

In dwflpp::find_variable_and_frame_base() when we do a search for a search
for an alternative vardie we need to saved the actual vardie content in
case we fail, no just copy the pointer to the vardie data...

PR10622. Better workaround for GCC PR51410. Find external var DIE location.

Some GCC versions would output duplicate external variables, one
without a location attribute. If so, try to find the other if it
exists in the same scope. This is a better solution than the previous
fallback solution of just trying to get the address in the symbol table.
That could result in picking the wrong external variable with the same
name (but from a different CU). Add test case to show this works better.

Correct uninitialized-var compiler warnings in uprobes.c

PR13661: Suppress core dumps for RLIMIT_AS and RLIMIT_STACK

Do this since we don't want core dumps accumulating on a server.

PR13661: Set both max and current rlimits

Now the --rlimit-* options can only be used to lower the rlimits
when not run as root.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

More updates to client_args.exp test suite.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Conflicts:
cmdline.cxx
cmdline.h
session.cxx

PR13661: Added test cases

Long options rework.

- Don't rely on the order of stap_long_options for indexing
  - getopt_long now returns all option ids
- Same for options processing in stap-serverd
- Update client_args test suite

PR13609: Kill sub-processes with SIGTERM, regardless of last incoming signal.

PR13661: Added NEWS and man page entries

PR13661: Relax Server Rlimits (move to stap)

  Added rlimit options to stap:
    --rlimit-as=NUM
    --rlimit-cpu=NUM
    --rlimit-nproc=NUM
    --rlimit-stack=NUM
    --rlimit-fsize=NUM
  These options will set the appropriate rlimits to whatever is
  provided.
  Removed all rlimit handling from stap-serverd.cxx. These values
  can be specified in ~stap-server/.systemtap/rc.
  Default values are added to ~stap-server/.systemtap/rc on install.

Mark inline embedded-C expressions returning AF_INET/AF_INET6 as unprivileged.

* tapset/inet_sock.stp: Marked inline embedded-C expressions returning
  AF_INET/AF_INET6 in functions as unprivileged.
* tapset/ip.stp: Ditto.
* tapset/nfs_proc.stp: Ditto.
* tapset/rpc.stp: Ditto.

Initial changes for supporting IPv6 in the compile server and client.

testsuite.apps: similar changes for other TESTAPPS=<onetest> case

testsuite python: be sensitive to TESTAPPS=python rather than TESTAPPS=tcl

* testsuite/systemtap.apps/python.exp: Fix typo in applicability test.

Revert "work in progress" that zapped AUTHORS

This reverts commit d112b4e178fe21a82f55390305e99dc491922cb8.

Add new systemtap.apps for python

* python.exp: New.  Test python sdt markers.
* python2.stp python3.stp:  New.  Backtracing and variable display tapset.

work in progress

Clean out tracking for blocks that are merged into other blocks

The IO system in linux often merges blocks together to reduce the number of
IO operations sent to IO devices. If nothing is done the tracking for
merged IO operations can fill up the associative arrays, causing the script
to fail.  This problem was reported in rhbz743591. This commit resolves
this problem.

Revert "Clean out tracking for blocks that are merged into other blocks"

This reverts commit 0102305e3573868b852faf5183451676beaedbe6.

Clean out tracking for blocks that are merged into other blocks

The IO system in linux often merges blocks together to reduce the number of
IO operations sent to IO devices. If nothing is done the tracking for
merged IO operations can fill up the associative arrays, causing the script
to fail.  This problem was reported in rhbz743591. This commit resolves
this problem.

Match Requires to existing package layout.

* systemtap.spec (main): Only BuildRequires gcc-c++
(devel): Requires gcc make
(testsuite): Requires gcc gcc-c++ make glibc-devel and possibly glibc-devel.i386

Regenerate systemtap.examples indexes.

BZ613992: new enospc.stp sample script

PR13721 (partial): Move cross-file WARNING before setting arity

For PR10799, there is a WARNING check for when globals are used across
different files.  However, set_arity was done first, so any exception
there would bypass the check.

* elaborate.cxx (symresolution_info::find_var): Warn before set_arity.

dwflpp::iterate_over_libraries arm uses /lib/ld-linux.so.3 as interpreter.

Fix PR13646 (partial) by adding IPv6 support to tcp.sendmsg/tcp.disconnect.

* tapset/tcp.stp (tcp.sendmsg): Added 'family' member.
  (tcp.disconnect): Ditto.
* testsuite/buildok/tcp-detailed.stp: Added tests for new 'family'
  members.

Fix PR13646 (partial) by adding IPv6 support to tcp.setsockopt.

* tapset/tcp.stp (tcp_sockopt_str): Updated with more IPV4 socket
  options.  Uses #defines instead of magic constants.
  (tcp_ipv6_sockopt_str): New function.
  (tcp.setsockopt): Added 'family' member.  Added IPv6 support.
* testsuite/buildok/tcp-all-probes.stp: Updated.
* testsuite/buildok/tcp-detailed.stp: Added support for
  tcp.ipv[46].setsockopt and tcp.ipv[46].setsockopt.return.
* testsuite/buildok/tcp-embedded.stp: Added tcp_ipv6_sockopt_str() compile
  test.

Fixed buildok.exp by moving comments out of switch statement.

* testsuite/systemtap.pass1-4/buildok.exp: Fixed testcase by moving
  comments out of switch statement (which tcl doesn't like).

Add BuildRequires for gcc and gcc-c++

* systemtap.spec (BuildRequires): Add gcc and gcc-c++
(Requires):  Remove gcc and gcc-c++

Normalize my name in .mailmap.

kernel/sched.c is no more, use kernel/time.c in examples and tests.

kernel commit v3.2-rc1-319-g391e43d
"sched: Move all scheduler bits into kernel/sched/"
removed kernel/sched.c. Use kernel/time.c in langref.tex and
stapprobes.3stap examples and systemtap.stress/current.stp test instead.

PR13609: Added a concurrency test case

PR13609: Fixed interrupts and race conditions

 - Interrupts are now handled properly. They
   wait for any outstanding threads to finish
   before exiting (unless a timeout occurs or
   another interrupt happens)
 - client_version is now local
 - spawned_pids[] is now protected

Update uprobes_p() to fail if we're on ia64.

* testsuite/lib/systemtap.exp (uprobes_p): Fail if we're using classical
  utrace and we're on an ia64 system.

Don't do exelib prelink tests if the system doesn't have prelink.

* testsuite/systemtap.exelib/exelib.exp: On platforms with no prelink
  executable, don't try the prelink tests.

Support fallback kernel dump_stack() with or without bp argument. cont.

Original patch forgot to add the new autoconf file...

Do not probe ARM assembly language __switch_to function in current.stp test

The systemtap.stress/current.stp test did not work on ARM because the
test was trying to probe a function that is an assembly language function
on ARM. This patch avoids probing assembly language function.

Marked twentyeightprime.stp as KFAIL if no uprobes in buildok.exp.

* testsuite/systemtap.pass1-4/buildok.exp: Marked twentyeightprime.stp as
  KFAIL if no uprobes.  Grouped the different types of kfails together.

Increase systemtap.base/warnings.exp timeout for slow processors

On arm machines this test takes much longer than 30 seconds to get started.
Increased the timeout to allow for slow machines.

syscalltimes sample: tolerate partially specified filters without type problems

Fix PR13646 (partial) by updating ipaddr testcase.

* testsuite/systemtap.base/ipaddr.exp: Change start_server() and
  stop_server() procedure names to avoid clashing with procedures in
  testsuite/lib/systemtap.exp.

Update stappaths paths to reflect reality a bit better

mention CVE in NEWS

Fix PR13646 (partial) by adding IPv6 support to _struct_sockaddr_u().

* tapset/aux_syscalls.stp (_struct_sockaddr_u): Fixed IPv6 support and
  updated IPv4 support.

Fix PR13646 (partial) by adding IPv6 support to 'tcp.receive'.

* tapset/tcp.stp: Added IPv6 support to tcp.receive by splitting it into
  tcp.ipv4.receive and tcp.ipv6.receive (and making tcp.receive link to
  both).  Added a 'family' variable.
* testsuite/buildok/tcp-detailed.stp: Added compile testcase for
  tcp.ipv4.receive and tcp.ipv6.receive.
* testsuite/systemtap.base/ipaddr.exp: Improved script output regexp.
* testsuite/systemtap.base/ipaddr2.stp: Works for IPv4 and IPv6.

Fix PR13646 (partial) by improving inline embedded-C expressions using AF_INET.

* tapset/inet_sock.stp: Add '/* pure */' to all inline embedded-C
  expressions returning AF_INET/AF_INET6 so they can be optimized away.
* tapset/ip.stp: Ditto.
* tapset/nfs_proc.stp: Ditto.
* tapset/rpc.stp: Ditto.
* tapset/tcp.stp: Ditto.

PR13714 - Make sure REG_STATE.cfa_is_expr is always set correctly.

runtime/unwind.c (processCFI): Always set REG_STATE.cfa_is_expr and
add new sanity checks to make sure the cfa definition rules are sane.

Since the cfa expr pointer and cfa register/offset rule shared a union
not setting REG_STATE.cfa_is_expr could result in compute_expr ()
wrongly being called and using the register/offset as expr pointer.

Fix PR13646 (partial) by updating spec file to require 'nc' for testsuite.

* systemtap.spec: Add 'nc' as a requirement for the 'systemtap-testsuite'
  rpm (since the new 'ipaddr' testcase uses it).

Fix PR13646 (partial) by adding a testcase and some fixes.

* tapset/ip.stp (format_ipaddr): Marked as 'pure' so that it can be
  optimized away.  Fixed handling of IPv6 addresses.
  (__ip_sock_saddr): Added support for IPv6 sockets.
  (__ip_sock_daddr): Ditto.
* tapset/tcp.stp: Added 'family' variable to tcp.recvmsg and
  tcp.recvmsg.return probes.
* tapset/nfs_proc.stp (AF_INET): Marked as 'pure' so that it can be
  optimized away.
  (AF_INET6): New function.
* testsuite/buildok/nfs_proc-embedded.stp: Added AF_INET6() compile test.
* testsuite/buildok/tcp-detailed.stp: Prints 'family' variable in
  tcp.recvmsg and tcp.recvmsg.return probes.
* testsuite/systemtap.base/ipaddr.exp: New testcase.
* testsuite/systemtap.base/ipaddr.txt: Ditto.
* testsuite/systemtap.base/ipaddr1.stp: Ditto.
* testsuite/systemtap.base/ipaddr2.stp: Ditto.

Fix PR13646 (partial) by handling IPv6 support in a module (for RHEL[56]).

* tapset/ip.stp: Handle the case where IPv6 support is in a module (as
  it is on RHEL5 and RHEL6).

Fix PR13646 (partial) by properly converting IPv6 addresses to strings.

* tapset/ip.stp: Added the format_ipaddr() function to handle converting
  an IP address to a string.  The ip_ntop() function now just calls
  format_ipaddr().  Added the __ip_sock_family() function to return the IP
  address family for a 'struct inet_sock'.
* tapset/inet_sock.stp: The inet_get_ip_source() function uses
  format_ipaddr() to format an IP address as a string.  The
  daddr_to_string() function has been deprecated.
* tapset/rpc.stp: Make addr_from_rqst_str() handle IPv6 addresses.
* tapset/tcp.stp: Use format_ipaddr() instead of ip_ntop() to convert IP
  adresses to strings.
* runtime/loc2c-runtime.h (kderef_buffer): New function.
* testsuite/buildok/inet_sock-embedded.stp: Deprecated daddr_to_string()
  function test.
* testsuite/buildok/ip-embedded.stp: Added format_ipaddr() and
  __ip_sock_family() tests.
* NEWS: Mention daddr_to_string() deprecation.
* stap.1: Ditto.

Fixed PR13694 by returning proper value for tcp.sendmsg 'sock' variable.

* tapset/tcp.stp (tcp.sendmsg): Returns proper value for 'sock' local
  variable.

Update 3 semok tests for RHEL4.

* testsuite/semok/entry01.stp: Added 'kernel.function("filp_open")' probe
  point for RHEL4 (which doesn't have 'kernel.function("do_filp_open")'.
* testsuite/semok/entry03.stp: Ditto.
* testsuite/semok/kretprobe-data.stp: Added
  'kernel.function("path_lookup")' probe point for RHEL4 (which doesn't
  have 'kernel.function("do_path_lookup")'.

Mark semok uprobes tests as untested on platforms with no uprobes.

* testsuite/systemtap.pass1-4/semok.exp: Mark several tests as 'untested'
  on platforms that don't have uprobes.

Make sure that procfs.c runtime code include <linux/mount.h>

On the arm architecture the <linux/mount.h> isn't pulled in by other
code.  This one line change makes sure that the include file gets
pulled in.  This allows the test using the procfs to build on arm.

(Fixed PR13681) Bulk mode scripts no longer leave the module behind on rhel4.

* runtime/staprun/relay_old.c (close_relayfs_files): 0 can be a valid
  relay_fd[cpu] value.
  (open_relayfs_files): On error, initialize relay_fd[cpu] to -1, not 0.
  (init_oldrelayfs): Initialize relay_fd[cpu] to -1, not 0.