stapprobes.3stap: edited supported probe points

stapprobes.3stap: added process(PID).{function, mark, plt, provider}
to the list of supported probe points under DWARF and USER-SPACE.

listing_mode.exp: re-ordered test cases

listing_mode: moved the test cases for process(number).* probe
points to reflect the ordering in "stap --dump-probe-types".

listing_mode*: update to support process(PID).*

listing_mode.c: add in an infinite loop for generating probe points
to a process running this program over the course of the entire
listing_mode test.
listing_mode.exp: edited portions dependent on the line numbers in the
source code. added tests for the new process(PID).* probe points.

PR6897, updated and added test cases

valid_pid.exp: new test case to check that error messages are
produced when a given pid does not corresponds to a running process.

unprivileged_*: updated the test case to include the newly supported
process(PID).{plt, mark, provider, function}.

tapsets.cxx: validate PID for process(PID)*

tapsets: validate PID for process(PID).{function, plt, mark} probes

tapset-utrace.cxx:check used PID in process probes

tapset-utrace: made a change so scripts with process(PID).*
and -x PID2, only validates PID (the relevant pid) and not PID2

PR6897 cont'd: process("foo").* handling

After collapsing the process., process(STRING), process(NUM) cases
into a single conditional, we must remember to retest the STRING
case so as to extract the parameter.

validate PID in process(PID).* probes

elaborate*: new function derived_probe_builder::has_param()
tapset*: added a check to make sure the PID in process(PID).*
probes correspond to a running process.

PR16716 partial fix: Fix types in 'syscall.{fdatasync,fstat,fstatat,fsync}'.

* tapset/linux/aux_syscalls.stp (_at_flag_str): Update and improve.
* tapset/linux/syscalls.stp: Fix types in
  syscall.{fdatasync,fstat,fsync}. Fixed types and 32-on-64 support in
  syscall.fstatat and added 'dirfd_str', 'flags', and 'flags_str'
  convenience variables.
* tapset/linux/nd_syscalls.stp: Fixed 32-on-64 bit support in
  nd_syscall.fstatat and added 'dirfd_str', 'flags', and 'flags_str'
  convenience variables.
* testsuite/buildok/syscalls-detailed.stp: Added compile test for new
  syscall.fstatat convenience variables.
* testsuite/buildok/nd_syscalls-detailed.stp: Ditto.
* testsuite/systemtap.syscall/futimes.c: Updated test.
* testsuite/systemtap.syscall/link.c: Ditto.
* testsuite/systemtap.syscall/stat.c: Ditto.
* testsuite/systemtap.syscall/sync.c: Ditto.

Merge branch 'ajakop/16300'

stmt_counting.exp: nested foreach runtime flag

stmt_counting.exp: combine the four cases for each test
(no flags, -u, low MAXACTION, high MAXACTION) by using
nested foreach loop for the different runtime flags.

stmt_counting*: statement counting tests

stmt_counting_*.stp: basic tests containing loops, recursion,
straight through function bodies and straight through probe bodies.
stmt_counting.exp: runs the tests with and without -u, and with a
low and a high MAXACTION.

stapprobes man page: extend NON-DWARF probe section

tapset: in probefunc() doc blurb, recommend ppfunc()

check.exp: add CHECK_ONLY to restrict tests

The CHECK_ONLY variable allows the check.exp testcase to only focus on
specific example scripts. E.g.

  make installcheck RUNTESTFLAGS="check.exp" CHECK_ONLY="badname"

initscript: invert logic and fix DEFAULT_START

The logic of is_valid_script_name was inverted. Fix it.

Also, we need to blank out the list of scripts to start before actually
collecting the valid ones from DEFAULT_START.

Handle DW_TAG_restrict_type.

C99 keyword restrict is just like const or volatile for pointers. Like
DW_TAG_const_type and DW_TAG_volatile_type just follow through to the
underlying type.

coverity fixes

Initializing members, avoiding little memory leaks, all minor stuff.

Merge branch 'ajakop/16300'

translate.cxx: edit MAXACTION check error message

NEWS: new feature to suppress statement counting

runtime: Add a universal stp_synchronize_sched

The kernel has had synchronize_sched for a while.  However, in the RHEL5
era this was merely a #define to synchronize_rcu, which our exportconf
wouldn't detect.  RHEL4 only had synchronize_kernel.

Now stp_synchronize_sched covers all of these options, otherwise issuing
an #error message.

Add test coverage for bz1074541

PR16716 partial fix: Fix types in '[nd_]syscall.eventfd'.

* tapset/linux/syscalls.stp (syscall.eventfd): Better handle eventfd()
  vs. eventfd2(). Add 'count' and 'flags_str' convenience variables. Fix
  types.
* tapset/linux/nd_syscalls.stp: Ditto.
* tapset/linux/aux_syscalls.stp (_eventfd2_flag_str): Updated and improved.
* runtime/linux/compat_unistd.h (__NR_compat_eventfd2): New define.
* testsuite/systemtap.syscall/eventfd.c: Add more tests.
* testsuite/buildok/syscalls-detailed.stp: Add tests for new convenience
  variables.
* testsuite/buildok/nd_syscalls-detailed.stp: Ditto.

::functioncall_visitor tracks seen and nested call

this change is for functioncall_traversing_visitor

elaborate.cxx: changed instances of *traversed* to *seen*
staptree.cxx: changed ::functioncall_visitor in
functioncall_traversing_visitor to keep track of nested function calls
and kept the old functionality of keeping track of function calls seen.
staptree.h: remove traversed set from functioncall_traversing_visitor,
replacing it with a seen set, and a nested set.
translate.cxx: edited comment to reflect change in visitor

Minor testsuite updates.

* testsuite/lib/compile_flags.exp: Added a bit more aarch64 support.
* testsuite/systemtap.base/bz1027459.exp: Only run on make
  installcheck. Clean up better after a 'spawn'.
* testsuite/systemtap.base/task_dentry_path.exp: Only run on make
  installcheck.
* testsuite/systemtap.base/wordexp.exp: Ditto.
* testsuite/systemtap.server/server_locale.exp: Ditto.

translate.cxx: statement counting for functions

translate.cxx: added counting statements to be executed, and a check
against that number with MAXACTION to determine if statement counting
within a function's generated c code gets suppressed. allow users to
turn this off by running script in unoptimized mode.

direct_rec_func.stp: direct recursion test case

translate.cxx: unoptimized statement counting

translate.cxx: allow for users to turn off the optimized statement
counting, reverting to the statement counting being in generated
c code, through unoptimize mode.

set statement count to max for recursion

staptree.h: added virtual function note_recursive_functioncall

staptree.cxx: implemented function note_recursive_functioncall as {}

translate.cxx: implemented note_recursive_functioncall for
max_action_info to set the estimated statement count to be set to max.

stap.1: note MAXACTION is treated conservatively

PR16300: switch back to nested visitors for visit_if_statement

This reverts commit 450cc664d02ec242327e63a84534aacb1c998c6d.

translate.cxx: suppress action counting in c code

translate.cxx: moved the statement counting portion to ::emit_probe().
added in a check against MAXACTION, which determines if statement
counting within the generated c code gets suppressed.

translate.cxx: fix counting in max_action_info

translate.cxx: removed the creation of temporary visitors to visit
the thenblock and elseblock in visit_if_statement in max_action_info
because of errors with recursive calls. now uses only one visitor
to visit blocks.

Add fix for i686 syscall.{chmod,fchmod,fchmodat}.

* tapset/linux/syscalls.stp: In syscall.{chmod,fchmod,fchmodat}, fix
  'mode' value for i686.

Convert more tests to use compile_flags.exp functions for compile flags.

* testsuite/lib/compile_flags.exp (arch_compile_flag_bits): New function.
* testsuite/systemtap.base/func_alias.exp: Convert to use
  testsuite/lib/compile_flags.exp for compile flags, ABIs, etc.
* testsuite/systemtap.base/hash_add_buildid.exp: Ditto.
* testsuite/systemtap.base/utrace_syscall_args.exp: Ditto.
* testsuite/systemtap.base/vma_vdso.exp: Ditto.
* testsuite/systemtap.context/fib.exp: Ditto.
* testsuite/systemtap.syscall/nd_syscall.exp: Ditto.
* testsuite/systemtap.syscall/syscall.exp: Ditto.

runtime: Make sure to free special message buffers too

These special buffers were formerly kept aside, and never released back
to the memory pool, so they weren't freed either.  DEBUG_MEM did report
this leak properly.  Now these are freed too, and a new debug_mem.exp
test ensures that a simple script doesn't leak any memory.

PR17052: Use RCU-sched for freeing contexts

A context is grabbed from the _stp_ctl_work_callback timer, but it
doesn't actually need it for anything other than preventing a lock
recursion.  Since this timer is still running while we are freeing the
contexts, there's a chance to race on the existence of contexts.

Using rcu_assign_pointer, rcu_dereference_sched, and synchronize_sched,
we can make sure that anyone who might have seen the existing contexts
has finished before we free them.

man/systemtap.8: mention naming requirement

Add blurb to clarify that script names must be alphanumeric and must not
start with a number.

initscript: check script names

Because script names are the basis for some variable names (e.g.
script_name_REQ), they need to adhere to bash variable naming rules.
These are almost the same rules that we enforce for stap -m, so we just
fail 'earlier'. See also RHBZ1109084.

This patch ensures that scripts with invalid names are skipped and
logged.

initscript: use SYSTEMCTL_SKIP_REDIRECT

The SYSTEMCTL_SKIP_REDIRECT variable allows us to avoid being 'handled'
by systemd when users use the legacy 'service' command. This is
necessary in our case because systemctl omits the parameters passed to
the 'service' command for standard service actions such as start/stop.

kernel_string_quoted(): remove /* myproc */ marker

Bad bad Jonathan!

Revert "execve.exp: don't double quote result_string."

This reverts commit 2b3a0f4d58496f2928d9785d6f09825480df0ca4.

This commit was initially required because execve would not pass on
RHEL6, which relied on kernel_string() rather than user_string_quoted().
With the new kernel_string_quoted() function, this test should pass on
all platforms.

syscalls: use kernel_string_quoted()

To be consistent with the rest of the tapset, which uses
user_string_quoted(), use kernel_string_quoted() here so that the
strings are quoted.

conversions.stp: new kernel_string_quoted() function

Just like user_string_quoted(), the new kernel_string_quoted() function
returns the resulting string in quotes if it successfully retrieved the
string and the pointer address otherwise.

Merge branch 'ajakop/16300'

count max statements in probes in translate.cxx

translate.cxx: counts the maximum number of statements expected
to be executed for each probe, in pass 3. results are printed when
verbosity is > 1. probes with for/foreach statements have a
reported statement count of ~0.

listing_mode.exp: use stap itself to get addr of vfs_read

On older platforms, the addresses obtained from /proc/kallsyms show up
as 0 for non-root users. So instead, we use stap itself to retrieve the
address of vfs_read which is later used for testing.

listing_mode.exp: don't test Java probes if unsupported

If stap was not built with Java support, then we shouldn't test them.

lib/systemtap.exp: add callee_probes_p proc

Rather than checking for the conditions for callee support in various
testcases, add a callee_probes_p proc in lib/systemtap.exp and use that
instead where needed.

lib/systemtap.exp: rename hw_breakpoint_p to hwbkpt_probes_p

To be more consistent with the other procs in lib/systemtap.exp which
check whether certain types of probes are supported, rename
hw_breakpoint_p to hwbkpt_probes_p.

listing_mode.exp: use plt_probes_p proc

This is a follow-up to commit 96f91ef. Use the already given
plt_probes_p proc rather than rechecking archs.

vars.exp: only parse out from first line of grep

There can be multiple _stp_snprintf lines, in which case, the resulting
values for vars and parms can hold the same variables multiple times,
thus throwing off the test (see RHBZ1099757#c4).

Fix this by only using the first line output from grep.

listing_mode.exp: don't test plt probes if unsupported

On some architectures, plt probes are not supported. Check for those and
skip testing them if so.

listing_mode.exp: relax process.function(0xabcd) probes

Using a process.function(0xabcd) may still cause prologue searching to
occur on older platforms (for GCC < 4.5) due to possibly bad debuginfo
in the prologue (see e.g. commit 277a2b9 and GDB's PR13777).

Thus, the resulting probe from a process.function(0xabcd) might not
match the exact address given if it has been adjusted by
prologue-searching. So we relax the requirement by simply checking that
the address printed in a proper hex format.

listing_mode.exp: don't test HW bkpt probes if unsupported

We check if HW breakpoint probes are available on the machine during
testsuite setup and use the new hw_breakpoint_p proc in listing_mode.exp
to check if these probes should be tested.

listing_mode.exp: don't test callee probes if unsupported

We skip testing callee probes if the platform doesn't support it
(depending on GCC and elfutils version).

listing_mode.exp: use readlink -f instead of realpath

The realpath executable is not available in older coreutils.

listing_mode.exp: add subtests for ENUMERATED lineno types

statement.exp: remove mentions of RANGE

Since commit f01d4ff, we now no longer have a RANGE lineno_type. So
let's remove mentions of it to avoid future confusion and replace it by
the new ENUMERATED lineno type. Also clear up subtest names.

stmt_rel.exp: relax requirement for PASS

We previously required that all linenos accessible through wildcards
were the same set as all linenos individually accessible through
relative numbering.

The issue is that two linenos may correspond to the same address (e.g.
due to optimization), in which case a wildcard probe would only pick up
the first lineno (since the second lineno would be eliminated due to
being the same address), which two individual relative probes for these
two linenos would both resolve.

So instead, this test now simply checks that all the linenos which were
found in the wildcard probe were also accessible through relative lineno
(i.e. a subtest test instead of equality test).

PR16716 partial fix: Fix types in syscall.{fchdir,mkdir,mkdirat}.

* tapset/linux/syscalls.stp (syscall.fchdir): Fixed types.
  (syscall.mkdir): Ditto.
  (syscall.mkdirat): Fixed types and added 'dirfd_str' convenience
  variable, to match syscall.{faccessat,fchmodat,fchownat,etc.}.
* tapset/linux/nd_syscalls.stp: Similar changes.
* testsuite/systemtap.syscall/dir.c: Added more tests.
* testsuite/buildok/syscalls-detailed.stp: Added test for 'dirfd_str'
  variable of syscall.mkdirat.
* testsuite/buildok/nd_syscalls-detailed.stp: Ditto.

cast-scope.exp: KFAIL dyninst on ppc unoptimized

The cast-scope.exp test fails on ppc64 for unoptimized code due to
stapdyn's inability to retrieve all registers (PR15614). So we KFAIL it.

loc2c: make u_fetch_register() respect CONFIG_COMPAT

If CONFIG_COMPAT is defined, then it is possible to be running 32/31-bit
tasks on a 64-bit kernel. In such cases, we need to ensure that the
values returned from u_fetch_register() are 32-bit friendly.

Thus, we mask whatever pt_regs_fetch_register() returns.

Fix BZ1099555 by reworking gtod.exp.

* testsuite/systemtap.base/gtod.exp: Rework so that we don't care about
  what order the output comes. All we care about now is the variance
  between the kernel's time and systemtap's time.
* testsuite/systemtap.base/gtod.c (main): Print the iteration number first.
* testsuite/systemtap.base/gtod.stp: Ditto.

stap.1, stappaths.7 man pages: minor text improvements

stap.1 typo fix

PR15123 still encontered: mention workarounds in error::dwarf.7stap man page

configure.ac: Tolerate relative elftuils src path and add autoreconf -i hint.

configure: Regenerated.

stap -V version string: include build-time elfutils version

We have some translator facilities that are based on _ELFUTILS_PREREQ,
a compile-time elfutils version check.  Others might change behavior
based on the run-time elfutils version.  These versions may differ,
as the system elfutils libraries are upgraded without stap being
rebuilt.  This patch changes stap -V to report both run-time and
build-time elfutils versions (if they are different).

Update gtod.exp for BZ1099555 to make output more clear.

* testsuite/systemtap.base/gtod.exp: Split test into 3 sub tests so that
  failures can be more easily identified.

PR17027: adapt pr16806.exp for RHEL6

This test failed on RHEL6 for two reasons:
- The 'timeout' program doesn't support non-integer arguments
- We assumed the uprobes module was already inserted.

Fix the first by changing the timeout to 1s (I verified that this
doesn't change the lethality of the test under the right conditions).

Fix the second by doing a sample run first to allow stap the chance to
self-compile and pass the uprobes module to staprun -u.

man/stapprobes.3stap: add blurb about ENUMERATED

NEWS: add blurb about ENUMERATED

dwflpp.cxx: pass linenos vector by reference

This is a follow-up to commit f01d4ff. Pass linenos vector by reference
and remove unused variable range_it.

statement probes: add ENUMERATED lineno_type

This patch adds support for statement probes of the form

   .statement("foo@file.c:1,3-4,6")

The statement.exp testcase is expanded to cover this new type.

dwflpp::literal_stmt_for_local add details for retrieve attribute errors.

dwflpp::die_location_as_function_string don't mix std::string and char *.

Especially using the result of string.c_str() after string goes out of
scope is not adviced.

systemtap_session::modules_must_be_signed might use uninitialized memory.

statm >> status might not actually assign anything to status.
operator >> on ifstream doesn't assign anything the underlying file
doesn't exist. So status will just have random contents that happened
to be on the stack. Make sure to initialize status first.

Extra details to explain the error or provide alternatives to the user.
Each one printed after the main error message and tokens aligned on
separate lines. Just push_back anything you want that better explains
the error to the user (not meant for extra verbose developer messages).

Use it for the new explanations of the "not accessible at this address"
errors. Split in die_location_as_string, die_location_as_function_string
and suggested_locations_string.

Report address locations where things are accessible in error message.

Instead of just saying "not accessible at this address" tell at which
addresses the location is accessible. Uses dwarf_getlocations which
requires elfutils 0.158+ (if not available, just don't suggest anything).

Fix accessible at this address error message crash.

commit 6fcc2aa1 "Improve not accessible at this address error message"
introduced a regression by crashing when the debugfile couldn't be found.

pr16719.exp: Use /bin/ls, not /usr/bin/ls which might not exist.

execve.exp: don't double quote result_string.

Improve not accessible at this address error message.

Add dwflpp::pc_die_location_as_string and dwflpp::pc_die_location_as_string
to provide more human readable PC and DWARF DIE offset names and source
locations (including which function was inlined where) to help track down
why an argument or variable isn't accessible at a certain address.

Fixed BZ1099791 by updating the runtime to correctly find the vdso.

* translate.cxx (find_vdso): Add comment mentioning the logic in
  _stp_vma_match_vdso needs to match.
* runtime/vma.c (_stp_vma_match_vdso): Add logic from find_vdso() to parse
  the path, looking for the vdso.

PR16716 partial fix: Fix types in syscall.epoll_{create,ctl,pwait,wait}.

* tapset/linux/syscalls.stp (syscall.epoll_create): Fix types.
  (syscall.epoll_ctl): Ditto.
  (syscall.epoll_wait): Ditto.
  (syscall.epoll_pwait): Add convenience variables.
* tapset/linux/nd_syscalls.stp: Ditto.
* tapset/linux/aux_syscalls.stp (_opoll_op_str): Updated and improved.
  (_epoll_create1_flag_str): Ditto.
* runtime/linux/compat_unistd.h: Added __NR_compat_epoll_wait.
* testsuite/buildok/syscalls-detailed.stp: Add test for new epoll_pwait
  convenience variables.
* testsuite/buildok/nd_syscalls-detailed.stp: Ditto.
* testsuite/systemtap.syscall/poll.c: Add more error testing.

fixed typo in proc_by_pid.exp that caused an error

Typo caused a variable to be treated as an array, which
only arose when trying to set a runtime flag for the test case.

dwflpp.cxx: check addr returned by lower_bound()

This is a follow-up to commit 71b8e66. The lower_bound() function
returns an iterator to the first addr which does not compare less than
the entrypc. This means that the returned addr is either equal or
greater than the entrypc (depending on whether the latter is in the
vector).

This patch simply checks that the addr returned by lower_bound() is
equal, not just greater or equal.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

edited the description for -x in man page

dwflpp.cxx: use lower_bound() instead of manual binary search

This is a follow-up to commit 1d50099. We previously implemented our own
binary search to find the line record associated with the function's
entrypc. To be on the safe side, we instead rely on lower_bound() for
binary searching, which will pick the first element in a range of equal
addresses, thus avoiding issues such as BZ1099133.

Add ia64-specific syscall tapset fix.

* tapset/linux/nd_syscalls2.stp: Remove extra _ia64_pipe[01] functions,
  just use the functions in syscalls2.stp.

Update syscall tapset for rawhide (3.15.0-0.rc5.git3.1.fc21.x86_64).

* tapset/linux/syscalls.stp (syscall.ioctl): Update for rawhide.
* tapset/linux/syscalls2.stp (syscall.compat_utime): Ditto.

BZ1099133: prologue searching: check previous line too

We perform binary search to retrieve the line record matching the
entrypc. However, we may by chance fall on the second of two line
records for the same entrypc. Check for this after binary search is
done.

changed check for -x PID, added tests

session.cxx: revised approach to checking path for given PID

checks that the path produced from a given PID is valid using
readlink(). added in new error messages to be more specific.

tapsets.cxx: fixed spelling mistake

proc_by_pid*: test files

BZ1099825: probe_by_pid.exp: small tweak in C program

Since PR6941 (commit 277a2b9), prologue-searching is skipped for
optimized code. However, we do not skip it for GCC < 4.5, which may
provide bad location info (see GDB's PR13777).

On RHEL6, this testcase was failing because prologue-searching was not
skipped, and fell inside the loop in main(). To allow for a safe landing
zone, we slightly tweak the C program so that there is a safe
instruction to land on post-prologue that is not in the loop.

Relax static-probes.d input file syntax.

* dtrace.in (dtrace_bnf): Allow probe_ident to start with any alphanumeric.
  Make trailing probe declaration ';' optional.
  (_PypProvider::probe_write): Improve error messages.

infer process path with -x PID

session.cxx: interpret -x PID as /proc/PID/exe
tapsets.cxx: changed error messages
stap.1: updated man page

Don't give predefined types special treatment.

* dtrace.in (dtrace_bnf):  Remove type_spec.  Handle all types as type_name.