Add testcases for variables scope.

* testsuite/systemtap.base/var_scope.exp: New test case.
* testsuite/systemtap.base/var_scope.stp: New test file.

man/stap.1: hold forth on DEPRECATION

Explain that our deprecation is done for the users' benefit.

Hide "__global_" mangling from the module parameters

This mangling is an implementation detail of the module, and we don't
want to introduce a version dependency for staprun and stapdyn which
understand this.  Leave the parameter names unmangled and simply map
them to the mangled variable internally.

This also makes sure we don't expose the new private variables as
parameters at all, not even in mangled form.

Make private functions play well with default optimizations.

Without this update, duplicate_function_remover::visit_functioncall()
would treat two different private functions of the same name as one
("Changing B reference to A reference"). This would happen with default
optimizations (without -u). This fix is analogical to b834d412e356
(mcermak/private branch) which does similar thing for private globals.

Extend testcase private.exp to cover PR10607 scenario.

Make test outut easier to compare among runs (PR19135).

Drop PIDs and auxiliary counters from output of listing_mode.exp
valid_pid.exp and bench.exp. With this update test outputs are easier
to compare between testsuite runs and still well debuggable.

Make a few small tweaks to modules_out_of_tree.exp.

* testsuite/systemtap.base/modules_out_of_tree.exp: A few tweaks, move all
  the generated files to a new temporary directory and don't remove the
  temporary directory if we're in verbose mode.

systemtap.spec: partial revert of latex2html configury cleanup

We don't run latex2html, but a few of our .tex files include
\usepackage{html} - which is provided by latex2html.

systemtap.spec: tex package typo fix

systemtap.spec: also require tex(graphicsx.sty)

This explicit dependency has only recently become necessary.

Set input.check_compatible at the lexer ctor time.

Before this update input.check_compatible has been set after lexer
ctor finished. This was too late for has_version() to work properly
within the lexer ctor.

Fix operator precedence issue introduced by commit 6469522cf.

Drop the --compatible part of the private.exp testcase.

Can go back in once some system tapset starts relying on the "private"
keyword.

Testsuite additions and fixes for the "private" keyword feature.

* testsuite/systemtap.base/modargs.exp: Fix the testcase.
* testsuite/systemtap.base/optim_arridx.exp: Ditto.
* testsuite/systemtap.onthefly/affection.exp: Ditto.
* testsuite/systemtap.base/private.{exp,stp}: New testcase.

Document the "private" keyword feature.

Add documentation for changes brought by commit 38bf68a81d.

Introduce "private" keyword for tapsets and user scripts.

With this update global variables and functions may be marked "private"
limiting their scope to a tapset or usersctipt file per PR19136.

* NEWS: Add entry.
* elaborate.cxx: Match names to decls within find_var(), update
  generation of synthetic probes within add_global_var_display().
* parse.cxx: Recognize the "private" keyword.
* stapdyn/mutator.cxx: Pass global variable names to the dyninst
  runtime with "__global_" prefix.
* staprun/staprun_funcs.c: Pass global variable names to the kernel
  runtime with "__global_" prefix.
* tapset-utrace.cxx, tapsets.cxx: Prefix internal globals that are
  bypassing the parser.
* util.cxx, util.h: Add detox_path() as a support function.

docs: add tex(nomencl.sty) dependency

nomencl.sty is available from at least RHEL5 onward, so let's not bundle it.

Forget about latex2html in configury; we don't use it in builds any more.

Fix the shamed -Werror bug link

stap: buildrun's -Werror is not really optional

We really, really do want -Werror in kbuild invocations, else things
like "warning: passing argument from incompatible pointer type" will be
allowed, and that's almost certainly a fatal problem for kernel code.

This particular warning first shows up in stapconf checks for tracepoint
features, which then leads to uncompilable code elsewhere, so at least
it fails nicely.  But we don't want *any* warnings to sneak through.
The string in buildrun.cxx is now slightly obfuscated so it may escape
Gentoo's blunt sed removal.

This also removes the undocumented, obfuscated, *evil* option from the
command which omitted -Werror.  If you're really so sure that you don't
need it, you must now talk to this guy:

 ______________
< I <3 -Werror >
 --------------
      \                    / \  //\
       \    |\___/|      /   \//  \\
            /0  0  \__  /    //  | \ \
           /     /  \/_/    //   |  \  \
           @_^_@'/   \/_   //    |   \   \
           //_^_/     \/_ //     |    \    \
        ( //) |        \///      |     \     \
      ( / /) _|_ /   )  //       |      \     _\
    ( // /) '/,_ _ _/  ( ; -.    |    _ _\.-~        .-~~~^-.
  (( / / )) ,-{        _      `-.|.-~-.           .~         `.
 (( // / ))  '/\      /                 ~-. _ .-~      .-~^-.  \
 (( /// ))      `.   {            }                   /      \  \
  (( / ))     .----~-.\        \-'                 .~         \  `. \^-.
             ///.----..>        \             _ -~             `.  ^-`  ^-_
               ///-._ _ _ _ _ _ _}^ - - - - ~                     ~-- ,.-~
                                                                  /.-~

PR14431 cont'd: syscalls testsuite fallout

jistone helpfully noted that the innocuous tapset changes broke the
syscall testsuite, since the latter looks for particular idiosyncratic
hex patterns.  Lovingly adjusting them, a single line at a time, until
[7]f+ turns into the newly consistentified 0x[7]f+, etc.

PR14431 cont'd: user_string_n2_quoted()

Turn this lower-level tapset function into a pure-script alternative
that uses the same new standard 0xHEX notation for failed accesses
that the {user,kernel}_string_quoted() ones do.

testsuite: wrap /usr/bin/stress invocations in /usr/bin/timeout -k

On some platforms (I'm winking at you, rawhide!), stress(1) could get
into a hung state when running under stap probes, even though it was
given the "-t TIMEOUT" parameter.  Now we wrap it in timeout(1), which
makes sure that stress won't last forever.

runtime: reject overlong UTF-8, output as raw octal instead

Since string_quoted is meant to unambiguously represent its output, it's a
bad idea to let different UTF-8 byte sequences lead to the same Unicode
code point.  This can only happen if you allow 0-padded UTF-8 that ends up
longer than necessary.  It's especially bad if you let long zero encodings
like 0xC0 0x80 be treated as a string terminator!

If any UTF-8 was decoded from more bytes than its value should have needed,
just write it verbatim with octal escapes instead.

runtime: simplify byte counts in _stp_decode_utf8

runtime: share code for \u and \U escaped output

examples: add callgraph.stp simple sample

Make a small change to runtime/stp_string.c to avoid RHEL5 compile errors.

* runtime/stp_string.c (_stp_decode_utf8): Add some initializations to
  make RHEL5's compiler happy.

Update the mmreclaim.stp example's "meta" file.

* testsuite/systemtap.examples/memory/mmreclaim.meta (test_support): Relax
  test support requirements, only checking for any tracepoint that looks
  like "mm_*reclaim*".

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Update the mmreclaim.stp example scripts.

* testsuite/systemtap.examples/memory/mmreclaim.stp: Update script for
  newer kernels (RHEL7+).

runtime: produce unicode escapes in _stp_text_str

Instead of just writing raw octal escapes, detect and decode well-formed
UTF-8 sequences and write them as \uXXXX or \UXXXXXXXX.

forktracker: add TIDs to the trace

It can be confusing for users to see that a PID forked into the same PID,
but really this is just a new thread in that process.  Printing the TIDs
makes this more obvious.

runtime/dyninst: add a dummy _stp_is_compat_task()

Fixes buildok/arch_bytes.stp.

Update the mmfilepage.stp and net_xmit_json.stp example scripts.

* testsuite/systemtap.examples/memory/mmfilepage.stp: Update script for
  newer kernels (RHEL7+).
* testsuite/systemtap.examples/memory/mmfilepage.meta (test_support):
  Relax support requirements.
* testsuite/systemtap.examples/network/net_xmit_json.stp: Make the
  "net_dev_start_xmit" tracepoint optional, since it doesn't exist in some
  kernels.
* testsuite/systemtap.examples/network/net_xmit_json.meta: Ditto.
* testsuite/systemtap.examples/profiling/fileline-profile.meta: Correct
  typo so that the script gets built.

Update the 'autofs4' example script for current kernels.

* testsuite/systemtap.examples/network/autofs4.stp: Update for kernels >
  RHEL5-era kernels.
* testsuite/systemtap.examples/network/autofs4.meta (test_support): Remove
  'test_support' line since the script should work everywhere now.

Add testcases for prologue and epilogue style aliases.

runtime: handle the edges of utf-lengths better

The edge cases of UTF-8 lengths in _stp_convert_utf32 were using "<"
instead of "<=", causing some values to output overlong encodings.
(Some of these are noncharacters anyway, but they're still encodable.)

/*stable*/ embedded-c functions: restore check for arity-0

During the various rewrites, this check got lost, and caused
arity-1 putatively-/*stable*/ functions to be recognized in
pass 2 but cause a SEGV in pass 3.

PR14431: improve quoting of pretty-printed strings in $foo$$

Switch to using {kernel,user}_string_quoted() for expansion of
char-ish $var$ expansions.  Required adding utf16/32 wrappers
for same, made easier by new tapset function string_quoted().

Update the testsuite rpm requires for a couple of examples.

* systemtap.spec: Make the testsuite rpm require "perf", since some of the
  example "meta" files use it.

Update the fslatency-nd.stp and fsslower-nd.stp examples for newer kernels.

* testsuite/systemtap.examples/lwtools/fslatency-nd.stp: Updated for newer
  kernels, without the kernel functions "do_sync_read", "do_sync_write",
  and "sock_aio_write".
* testsuite/systemtap.examples/lwtools/fsslower-nd.stp: Ditto.

Another fullpath_struct_path() @cast search fix (PR19120).

* tapset/linux/dentry.stp (fullpath_struct_path): Fix the @cast() module
  path search so we look for "<linux/path.h>" in the kernel, not in
  userspace.

Fixed PR19120 by rearranging the list of modules to search in @cast().

* tapset/linux/dentry.stp (fullpath_struct_path): Rearrange the list of
  modules to search for 'struct path' so that looking in "<linux/path.h>"
  comes last, so that RHEL5-era kernels don't make it that far. That
  include file doesn't exist on RHEL5-era kernels, which causes kbuild
  warnings.

Update several of the example scripts for better kernel coverage.

* testsuite/systemtap.examples/network/tcp_trace.stp: Handle change in the
  tcp_sock structure in newer kernels.
* testsuite/systemtap.examples/process/pfiles.stp: Add changes for
  RHEL6-era kernels and kernels >= 4.0.
* testsuite/systemtap.examples/process/pstree.stp: Handle kernels < 3.7.
* testsuite/systemtap.examples/process/rlimit_nofile.stp: Add a fallback
  for when the kernel function __alloc_fd() doesn't exist.
* testsuite/systemtap.examples/process/schedtimes.stp: Handle newer
  kernels where the "sched_wakeup" tracepoint doesn't have a 'success'
  argument.
* testsuite/systemtap.examples/profiling/fileline-profile.stp: Handle
  32-bit kernels better by making the global array smaller.
* testsuite/systemtap.examples/profiling/pf3.stp: Ditto.
* testsuite/systemtap.examples/profiling/pf4.stp: Ditto.
* testsuite/systemtap.examples/io/slowvfs.meta: Add 'test_support' line.
* testsuite/systemtap.examples/process/procmod_watcher.meta: Ditto.

Standardize and fix mm's exe_file handling for kernels >= 4.1.

* runtime/task_finder_vma.c (stap_find_exe_file): Rewrite
  stap_find_exe_file() to handle kernels >= 4.1.
* runtime/linux/task_finder.c (__stp_get_mm_path): Call the net
  stap_find_exe_file(), which handles locking the mm.
* runtime/linux/task_finder.c (__stp_get_mm_path): Ditto.
* runtime/linux/uprobes-inode.c (stapiu_get_task_inode): Ditto.
* tapset/linux/task.stp (task_exe_file): Ditto.

Fixed PR6525 by adding functions to get a task's cwd and exe path.

* tapset/linux/task.stp (task_cwd_path:long): New function.
  (task_exe_file): Ditto.
* buildrun.cxx (compile_pass): Add export test for "get_mm_exe_file()".
* testsuite/systemtap.base/task_paths.exp: New test case.
* testsuite/systemtap.base/task_paths.stp: New test file.
* testsuite/buildok/task-embedded.stp: Added compile tests for new
  functions.

Update systemtap.apps tests.

* (python.exp):  Untest by noting that this test was replaced by
  the example suite python test.
* (xulrunner.exp):  Untest if gtk+-2.0 configure requirement fails
* (py?example.meta):  Require python debuginfo
* (python.stpm):  Update python3-lib version.

New testcase: systemtap.stress/tapset_functions.exp.

Align nd_syscall.mmap* and syscall.mmap* convenience vars lists.

* NEWS: Mention deprecations.
* tapset/linux/aux_syscalls.stp: Deprecate: get_mmap_args().
* tapset/linux/s390/aux_syscalls.stp: Deprecate get_32mmap_args().
* tapset/linux/s390/nd_syscalls.stp: Provide missing convenience vars.
* tapset/linux/x86_64/nd_syscalls.stp: Provide missing convenience vars.
* tapset/linux/x86_64/syscalls.stp: Use convenience vars in argstr.

systemtap configury version bump for future v3.0

Update systemtap.apps tests.

* (mysql.exp, postgres.exp, xulrunner.exp):  Update version,
  adjust test thresholds.

release 2.9 date-stamp fix

testsuite callee.exp: Hunt for the last FAIL:

The hunt is not successful (1 FAIL:), but the tcl code is being
gradually simplified and more diagnostics emitted to help find the
culprit.

on-the-fly testsuite: stablify

Remove the "-g" flag from both {k,u}probe tests; it's not needed, and
for the kernel case can trigger weird hangs due to overriding of the
blacklist.  Relax the output matching patterns, perhaps due to
different ordering of task workqueues in 4.3.0-rc.  Produce more
diagnostics upon failure.

ioblock tapset updates for linux-4.3-rc

Update for linux commit 4246a0b63 and a thinko in
embedded-C to script function conversion.

Fix nd_syscall.(compat_sysctl|sysctl32).return probe.

testsuite/tapset tweaks for 4.3.0-rc

Update the syscalls documentation (based on kernel-4.3.0-0.rc4.git1.1.fc24).

Improve the nfsdtop.stp example script.

* testsuite/systemtap.examples/network/nfsdtop.stp: By default, now
  returns 'dirname/filename' for the last files looked up for each
  client. With any command line argument, returns the full pathname.

kprobe probes: protect kallsyms_on_each_symbol with rcu lock

* kprobe_derived_probe_group::emit_module_init: Wrap
  kallsyms_on_each_symbol in rcu lock, to prevent lockdep
  warning.

tapset: syscall.fadvise64_64.return

Tolerate occasionally mis-dwarf'd sys_fadvise64_64 function by
permitting the .return probe to resolve without a $return value.
Convert to if @defined()-based hack.

elaboration: decorate more pass-2 errors with probe derivation chain / function name

semantic_pass_types() carries out $context variable resolution, but
didn't identify what probe the $variable might have come from.  This
is especially tricky if the derived_probe is many wildcarding/aliasing
levels away from the input probe point.  We now print per-probe (or
analogous per-function) naming during the semantic_pass_types loops
via semantic_error chaining.

Fix PR19057 by making _is_reset() more robust.

* tapset/linux/tcpmib.stp (_is_reset): Make more robust by using
  kderef_buffer() on the tcp header we're reading.

Move s390x's get_32mmap_args() to its proper place.

* tapset/linux/s390/aux_syscalls.stp: Move get_32mmap_args() here.
* tapset/linux/s390/nd_syscalls.stp: Move get_32mmap_args() to
  aux_syscalls.stp.

Fix PR19000 by making task_ns_pid() and task_ns_tid() more robust.

* runtime/linux/namespaces.h (from_target_pid_ns): Make sure the task
  struct is valid before using it. The task_ns_pid() and task_ns_tid()
  tapset functions call from_target_pid_ns().
  (_stp_task_struct_valid): New function.

Added comments and whitespace in runtime/linux/namespaces.h.

RHBZ1269062 redux, less quote elevator_name

dsmith pointed out that switching to a quoted string is not always the
right thing to do, esp. from a backward compatibility point of view.
We now formalize a policy guideline in DEVGUIDE that *_string2 be used
when pointers should be valid but might be 0, which is the situation
with these probe points.

Fix buildability of task_fd_lookup() on 32-bit systems.

RHBZ1269062: quote ioscheduler.* elevator_name value

It was reported that the $q->elevator->elevator_name could be 0.

Fix PR19070 by applying /* pragma:uprobes */ to __ustack_raw().

Fix PR19069 by conditionally including linux/user_namespace.h.

Fix PR19065 by making task_fd_lookup() more robust.

* tapset/linux/task.stp (task_fd_lookup): No longer write to the
  task_struct memory. We check to make sure the memory is valid to read
  from, but that doesn't mean it is valid to write to.

Add another fix for PR19000 by doing more pointer validation in task.stp.

* tapset/linux/task.stp (task_gid): Add more pointer validation.
  (task_egid): Ditto.
  (task_uid): Ditto.
  (task_euid): Ditto.

Fix compile-time issues for a few _struct_compat_*_u() functions.

* tapset/linux/aux_syscalls.stp: Fix _struct_compat_itimerspec_u(),
  and _struct_itimerval_u() so that they compile on non CONFIG_COMPAT
  systems. Fix _struct_sched_attr_u() so that it compiles on kernels
  not having struct sched_attr, i.e. when kernel_v < "3.14".
* testsuite/buildok/aux_syscalls-embedded.stp: Remove unneeded
  constraint for _struct_sched_attr_u() testing.

Fix PR17920 by adding task_fd_lookup().

* tapset/linux/task.stp (task_fd_lookup): New function.
* tapset/linux/dentry.stp (fullpath_struct_file): Ditto.
* testsuite/buildok/dentry-embedded.stp: Added compile test for
  fullpath_struct_file().
* testsuite/buildok/task-embedded.stp: Added compile test for
  task_fd_lookup().
* testsuite/systemtap.base/task_fd_lookup.exp: New testcase for
  task_fd_lookup.
* testsuite/systemtap.base/task_fd_lookup.stp: Ditto.
* testsuite/systemtap.base/task_fd_lookup.c: Ditto.

Fix PR19021 by adding support for synthetic filesystems to task_dentry_path().

* tapset/linux/dentry.stp (task_dentry_path): Add better support for
  synthetic filesystems, like pipes, sockets, etc.
  (fullpath_struct_path): Add better RHEL5 support.

Explicitly set the return type for __stack_raw() and __ustack_raw().

Missing return type defs may cause "unresolved type" error when
calling a function without enough context for type inference to work
like e.g. `stap -e 'probe oneshot{println(__stack_raw(0))}'`.

Fix PR19045 by updating _stp_text_str() (called by kernel_string_quoted()).

* runtime/stp_string.c (_stp_text_str): Use _stp_read_address() to read
  kernel memory also, not just user memory. This should keep us safe from
  invalid pointers.

Fix PR19043 by updating __bio_ino(), __rqstp_gid() and __rqstp_uid().

* tapset/linux/nfsd.stp (__rqstp_uid): Make sure all pointers are valid
  before using them.
  (__rqstp_gid): Ditto.
* tapset/linux/ioblock.stp (__bio_ino): Ditto.
  (bio_rw_num): Rewrite using embedded-C.

Fix pstrace() to prevent it from cycling on s390 with invalid input.

On s390 reading zero address doesn't cause read fault and thus e.g.
pstrace(0) was cycling until MAXACTION got reached.

Specify argument type for _madvice_advice_str:string(behavior:long).

This makes stap --dump-functions report the correct argument type
for _madvice_advice_str().

release date

update AUTHORS file

release: update po files

testsuite plt.c: suppress another compiler warning

testsuite wakeup.*: standardize more

Eliminating the timer.s() wait, putting in a fixed 'sleep NN'
into the -c CMD string makes stopping condition clearer and
overall CMD exit value fixed (0).

testsuite wakeup.*:

On a rawhide smp box, it was possible to see corrupted lines of text
from this test's multiple concurrent outputs, and thus lose counts.
The strings are revised, and exit timing managed mroe carefully,
to make the run more repeatable.

testsuite plt.c: correct compiler warnings

Set up kfails for testsuite/buildok/stap_staticmarkers-detailed.stp.

* testsuite/systemtap.pass1-4/buildok.exp: For
  buildok/stap_staticmarkers-detailed.stp, kfail if we don't have uprobes
  or if we're not running as root. Only root can read "staprun".

Add '-g' switch to testsuite/buildok/task-embedded.stp.

Fix PR19000 by making task.stp functions handle invalid addresses.

* tapset/linux/task.stp (task_ns_pid): Make sure the task_struct pointer
  is valid before using it.
  (task_ns_tid): Ditto.
  (task_gid): Ditto.
  (task_ns_gid): Ditto.
  (task_egid): Ditto.
  (task_ns_egid): Ditto.
  (task_uid): Ditto.
  (task_ns_uid): Ditto.
  (task_euid): Ditto.
  (task_ns_euid): Ditto.
* testsuite/buildok/task-embedded.stp: Add missing functions.

Add explicit typecasts ensuring buildability of json_set_prefix().

Without this update json_set_prefix() doesn't compile on rhel[56]
i686 systems due to "format ‘%lu’ expects type ‘long unsigned int’,
but argument 4 has type ‘size_t’". The reproducer is as follows:
`stap -wge 'probe oneshot {println(json_set_prefix("blah"))}'`

Refix PR18999 by changing the way we check last_error.

* tapsets.cxx (common_probe_entryfn_epilogue): Only check to see if
  'last_error' isn't NULL, don't check to see if it isn't empty.
* tapset/logging.stp (error): Don't provide a default error message.

Fix PR18999 by giving the 'error()' function a default error message.

* tapset/logging.stp (error): If 'msg' is empty, put in a default error
  message. Otherwise the function won't cause an error.

examples index: wrap version note in <p> for css coloring

examples index: note systemtap version

lberk noticed that our examples, and especially their listings at
sourceware.org/systemtap/examples/ may mislead people who run older
versions of systemtap that can't run all modern samples.  We now
add a brief version header to tip people off.

Fix the scheduler tapset on rawhide systems.

* tapset/linux/scheduler.stp (scheduler.process_fork): Fix the
  krpobes-based probe variant for rawhide systems by also probing
  '_do_fork'.

semok/optimize.stp: remove string+long portion

work for PR18455 now produces a mismatch error in the case that
some binary expression has a long expression and a string expression,
meaning the string+long binary expression no longer gets optimized out.

PR18455: avoid duplicate type mismatch errors

elaborate.cxx: stop analyzing the script if an error was generated in
the initial type pass to avoid generating a duplicate error in the
main type resolution pass