Extend global_end.exp to cover private globals too.

Fix synthetic probes generation for written and unread private globals.

Mangling a private global happens based on the name of the file where the
variable got defined.  Stap automatically prints written and unread globals
and private globals at the end of the session.  For autogeneration purposes
of respective derived synthetic probes, we need to keep track of the file
where given variable got defined.

Avoid undefined behavior in get_number_param

An uninitialized assignment led the compiler to assume it must be
initialized after all, which led to an optimization reversing the
conditions of an '&&'.  This triggered valgrind when the condition
actually was uninitialized after all.  See GCC PR68281.

Ditch the long and long long get_number_param for just int64_t, which is
just a pass-through to get_param.  A few fields are now int64_t to
match, so they can never truncate input values on 32-bit systems.  The
other Dwarf_Addr get_number_param is now careful to only copy good
values from get_param.

Just to be paranoid, all base_query and dwarf_query POD members are now
zeroed in the initializer lists, even when the constructor will set a
better value right away.

Mark selected internal tapset global vars as '@__private30'.

Mark tapset global vars, that are only intended to be used
internally within given tapset, as '@__private30'.  This
restriction appears to have no imparct from the testsuite
perspective.  However, it's still possible that some user
script may rely on one of those.  This restriction can be
worked around using 'stap --compatible=2.9' setting.

Fix parsing multiple, comma separated, private global vars.

Fix several uninitialized class members

Reported by Coverity as UNINIT_CTOR.

Fix the uselib syscall testcase by updating the expected output.

Mark internal tapset functions as '@__private30' where possible.

Add '@__private30' macro that gives 'private' keyword for compatibility
mode 3.0 and higher. Mark internal tapset functions as private using
it where possible. Testcases examining private tapset functions must
now use the --compatible=2.9 option.

Prefix global functions in the generated code.

Add '__global_' prefix to global functions in the generated code.
Treat selected internal synthetic functions as private.
Fix using a private function in user script and test-cover it.

* elaborate.cxx: Correctly match global function names to respective
  functiondecls. Match synthetic private functions coming from
  tapset-procfs.cxx (*_procfs_value_*), and tapsets.cxx
  (_sdt_arg_get_addr_) to respective functiondecls.
* main.cxx: Update the --dump-functions feature to correctly deal with
  new internal function names.
* parse.cxx: Add the "__global_" prefix to global functions in the
  generated code.
* staptree.cxx: Update functiondecl::printsig() so that it outputs
  unmangled function name.
* tapset-procfs.cxx: Treat internal synthetic functions
  '*_procfs_value_get*', '*_procfs_value_set*', '*_procfs_value_append*'
  as private.
* tapsets.cxx: Treat internal synthetic functions '*_sdt_arg_get_addr_*'
  as private.
* optim_arridx.exp: Adapt the testcase to new naming.
* private.exp: Add subtest examining use of a private function in
  user script.

Fix the 'if.exp' testcase so that the second test result matters.

* testsuite/systemtap.base/if.exp: Make sure we look for the
  'all_pass_string' twice, since the test case prints it twice.

Add testcases for variables scope.

* testsuite/systemtap.base/var_scope.exp: New test case.
* testsuite/systemtap.base/var_scope.stp: New test file.

man/stap.1: hold forth on DEPRECATION

Explain that our deprecation is done for the users' benefit.

Hide "__global_" mangling from the module parameters

This mangling is an implementation detail of the module, and we don't
want to introduce a version dependency for staprun and stapdyn which
understand this.  Leave the parameter names unmangled and simply map
them to the mangled variable internally.

This also makes sure we don't expose the new private variables as
parameters at all, not even in mangled form.

Make private functions play well with default optimizations.

Without this update, duplicate_function_remover::visit_functioncall()
would treat two different private functions of the same name as one
("Changing B reference to A reference"). This would happen with default
optimizations (without -u). This fix is analogical to b834d412e356
(mcermak/private branch) which does similar thing for private globals.

Extend testcase private.exp to cover PR10607 scenario.

Make test outut easier to compare among runs (PR19135).

Drop PIDs and auxiliary counters from output of listing_mode.exp
valid_pid.exp and bench.exp. With this update test outputs are easier
to compare between testsuite runs and still well debuggable.

Make a few small tweaks to modules_out_of_tree.exp.

* testsuite/systemtap.base/modules_out_of_tree.exp: A few tweaks, move all
  the generated files to a new temporary directory and don't remove the
  temporary directory if we're in verbose mode.

systemtap.spec: partial revert of latex2html configury cleanup

We don't run latex2html, but a few of our .tex files include
\usepackage{html} - which is provided by latex2html.

systemtap.spec: tex package typo fix

systemtap.spec: also require tex(graphicsx.sty)

This explicit dependency has only recently become necessary.

Set input.check_compatible at the lexer ctor time.

Before this update input.check_compatible has been set after lexer
ctor finished. This was too late for has_version() to work properly
within the lexer ctor.

Fix operator precedence issue introduced by commit 6469522cf.

Drop the --compatible part of the private.exp testcase.

Can go back in once some system tapset starts relying on the "private"
keyword.

Testsuite additions and fixes for the "private" keyword feature.

* testsuite/systemtap.base/modargs.exp: Fix the testcase.
* testsuite/systemtap.base/optim_arridx.exp: Ditto.
* testsuite/systemtap.onthefly/affection.exp: Ditto.
* testsuite/systemtap.base/private.{exp,stp}: New testcase.

Document the "private" keyword feature.

Add documentation for changes brought by commit 38bf68a81d.

Introduce "private" keyword for tapsets and user scripts.

With this update global variables and functions may be marked "private"
limiting their scope to a tapset or usersctipt file per PR19136.

* NEWS: Add entry.
* elaborate.cxx: Match names to decls within find_var(), update
  generation of synthetic probes within add_global_var_display().
* parse.cxx: Recognize the "private" keyword.
* stapdyn/mutator.cxx: Pass global variable names to the dyninst
  runtime with "__global_" prefix.
* staprun/staprun_funcs.c: Pass global variable names to the kernel
  runtime with "__global_" prefix.
* tapset-utrace.cxx, tapsets.cxx: Prefix internal globals that are
  bypassing the parser.
* util.cxx, util.h: Add detox_path() as a support function.

docs: add tex(nomencl.sty) dependency

nomencl.sty is available from at least RHEL5 onward, so let's not bundle it.

Forget about latex2html in configury; we don't use it in builds any more.

Fix the shamed -Werror bug link

stap: buildrun's -Werror is not really optional

We really, really do want -Werror in kbuild invocations, else things
like "warning: passing argument from incompatible pointer type" will be
allowed, and that's almost certainly a fatal problem for kernel code.

This particular warning first shows up in stapconf checks for tracepoint
features, which then leads to uncompilable code elsewhere, so at least
it fails nicely.  But we don't want *any* warnings to sneak through.
The string in buildrun.cxx is now slightly obfuscated so it may escape
Gentoo's blunt sed removal.

This also removes the undocumented, obfuscated, *evil* option from the
command which omitted -Werror.  If you're really so sure that you don't
need it, you must now talk to this guy:

 ______________
< I <3 -Werror >
 --------------
      \                    / \  //\
       \    |\___/|      /   \//  \\
            /0  0  \__  /    //  | \ \
           /     /  \/_/    //   |  \  \
           @_^_@'/   \/_   //    |   \   \
           //_^_/     \/_ //     |    \    \
        ( //) |        \///      |     \     \
      ( / /) _|_ /   )  //       |      \     _\
    ( // /) '/,_ _ _/  ( ; -.    |    _ _\.-~        .-~~~^-.
  (( / / )) ,-{        _      `-.|.-~-.           .~         `.
 (( // / ))  '/\      /                 ~-. _ .-~      .-~^-.  \
 (( /// ))      `.   {            }                   /      \  \
  (( / ))     .----~-.\        \-'                 .~         \  `. \^-.
             ///.----..>        \             _ -~             `.  ^-`  ^-_
               ///-._ _ _ _ _ _ _}^ - - - - ~                     ~-- ,.-~
                                                                  /.-~

PR14431 cont'd: syscalls testsuite fallout

jistone helpfully noted that the innocuous tapset changes broke the
syscall testsuite, since the latter looks for particular idiosyncratic
hex patterns.  Lovingly adjusting them, a single line at a time, until
[7]f+ turns into the newly consistentified 0x[7]f+, etc.

PR14431 cont'd: user_string_n2_quoted()

Turn this lower-level tapset function into a pure-script alternative
that uses the same new standard 0xHEX notation for failed accesses
that the {user,kernel}_string_quoted() ones do.

testsuite: wrap /usr/bin/stress invocations in /usr/bin/timeout -k

On some platforms (I'm winking at you, rawhide!), stress(1) could get
into a hung state when running under stap probes, even though it was
given the "-t TIMEOUT" parameter.  Now we wrap it in timeout(1), which
makes sure that stress won't last forever.

runtime: reject overlong UTF-8, output as raw octal instead

Since string_quoted is meant to unambiguously represent its output, it's a
bad idea to let different UTF-8 byte sequences lead to the same Unicode
code point.  This can only happen if you allow 0-padded UTF-8 that ends up
longer than necessary.  It's especially bad if you let long zero encodings
like 0xC0 0x80 be treated as a string terminator!

If any UTF-8 was decoded from more bytes than its value should have needed,
just write it verbatim with octal escapes instead.

runtime: simplify byte counts in _stp_decode_utf8

runtime: share code for \u and \U escaped output

examples: add callgraph.stp simple sample

Make a small change to runtime/stp_string.c to avoid RHEL5 compile errors.

* runtime/stp_string.c (_stp_decode_utf8): Add some initializations to
  make RHEL5's compiler happy.

Update the mmreclaim.stp example's "meta" file.

* testsuite/systemtap.examples/memory/mmreclaim.meta (test_support): Relax
  test support requirements, only checking for any tracepoint that looks
  like "mm_*reclaim*".

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Update the mmreclaim.stp example scripts.

* testsuite/systemtap.examples/memory/mmreclaim.stp: Update script for
  newer kernels (RHEL7+).

runtime: produce unicode escapes in _stp_text_str

Instead of just writing raw octal escapes, detect and decode well-formed
UTF-8 sequences and write them as \uXXXX or \UXXXXXXXX.

forktracker: add TIDs to the trace

It can be confusing for users to see that a PID forked into the same PID,
but really this is just a new thread in that process.  Printing the TIDs
makes this more obvious.

runtime/dyninst: add a dummy _stp_is_compat_task()

Fixes buildok/arch_bytes.stp.

Update the mmfilepage.stp and net_xmit_json.stp example scripts.

* testsuite/systemtap.examples/memory/mmfilepage.stp: Update script for
  newer kernels (RHEL7+).
* testsuite/systemtap.examples/memory/mmfilepage.meta (test_support):
  Relax support requirements.
* testsuite/systemtap.examples/network/net_xmit_json.stp: Make the
  "net_dev_start_xmit" tracepoint optional, since it doesn't exist in some
  kernels.
* testsuite/systemtap.examples/network/net_xmit_json.meta: Ditto.
* testsuite/systemtap.examples/profiling/fileline-profile.meta: Correct
  typo so that the script gets built.

Update the 'autofs4' example script for current kernels.

* testsuite/systemtap.examples/network/autofs4.stp: Update for kernels >
  RHEL5-era kernels.
* testsuite/systemtap.examples/network/autofs4.meta (test_support): Remove
  'test_support' line since the script should work everywhere now.

Add testcases for prologue and epilogue style aliases.

runtime: handle the edges of utf-lengths better

The edge cases of UTF-8 lengths in _stp_convert_utf32 were using "<"
instead of "<=", causing some values to output overlong encodings.
(Some of these are noncharacters anyway, but they're still encodable.)

/*stable*/ embedded-c functions: restore check for arity-0

During the various rewrites, this check got lost, and caused
arity-1 putatively-/*stable*/ functions to be recognized in
pass 2 but cause a SEGV in pass 3.

PR14431: improve quoting of pretty-printed strings in $foo$$

Switch to using {kernel,user}_string_quoted() for expansion of
char-ish $var$ expansions.  Required adding utf16/32 wrappers
for same, made easier by new tapset function string_quoted().

Update the testsuite rpm requires for a couple of examples.

* systemtap.spec: Make the testsuite rpm require "perf", since some of the
  example "meta" files use it.

Update the fslatency-nd.stp and fsslower-nd.stp examples for newer kernels.

* testsuite/systemtap.examples/lwtools/fslatency-nd.stp: Updated for newer
  kernels, without the kernel functions "do_sync_read", "do_sync_write",
  and "sock_aio_write".
* testsuite/systemtap.examples/lwtools/fsslower-nd.stp: Ditto.

Another fullpath_struct_path() @cast search fix (PR19120).

* tapset/linux/dentry.stp (fullpath_struct_path): Fix the @cast() module
  path search so we look for "<linux/path.h>" in the kernel, not in
  userspace.

Fixed PR19120 by rearranging the list of modules to search in @cast().

* tapset/linux/dentry.stp (fullpath_struct_path): Rearrange the list of
  modules to search for 'struct path' so that looking in "<linux/path.h>"
  comes last, so that RHEL5-era kernels don't make it that far. That
  include file doesn't exist on RHEL5-era kernels, which causes kbuild
  warnings.

Update several of the example scripts for better kernel coverage.

* testsuite/systemtap.examples/network/tcp_trace.stp: Handle change in the
  tcp_sock structure in newer kernels.
* testsuite/systemtap.examples/process/pfiles.stp: Add changes for
  RHEL6-era kernels and kernels >= 4.0.
* testsuite/systemtap.examples/process/pstree.stp: Handle kernels < 3.7.
* testsuite/systemtap.examples/process/rlimit_nofile.stp: Add a fallback
  for when the kernel function __alloc_fd() doesn't exist.
* testsuite/systemtap.examples/process/schedtimes.stp: Handle newer
  kernels where the "sched_wakeup" tracepoint doesn't have a 'success'
  argument.
* testsuite/systemtap.examples/profiling/fileline-profile.stp: Handle
  32-bit kernels better by making the global array smaller.
* testsuite/systemtap.examples/profiling/pf3.stp: Ditto.
* testsuite/systemtap.examples/profiling/pf4.stp: Ditto.
* testsuite/systemtap.examples/io/slowvfs.meta: Add 'test_support' line.
* testsuite/systemtap.examples/process/procmod_watcher.meta: Ditto.

Standardize and fix mm's exe_file handling for kernels >= 4.1.

* runtime/task_finder_vma.c (stap_find_exe_file): Rewrite
  stap_find_exe_file() to handle kernels >= 4.1.
* runtime/linux/task_finder.c (__stp_get_mm_path): Call the net
  stap_find_exe_file(), which handles locking the mm.
* runtime/linux/task_finder.c (__stp_get_mm_path): Ditto.
* runtime/linux/uprobes-inode.c (stapiu_get_task_inode): Ditto.
* tapset/linux/task.stp (task_exe_file): Ditto.

Fixed PR6525 by adding functions to get a task's cwd and exe path.

* tapset/linux/task.stp (task_cwd_path:long): New function.
  (task_exe_file): Ditto.
* buildrun.cxx (compile_pass): Add export test for "get_mm_exe_file()".
* testsuite/systemtap.base/task_paths.exp: New test case.
* testsuite/systemtap.base/task_paths.stp: New test file.
* testsuite/buildok/task-embedded.stp: Added compile tests for new
  functions.

Update systemtap.apps tests.

* (python.exp):  Untest by noting that this test was replaced by
  the example suite python test.
* (xulrunner.exp):  Untest if gtk+-2.0 configure requirement fails
* (py?example.meta):  Require python debuginfo
* (python.stpm):  Update python3-lib version.

New testcase: systemtap.stress/tapset_functions.exp.

Align nd_syscall.mmap* and syscall.mmap* convenience vars lists.

* NEWS: Mention deprecations.
* tapset/linux/aux_syscalls.stp: Deprecate: get_mmap_args().
* tapset/linux/s390/aux_syscalls.stp: Deprecate get_32mmap_args().
* tapset/linux/s390/nd_syscalls.stp: Provide missing convenience vars.
* tapset/linux/x86_64/nd_syscalls.stp: Provide missing convenience vars.
* tapset/linux/x86_64/syscalls.stp: Use convenience vars in argstr.

systemtap configury version bump for future v3.0

Update systemtap.apps tests.

* (mysql.exp, postgres.exp, xulrunner.exp):  Update version,
  adjust test thresholds.

release 2.9 date-stamp fix

testsuite callee.exp: Hunt for the last FAIL:

The hunt is not successful (1 FAIL:), but the tcl code is being
gradually simplified and more diagnostics emitted to help find the
culprit.

on-the-fly testsuite: stablify

Remove the "-g" flag from both {k,u}probe tests; it's not needed, and
for the kernel case can trigger weird hangs due to overriding of the
blacklist.  Relax the output matching patterns, perhaps due to
different ordering of task workqueues in 4.3.0-rc.  Produce more
diagnostics upon failure.

ioblock tapset updates for linux-4.3-rc

Update for linux commit 4246a0b63 and a thinko in
embedded-C to script function conversion.

Fix nd_syscall.(compat_sysctl|sysctl32).return probe.

testsuite/tapset tweaks for 4.3.0-rc

Update the syscalls documentation (based on kernel-4.3.0-0.rc4.git1.1.fc24).

Improve the nfsdtop.stp example script.

* testsuite/systemtap.examples/network/nfsdtop.stp: By default, now
  returns 'dirname/filename' for the last files looked up for each
  client. With any command line argument, returns the full pathname.

kprobe probes: protect kallsyms_on_each_symbol with rcu lock

* kprobe_derived_probe_group::emit_module_init: Wrap
  kallsyms_on_each_symbol in rcu lock, to prevent lockdep
  warning.

tapset: syscall.fadvise64_64.return

Tolerate occasionally mis-dwarf'd sys_fadvise64_64 function by
permitting the .return probe to resolve without a $return value.
Convert to if @defined()-based hack.

elaboration: decorate more pass-2 errors with probe derivation chain / function name

semantic_pass_types() carries out $context variable resolution, but
didn't identify what probe the $variable might have come from.  This
is especially tricky if the derived_probe is many wildcarding/aliasing
levels away from the input probe point.  We now print per-probe (or
analogous per-function) naming during the semantic_pass_types loops
via semantic_error chaining.

Fix PR19057 by making _is_reset() more robust.

* tapset/linux/tcpmib.stp (_is_reset): Make more robust by using
  kderef_buffer() on the tcp header we're reading.

Move s390x's get_32mmap_args() to its proper place.

* tapset/linux/s390/aux_syscalls.stp: Move get_32mmap_args() here.
* tapset/linux/s390/nd_syscalls.stp: Move get_32mmap_args() to
  aux_syscalls.stp.

Fix PR19000 by making task_ns_pid() and task_ns_tid() more robust.

* runtime/linux/namespaces.h (from_target_pid_ns): Make sure the task
  struct is valid before using it. The task_ns_pid() and task_ns_tid()
  tapset functions call from_target_pid_ns().
  (_stp_task_struct_valid): New function.

Added comments and whitespace in runtime/linux/namespaces.h.

RHBZ1269062 redux, less quote elevator_name

dsmith pointed out that switching to a quoted string is not always the
right thing to do, esp. from a backward compatibility point of view.
We now formalize a policy guideline in DEVGUIDE that *_string2 be used
when pointers should be valid but might be 0, which is the situation
with these probe points.

Fix buildability of task_fd_lookup() on 32-bit systems.

RHBZ1269062: quote ioscheduler.* elevator_name value

It was reported that the $q->elevator->elevator_name could be 0.

Fix PR19070 by applying /* pragma:uprobes */ to __ustack_raw().

Fix PR19069 by conditionally including linux/user_namespace.h.

Fix PR19065 by making task_fd_lookup() more robust.

* tapset/linux/task.stp (task_fd_lookup): No longer write to the
  task_struct memory. We check to make sure the memory is valid to read
  from, but that doesn't mean it is valid to write to.

Add another fix for PR19000 by doing more pointer validation in task.stp.

* tapset/linux/task.stp (task_gid): Add more pointer validation.
  (task_egid): Ditto.
  (task_uid): Ditto.
  (task_euid): Ditto.

Fix compile-time issues for a few _struct_compat_*_u() functions.

* tapset/linux/aux_syscalls.stp: Fix _struct_compat_itimerspec_u(),
  and _struct_itimerval_u() so that they compile on non CONFIG_COMPAT
  systems. Fix _struct_sched_attr_u() so that it compiles on kernels
  not having struct sched_attr, i.e. when kernel_v < "3.14".
* testsuite/buildok/aux_syscalls-embedded.stp: Remove unneeded
  constraint for _struct_sched_attr_u() testing.

Fix PR17920 by adding task_fd_lookup().

* tapset/linux/task.stp (task_fd_lookup): New function.
* tapset/linux/dentry.stp (fullpath_struct_file): Ditto.
* testsuite/buildok/dentry-embedded.stp: Added compile test for
  fullpath_struct_file().
* testsuite/buildok/task-embedded.stp: Added compile test for
  task_fd_lookup().
* testsuite/systemtap.base/task_fd_lookup.exp: New testcase for
  task_fd_lookup.
* testsuite/systemtap.base/task_fd_lookup.stp: Ditto.
* testsuite/systemtap.base/task_fd_lookup.c: Ditto.

Fix PR19021 by adding support for synthetic filesystems to task_dentry_path().

* tapset/linux/dentry.stp (task_dentry_path): Add better support for
  synthetic filesystems, like pipes, sockets, etc.
  (fullpath_struct_path): Add better RHEL5 support.

Explicitly set the return type for __stack_raw() and __ustack_raw().

Missing return type defs may cause "unresolved type" error when
calling a function without enough context for type inference to work
like e.g. `stap -e 'probe oneshot{println(__stack_raw(0))}'`.

Fix PR19045 by updating _stp_text_str() (called by kernel_string_quoted()).

* runtime/stp_string.c (_stp_text_str): Use _stp_read_address() to read
  kernel memory also, not just user memory. This should keep us safe from
  invalid pointers.

Fix PR19043 by updating __bio_ino(), __rqstp_gid() and __rqstp_uid().

* tapset/linux/nfsd.stp (__rqstp_uid): Make sure all pointers are valid
  before using them.
  (__rqstp_gid): Ditto.
* tapset/linux/ioblock.stp (__bio_ino): Ditto.
  (bio_rw_num): Rewrite using embedded-C.

Fix pstrace() to prevent it from cycling on s390 with invalid input.

On s390 reading zero address doesn't cause read fault and thus e.g.
pstrace(0) was cycling until MAXACTION got reached.

Specify argument type for _madvice_advice_str:string(behavior:long).

This makes stap --dump-functions report the correct argument type
for _madvice_advice_str().

release date

update AUTHORS file

release: update po files

testsuite plt.c: suppress another compiler warning

testsuite wakeup.*: standardize more

Eliminating the timer.s() wait, putting in a fixed 'sleep NN'
into the -c CMD string makes stopping condition clearer and
overall CMD exit value fixed (0).

testsuite wakeup.*:

On a rawhide smp box, it was possible to see corrupted lines of text
from this test's multiple concurrent outputs, and thus lose counts.
The strings are revised, and exit timing managed mroe carefully,
to make the run more repeatable.

testsuite plt.c: correct compiler warnings

Set up kfails for testsuite/buildok/stap_staticmarkers-detailed.stp.

* testsuite/systemtap.pass1-4/buildok.exp: For
  buildok/stap_staticmarkers-detailed.stp, kfail if we don't have uprobes
  or if we're not running as root. Only root can read "staprun".