runtime: share code for \u and \U escaped output

examples: add callgraph.stp simple sample

Make a small change to runtime/stp_string.c to avoid RHEL5 compile errors.

* runtime/stp_string.c (_stp_decode_utf8): Add some initializations to
  make RHEL5's compiler happy.

Update the mmreclaim.stp example's "meta" file.

* testsuite/systemtap.examples/memory/mmreclaim.meta (test_support): Relax
  test support requirements, only checking for any tracepoint that looks
  like "mm_*reclaim*".

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Update the mmreclaim.stp example scripts.

* testsuite/systemtap.examples/memory/mmreclaim.stp: Update script for
  newer kernels (RHEL7+).

runtime: produce unicode escapes in _stp_text_str

Instead of just writing raw octal escapes, detect and decode well-formed
UTF-8 sequences and write them as \uXXXX or \UXXXXXXXX.

forktracker: add TIDs to the trace

It can be confusing for users to see that a PID forked into the same PID,
but really this is just a new thread in that process.  Printing the TIDs
makes this more obvious.

runtime/dyninst: add a dummy _stp_is_compat_task()

Fixes buildok/arch_bytes.stp.

Update the mmfilepage.stp and net_xmit_json.stp example scripts.

* testsuite/systemtap.examples/memory/mmfilepage.stp: Update script for
  newer kernels (RHEL7+).
* testsuite/systemtap.examples/memory/mmfilepage.meta (test_support):
  Relax support requirements.
* testsuite/systemtap.examples/network/net_xmit_json.stp: Make the
  "net_dev_start_xmit" tracepoint optional, since it doesn't exist in some
  kernels.
* testsuite/systemtap.examples/network/net_xmit_json.meta: Ditto.
* testsuite/systemtap.examples/profiling/fileline-profile.meta: Correct
  typo so that the script gets built.

Update the 'autofs4' example script for current kernels.

* testsuite/systemtap.examples/network/autofs4.stp: Update for kernels >
  RHEL5-era kernels.
* testsuite/systemtap.examples/network/autofs4.meta (test_support): Remove
  'test_support' line since the script should work everywhere now.

Add testcases for prologue and epilogue style aliases.

runtime: handle the edges of utf-lengths better

The edge cases of UTF-8 lengths in _stp_convert_utf32 were using "<"
instead of "<=", causing some values to output overlong encodings.
(Some of these are noncharacters anyway, but they're still encodable.)

/*stable*/ embedded-c functions: restore check for arity-0

During the various rewrites, this check got lost, and caused
arity-1 putatively-/*stable*/ functions to be recognized in
pass 2 but cause a SEGV in pass 3.

PR14431: improve quoting of pretty-printed strings in $foo$$

Switch to using {kernel,user}_string_quoted() for expansion of
char-ish $var$ expansions.  Required adding utf16/32 wrappers
for same, made easier by new tapset function string_quoted().

Update the testsuite rpm requires for a couple of examples.

* systemtap.spec: Make the testsuite rpm require "perf", since some of the
  example "meta" files use it.

Update the fslatency-nd.stp and fsslower-nd.stp examples for newer kernels.

* testsuite/systemtap.examples/lwtools/fslatency-nd.stp: Updated for newer
  kernels, without the kernel functions "do_sync_read", "do_sync_write",
  and "sock_aio_write".
* testsuite/systemtap.examples/lwtools/fsslower-nd.stp: Ditto.

Another fullpath_struct_path() @cast search fix (PR19120).

* tapset/linux/dentry.stp (fullpath_struct_path): Fix the @cast() module
  path search so we look for "<linux/path.h>" in the kernel, not in
  userspace.

Fixed PR19120 by rearranging the list of modules to search in @cast().

* tapset/linux/dentry.stp (fullpath_struct_path): Rearrange the list of
  modules to search for 'struct path' so that looking in "<linux/path.h>"
  comes last, so that RHEL5-era kernels don't make it that far. That
  include file doesn't exist on RHEL5-era kernels, which causes kbuild
  warnings.

Update several of the example scripts for better kernel coverage.

* testsuite/systemtap.examples/network/tcp_trace.stp: Handle change in the
  tcp_sock structure in newer kernels.
* testsuite/systemtap.examples/process/pfiles.stp: Add changes for
  RHEL6-era kernels and kernels >= 4.0.
* testsuite/systemtap.examples/process/pstree.stp: Handle kernels < 3.7.
* testsuite/systemtap.examples/process/rlimit_nofile.stp: Add a fallback
  for when the kernel function __alloc_fd() doesn't exist.
* testsuite/systemtap.examples/process/schedtimes.stp: Handle newer
  kernels where the "sched_wakeup" tracepoint doesn't have a 'success'
  argument.
* testsuite/systemtap.examples/profiling/fileline-profile.stp: Handle
  32-bit kernels better by making the global array smaller.
* testsuite/systemtap.examples/profiling/pf3.stp: Ditto.
* testsuite/systemtap.examples/profiling/pf4.stp: Ditto.
* testsuite/systemtap.examples/io/slowvfs.meta: Add 'test_support' line.
* testsuite/systemtap.examples/process/procmod_watcher.meta: Ditto.

Standardize and fix mm's exe_file handling for kernels >= 4.1.

* runtime/task_finder_vma.c (stap_find_exe_file): Rewrite
  stap_find_exe_file() to handle kernels >= 4.1.
* runtime/linux/task_finder.c (__stp_get_mm_path): Call the net
  stap_find_exe_file(), which handles locking the mm.
* runtime/linux/task_finder.c (__stp_get_mm_path): Ditto.
* runtime/linux/uprobes-inode.c (stapiu_get_task_inode): Ditto.
* tapset/linux/task.stp (task_exe_file): Ditto.

Fixed PR6525 by adding functions to get a task's cwd and exe path.

* tapset/linux/task.stp (task_cwd_path:long): New function.
  (task_exe_file): Ditto.
* buildrun.cxx (compile_pass): Add export test for "get_mm_exe_file()".
* testsuite/systemtap.base/task_paths.exp: New test case.
* testsuite/systemtap.base/task_paths.stp: New test file.
* testsuite/buildok/task-embedded.stp: Added compile tests for new
  functions.

Update systemtap.apps tests.

* (python.exp):  Untest by noting that this test was replaced by
  the example suite python test.
* (xulrunner.exp):  Untest if gtk+-2.0 configure requirement fails
* (py?example.meta):  Require python debuginfo
* (python.stpm):  Update python3-lib version.

New testcase: systemtap.stress/tapset_functions.exp.

Align nd_syscall.mmap* and syscall.mmap* convenience vars lists.

* NEWS: Mention deprecations.
* tapset/linux/aux_syscalls.stp: Deprecate: get_mmap_args().
* tapset/linux/s390/aux_syscalls.stp: Deprecate get_32mmap_args().
* tapset/linux/s390/nd_syscalls.stp: Provide missing convenience vars.
* tapset/linux/x86_64/nd_syscalls.stp: Provide missing convenience vars.
* tapset/linux/x86_64/syscalls.stp: Use convenience vars in argstr.

systemtap configury version bump for future v3.0

Update systemtap.apps tests.

* (mysql.exp, postgres.exp, xulrunner.exp):  Update version,
  adjust test thresholds.

release 2.9 date-stamp fix

testsuite callee.exp: Hunt for the last FAIL:

The hunt is not successful (1 FAIL:), but the tcl code is being
gradually simplified and more diagnostics emitted to help find the
culprit.

on-the-fly testsuite: stablify

Remove the "-g" flag from both {k,u}probe tests; it's not needed, and
for the kernel case can trigger weird hangs due to overriding of the
blacklist.  Relax the output matching patterns, perhaps due to
different ordering of task workqueues in 4.3.0-rc.  Produce more
diagnostics upon failure.

ioblock tapset updates for linux-4.3-rc

Update for linux commit 4246a0b63 and a thinko in
embedded-C to script function conversion.

Fix nd_syscall.(compat_sysctl|sysctl32).return probe.

testsuite/tapset tweaks for 4.3.0-rc

Update the syscalls documentation (based on kernel-4.3.0-0.rc4.git1.1.fc24).

Improve the nfsdtop.stp example script.

* testsuite/systemtap.examples/network/nfsdtop.stp: By default, now
  returns 'dirname/filename' for the last files looked up for each
  client. With any command line argument, returns the full pathname.

kprobe probes: protect kallsyms_on_each_symbol with rcu lock

* kprobe_derived_probe_group::emit_module_init: Wrap
  kallsyms_on_each_symbol in rcu lock, to prevent lockdep
  warning.

tapset: syscall.fadvise64_64.return

Tolerate occasionally mis-dwarf'd sys_fadvise64_64 function by
permitting the .return probe to resolve without a $return value.
Convert to if @defined()-based hack.

elaboration: decorate more pass-2 errors with probe derivation chain / function name

semantic_pass_types() carries out $context variable resolution, but
didn't identify what probe the $variable might have come from.  This
is especially tricky if the derived_probe is many wildcarding/aliasing
levels away from the input probe point.  We now print per-probe (or
analogous per-function) naming during the semantic_pass_types loops
via semantic_error chaining.

Fix PR19057 by making _is_reset() more robust.

* tapset/linux/tcpmib.stp (_is_reset): Make more robust by using
  kderef_buffer() on the tcp header we're reading.

Move s390x's get_32mmap_args() to its proper place.

* tapset/linux/s390/aux_syscalls.stp: Move get_32mmap_args() here.
* tapset/linux/s390/nd_syscalls.stp: Move get_32mmap_args() to
  aux_syscalls.stp.

Fix PR19000 by making task_ns_pid() and task_ns_tid() more robust.

* runtime/linux/namespaces.h (from_target_pid_ns): Make sure the task
  struct is valid before using it. The task_ns_pid() and task_ns_tid()
  tapset functions call from_target_pid_ns().
  (_stp_task_struct_valid): New function.

Added comments and whitespace in runtime/linux/namespaces.h.

RHBZ1269062 redux, less quote elevator_name

dsmith pointed out that switching to a quoted string is not always the
right thing to do, esp. from a backward compatibility point of view.
We now formalize a policy guideline in DEVGUIDE that *_string2 be used
when pointers should be valid but might be 0, which is the situation
with these probe points.

Fix buildability of task_fd_lookup() on 32-bit systems.

RHBZ1269062: quote ioscheduler.* elevator_name value

It was reported that the $q->elevator->elevator_name could be 0.

Fix PR19070 by applying /* pragma:uprobes */ to __ustack_raw().

Fix PR19069 by conditionally including linux/user_namespace.h.

Fix PR19065 by making task_fd_lookup() more robust.

* tapset/linux/task.stp (task_fd_lookup): No longer write to the
  task_struct memory. We check to make sure the memory is valid to read
  from, but that doesn't mean it is valid to write to.

Add another fix for PR19000 by doing more pointer validation in task.stp.

* tapset/linux/task.stp (task_gid): Add more pointer validation.
  (task_egid): Ditto.
  (task_uid): Ditto.
  (task_euid): Ditto.

Fix compile-time issues for a few _struct_compat_*_u() functions.

* tapset/linux/aux_syscalls.stp: Fix _struct_compat_itimerspec_u(),
  and _struct_itimerval_u() so that they compile on non CONFIG_COMPAT
  systems. Fix _struct_sched_attr_u() so that it compiles on kernels
  not having struct sched_attr, i.e. when kernel_v < "3.14".
* testsuite/buildok/aux_syscalls-embedded.stp: Remove unneeded
  constraint for _struct_sched_attr_u() testing.

Fix PR17920 by adding task_fd_lookup().

* tapset/linux/task.stp (task_fd_lookup): New function.
* tapset/linux/dentry.stp (fullpath_struct_file): Ditto.
* testsuite/buildok/dentry-embedded.stp: Added compile test for
  fullpath_struct_file().
* testsuite/buildok/task-embedded.stp: Added compile test for
  task_fd_lookup().
* testsuite/systemtap.base/task_fd_lookup.exp: New testcase for
  task_fd_lookup.
* testsuite/systemtap.base/task_fd_lookup.stp: Ditto.
* testsuite/systemtap.base/task_fd_lookup.c: Ditto.

Fix PR19021 by adding support for synthetic filesystems to task_dentry_path().

* tapset/linux/dentry.stp (task_dentry_path): Add better support for
  synthetic filesystems, like pipes, sockets, etc.
  (fullpath_struct_path): Add better RHEL5 support.

Explicitly set the return type for __stack_raw() and __ustack_raw().

Missing return type defs may cause "unresolved type" error when
calling a function without enough context for type inference to work
like e.g. `stap -e 'probe oneshot{println(__stack_raw(0))}'`.

Fix PR19045 by updating _stp_text_str() (called by kernel_string_quoted()).

* runtime/stp_string.c (_stp_text_str): Use _stp_read_address() to read
  kernel memory also, not just user memory. This should keep us safe from
  invalid pointers.

Fix PR19043 by updating __bio_ino(), __rqstp_gid() and __rqstp_uid().

* tapset/linux/nfsd.stp (__rqstp_uid): Make sure all pointers are valid
  before using them.
  (__rqstp_gid): Ditto.
* tapset/linux/ioblock.stp (__bio_ino): Ditto.
  (bio_rw_num): Rewrite using embedded-C.

Fix pstrace() to prevent it from cycling on s390 with invalid input.

On s390 reading zero address doesn't cause read fault and thus e.g.
pstrace(0) was cycling until MAXACTION got reached.

Specify argument type for _madvice_advice_str:string(behavior:long).

This makes stap --dump-functions report the correct argument type
for _madvice_advice_str().

release date

update AUTHORS file

release: update po files

testsuite plt.c: suppress another compiler warning

testsuite wakeup.*: standardize more

Eliminating the timer.s() wait, putting in a fixed 'sleep NN'
into the -c CMD string makes stopping condition clearer and
overall CMD exit value fixed (0).

testsuite wakeup.*:

On a rawhide smp box, it was possible to see corrupted lines of text
from this test's multiple concurrent outputs, and thus lose counts.
The strings are revised, and exit timing managed mroe carefully,
to make the run more repeatable.

testsuite plt.c: correct compiler warnings

Set up kfails for testsuite/buildok/stap_staticmarkers-detailed.stp.

* testsuite/systemtap.pass1-4/buildok.exp: For
  buildok/stap_staticmarkers-detailed.stp, kfail if we don't have uprobes
  or if we're not running as root. Only root can read "staprun".

Add '-g' switch to testsuite/buildok/task-embedded.stp.

Fix PR19000 by making task.stp functions handle invalid addresses.

* tapset/linux/task.stp (task_ns_pid): Make sure the task_struct pointer
  is valid before using it.
  (task_ns_tid): Ditto.
  (task_gid): Ditto.
  (task_ns_gid): Ditto.
  (task_egid): Ditto.
  (task_ns_egid): Ditto.
  (task_uid): Ditto.
  (task_ns_uid): Ditto.
  (task_euid): Ditto.
  (task_ns_euid): Ditto.
* testsuite/buildok/task-embedded.stp: Add missing functions.

Add explicit typecasts ensuring buildability of json_set_prefix().

Without this update json_set_prefix() doesn't compile on rhel[56]
i686 systems due to "format ‘%lu’ expects type ‘long unsigned int’,
but argument 4 has type ‘size_t’". The reproducer is as follows:
`stap -wge 'probe oneshot {println(json_set_prefix("blah"))}'`

Refix PR18999 by changing the way we check last_error.

* tapsets.cxx (common_probe_entryfn_epilogue): Only check to see if
  'last_error' isn't NULL, don't check to see if it isn't empty.
* tapset/logging.stp (error): Don't provide a default error message.

Fix PR18999 by giving the 'error()' function a default error message.

* tapset/logging.stp (error): If 'msg' is empty, put in a default error
  message. Otherwise the function won't cause an error.

examples index: wrap version note in <p> for css coloring

examples index: note systemtap version

lberk noticed that our examples, and especially their listings at
sourceware.org/systemtap/examples/ may mislead people who run older
versions of systemtap that can't run all modern samples.  We now
add a brief version header to tip people off.

Fix the scheduler tapset on rawhide systems.

* tapset/linux/scheduler.stp (scheduler.process_fork): Fix the
  krpobes-based probe variant for rawhide systems by also probing
  '_do_fork'.

semok/optimize.stp: remove string+long portion

work for PR18455 now produces a mismatch error in the case that
some binary expression has a long expression and a string expression,
meaning the string+long binary expression no longer gets optimized out.

PR18455: avoid duplicate type mismatch errors

elaborate.cxx: stop analyzing the script if an error was generated in
the initial type pass to avoid generating a duplicate error in the
main type resolution pass

PR18455: add type mismatch checks in const_folder

elaborate.cxx: in const_folder::visit_binary_expression() if one
side is a literal number and the other is not pe_long or pe_unkown,
produce a type mismatch

PR18455: include early check for type mismatches

elaborate.cxx: during the initial typeres pass, we'll check for early type
mismatches (ignoring unresolved types), and produce errors (if verbose).

PR18455: globals type_details are null in initial typres

elaborate.cxx: in the intial type pass, follow semantic_pass_types()
and set globals' type_details to null, since globals are not supposed
to have detailed types. this fixes the semko/autocast05.stp failure.

PR18455: use an initial_typeres_info visitor

elaborate.cxx: since some visit* functions in the typeresolution_info visitor
just throw errors, create an initial_typeresolution_info visitor that
overwrites those functions to account for substitutions/replacements not being
done. semko tests autocast05 and binexpr_infer_type fail with theses changes.

PR18455: use an initial type resolution pass

elaborate.cxx: for the const_folder visitor attempt to resolve some
times before the const_foler visitor is called. this is to try to
propogate an expression's type that is implied by what expression it's
in, up to the vardecl, to avoid unresolved type errors in cases like:
{println(i*0)}

PR18455: testcases for type inference changes

semok/*: if some part of a binary expresion is elided in the const_folder
visitor, the type inference is still passed on.
semko/*: if some part of a binary expression, where one expression is a
string and the other is a long, gets elided in the const_folder visitor,
the type inference is still passed on, and stap reports a type mismatch.

PR18455: suggest type in const_folder binary expr

elaborate.cxx: within const_folder::visit_binary_expression(), for cases
like {println(i+0)} where part of the binary expression is elided, suggest
what the type (pe_long) should be to the remaining part of the expression.

Fix BZ1264678 by updating the networking tapset for the 4.1 kernel.

* tapset/linux/networking.stp (netdev.transmit): Prefer
  __dev_queue_xmit() if available.
  (netdev.hard_transmit): Handle the change in argument name from 'skb' to
  'first'.

Actually test nfsdtop.stp by fixing its 'meta' file.

* testsuite/systemtap.examples/network/nfsdtop.meta (test_installcheck):
  Fix typo so that we actually test nfsdtop.stp instead of nfsd_unlink.stp.

tapset: remove unnecessary casts in rlimit_from_str()

PR18885: Use /* unmodified-fnargs */ in tapsets

* runtime/stp_string.[ch]: Make _stp_text_str's "in" parameter const.
* tapset/dyninst/context-envvar.stp: Optimize env_var().
* tapset/linux/context-caller.stp: Optimize _caller_match().
* tapset/linux/kretprobe.stp: Optimize _set_kretprobe_string().
* tapset/linux/panic.stp: Speed up the panic().
* tapset/linux/rlimit.stp: Optimize rlimit_from_str().
* tapset/string.stp: Optimize strlen(), substr(), stringat(), isinstr(),
text_str(), text_strn(), strtol(), isdigit().
* tapset/tokenize.stp: Optimize tokenize().
* tapset/uconversions.stp: Optimize user_string_n2(), user_string2_n_warn().

PR18885: drop sensitivity of error() to /* unmodifed-fnargs */

Switch to a less tricky implementation that uses explicit
string copies operations rather than char*-sharing to preserve
the incoming error message.

process_by_pid.exp: Known failures marked as KFAIL per PR18971.

kretprobe.stp: sanity check the probe_type

systemtap-service.exp: Testcase update for modern developer toolset.

Fix PR18944 by updating runtime/linux/autoconf-blk-types.c.

* runtime/linux/autoconf-blk-types.c: Add linux/blkdev.h that hopefully
  includes linux/rh_kabi.h. We can't include it directly since it doesn't
  exist on non-RHEL kernels.

Fix s390 [nd_]syscall.fallocate argstr.

* tapset/linux/s390/nd_syscalls.stp: Remove 'mode' from argstr.
* tapset/linux/s390/syscalls.stp: Ditto.

bz1252436.exp: Only run the testcase within installcheck under root.

PR17921: add testcase

PR17921 - /proc/kallsyms symbols

* translate.cxx: allow translator to read /proc/kallsyms when
  debuginfo is not available.

New regression test for rhbz1252436

New regression test for rhbz1214176.

Fixed PR18942 by avoiding the inclusion of unused global variables.

* tapset/linux/aux_syscalls.stp (__count_envp): Changed the name of the
  'argc' local variable to '__argc' to avoid confusing the translator with
  the global 'argc' variable from tapset/argv.stp.
  (__count_compat_envp): Ditto.

PR18936: extend the lifetime of synthesized DW_OP_addr

In dwflpp::literal_stmt_for_local(), a fake addr_loc is created for
variables we find in the symbol table.  But this addr_loc had tight
scope on the stack, and its contents were clobbered by the time the
pointer was read by emit_header().

Just extending the lifetime to the whole function scope is enough.

Fix missing exec perm on parseko/cmdline23.stp and parseok/cmdline03.stp.

Missing the 'execute' perm on parse{ok,ko} files causes `ERROR: tcl error
sourcing ...` during make installcheck.