RHBZ1269062 redux, less quote elevator_name

dsmith pointed out that switching to a quoted string is not always the
right thing to do, esp. from a backward compatibility point of view.
We now formalize a policy guideline in DEVGUIDE that *_string2 be used
when pointers should be valid but might be 0, which is the situation
with these probe points.

Fix buildability of task_fd_lookup() on 32-bit systems.

RHBZ1269062: quote ioscheduler.* elevator_name value

It was reported that the $q->elevator->elevator_name could be 0.

Fix PR19070 by applying /* pragma:uprobes */ to __ustack_raw().

Fix PR19069 by conditionally including linux/user_namespace.h.

Fix PR19065 by making task_fd_lookup() more robust.

* tapset/linux/task.stp (task_fd_lookup): No longer write to the
  task_struct memory. We check to make sure the memory is valid to read
  from, but that doesn't mean it is valid to write to.

Add another fix for PR19000 by doing more pointer validation in task.stp.

* tapset/linux/task.stp (task_gid): Add more pointer validation.
  (task_egid): Ditto.
  (task_uid): Ditto.
  (task_euid): Ditto.

Fix compile-time issues for a few _struct_compat_*_u() functions.

* tapset/linux/aux_syscalls.stp: Fix _struct_compat_itimerspec_u(),
  and _struct_itimerval_u() so that they compile on non CONFIG_COMPAT
  systems. Fix _struct_sched_attr_u() so that it compiles on kernels
  not having struct sched_attr, i.e. when kernel_v < "3.14".
* testsuite/buildok/aux_syscalls-embedded.stp: Remove unneeded
  constraint for _struct_sched_attr_u() testing.

Fix PR17920 by adding task_fd_lookup().

* tapset/linux/task.stp (task_fd_lookup): New function.
* tapset/linux/dentry.stp (fullpath_struct_file): Ditto.
* testsuite/buildok/dentry-embedded.stp: Added compile test for
  fullpath_struct_file().
* testsuite/buildok/task-embedded.stp: Added compile test for
  task_fd_lookup().
* testsuite/systemtap.base/task_fd_lookup.exp: New testcase for
  task_fd_lookup.
* testsuite/systemtap.base/task_fd_lookup.stp: Ditto.
* testsuite/systemtap.base/task_fd_lookup.c: Ditto.

Fix PR19021 by adding support for synthetic filesystems to task_dentry_path().

* tapset/linux/dentry.stp (task_dentry_path): Add better support for
  synthetic filesystems, like pipes, sockets, etc.
  (fullpath_struct_path): Add better RHEL5 support.

Explicitly set the return type for __stack_raw() and __ustack_raw().

Missing return type defs may cause "unresolved type" error when
calling a function without enough context for type inference to work
like e.g. `stap -e 'probe oneshot{println(__stack_raw(0))}'`.

Fix PR19045 by updating _stp_text_str() (called by kernel_string_quoted()).

* runtime/stp_string.c (_stp_text_str): Use _stp_read_address() to read
  kernel memory also, not just user memory. This should keep us safe from
  invalid pointers.

Fix PR19043 by updating __bio_ino(), __rqstp_gid() and __rqstp_uid().

* tapset/linux/nfsd.stp (__rqstp_uid): Make sure all pointers are valid
  before using them.
  (__rqstp_gid): Ditto.
* tapset/linux/ioblock.stp (__bio_ino): Ditto.
  (bio_rw_num): Rewrite using embedded-C.

Fix pstrace() to prevent it from cycling on s390 with invalid input.

On s390 reading zero address doesn't cause read fault and thus e.g.
pstrace(0) was cycling until MAXACTION got reached.

Specify argument type for _madvice_advice_str:string(behavior:long).

This makes stap --dump-functions report the correct argument type
for _madvice_advice_str().

release date

update AUTHORS file

release: update po files

testsuite plt.c: suppress another compiler warning

testsuite wakeup.*: standardize more

Eliminating the timer.s() wait, putting in a fixed 'sleep NN'
into the -c CMD string makes stopping condition clearer and
overall CMD exit value fixed (0).

testsuite wakeup.*:

On a rawhide smp box, it was possible to see corrupted lines of text
from this test's multiple concurrent outputs, and thus lose counts.
The strings are revised, and exit timing managed mroe carefully,
to make the run more repeatable.

testsuite plt.c: correct compiler warnings

Set up kfails for testsuite/buildok/stap_staticmarkers-detailed.stp.

* testsuite/systemtap.pass1-4/buildok.exp: For
  buildok/stap_staticmarkers-detailed.stp, kfail if we don't have uprobes
  or if we're not running as root. Only root can read "staprun".

Add '-g' switch to testsuite/buildok/task-embedded.stp.

Fix PR19000 by making task.stp functions handle invalid addresses.

* tapset/linux/task.stp (task_ns_pid): Make sure the task_struct pointer
  is valid before using it.
  (task_ns_tid): Ditto.
  (task_gid): Ditto.
  (task_ns_gid): Ditto.
  (task_egid): Ditto.
  (task_ns_egid): Ditto.
  (task_uid): Ditto.
  (task_ns_uid): Ditto.
  (task_euid): Ditto.
  (task_ns_euid): Ditto.
* testsuite/buildok/task-embedded.stp: Add missing functions.

Add explicit typecasts ensuring buildability of json_set_prefix().

Without this update json_set_prefix() doesn't compile on rhel[56]
i686 systems due to "format ‘%lu’ expects type ‘long unsigned int’,
but argument 4 has type ‘size_t’". The reproducer is as follows:
`stap -wge 'probe oneshot {println(json_set_prefix("blah"))}'`

Refix PR18999 by changing the way we check last_error.

* tapsets.cxx (common_probe_entryfn_epilogue): Only check to see if
  'last_error' isn't NULL, don't check to see if it isn't empty.
* tapset/logging.stp (error): Don't provide a default error message.

Fix PR18999 by giving the 'error()' function a default error message.

* tapset/logging.stp (error): If 'msg' is empty, put in a default error
  message. Otherwise the function won't cause an error.

examples index: wrap version note in <p> for css coloring

examples index: note systemtap version

lberk noticed that our examples, and especially their listings at
sourceware.org/systemtap/examples/ may mislead people who run older
versions of systemtap that can't run all modern samples.  We now
add a brief version header to tip people off.

Fix the scheduler tapset on rawhide systems.

* tapset/linux/scheduler.stp (scheduler.process_fork): Fix the
  krpobes-based probe variant for rawhide systems by also probing
  '_do_fork'.

semok/optimize.stp: remove string+long portion

work for PR18455 now produces a mismatch error in the case that
some binary expression has a long expression and a string expression,
meaning the string+long binary expression no longer gets optimized out.

PR18455: avoid duplicate type mismatch errors

elaborate.cxx: stop analyzing the script if an error was generated in
the initial type pass to avoid generating a duplicate error in the
main type resolution pass

PR18455: add type mismatch checks in const_folder

elaborate.cxx: in const_folder::visit_binary_expression() if one
side is a literal number and the other is not pe_long or pe_unkown,
produce a type mismatch

PR18455: include early check for type mismatches

elaborate.cxx: during the initial typeres pass, we'll check for early type
mismatches (ignoring unresolved types), and produce errors (if verbose).

PR18455: globals type_details are null in initial typres

elaborate.cxx: in the intial type pass, follow semantic_pass_types()
and set globals' type_details to null, since globals are not supposed
to have detailed types. this fixes the semko/autocast05.stp failure.

PR18455: use an initial_typeres_info visitor

elaborate.cxx: since some visit* functions in the typeresolution_info visitor
just throw errors, create an initial_typeresolution_info visitor that
overwrites those functions to account for substitutions/replacements not being
done. semko tests autocast05 and binexpr_infer_type fail with theses changes.

PR18455: use an initial type resolution pass

elaborate.cxx: for the const_folder visitor attempt to resolve some
times before the const_foler visitor is called. this is to try to
propogate an expression's type that is implied by what expression it's
in, up to the vardecl, to avoid unresolved type errors in cases like:
{println(i*0)}

PR18455: testcases for type inference changes

semok/*: if some part of a binary expresion is elided in the const_folder
visitor, the type inference is still passed on.
semko/*: if some part of a binary expression, where one expression is a
string and the other is a long, gets elided in the const_folder visitor,
the type inference is still passed on, and stap reports a type mismatch.

PR18455: suggest type in const_folder binary expr

elaborate.cxx: within const_folder::visit_binary_expression(), for cases
like {println(i+0)} where part of the binary expression is elided, suggest
what the type (pe_long) should be to the remaining part of the expression.

Fix BZ1264678 by updating the networking tapset for the 4.1 kernel.

* tapset/linux/networking.stp (netdev.transmit): Prefer
  __dev_queue_xmit() if available.
  (netdev.hard_transmit): Handle the change in argument name from 'skb' to
  'first'.

Actually test nfsdtop.stp by fixing its 'meta' file.

* testsuite/systemtap.examples/network/nfsdtop.meta (test_installcheck):
  Fix typo so that we actually test nfsdtop.stp instead of nfsd_unlink.stp.

tapset: remove unnecessary casts in rlimit_from_str()

PR18885: Use /* unmodified-fnargs */ in tapsets

* runtime/stp_string.[ch]: Make _stp_text_str's "in" parameter const.
* tapset/dyninst/context-envvar.stp: Optimize env_var().
* tapset/linux/context-caller.stp: Optimize _caller_match().
* tapset/linux/kretprobe.stp: Optimize _set_kretprobe_string().
* tapset/linux/panic.stp: Speed up the panic().
* tapset/linux/rlimit.stp: Optimize rlimit_from_str().
* tapset/string.stp: Optimize strlen(), substr(), stringat(), isinstr(),
text_str(), text_strn(), strtol(), isdigit().
* tapset/tokenize.stp: Optimize tokenize().
* tapset/uconversions.stp: Optimize user_string_n2(), user_string2_n_warn().

PR18885: drop sensitivity of error() to /* unmodifed-fnargs */

Switch to a less tricky implementation that uses explicit
string copies operations rather than char*-sharing to preserve
the incoming error message.

process_by_pid.exp: Known failures marked as KFAIL per PR18971.

kretprobe.stp: sanity check the probe_type

systemtap-service.exp: Testcase update for modern developer toolset.

Fix PR18944 by updating runtime/linux/autoconf-blk-types.c.

* runtime/linux/autoconf-blk-types.c: Add linux/blkdev.h that hopefully
  includes linux/rh_kabi.h. We can't include it directly since it doesn't
  exist on non-RHEL kernels.

Fix s390 [nd_]syscall.fallocate argstr.

* tapset/linux/s390/nd_syscalls.stp: Remove 'mode' from argstr.
* tapset/linux/s390/syscalls.stp: Ditto.

bz1252436.exp: Only run the testcase within installcheck under root.

PR17921: add testcase

PR17921 - /proc/kallsyms symbols

* translate.cxx: allow translator to read /proc/kallsyms when
  debuginfo is not available.

New regression test for rhbz1252436

New regression test for rhbz1214176.

Fixed PR18942 by avoiding the inclusion of unused global variables.

* tapset/linux/aux_syscalls.stp (__count_envp): Changed the name of the
  'argc' local variable to '__argc' to avoid confusing the translator with
  the global 'argc' variable from tapset/argv.stp.
  (__count_compat_envp): Ditto.

PR18936: extend the lifetime of synthesized DW_OP_addr

In dwflpp::literal_stmt_for_local(), a fake addr_loc is created for
variables we find in the symbol table.  But this addr_loc had tight
scope on the stack, and its contents were clobbered by the time the
pointer was read by emit_header().

Just extending the lifetime to the whole function scope is enough.

Fix missing exec perm on parseko/cmdline23.stp and parseok/cmdline03.stp.

Missing the 'execute' perm on parse{ok,ko} files causes `ERROR: tcl error
sourcing ...` during make installcheck.

Switch to SSL_GetImplementedCiphers()

When nss rebases, the size of SSL_ImplementedCiphers[] may change.  If
we have a copy relocation, this could mean we'll get an incomplete copy
of the array.  Use the accessor function instead for a simple pointer.

See also: https://bugzilla.mozilla.org/show_bug.cgi?id=496993

PR18649: Add tests for the new --prologue-searching option

* NEWS: Add entry describing the new option.
* hash.cxx: Add the option index into the script hash.
* testsuite/parseko/cmdline23.stp: New testcase.
* testsuite/parseok/cmdline03.stp: Ditto.
* testsuite/systemtap.base/pr18649.exp: Ditto.

PR18889 testing: already done by modules_out_of_tree.exp

Ditch bz6503, given that it wasn't reliable.

PR18889: switch to STP_TRACEPOINT* frontend for kernel tracepoint registration

jistone kindly reminded that the runtime/stp_tracepoint.[ch] machinery
allows us to attach to kernel tracepoints, whether on string- or
tp*-based kernel APIs, and whether or not the tp* objects are
EXPORT_TRACEPOINT_SYMBOL_GPL'd.  Let's use those; presto we get
module-init probing back on kernels oldish and newish.

Fix PR18649 by adding --prologue-searching[=WHEN] command line switch.

Add --prologue-searching[=WHEN] command line switch with '-P' being
its short counterpart.  Add respective man page and usage entries.

Using --prologue-searching=never turns prologue searching off
working around issue PR18649.

Fix PR18827 by adding a new testcase and correcting issues it found.

* NEWS: Deprecate powerpc variant of nd_syscall.compat_sysctl.
* scripts/update-syscall-docs: Filter underscore prefixed locals per PR18827#c1.
* tapset/linux/powerpc/nd_syscalls.stp: Deprecation per NEWS.
* tapset/linux/powerpc/syscalls.stp: Remove systemtap_v <= "1.4" deprecated bit.
* tapset/linux/s390/nd_syscalls.stp: Add locals to align to resp. syscall.
* tapset/linux/s390/syscalls.stp: Use existing locals in argstr.
* tapset/linux/syscalls.stp: Fix probe syscall.mq_timedsend.
* testsuite/systemtap.syscall/syscall_consistency.exp: New testcase.

PR18889 part: module-init notification via module_{load,free} tracepoints

Investigating RHBZ1257399 et al., we found that module_notifier is
being called too early after kernel commit #4982223e51.  This
precludes normal module section-address computation and thus kprobe
emplacement.  This patch adds hooking into the module_{load,free}
tracepoints in parallel, because on some kernels (RHEL7.1.Z+) they
occur at just the right time.

On the downside, on recent LKML kernels, attaching to those
tracepoints requires EXPORT_TRACEPOINT_SYMBOL_GPL's, so until that is
done (or another workaround made), LKML kernels will still miss out on
module-init probing.

PR18889 part: improve module-notification related debug tracing

-DDEBUG_KPROBES -DDEBUG_SYMBOLS -DDEBUG_STP_ON_THE_FLY recommended.

PR18885: use unmodified-fnargs in logging.stp

arm/registers.stp: correct the assert condition

The offset condition was not fully inverted in its transition to assert.
(The same checks for other architectures were all done correctly.)

Include assert parameters in document comment

Move assert function

Move assertion function into logging.stp.

PR18876: modify existing tapset and testcases to use assert()

PR18876: new assert tapset function

* new file: tapset/assert.stp

tapset: add fullpath_struct_{nameidata,path}() and probe vfs.open*

Fill little gaps in the tapset.
Includes new sample script io/slowvfs.stp.

Let STAP_PRINTF work with no format args

With ##__VA_ARGS__, cpp will remove the prior comma when there are no
args at all.  This way you avoid syntax errors like 'printf("fmt",)'.

Also #undef STAP_PRINTF at the function end, like other macros.

Escape backslashes on some man pages

Some instances of \n were not escaped.

PR18751: STAP_PRINTF macro

* translate.cxx: new macro for embedded-c functions

PR10977: new address size tapset functions

- new tapset functions get arch_bytes() and uarch_bytes() to obtain
  address size for kernel and user space.

PR16968: update probe help page

* ioblock.stp: update comments so generated pages are correct

PR16493: Remove command line processing and bug fix

* bkl.stp: use stap -G flag instead of manual processing arguments
  also fixed a logic error where backtrace is always turned on.

Add a new command line option to enable print backtraces under some conditions.

Most of the times, when we use bkl.stp to investigate BKL issues, we've found useful to have
the backtrace of the function that holds the BKL. This patch adds a new command line option,
"backtrace=N", that when used enables the use of print_backtrace(). The value of <N>, if present,
is taken as useconds, and it is the limit of time the task or tasks have been waiting to acquire
the lock i.e.:

  # stap blk.stp backtrace=100

That would enable printing of backtrace on all tasks holding the kernel
big lock for more than 100us.

Signed-off-by: Jose Castillo <jcastillo@redhat.com>

PR10487: Include testcase

* switch_file.exp: test that switch_file() works

PR10487: check process id before signal

Make sure the entire process group is not signaled

Delete output files for systemtap.examples tests without output.

PR10487: Include example usage script

PR10487: New tapset to allow output file switching

* tapset/switchfile.stp - new tapset function

Update _stp_pid value

* The pid of the stapio process is updated to reflect the pid
  after forking the process.

PR10551 continued: grsecurity support in transport/symbols.c

A non-grsecism snuck into _stp_module_update_self().

PR2111: support $srcdir != $builddir

Noting that tapsets.tmpl.new is built in the $builddir.

staprun: ignore SIGUSR2 when not writing to a file (-o)

runtime: clear op_index at DW_LNE_end_sequence

Fix to get the signalfd syscall test working.

* testsuite/systemtap.syscall/signalfd.c: Compile the test if either
  __NR_signalfd or __NR_signalfd4 are defined, both do no need to be
  defined.

Fix PR18856 by making nfsd.close optional.

* tapset/linux/nfsd.stp: Make nfsd.close optional in nfsd.entries (and add
  it optionally to nfsd.return), since the underlying probe point no
  longer exists in kernels 4.2+. Also add nfsd.proc.commit.return to
  nfsd.proc.return (to match nfsd.proc).
* testsuite/buildok/nfsd-detailed.stp: Make nfsd.close tests optional.

Tweak several syscall test cases to improve results on rawhide.

* testsuite/systemtap.syscall/clock.c: Relax return code check.
* testsuite/systemtap.syscall/seccomp.c: Ditto.
* testsuite/systemtap.syscall/ioperm.c: Only include sys/io.h if
  __NR_ioperm is defined.
* testsuite/systemtap.syscall/remap_file_pages.c: Define _GNU_SOURCE.
* testsuite/systemtap.syscall/lxattr.c: Include extra headers to avoid
  compilation errors.
* testsuite/systemtap.syscall/process_vm.c: Ditto.
* testsuite/systemtap.syscall/setns.c: Ditto.
* testsuite/systemtap.syscall/sigaltstack.c: Ditto.
* testsuite/systemtap.syscall/xattr.c: Ditto.
* testsuite/systemtap.syscall/sigmask.c: Make inlines static to make
  rawhide's compiler happy.
* testsuite/systemtap.syscall/vhangup.c: Define capget/capset.

PR18503: testcases

* testsuite/procfs_maxsize.exp - make existing testcases compatible
  by throwing away errors / check correct generated size

PR18503: include procfs .maxsize overflow error

* tapset-procfs.cxx - after writing to buffer, generate an error if
  buffer size is not enough

runtime: only compare line records at "commit" states

The state machine for line records may go through intermediate states
which are not proper to compare address against.  Only at DW_LNS_copy,
DW_LNE_end_sequence, and special opcodes are we supposed to "append a
row to the matrix", as the DWARF specification tells us.

The usymfileline testcase didn't hit problems, because its C target only
outputted a simple sequence of special opcodes.  It's now C++, as that's
a very easy way to get code generated from a lot of different files and
lines.  A simple std::find creates pretty complicated line records, even
in an unoptimized build.

stringtable.h: add logical ops and to_string if needed

when it comes to string_ref, boost 1.53 doesn't contain all the
logical operations that we need, nor to_string(). so we'll fill in
the gaps with our own defintions for interned_string.

Update syscall tapset documentation to use cached content.

Before this update syscall tapset autodocumentation has been
generated dynamically at the build time using stap -L call.
This way stap requires kernel-devel RPM matching `uname -r`
which is tricky to achieve in koji. For this reason the content
is cached from now on:

* doc/SystemTap_Tapset_Reference/syscalls.xmlpart
* doc/SystemTap_Tapset_Reference/syscalls.3stap

The scripts/update-syscall-docs can be used to update the cached
content.

string_ref: correct interned_string substr / c_str conflict

jistone pointed out a possible problem in the interned_string
implementation; we break the tie in favour of trivial c_str()
(since commit 3e4547ad096d showed its value).

stap: sort "enabled features" for easier inspection