PR18889 part: improve module-notification related debug tracing

-DDEBUG_KPROBES -DDEBUG_SYMBOLS -DDEBUG_STP_ON_THE_FLY recommended.

PR18885: use unmodified-fnargs in logging.stp

arm/registers.stp: correct the assert condition

The offset condition was not fully inverted in its transition to assert.
(The same checks for other architectures were all done correctly.)

Include assert parameters in document comment

Move assert function

Move assertion function into logging.stp.

PR18876: modify existing tapset and testcases to use assert()

PR18876: new assert tapset function

* new file: tapset/assert.stp

tapset: add fullpath_struct_{nameidata,path}() and probe vfs.open*

Fill little gaps in the tapset.
Includes new sample script io/slowvfs.stp.

Let STAP_PRINTF work with no format args

With ##__VA_ARGS__, cpp will remove the prior comma when there are no
args at all.  This way you avoid syntax errors like 'printf("fmt",)'.

Also #undef STAP_PRINTF at the function end, like other macros.

Escape backslashes on some man pages

Some instances of \n were not escaped.

PR18751: STAP_PRINTF macro

* translate.cxx: new macro for embedded-c functions

PR10977: new address size tapset functions

- new tapset functions get arch_bytes() and uarch_bytes() to obtain
  address size for kernel and user space.

PR16968: update probe help page

* ioblock.stp: update comments so generated pages are correct

PR16493: Remove command line processing and bug fix

* bkl.stp: use stap -G flag instead of manual processing arguments
  also fixed a logic error where backtrace is always turned on.

Add a new command line option to enable print backtraces under some conditions.

Most of the times, when we use bkl.stp to investigate BKL issues, we've found useful to have
the backtrace of the function that holds the BKL. This patch adds a new command line option,
"backtrace=N", that when used enables the use of print_backtrace(). The value of <N>, if present,
is taken as useconds, and it is the limit of time the task or tasks have been waiting to acquire
the lock i.e.:

  # stap blk.stp backtrace=100

That would enable printing of backtrace on all tasks holding the kernel
big lock for more than 100us.

Signed-off-by: Jose Castillo <jcastillo@redhat.com>

PR10487: Include testcase

* switch_file.exp: test that switch_file() works

PR10487: check process id before signal

Make sure the entire process group is not signaled

Delete output files for systemtap.examples tests without output.

PR10487: Include example usage script

PR10487: New tapset to allow output file switching

* tapset/switchfile.stp - new tapset function

Update _stp_pid value

* The pid of the stapio process is updated to reflect the pid
  after forking the process.

PR10551 continued: grsecurity support in transport/symbols.c

A non-grsecism snuck into _stp_module_update_self().

PR2111: support $srcdir != $builddir

Noting that tapsets.tmpl.new is built in the $builddir.

staprun: ignore SIGUSR2 when not writing to a file (-o)

runtime: clear op_index at DW_LNE_end_sequence

Fix to get the signalfd syscall test working.

* testsuite/systemtap.syscall/signalfd.c: Compile the test if either
  __NR_signalfd or __NR_signalfd4 are defined, both do no need to be
  defined.

Fix PR18856 by making nfsd.close optional.

* tapset/linux/nfsd.stp: Make nfsd.close optional in nfsd.entries (and add
  it optionally to nfsd.return), since the underlying probe point no
  longer exists in kernels 4.2+. Also add nfsd.proc.commit.return to
  nfsd.proc.return (to match nfsd.proc).
* testsuite/buildok/nfsd-detailed.stp: Make nfsd.close tests optional.

Tweak several syscall test cases to improve results on rawhide.

* testsuite/systemtap.syscall/clock.c: Relax return code check.
* testsuite/systemtap.syscall/seccomp.c: Ditto.
* testsuite/systemtap.syscall/ioperm.c: Only include sys/io.h if
  __NR_ioperm is defined.
* testsuite/systemtap.syscall/remap_file_pages.c: Define _GNU_SOURCE.
* testsuite/systemtap.syscall/lxattr.c: Include extra headers to avoid
  compilation errors.
* testsuite/systemtap.syscall/process_vm.c: Ditto.
* testsuite/systemtap.syscall/setns.c: Ditto.
* testsuite/systemtap.syscall/sigaltstack.c: Ditto.
* testsuite/systemtap.syscall/xattr.c: Ditto.
* testsuite/systemtap.syscall/sigmask.c: Make inlines static to make
  rawhide's compiler happy.
* testsuite/systemtap.syscall/vhangup.c: Define capget/capset.

PR18503: testcases

* testsuite/procfs_maxsize.exp - make existing testcases compatible
  by throwing away errors / check correct generated size

PR18503: include procfs .maxsize overflow error

* tapset-procfs.cxx - after writing to buffer, generate an error if
  buffer size is not enough

runtime: only compare line records at "commit" states

The state machine for line records may go through intermediate states
which are not proper to compare address against.  Only at DW_LNS_copy,
DW_LNE_end_sequence, and special opcodes are we supposed to "append a
row to the matrix", as the DWARF specification tells us.

The usymfileline testcase didn't hit problems, because its C target only
outputted a simple sequence of special opcodes.  It's now C++, as that's
a very easy way to get code generated from a lot of different files and
lines.  A simple std::find creates pretty complicated line records, even
in an unoptimized build.

stringtable.h: add logical ops and to_string if needed

when it comes to string_ref, boost 1.53 doesn't contain all the
logical operations that we need, nor to_string(). so we'll fill in
the gaps with our own defintions for interned_string.

Update syscall tapset documentation to use cached content.

Before this update syscall tapset autodocumentation has been
generated dynamically at the build time using stap -L call.
This way stap requires kernel-devel RPM matching `uname -r`
which is tricky to achieve in koji. For this reason the content
is cached from now on:

* doc/SystemTap_Tapset_Reference/syscalls.xmlpart
* doc/SystemTap_Tapset_Reference/syscalls.3stap

The scripts/update-syscall-docs can be used to update the cached
content.

string_ref: correct interned_string substr / c_str conflict

jistone pointed out a possible problem in the interned_string
implementation; we break the tie in favour of trivial c_str()
(since commit 3e4547ad096d showed its value).

stap: sort "enabled features" for easier inspection

NEWS: tweak the /* stable */ blurb

fix typo in NEWS

NEWS blurb about interned_string

add string_ref to list of enabled features

when outputting systemtap versions (stap -V), output BOOST_STRING_REF
in the list enabled features

alternate interned_string if no boost::string_ref

string_ref was only introduced in boost 1.53, meaning rhel 5 and 6
might not have a recent enough version. to account for this, if
string_ref is not available, fall back on an alternate definition
of interned_string that uses std::string instead.

remove unused lex_cast()-ed args

interned-string conversion: some more function parameters

Saving some std::string round-trips.

interned_string: construct from null char*

Some of the tapset*cxx functions were used to representing empty
function / file names with NULL char*s.  As these are transitioned to
interned_strings, the latter's ctors must be willing to accept those
NULLs and convert them to empty strings.  (Adjusting all the callers
to pass "" instead of NULL in those slots is also possible.)

stringtable: turn off the INSTRUMENT option by default

interned_string: drop magic c_str() implementation

It turns out that while it was right for boost::string_ref not to
provide it, we can, because our interned_string's backing stores
are full (read-only) std::strings, which always carry a \0.  This
shrinks down our interned_string to 2*sizeof(void*) bytes.

tapset-method.cxx: drop unused variable

INTERNALS: update with some words about interned strings and visitors

error message formatting

With the richer interned_string API, one can return to the previous
way of finding line boundaries in the input string.  While in the
area, we tweak spacing of parse error message lines.

stringtable: add diagnostic logging mode

With INTERNED_STRING_INSTRUMENT set, a /tmp/hash.log file is written
out to record each string being interned.  Looking through that is a
good way of tuning the hash function, as well as what
staptree/etc. variables are reverted to std::string form.  (The hint
is that if strings are hardly ever interned in the log, then maybe
they are not reused either.  But that could instead be because they're
being reused exclusively in interned string_ref form, so don't need to
be rehashed.)

string_ref cont'd, considering token::msg

Experimentation indicates that the sizeof(interned_string)=24
is so much larger than that of an empty sizeof(std::string)=8
that for mostly-empty slots it's a loss!  A 1-byte std::string
causes a 26-byte malloc, so the interned_string is probably
good for nonempty strings.

parser: eliminate needless probe-point-component token duplication

parser::parse_probe_point created a new token unnecessarily, on the
off chance that a component had to be extended due to wildcards like

  probe foo*

Now this is done only if necessary, and even then not by creating
a new token but rewriting the content of a previous one.

stringtable tuning

As guided by "perf stat -r ..." runs, a few microoptimizations on the
string table / interned-string facility.

string_ref: mass interned_string conversion

Converting many many classes' use of std::string to interned_string.
Largely mechanical, and driven by the desire to (a) store long-lived
duplicate strings only once (in the stringtable), and (b) avoid
instantiating std::strings unnecessarily (in temporary variables
or function parameters).

string_ref: switch over to interned_string class

Motivated by frustratingly easy-to-miss memory corruption errors of
the direct boost::string_ref model, switching gears to a new derived
class interned_string.  This one performs proper interning when
converting in from a std::string for all copy/assignment operations.
In many cases, it can simply replace std::string through automatic
conversions in/out, naturally paying a CPU / temporary-memory cost.

string_ref cont'd: exploiting all over the place

Replacing many std::string types, focusing on those stored in
high-cardinality data structures, with boost::string_ref.
Largely mechanical work, with valgrind runs identifying some
persistent trouble-spots of the form

      string_ref FOO = (some_temp_string_value);

which makes them dangle the moment the temp goes out of scope.

string_ref usage correction: drop string_ref->to_string()->c_str() chain

This construct generates stale char* pointers that valgrind notices.
We use a first-class temporary string object for these uses.  (They
should probably be rewritten in terms of string_ref native
operations.)

dwflpp.cxx: memory unleak

The obstacks used for storing piecemeal-printf'd $context functions
could leak if inferior functions threw exceptions.  We now use a
RAII type widget to assure their destruction.

c++11 compatibility tweaks for older code

configury: look for -std=c++11 support

It turns out that c++11's unordered_set<> makes the stringtable
dramatically faster.  Since that is a c++11-only facility, we switch
the translator (stap) to conditionally compile with that flag.

string_ref rework: use global stringtable

Returning partly to an older model of parser input processing: the
parser::input_contents goes back to a plain string, which may be
modified gradually by $/@ expansion etc.  While string_refs cannot be
made based on that, they don't need to be either, since the
input_contents is a temporary member variable and will be disposed of
when the parser dies.

So we switch back to the prior general logic of
lexer::input_{put,get,peek}, which worked OK.  To populate token
content string_refs, we use a global stringtable (a *set<string>)
against which long-lived string_refs may be issued with a new intern()
call.  The input file contents are amongst those strings interned.
(Many other repeated string uses in the translator could probably
benefit from intern/string_ref'ing, and there are optimization
opportunities within the stringtable implementation proper.)

(While en route, mass-dropped a bunch of unnecessary namespace
prefixes in some affected files.  Sorry for the diff noise.)

rename string and string_ref vars used in lexer::scan()

change file_contents and input_contents to string_ref

parse::parse_probe_point(): store new token's content

in parse_porbe_point() the content for a new token is created by
appending to an existing token's content. the string for the new
token's content needs to be stored somewhere, so we'll store it in
the the probe_point, since we can't access the (private) stapfile.

store file contents as strings in systemtap_session

since we need input_contents and file_contents to last longer
than the lexer, store the input_contents in a  vector in a
systemtap_session. change lexer->input_contents and
stapfile->file_contents to string* so they will point to part of
some string in session->input_contents. will need to change to
string_ref in another commit

adapt lexer::scan() for string_ref token->content

parse.cxx: new append_to_content() and set_token_content() to hide
the logic of work of setting up a token's content.
staptree.h: a vector to contain all the mangled strings that tok->content
will point to

parse.cxx: replace startswith(tok->content,...)

boost::string_ref has a built-in starts_with() functions that
we'll use to replace the std::string  startswith() function.

append .to_string() to tok->content usages

since tok->content are now boost::string_refs, some portions of the
code don't play well with the fact that string_refs can't be
automatically converted into a std::string, so we need to manually add
in a to_string() call to do the conversion.
Note: can't use .data() since the string_ref is proabably not null terminated.

parse.h: change token->content string to string_ref

Breaks a lot of things. Later commits will fix the compile issues
this commit causes.

remove unnecessary token param in lexer::input_put

store lex_cast-ed stap cmd line arguments

session.*: store lex_cast() versions of the stap arguments passed
through the command line.
parse.cxx: if the scanner encounters [$|@]<NN> in a stap script, use
the pre-lex_cast() stap arguments instead of calling lex_cast() each
time the scanner encounters [$|@]<NN>.

don't inject script args into input_contents

parse.cxx: instead of keeping track of a seperate set of file_contents
(lexer->input_contents) in which [$|@]<NN> are replaced by script args,
we'll keep file_contents and input_contents identical to one another
and parse the scripts args strings when we encouter [$|@]<NN>

update-po i18n for zanata liveness checking

Mention PR2111 fix in the NEWS file.

Update NEWS

- include /* stable */ embedded-c pragma details

Remove manual memoization from systemtap example scripts

Stored values are now replaced with an explicit functioncall which
gets optimized by the translator.

Fix and improve testcases

- Modify stable_function testcase to test for functioncall arguments
- Add untested callee testcase to unprivileged_myproc

PR12151: Check functioncall arguments

Visitor will now go into functioncall arguments and transform any
stable functioncalls.

PR12151: Fix recursion problem, add stable synthetic var reading functions

elaborate.cxx - When checking for stable flag, does not follow
functioncall chains. All stable functions are now identified at beginning
of semantic_pass_opt_7.

tapsets.cxx - In non guru-mode, context variable reading functions
are cached.  Moved optimization step 7 after duplicate functioncall
pass to remove duplicate synthetic functions first.

PR12151: Mark tapset functions with /* stable */ flag

Added flags for pure functions with empty parameter list.

PR12151: Loop optimizations

Functioncalls are now lifted into block enclosing top level loop.

Add testcases for stable optimization

* testsuite/systemtap.base/stable* - Testing to make sure that
the result of optimized script matches nonoptimized.
Also checks that the embedded-c functions are called the correct
number of times.

PR12151: Improve optimization to block level

Try to memoize on a block to block basis

stap.1: draft document /* stable */

Note rough semantics of new embedded-C function markup,
and its relationship to /* pure */.

PR12151: Add new visitor

* elaborate.cxx - new visitor to support optimization

Fix PR2111 by autodocumenting syscall tapset.

* doc/SystemTap_Tapset_Reference/syscalls.py: Documentation generator.
* doc/SystemTap_Tapset_Reference/tapsets.tmpl: New syscalls section.
* doc/SystemTap_Tapset_Reference/Makefile.am: Generate syscall docs.
* Other updates are automake generated changes.

Fix listing_mode.exp

PR18075 changes caused listing_mode.exp to find untested probes
which are added in this commit.

Fix unprivileged_probes.exp by aligning it to PR18075 changes.

Commit 80e50fe71e0d98ee65198855c2223184492a069b brought new probes
that unprivileged_probes.exp wasn't aware of.  This change aligns
with documantation introduced in commit f0e06c0d391873a5b04aa8.

testsuite C programs: fix some gcc warnings

A few "undeclared function" warnings could make tests untested.
We ununtest a bunch.

Fix PR18769 by moving @__compat_task() macro.

Moved the @__compat_task() macro from tapset/linux/syscalls.stpm
to tapset/macros.stpm so that both kernel and dyninst runtimes
can consume it.

Update file mode for testsuite/buildok/stap_staticmarkers-detailed.stp

Missing the 'execute' perm on stap_staticmarkers-detailed.stp causes
`ERROR: tcl error sourcing ./systemtap.pass1-4/buildok.exp` during
make installcheck.

Fix PR18711 by updating the netfilter code for new rhel-7.2 kernels.

* buildrun.cxx (compile_pass): Add new netfilter autoconf test.
* runtime/linux/autoconf-netfilter-313b.c: New autoconf test.
* tapset-netfilter.cxx: (emit_module_decls): Add support for new
  netfilter code backported to kernel-3.10.0-284.el7.

sample scripts: add noptrace.txt, regen index

checks for uprobes in the testsuite sdt_varname.exp

Signed-off-by:Snehal Phule <snehal@linux.vnet.ibm.com>

Support java-1.8.0-openjdk.

Update rename.c syscall test for 3.10.0-294.el7 kernels.

On ppc64le, 'renameat2' syscall is unimplemented as defined in the
arch/powerpc/include/asm/systbl.h file. This change also allows
'renameat2' syscall to succeed when renaming a directory to a file
in case RENAME_EXCHANGE is defined.

Update arch_compile_flag_{name,bits}(). The ppc64le is 64bit only.

systemtap.spec changes for ppc64{be,le} java helper library symlinking

systemtap.spec - remove special clauses ppc64{be,le} linking

Add ppc64le to java/Makefile.*

java/Makefile.am - add JAVA_ARCH override for ppc64le
java/Makefile.in - add JAVA_ARCH override for ppc64le

Update the [nd_]syscall.clone probe aliases for rawhide.

* tapset/linux/syscalls.stp: Add '_do_fork' as an alternate probe point
  for syscall.fork. Kernel commit 3033f14ab78c32 renamed 'do_fork' to
  '_do_fork'.
* tapset/linux/nd_syscalls.stp: Ditto.

PR18630: New testcase for dwarfless parameters from a uprobe.

* tapset/s390/registers.stp: Remove constraint added by commit
  eefd579b blocking data acquistion from a uprobe. This is per
  PR18649#c1 and subsequent IRC chat with dsmith, the author
  of the constraint.
* testsuite/systemtap.base/uprobe_nd_params.exp: New testcase.