string_ref rework: use global stringtable

Returning partly to an older model of parser input processing: the
parser::input_contents goes back to a plain string, which may be
modified gradually by $/@ expansion etc.  While string_refs cannot be
made based on that, they don't need to be either, since the
input_contents is a temporary member variable and will be disposed of
when the parser dies.

So we switch back to the prior general logic of
lexer::input_{put,get,peek}, which worked OK.  To populate token
content string_refs, we use a global stringtable (a *set<string>)
against which long-lived string_refs may be issued with a new intern()
call.  The input file contents are amongst those strings interned.
(Many other repeated string uses in the translator could probably
benefit from intern/string_ref'ing, and there are optimization
opportunities within the stringtable implementation proper.)

(While en route, mass-dropped a bunch of unnecessary namespace
prefixes in some affected files.  Sorry for the diff noise.)

rename string and string_ref vars used in lexer::scan()

change file_contents and input_contents to string_ref

parse::parse_probe_point(): store new token's content

in parse_porbe_point() the content for a new token is created by
appending to an existing token's content. the string for the new
token's content needs to be stored somewhere, so we'll store it in
the the probe_point, since we can't access the (private) stapfile.

store file contents as strings in systemtap_session

since we need input_contents and file_contents to last longer
than the lexer, store the input_contents in a  vector in a
systemtap_session. change lexer->input_contents and
stapfile->file_contents to string* so they will point to part of
some string in session->input_contents. will need to change to
string_ref in another commit

adapt lexer::scan() for string_ref token->content

parse.cxx: new append_to_content() and set_token_content() to hide
the logic of work of setting up a token's content.
staptree.h: a vector to contain all the mangled strings that tok->content
will point to

parse.cxx: replace startswith(tok->content,...)

boost::string_ref has a built-in starts_with() functions that
we'll use to replace the std::string  startswith() function.

append .to_string() to tok->content usages

since tok->content are now boost::string_refs, some portions of the
code don't play well with the fact that string_refs can't be
automatically converted into a std::string, so we need to manually add
in a to_string() call to do the conversion.
Note: can't use .data() since the string_ref is proabably not null terminated.

parse.h: change token->content string to string_ref

Breaks a lot of things. Later commits will fix the compile issues
this commit causes.

remove unnecessary token param in lexer::input_put

store lex_cast-ed stap cmd line arguments

session.*: store lex_cast() versions of the stap arguments passed
through the command line.
parse.cxx: if the scanner encounters [$|@]<NN> in a stap script, use
the pre-lex_cast() stap arguments instead of calling lex_cast() each
time the scanner encounters [$|@]<NN>.

don't inject script args into input_contents

parse.cxx: instead of keeping track of a seperate set of file_contents
(lexer->input_contents) in which [$|@]<NN> are replaced by script args,
we'll keep file_contents and input_contents identical to one another
and parse the scripts args strings when we encouter [$|@]<NN>

update-po i18n for zanata liveness checking

Mention PR2111 fix in the NEWS file.

Update NEWS

- include /* stable */ embedded-c pragma details

Remove manual memoization from systemtap example scripts

Stored values are now replaced with an explicit functioncall which
gets optimized by the translator.

Fix and improve testcases

- Modify stable_function testcase to test for functioncall arguments
- Add untested callee testcase to unprivileged_myproc

PR12151: Check functioncall arguments

Visitor will now go into functioncall arguments and transform any
stable functioncalls.

PR12151: Fix recursion problem, add stable synthetic var reading functions

elaborate.cxx - When checking for stable flag, does not follow
functioncall chains. All stable functions are now identified at beginning
of semantic_pass_opt_7.

tapsets.cxx - In non guru-mode, context variable reading functions
are cached.  Moved optimization step 7 after duplicate functioncall
pass to remove duplicate synthetic functions first.

PR12151: Mark tapset functions with /* stable */ flag

Added flags for pure functions with empty parameter list.

PR12151: Loop optimizations

Functioncalls are now lifted into block enclosing top level loop.

Add testcases for stable optimization

* testsuite/systemtap.base/stable* - Testing to make sure that
the result of optimized script matches nonoptimized.
Also checks that the embedded-c functions are called the correct
number of times.

PR12151: Improve optimization to block level

Try to memoize on a block to block basis

stap.1: draft document /* stable */

Note rough semantics of new embedded-C function markup,
and its relationship to /* pure */.

PR12151: Add new visitor

* elaborate.cxx - new visitor to support optimization

Fix PR2111 by autodocumenting syscall tapset.

* doc/SystemTap_Tapset_Reference/syscalls.py: Documentation generator.
* doc/SystemTap_Tapset_Reference/tapsets.tmpl: New syscalls section.
* doc/SystemTap_Tapset_Reference/Makefile.am: Generate syscall docs.
* Other updates are automake generated changes.

Fix listing_mode.exp

PR18075 changes caused listing_mode.exp to find untested probes
which are added in this commit.

Fix unprivileged_probes.exp by aligning it to PR18075 changes.

Commit 80e50fe71e0d98ee65198855c2223184492a069b brought new probes
that unprivileged_probes.exp wasn't aware of.  This change aligns
with documantation introduced in commit f0e06c0d391873a5b04aa8.

testsuite C programs: fix some gcc warnings

A few "undeclared function" warnings could make tests untested.
We ununtest a bunch.

Fix PR18769 by moving @__compat_task() macro.

Moved the @__compat_task() macro from tapset/linux/syscalls.stpm
to tapset/macros.stpm so that both kernel and dyninst runtimes
can consume it.

Update file mode for testsuite/buildok/stap_staticmarkers-detailed.stp

Missing the 'execute' perm on stap_staticmarkers-detailed.stp causes
`ERROR: tcl error sourcing ./systemtap.pass1-4/buildok.exp` during
make installcheck.

Fix PR18711 by updating the netfilter code for new rhel-7.2 kernels.

* buildrun.cxx (compile_pass): Add new netfilter autoconf test.
* runtime/linux/autoconf-netfilter-313b.c: New autoconf test.
* tapset-netfilter.cxx: (emit_module_decls): Add support for new
  netfilter code backported to kernel-3.10.0-284.el7.

sample scripts: add noptrace.txt, regen index

checks for uprobes in the testsuite sdt_varname.exp

Signed-off-by:Snehal Phule <snehal@linux.vnet.ibm.com>

Support java-1.8.0-openjdk.

Update rename.c syscall test for 3.10.0-294.el7 kernels.

On ppc64le, 'renameat2' syscall is unimplemented as defined in the
arch/powerpc/include/asm/systbl.h file. This change also allows
'renameat2' syscall to succeed when renaming a directory to a file
in case RENAME_EXCHANGE is defined.

Update arch_compile_flag_{name,bits}(). The ppc64le is 64bit only.

systemtap.spec changes for ppc64{be,le} java helper library symlinking

systemtap.spec - remove special clauses ppc64{be,le} linking

Add ppc64le to java/Makefile.*

java/Makefile.am - add JAVA_ARCH override for ppc64le
java/Makefile.in - add JAVA_ARCH override for ppc64le

Update the [nd_]syscall.clone probe aliases for rawhide.

* tapset/linux/syscalls.stp: Add '_do_fork' as an alternate probe point
  for syscall.fork. Kernel commit 3033f14ab78c32 renamed 'do_fork' to
  '_do_fork'.
* tapset/linux/nd_syscalls.stp: Ditto.

PR18630: New testcase for dwarfless parameters from a uprobe.

* tapset/s390/registers.stp: Remove constraint added by commit
  eefd579b blocking data acquistion from a uprobe. This is per
  PR18649#c1 and subsequent IRC chat with dsmith, the author
  of the constraint.
* testsuite/systemtap.base/uprobe_nd_params.exp: New testcase.

PR18650: Fix longlong_arg() for powerpc uprobes.

coverity fixes: uninitialized class members

Pro tip: POD class members need explicit initialization.

systemtap.spec: don't prereq prelink on recent fedoras

prelink is deprecated, so while my heart will go on,
its stap support & testing won't.

Add a note to tapset/i386/registers.stp about grabbing the stack pointer.

Add a small syscall tapset fix found by source analysis.

* tapset/linux/syscalls.stp: Change the accept4 probe to use the
  @__syscall_nr_gate() macro instead of calling @__syscall_compat_gate().
  This generates better code.
* tapset/linux/nd_syscalls.stp: Ditto.
* tapset/linux/syscalls.stpm: Add __syscall_nr_gate() macro.
* testsuite/systemtap.syscall/execveat.c: Allow for syscall being
  non-implemented.
* testsuite/systemtap.syscall/getrandom.c: Ditto.
* testsuite/systemtap.syscall/memfd_create.c: Ditto.
* testsuite/systemtap.syscall/sched_attr.c: Ditto.

BZ1241971: add --with-python3 to configury for /usr/bin/dtrace

Preparing for a python3-only world.
Get off my lawn.

Fix PR18651: An nd_syscall tapset cleanup based on PR18597 fix.

continue gettextizing & configury & po update

(As refreshed on f21.)

gettextize to gettext 0.19

Fixed PR18634 by getting timer probes to compile on rawhide.

* runtime/linux/timer.c (_stp_hrtimer_init): If STAPCONF_HRTIMER_GET_RES
  isn't defined, meaning hrtimer_get_res() doesn't exist, just use the
  'hrtimer_resolution' variable.
* buildrun.cxx (compile_pass): Add an export test for hrtimer_get_res().
* translate.cxx (emit_common_header): Remove generated inclusion of
  linux/hrtimer.h.
* runtime/linux/timer.h: Add inclusion of linux/hrtimer.h.

Fixed BZ1240682 by fixing a rawhide compile problem.

* translate.cxx (translate_pass): Move the inclusion of runtime.h up
  before the declaration of the module refresh mutex, to avoid compilation
  problems on rawhide.

PR18555: prefer linkage_name to match the symtab

DW_AT_name is usually only the same as the symbol table for C.  C++
names are mangled, which may be given by DW_AT_linkage_name.  So if we
want to compare a DWARF subprogram to the symbol table by name, we
should prefer the linkage name when it's available.

This mattered especially for ppc64le, where query_dwarf_func was trying
to apply the global/local symbol offset.  When we took a DWARF C++
function and tried to find that name in the symbol table for its offset,
there was no match, so the function wouldn't be resolved at all.

Now that lookup uses the linkage name.  If there's still no match, like
with a stripped symbol table, then it falls through to just use DWARF's
entrypc as usual.

This patch also maintains the raw "addr" and offset "entrypc" separately
for symbol table functions, so for instance update_symtab can still
compare the original address.

Extend expect timeout for bz1027459.exp (wrt. Pass 2/syscall.*)

Simplify a few syscall probes and handle RHEL5 kernels a bit better.

* tapset/linux/nd_syscalls.stp (nd_syscall.truncate): Simplified with fix
  to long_arg() properly returning negative values.
  (nd_syscall.keyctl): Ditto.
* tapset/linux/nd_syscalls2.stp (nd_syscall.quotactl): Only skip calls if
  we're on a kernel >= 2.623, when sys32_quotactl() was introduced.
  (syscall.truncate): Simplified.
* tapset/linux/syscalls2.stp (syscall.quotactl): Only skip calls if we're
  on a kernel >= 2.623, when sys32_quotactl() was introduced.
  (syscall.truncate): Matches more closely with the nd_syscall version,
  which fixed a problem on RHEL5.
* tapset/linux/x86_64/syscalls.stp (syscall.get_thread_area): Added
  support for RHEL5 kernels.
  (syscall.set_thread_area): Ditto.
* tapset/linux/x86_64/nd_syscalls.stp: Ditto.
* testsuite/systemtap.syscall/fallocate.c: Properly handle ppc calls.
* testsuite/systemtap.syscall/keyctl.c: Handle keyctl() being
  non-implemented.
* testsuite/systemtap.syscall/readahead.c: Handle ppc problems and glibc <
  2.8 problems.
* testsuite/systemtap.syscall/readdir.c: Handle readdir() being
  non-implemented.
* testsuite/systemtap.syscall/rt_signal.c (main): Handle
  rt_tgsigqueueinfo() being non-implemented.
* testsuite/systemtap.syscall/uselib.c: Make sure we're on kernel >=
  2.6.22, since before that uselib() could call quiet_ni_syscall(), which
  we can't probe since it is in assembly.

Replace '_stp_is_compat_task()' calls with the appropriate macro.

* tapset/linux/aux_syscalls.stp: Replace all _stp_is_compat_task() tapset
  code calls with the appropriate macro. This ensures they are all marked
  "pure".
* tapset/linux/nd_syscalls.stp: Ditto.
* tapset/linux/nd_syscalls2.stp: Ditto.
* tapset/linux/s390/aux_syscalls.stp: Ditto.
* tapset/linux/syscalls.stpm: Ditto.
* tapset/linux/x86_64/nd_syscalls.stp: Ditto.
* tapset/linux/x86_64/syscalls.stp: Ditto.

Fixed PR18597 by returning negative values correctly from long_arg().

* tapset/powerpc/registers.stp (_stp_arg2): New function that fixes the
  problem with _stp_arg() where long_arg() doesn't handle negative values
  correctly. Callers can also force a 64-bit returned value.
  (longlong_arg): Force a 64-bit return value.
* tapset/s390/registers.stp: Ditto.
* tapset/x86_64/registers.stp: Ditto.
* tapset/linux/nd_syscalls2.stp: Simplified nd_syscall.sync_file_range.
* tapset/linux/nd_syscalls.stp: Simplified nd_syscall.io_submit.
* testsuite/systemtap.syscall/pread.c: Add more 64-bit values to test.
* testsuite/systemtap.syscall/pwrite.c: Ditto.

Various fixes for test failures caused by implicit warnings.

Add various function and variable declarations and/or includes for
failures caused by new gcc warnings -Wimplicit-function-declaration
or -Wimplicit-int.

Include unistd.h in uprobe_stmt_num.c

Fixes compile test failure because of new gcc warning:
warning: implicit declaration of function 'sleep'

Include stdlib.h in uprobe_stmt_num.c

Fixes compile test failure because of new gcc warning:
warning: implicit declaration of function 'srand'

Include string.h in pthreadprobes.c

Fixes compile test failure because of new gcc warning:
warning: implicit declaration of function 'strcmp'

unwind.c (compute_expr): Don't fallthrough after div/mod/shr.

When processing DW_OP_div, DW_OP_mod or DW_OP_shr compute_expr
would accidentially fallthrough to the next case statement causing
the DWARF value stack to contain wrong values.

Two small stat code fixes found by source analysis.

* runtime/stat-common.c (_stp_stat_print_histogram_buf): Fixed small
  potential overflow problem by widening values.
* runtime/stat.c (_stp_stat_init): Fixed missing 'va_end' call in an error
  situation.

PR18571: tapset support bpf and seccomp syscalls

NEWS: Deprecate seccomp's 'uargs' in favor of 'uargs_uaddr'.
tapset/linux/aux_syscalls.stp: New _seccomp_op_str() and _bpf_cmd_str().
tapset/linux/nd_syscalls.stp: New probe nd_syscall.bpf.
tapset/linux/nd_syscalls2.stp: Update probe nd_syscall.seccomp.
tapset/linux/syscalls.stp: New probe syscall.bpf.
tapset/linux/syscalls2.stp: Update probe syscall.seccomp.
testsuite/buildok/aux_syscalls-embedded.stp: Test _seccomp_op_str(), _bpf_cmd_str().
testsuite/buildok/nd_syscalls-detailed.stp: Test probe nd_syscall.bpf.
testsuite/buildok/nd_syscalls2-detailed.stp: Update test for probe nd_syscall.seccomp.
testsuite/buildok/syscalls-detailed.stp: Test probe syscall.bpf.
testsuite/buildok/syscalls2-detailed.stp: Update test for probe syscall.seccomp.
testsuite/systemtap.syscall/bpf.c: New testcase.
testsuite/systemtap.syscall/seccomp.c: New testcase.

Fixed PR18598 by adding a build test case for tapset/stap_staticmarkers.stp.

* testsuite/buildok/stap_staticmarkers-detailed.stp: New test case.

Fixed PR18577 by making 'stap -l **' faster.

* tapsets.cxx (suggest_marks): Don't generate the suggestion list if we're
  in either of the listing modes (-l/-L) and the verbose level is less
  than 2.
  (suggest_plt_functions): Ditto.
  (suggest_dwarf_functions): Ditto.
* elaborate.cxx (suggest_functors): Ditto.
* elaborate.h: Updated suggest_functors declaration.
* tapset/linux/rpc.stp: Make some optional probes more optional.
* tapset/linux/scsi.stp: Ditto.
* tapset/linux/signal.stp: Ditto.
* tapset/linux/syscalls2.stp: Ditto.
* tapset/linux/nd_syscalls2.stp: Ditto.

PR18075 documentation

PR18075 add callee.return probes

PR18462: Allow library macro deprecation

Parts of the tapset code can get deprecated using conditionals as
described in the HACKING file. This patch extends this to library
macros, which can now get deprecated too. Patch includes example
macro deprecation and a testcase.

* NEWS: Mention '__int32_compat' library macro deprecation.
* parse.cxx: Allow library macro deprecation.
* tapset/linux/syscalls.stpm: Deprecate '__int32_compat' macro.
* testsuite/parseok/macros09.stp: New testcase.

PR13664: test that map indexes don't propagate dwarf types

runtime/unwind.c: Also sanity check DWARF regno for DW_CFA_restore[_extended].

When processCFI wanted to restore a register state to its initial value it
wasn't checking whether the register was actually interesting (or existing).
DWARF_REG_MAP might return a marker (9999) that we don't know or don't care
about this register. This was checked in all the set_*_rule functions, but
not in the case we reset the rule of the register. Add this check also for
DW_CFA_restore[_extended].

Fixed PR18563 by updating mbrwatch.meta.

* testsuite/systemtap.examples/io/mbrwatch.meta: Update to ignore any
  devices called 'sr[0-0]', which on ppc64 aren't disk drives.

Fixed PR18562 by updating listing_mode.exp for systems without uprobes.

* testsuite/systemtap.base/listing_mode.exp: For systems without uprobes,
  such as ia64 and some s390x kernels, mark probes requiring uprobes as
  untested.

PR17737 cont'd: switch to out-of-line xsl parameter file

The "generate.toc" parameter is a PITA to pass on the xmlto command
line with --stringparam, because it's whitespace-laden and structured.
So instead we switch to the "xmlto -m FRAGMENT.xml" mechanism.

scripts/update-docs: reduce effort

Do only a partial checkout and build only the docs, if possible.

Improved spawned process cleanup in stmt_counting.exp and valid_pid.exp.

* testsuite/systemtap.base/stmt_counting.exp: Properly call "close" and
  "wait" after "spawn" call.
* testsuite/systemtap.base/valid_pid.exp: Ditto.

Fixed PR17831 by making kprobes_onthefly.exp more robust.

* testsuite/systemtap.onthefly/kprobes_onthefly.exp: Switch from probing
  'vfs.read' and 'vfs.read.return' to probing the underlying kernel
  function to avoid inlines, which confused the output.

Mark json-detailed.stp as an expected fail in buildok-dyninst.exp.

* testsuite/systemtap.pass1-4/buildok-dyninst.exp: Mark json-detailed.stp
  as an expected fail since it requires procfs probes.

bump versions to 2.9

Fixed PR18554 by upating the list.exp test case.

* testsuite/systemtap.base/list.exp: Look for several inlined kernel
  functions instead of just one (since on any particular kernel there
  might not be an inlined version of that function).

Fixed PR18552 by updating the dump_probe_aliases.exp test case.

* testsuite/systemtap.base/dump_probe_aliases.exp: Update by using
  '__syscall.accept' instead of '__syscall.lseek', which no longer
  exists

Fixed PR18551 by updating the migrate.stp example script.

* testsuite/systemtap.examples/process/migrate.stp: Now prefers using the
  'sched_migrate_task' tracepoint since its arguments will always be
  available. Updated to use more of the functions from task.stp.

release 2.8 dating in .spec and NEWS

regenerate examples index

Improved spawned process cleanup in several test cases.

* testsuite/systemtap.base/additional_scripts.exp: Properly call "close"
  and "wait" after "spawn" call.
* testsuite/systemtap.base/dtrace.exp: Ditto.
* testsuite/systemtap.base/listing_mode.exp: Ditto.
* testsuite/systemtap.base/proc_by_pid.exp: Ditto.
* testsuite/systemtap.base/valid_pid.exp: Ditto.
* testsuite/systemtap.clone/main_quiesce.exp: Ditto.

NEWS: mention man page additions, @task and golang

update AUTHORS file

Fix PR18460 by updating the tracepoint_onthefly.exp test for ppc64.

* testsuite/systemtap.onthefly/tracepoint_onthefly.exp: On ppc64, don't
  probe kernel tracepoints causing a crash.

releng: update-po

Fixed PR18538 by updating the scsi tapset.

* tapset/linux/scsi.stp: Fix problems on rawhide by removing source file
  names from probe aliases. These don't appear to be needed and they cause
  problems if functions get moved around.

xhtml-common.xsl: remove use of writing.mode var

the writing.mode var doesn't always exist. on RHEL5 it doesn't
seem to exist at all, so xmlto fails to build the beginner docs.

Fixed PR18526 by updating the socket tapset.

* tapset/linux/socket.stp: Add support for socket_write_iter() and
  socket_read_iter(), the replacements for socket_aio_write() and
  socket_aio_read. Update socket.sendmsg for newer kernels. Update
  _get_sock_addr() for newer kernels.
* testsuite/buildok/socket-detailed.stp: Updated and add tests for new
  probes.

Ensure we have everything we need before trying the net_xmit_json.stp example.

* testsuite/systemtap.examples/network/net_xmit_json.meta: Check for the
  needed tracepoints before trying to compile and run.

Fixed PR18518 by updating the vfs and nfs tapsets.

* tapset/linux/vfs.stp: Fix the vfs.do_sync_read and vfs.do_sync_write
  probe aliases on rawhide kernels where the underlying probe points no
  longer exist.
* tapset/linux/nfs.stp: Update probes that use vfs.do_sync_read and
  vfs.do_sync_write.

Made x86_64 specific [nd_]syscall.vm86_warning probes optional.

* tapset/linux/x86_64/syscalls.stp: Made vm86_warning optional, since it
  doesn't exist anymore on rawhide.
* tapset/linux/x86_64/nd_syscalls.stp: Ditto.
* testsuite/buildok/syscalls-arch-detailed.stp: Updated.
* testsuite/buildok/nd_syscalls-arch-detailed.stp: Ditto.

NEWS piece on the ns-aware tapsets

make pid ns tapsets available on kernel 3.7

[task_]ns_* tapsets: throw error instead of returning -1

get_task_from_pid() only if def CONFIG_*_NS

staprun: send STP_NAMESPACE_PID msg only if -N PID