DRY: get NLS definitions in session.h from util.h

Improve BZ812857 by helping current.exp to pass on s390x.

* testsuite/systemtap.stress/current.stp: Make '__switch_to' probe points
  optional, since they can't be probed on the s390x.

stapdyn: TODO updates

- Build integration is in good shape, removing
- Runtime is largely done, but some cleanup left (PR14179)
- Breaking up the tapsets is pretty much done (PR14180)
- New: really need a deref() mechanism
- New: need to rework stapdu_target

Tweak relative git_version.h rules

Merge branch 'master' of git://sourceware.org/git/systemtap

PR14180: Fix tapset documentation for non-root tapsets

* doc/SystemTap_Tapset_Reference/manpager: Use basenames so we can deal
  with tapsets that are from a subdirectory, like tapset/linux/.
* doc/SystemTap_Tapset_Reference/tapsets.tmpl: Update !I paths for the
  many tapsets that moved in commit d3110553.
* tapset/linux/context.stp: Defer <tapsetdescription> to tapset/context.stp

manpager: indent loops

Add tests for missing build id sections (for PR14407).

* testsuite/systemtap.base/buildid.exp: Test removing the build id section
  from a target executable and shared library.

PR11207: search tapset folders for .stpm files.

Gathers a list of .stpm (library) files on the tapset search
path. In this patch, an index of the paths is gathered in
session.library_macro_paths, but the list is not made use of by the
preprocessor.

stapdyn & staprun: Use the top-level git_version.h

Yo dawg, I herd you like Makefile recursion, so I put some recursion in
your recursion so you can version while you version.

Less duplication + more recursion == win?  Another option is to flatten
stapdyn and staprun Makefiles altogether into the root Makefile, but for
now, this is less invasive.

Changing the includes to ../git_version.h is not strictly necessary,
since we also have "-I..", but this way developers won't get burned by
old git_version.h files sitting in staprun/ or stapdyn/.

PR11207: install .stpm files into tapset folders.

PR14378: Better @entry squashing in kprobe.function

@entry is only valid in .return, but kprobe_var_expanding_visitor was
expanding it blindly.  Then kprobe_derived_probe was failing its
assertion that add_call_probe only happens with has_return.  So the test
semko/entry04.stp was failing as it should, but rather ungracefully with
an "Assertion `has_return' failed" abort.

* tapsets.cxx (kprobe_var_expanding_visitor): Add a has_return member so
  we know our current context.
  (kprobe_var_expanding_visitor::visit_entry_op): Guard @entry expansion
  on has_return, the same way dwarf_var_expanding_visitor does.

stapdyn: Add -V option for version/copyright info

* stapdyn/Makefile.am: Add git_version.h.
* stapdyn/Makefile.in: Regenerate.
* stapdyn/stapdyn.cxx (main): Hey buddy, here's your version.

Fixed PR14409 by delaying inode-uprobes registration until after buildid checks.

* runtime/linux/uprobes-inode.c: Rework code to do the buildid check
  before registering uprobes the first time we see a target process.

Fixed PR14427 by handling old and new task_work interface.

* runtime/linux/autoconf-utrace-via-tracepoints.c: Just includes
  task_work.h to determine existence of task_work feature.
* runtime/linux/autoconf-task_work-struct.c: New file.
* buildrun.cxx (compile_pass): Add autoconf-task_work-struct test.
* runtime/linux/task_work_compatibility.h: New header that mask
  differences between old task_work interface and new one.
* runtime/linux/task_finder2.c: Handle removal of 'data' parameter from
  task_work struct by embedding stap_task_finder_target in
  __stp_tf_task_work structure.
* runtime/stp_task_work.c: Include task_work_compatibility.h instead of
  task_work.h.
* runtime/stp_utrace.c (utrace_task_alloc): Update init_task_work()
  function call to compatibility function call.

PR14429: only grumble quietly about preexisting gid/uid conflicts in .spec

configury: add --with-extra-version=STRING option

This is to allow prerelease or other special builds to tag
stap -V / staprun -V outputs with an extra version string.

* configure.ac (with_extra_version): Add option.
* session.cxx (session::version), staprun (parse_args): Print them.
  Hey buddy, what about stapdyn?
* configure, config.in: Regenerated.

PR14180: Doing the tapset shuffle!

Many tapsets are kernel-specific, with no applicability at all
from userspace.  These have all been moved to tapset/linux/.

Some tapsets could be widely applicable, but are implemented with
kernel-specific APIs.  These have been moved to tapset/linux/, and
reimplemented in tapset/dyninst/ too.

Some tapsets are generic utility functions, that don't care at
all where they're run from.  These have been left in place.

ansi.stp: fix a couple sfunction names

stap-report: include buildtime/buildhost in the rpm listing

Add explicit build-id grep from vmlinux and debuginfo to stap-report.

PR11207 groundwork: fix major oops in commit e7c60c35d

Make the buildid.exp testcase more robust with better error checking.

PR14425: restore dummy stapfuncs.3stap man page

* stapfuncs.3stap: It's back, mostly blank.
* stap.1: Mention function::* etc.
* stapex.3stap: Refer to the web site examples too.

PR11207 groundwork: swap pass 1a and 1b as groundwork for .stpm library macro loading.

Note possibility of error recovery for preprocessor %( %) constructs.

PR11207: vary macro error string depending on def'n signature.

Prints either "expected '%('" or "expected '%(' or '('" as makes sense.

Range-check _fildes_index_u and test it

* tapset/linux/aux_syscalls.stp: Make sure the index is 0 or 1.
* testsuite/buildok/aux_syscalls-embedded.stp: Test _fildes_index_u()
  rather than the old, removed _fildes_u().

PR14180: Move all syscall tapsets to linux/

Moving basically all *syscall*.stp into tapset/linux/. These are all
implemented from a kernel assumption, using either kernel.function or
kprobe.function, and the supporting functions also assume that they're
being called from a kernel environment.

PR14180: Search for tapset in additional backend-specific paths

We already search paths in many combinations of kernel version and arch.
For each of these, search also in runtime-specific prefixes, "linux/..."
for kernel mode, and "dyninst/..." for dyninst mode.  (And while we're
at it, only do kernel versioning for kernel mode.)

PR11207: Add a space to a macro error string

PR11207: fix segfault in macro invocation parser.

Revert "PR11207: testsuite for oneline macros feature."

This reverts commit 05b137ec05922db854429770f96ce6a4a1501347.

Revert "PR11207: support for one-line @define in macroprocessor."

This reverts commit 2a82bed6eced5bd3634acd82eb440d46ab8206f4.

PR11207: support for one-line @define in macroprocessor.

Current logic for determining whether to grab a one-line or
a multi-line macro is a bit hairy but well-tested. May go through
it later with a fresh eye to streamline at least the explanatory
comments.

PR11207: testsuite for oneline macros feature.

stap-report: set $PATH, tolerate failures better

parse: Separate "empty or missing" file errors

... especially since there's a third state too: unreadable.

* parse.cxx (parser::parser): Consolidate to a single ctor.
  (parse<istream>): Synthesize the name "<input>" to the parser from here.
  (parse<filename>): Open the file first, check its status, and if good
  only then pass the name and ifstream to the parser.
  (parser::parse): Now here the file is never missing, just empty.

stapdyn: Try to autodetect DYNINSTAPI_RT_LIB

* stapdyn/dynutil.cxx (check_dyninst_rt): New file; Check that env
  DYNINSTAPI_RT_LIB is well set, else guess a good value for it.
* stapdyn/stapdyn.cxx (main): Call check_dyninst_rt().
* stapdyn/dynsdt.cxx (main): Ditto.
* stapdyn/Makefile.am: Build dynutil.cxx and ../util.cxx.
* stapdyn/Makefile.in: Regenerate.

stapdyn: Build dyninst targets in their own subdirectory

* Makefile.am: Remove dyninst targets; add stapdyn/ to SUBDIRS.
* stapdyn/Makefile.am: Add dyninst targets. (base copied from staprun.)
* configure.ac: Process stapdyn/Makefile.
* run-stap.in: Adapt to stapdyn's new location.

* stapdyn/Makefile.in: Generate.
* Makefile.in, configure: Regenerate.

stapdyn: Use PRIx64 when printing GElf_Addr (uint64_t)

PR11207: correctly initialize lexer::saw_tokens.

Dyninst compile fixes for 32-bit systems.

* stapdyn/dynsdt.cxx (find_sdt): Fix printf types for 64-bit longs.
  (instrument_sdt): Ditto.
* stapdyn/stapdyn.cxx (instrument_uprobes): Change type from 'uint64' to
  'int64', since there are only signed 64-bit long BPatch_constExpr
  constructors.

stapdyn: Use an explicit BINDIR path to stapdyn

Added include path to be able to compile for ARM.

Compiling a script against a 3.4 ARM kerne with uprobes support results in a
compile error because struct linux_binprm is not defined. Including
linux/binfmts.h fixes the issue.

Signed-off-by: Torsten Polle <Torsten.Polle@gmx.de>

PR14360: support old behaviour with --compatible.

PR14360: document string literal concatenation in language reference.

PR11210: NEWS entry for alias suffixes feature.

PR12210: couple additional recursive-expansion tests for semko.

Fix permissions for testsuite/parseko/at_operators.stp.

Starting to populate NEWS -- describe string gluing change due to PR14360.

PR11207: initial implementation of macros (definitions visible in same file).

This patch augments systemtap's preprocessor with a simple macro facility,
as follows:

@define add(a,b) %( ((@a)+(@b)) %)
x = add(2,2)

Further details are available in the comments on the preprocessor code,
or in the proposal posted earlier on the mailing list.

PR11207: initial testsuite for macro feature.

stapdyn: Don't check groups for --runtime=dyninst

We don't need to assert stapdev/stapusr group membership for the dyninst
mode, as users are simply allowed to probe anything ptrace-able.  The
groups only apply to our kernel runtime.

Explain add_block_tid and add_call_probe_tid

Commit 8cc799a5d mentioned their need, but it should be commented.

tapset/registers.stp: drop inadverdent / incomplete kerneldoc for __asmlinkage_int_arg

Fixed PR14394 by adding compat_sys_sigprocmask() support.

* tapset/syscalls2.stp: Add compat_sys_sigprocmask() support.
* tapset/nd_syscalls2.stp: Ditto.

More PR13455 (signalfd/compat_signalfd support in nd_syscalls2.stp) fixes.

* tapset/nd_syscalls2.stp: Fix nd_syscall.compat_signalfd probe
  alias. Also fixed a dwarf variable reference in the
  __nd_syscall.compat_signalfd4 probe alias.

Fixed nd_syscall.sigaction32.return.

* tapset/nd_syscalls2.stp: Fix nd_syscall.sigaction32.return to add the
  missing '.return' to the probe alias.

Fixed PR13454 by updating pipe/pipe2 support in nd_syscalls.stp.

* tapset/aux_syscalls.stp (_fildes_index_u): Renamed from _fildes_u() and
  reworked to return pipe fd values (instead of a string).
* tapset/nd_syscalls2.stp: Updated nd_syscall.pipe probe alias to handle
  sys_pipe2().
* testsuite/systemtap.syscall/nd_syscall.exp (syscall_kfails): Removed
  kfail for pipe test.

stapdyn: update configury for newer dyninst master

- Dyninst install path now uses plain $prefix/lib
- More libraries are now required in linking

stapdyn: include limits.h for PATH_MAX

Merge branch 'jistone/stapdyn'

Fix @operator parsing -- special print(@hist_op(...)) case

Another PR13456 fix by removing the kfail.

* testsuite/systemtap.syscall/nd_syscall.exp (syscall_kfails): Removed
  kfail for poll test.

Fixed PR13455 by updating signalfd/compat_signalfd support in nd_syscalls2.stp.

* tapset/nd_syscalls2.stp: Updated nd_syscall.signalfd probe alias to
  handle sys_signalfd4().  Updated nd_syscall.compat_signalfd probe alias
  to handle compat_sys_signalfd4().
* testsuite/systemtap.syscall/nd_syscall.exp (syscall_kfails): Removed
  kfail for signalfd test.

Small fix to syscalls2.stp.

* tapset/syscalls2.stp: Make syscall.compat_signalfd.return probe alias
  match syscall.compat_signalfd probe alias.

Fix use of 'kernel.function' in nd_syscalls2.stp.

* tapset/nd_syscalls2.stp: Fix the nd_syscall.compat_pselect7 probe alias
  using 'kernel.function' instead of 'kprobe.function'.

stap-report: also report kernel+module build-ids

Another PR11424 fix: For ppc64, map ".sys_foo" to "sys_foo".

* tapsets.cxx (load_function_name_cache): For ppc64, map ".sys_foo"
  symbols to "sys_foo".

Cleanup comments, consistent use of 'atword' terminology.

PR11207 groundwork: lexer::scan() produces tok_junk instead of throwing errors.

Handling parse_errors at scan time would get too complicated when there's
a preprocessing stage between the lexer and parser (and it's no longer
clear whether a given token will be used). Hence we produce specially marked
tok_junk which store a message to use when the token is encountered at
print_error() time.

PR11207 groundwork: add a list of @words to check macro names against.

configure: look for distro-installed dyninst too

PR14179: Adapt stapdyn runtime to the new layout

There still remains more to be done to really separate kernel-specific
code in the runtime, but both kernel and stapdyn modes do work now.

Fixed PR13453 by updating inotify support in nd_syscalls.stp.

* tapset/nd_syscalls.stp: Updated nd_syscall.inotify_add_watch() to print
  the mask argument as a string. Updated nd_syscall.inotify_init probe
  alias to handle sys_inotify_init1().
* testsuite/systemtap.syscall/nd_syscall.exp (syscall_kfails): Removed
  inotify kfail.

Fixed PR13451 by updating eventfd support in nd_syscalls.stp.

* tapset/nd_syscalls.stp: Updated nd_syscall.eventfd probe aliase to handle
  sys_eventfd2().
* testsuite/systemtap.syscall/nd_syscall.exp (syscall_kfails): Removed
  eventfd kfail.

Minor fix to PR13456 epoll_create1 nd_syscalls.stp support.

Fixed PR13456 by adding epoll_create1 support to nd_syscalls.stp.

* tapset/nd_syscalls.stp: Updated nd_syscall.epoll_create probe aliase to
  handle epoll_create1.

Fixed PR13451 by updating dup2/dup3 support in nd_syscalls.stp.

* tapset/nd_syscalls.stp: Updated dup2/dup3 probe aliases.
* tapset/registers.stp: Removed dummy function and added
  __asmlinkage_int_arg(), needed by nd_syscall.return functions to grab
  entry values when asmlinkage() is needed.
* testsuite/systemtap.syscall/nd_syscall.exp (syscall_kfails): Removed dup
  kfail.

Made gen_mapped_saved_return() static.

Fixed PR14378 by supporting @entry() in kprobe.function().return probes.

* tapsets.cxx (gen_mapped_saved_return): Removed from the
  dwarf_var_expanding_visitor class.  Also renamed the global variables
  prefix from '_dwarf' to '_entry' (since now dwarfless kprobe probes
  support @entry()).
  (dwarf_var_expanding_visitor::gen_mapped_saved_return): Just calls
  gen_mapped_saved_return().
  (kprobe_var_expanding_visitor): New class.
  (kprobe_derived_probe::kprobe_derived_probe): Uses
  kprobe_var_expanding_visitor to support @entry().
* testsuite/semko/entry04.stp: New test.
* testsuite/semok/entry04.stp: Ditto.

More lexer cleanup: comment on @words change, add gettext calls..

Fix '@operator' parsing -- strictly enforce use of '@' in identifiers.

Generally, the language makes a policy of not allowing people to use '@'
inside arbitrary identifiers. The new test case gives an example of
behaviour that was still allowed by the parser's older scheme for
preventing this.

Identifiers beginning in '@' are now reclassified as tok_operator by the lexer.

Added a comment explaining why there are 2 syscall.dup2 aliases (PR14353).

* tapset/syscalls.stp: Added comment.

Even further tweak to glibc/kernel-headers workaround.

* staprun/staprun.h: Change inclusion of linux/types.h for
  linux/posix_types.h, since the former didn't work with RHEL5.

Stop expecting registration errors on non-existent kprobe.function probes (PR11424).

* testsuite/systemtap.base/badkprobe.exp: Remove invalid tests.

Further tweak to glibc/kernel-headers workaround

... following commit 037853b4644bb6ebd68e2f1fac11c3636f551d8e, for
https://bugzilla.redhat.com/show_bug.cgi?id=840902

Seems it's not always possible to avoid linux/types.h for the conflict
it presents with sys/select.h.  Now include linux/types.h very early, so
glibc can stomp over it with #undef and #define, rather than vice versa.

PR14369: Fix locating SDT w/ $vars, w/o debuginfo

While current SDT can work without debuginfo, trying to use local $vars
still requires a look into DWARF.  If that debuginfo is broken or
missing (as with asm probes), then we were reporting the probe entirely
absent, instead of just the $var broken.

This is undesirable if the $var access might have been optimized away,
or was part of a @defined check that should just get 0.  So now we try
using debuginfo first, but if that fails go the direct route, and bad
$vars can be resolved or error in the normal way.

PR13934: When SDT args don't use N@OP, split on spaces

Assembly probes are not forced to use the N@OP form.  In this case, N is
inferred to be the native word size.  Since we don't have a nice
delimiter, just split it on spaces.  SDT-asm authors then must not put
any spaces in arguments, to avoid ambiguity.

Fixed PR11424 by using System.map data to validate dwarfless kprobe probes.

* tapsets.cxx (kprobe_builder::load_function_name_cache): New function.
  (kprobe_builder::build): Use parsed System.map data to validate
  kprobe.function probe names.

PR14360: update testsuite to reflect new string-gluing behaviour.

PR14360, PR11207: clean up wildcard code in preparation for token-based macros.

in parse.cxx:
- get rid of ate_comment, enable "a" /* comment */ "b" string gluing
- add ate_whitespace to keep track of token adjacency
- restrict wildcard handling code to parse_probe_point()
  - this is now handled by keeping the component tokens of the wildcard
    separate, and gluing them together (conditional on adjacency)

BZ802380: Fixed logic issue and resource leak - Coverity

Coverity issues caught:

REVERSE_INULL
There were some logic issues in sdt_query::setup_note_probe_entry()
with a check for whether "name" was NULL after it was dereferenced,
as well as copying a couple possibly not '\0' terminated char *'s to
strings. These should now be fixed, and work as intended.

RESOURCE_LEAK
Also, there was a resource leak with ai_tvar_base in
dwarf_var_expanding_visitor::gen_mapped_saved_return(). That should
now also be fixed.

examples: have pf2/pf3 use wrapping stats arrays

Add code to keep track of task_work callbacks to avoid a possible crash.

* runtime/stp_task_work.c: New file.
* runtime/stp_utrace.c (utrace_init): Move STAPCONF_TASK_WORK_ADD_EXPORTED
  code to stp_task_work_init().
  (utrace_exit): Call stp_task_work_exit().
  (utrace_cleanup): Call task_work_cancel() wrapper function.
  (utrace_free): Ditto.
  (utrace_do_stop): Call task_work_add() wrapper function.
  (utrace_control): Ditto.
  (finish_report): Ditto.
  (utrace_resume): Call stp_task_work_func_done().
* runtime/linux/task_finder2.c (__stp_tf_cancel_task_work): Call
  task_work_cancel() wrapper function.
  (__stp_tf_quiesce_worker): Call stp_task_work_func_done().
  (__stp_utrace_task_finder_target_quiesce): Call task_work_add() wrapper
  function.
  (__stp_tf_mmap_worker): Call stp_task_work_func_done().
  (__stp_utrace_task_finder_target_syscall_exit): Call task_work_add() wrapper
  function.

Fix the build with glibc 2.16

With our elevated compiler warnings as errors, we got:

  mainloop.c: In function 'stp_main_loop':
  mainloop.c:581:3: error: signed and unsigned type in conditional expression [-Werror=sign-compare]
  mainloop.c:581:3: error: signed and unsigned type in conditional expression [-Werror=sign-compare]
  mainloop.c:583:35: error: signed and unsigned type in conditional expression [-Werror=sign-compare]
  mainloop.c:583:35: error: signed and unsigned type in conditional expression [-Werror=sign-compare]
  mainloop.c:631:2: error: signed and unsigned type in conditional expression [-Werror=sign-compare]
  mainloop.c:631:2: error: signed and unsigned type in conditional expression [-Werror=sign-compare]
  cc1: all warnings being treated as errors

This turns out to be a macro fight between glibc-2.16 and
kernel-headers, via including linux/types.h.  We apparently don't
even need that header, so removing it lets us proceed normally.

Those curious can watch this bug to see how the conflict is resolved:
https://bugzilla.redhat.com/show_bug.cgi?id=837641

Fix up buildid.exp to avoid testcase hangs.

* testsuite/systemtap.base/buildid.exp: Properly call "close" and "wait"
  after all "spawn" calls.  Otherwise test can hang.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Improve nd_syscall testsuite for s390x.

* tapset/nd_syscalls2.stp (nd_syscall.pselect7): For s390x, don't try to
  get argument 7 since it will never succeed.
  (nd_syscall.compat_pselect7): Ditto.