Merge branch 'dsmith/interactive'

Add a couple of dyninsg KFAILs to buildok-dyninst.exp and semok.exp.

* testsuite/systemtap.pass1-4/buildok-dyninst.exp: Add
  buildok/profiletimer.stp as a dyninst KFAIL.
* testsuite/systemtap.pass1-4/semok.exp (dyninst_kfails): Add
  semok/transko.stp as a dyninst KFAIL.

Improve tracepoint support on systems with self-built kernels.

* tapsets.cxx (header_exists): New function
  (tracepoint_extra_decls): Look for headers in the kernel build tree and
  kernel source tree (instead of just the kernel source tree). On systems
  with self-built kernels, we were failing to find tracepoint headers.
* buildrun.cxx (compile_pass): Add kernel build tree directory to include
  path.
  (make_tracequeries): Ditto.

Fix testcase backtrace.exp by aligning it to commit 54d87c8ffc.

Add RELAY_HOST/RELAY_GUEST example to stap.1.

Fix PR19560 by improving the relay code.

* staprun/relay.c (reader_thread): Use mutex when accessing state
  variable.
  (switchfile_handler): Ditto. Also don't send the USR2 signal to the same
  thread running the signal handler.
  (init_relayfs): Initialize the mutexes.
  (close_relayfs): Destroy the mutexes.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Better test for hardware breakpoint support in the examples.

* testsuite/systemtap.examples/memory/hw_watch_addr.meta: Move the
  hardware breakpoint test to the associated tcl file.
* testsuite/systemtap.examples/memory/hw_watch_sym.meta: Ditto.
* testsuite/systemtap.examples/memory/hw_watch_addr.tcl: New file.
* testsuite/systemtap.examples/memory/hw_watch_sym.tcl: New file.

Autoreconf following commit 24ef0e886 (automake-1.15-4.fc23).

Add more czech localized manpages.

configure.ac: Process man/cs/{stappaths.7,systemtap.8} with automake.
man/cs/Makefile.am: Put individual manpages into correcponding folders.
man/dtrace.1: Add BUGS section.
man/error::dwarf.7stap: Fix typos.
man/cs/*: New manpages.
NEWS: An advertisement.

error::pass4 - emphasize building stap from git for fresh kernels

PR13643: log client options passed to compile server

Log the options that a stap client passes to the stap compile server.
This will include logging the script file name or the -e script,
depending on what is used by the client.

Use unmangled_name in a couple more places.

Some code for the embedded-C global variable sharing was
using tok->content to unmangle the variable names.

* elaborate.cxx: monitor_mode_read
* staptree.cxx: varuse_collecting_visitor::visit_embedded{code, _expr}
* translate.cxx: global variable sharing functions

Fix PR19536 by making more synthetic functions "private".

* tapsets.cxx (dwarf_pretty_print::expand): Treat internal synthetic
  functions as private.
  (sdt_uprobe_var_expanding_visitor::try_parse_arg_varname): Set
  'unmangled_name' when creating a synthetic function.
* elaborate.cxx (create_monitor_function): Set 'unmangled_name' when
  creating a synthetic function.
* tapset-procfs.cxx (procfs_var_expanding_visitor::visit_target_symbol):
  Ditto.
* testsuite/semok/kretprobe-data.stp: Fix typo.

stapdyn: -fstd=c++11 compatibility

typeof() and auto_ptr() needed some #ifdef love so that the code
compiles with
     CXXFLAGS="-std=c++11 -O2 -g -Wextra -Wall -Werror"
and  CXXFLAGS="-O2 -g -Wextra -Wall -Werror"

Fixed PR19537 by writing a new parse semko test.

* testsuite/systemtap.pass1-4/parse-semko.exp: New test case, similar to
  the old parseok/semko.stp case, that makes sure that we can parse all
  the semko test cases.
* testsuite/parseok/semko.stp: Deleted.
* testsuite/semko/netfilter09.stp: Corrected pass number to '-p2'.
* testsuite/semko/netfilter10.stp: Ditto.
* testsuite/semko/netfilter11.stp: Ditto.

Fix configure.ac enable htmldocs logic

Disable building html documentation in specfile

Move semko/perf01.stp to transko/perf01.stp.

* testsuite/transko/perf01.stp: Moved from semko/perf01.stp (since this
  test fails in pass 3, not pass 2) and added a comment.

Move semko/perf01.stp to transko/perf01.stp.

* testsuite/transko/perf01.stp: Moved from semko/perf01.stp (since this
  test fails in pass 3, not pass 2) and added a comment.

Allow explicit disable htmldocs flag

Clarify the interactive "delete" command's purpose.

* interactive.cxx (delete_cmd): Clarify that the interactive "delete"
  command deletes script lines, not necessarily an entire probe.

Change the way the interactive mode reads scripts.

* interactive.cxx (load_cmd:handler): Instead of using stap's parser to
  read in the script, just read in the script as a series of
  strings. Using the parser discards comments, preprocessor directives,
  and rearranges the script.

Merge remote-tracking branch 'origin/master' into dsmith/interactive

Remove the 'compatible_version' interactive mode option.

* interactive.cxx: Remove the "compatible_version" option, since
  implementing it would require re-reading the tapset library.
* testsuite/systemtap.pass1-4/buildok-interactive.exp: Remove
  "compatible_version" option support. If a script uses "--compatible",
  just skip the script.

Fix build

The new documentation changes were causing the build to fail when
build directory is the same as the source directory.
The documents are now copied from source to install directory only.

PR19525: always use a SIGUSR2 handler in stapio

It was conditionally ignored by commit 62d2a73ee995, to avoid confusing
error messages about file rotation when there's no output file.

But bulk-mode close_relayfs() still needs the signal to cause EINTR on
the waiting threads, so SIG_IGN is too much.  Now we just return from
the handler immediately if there's no output file to rotate.

Also add a SIGUSR2 test for the original error and with bulk mode.

Improve systemtap.base/stmt_rel.exp for rawhide systems.

* testsuite/systemtap.base/stmt_rel.exp: Improve testcase by handling move
  of fs/bio.c to block/bio.c on rawhide kernels. Actually fail if we can't
  get line numbers for a function.

Update tracepoint support for rawhide kernels.

* tapsets.cxx (tracepoint_extra_decls): Get more tracepoints working on
  rawhide kernels (4.5.0-0.rc0.git9.1.fc24.x86_64).
  (tracepoint_builder::init_dw): Ditto.

Get tapset/linux/socket.stp working on rawhide.

* tapset/linux/socket.stp (sock_flags_num2str): Handle kernel commit
  9cd3e07 which renamed SOCK_ASYNC_NOSPACE and SOCK_ASYNC_WAITDATA.

Make timers.exp less random by improving its test script.

* testsuite/systemtap.base/timers.stp: Improve test case by lowering the
  value of randomized jiffies probe. On systems (such as s390x) with
  CONFIG_HZ of 100 (a jiffies value of 0.01 seconds), the probe could
  reasonably not fire in 10 seconds.

Make pthread_stacks.exp less random by improving its test program.

* testsuite/systemtap.base/pthread_stacks.c: Improve the test program by
  no longer calling 'sleep()' (whose behavior is undefined in a pthreads
  program). Also, be sure to wait on all the threads to finish, so we can
  be sure a thread has the chance to print the stack size before we exit.

Merge remote-tracking branch 'origin/master' into dsmith/interactive

PR19346: Remove html from source tree

autoreconf 2.69, Fedora 22

HTML pages for the SystemTap_Beginners_Guide and Tapset_Reference
are only built when provided with the --enable-htmldocs configure
flag.

* configure.ac: new configure option --enable-htmldocs to build
  HTML docs. xmlto check restored for --enable-htmldocs condition
* doc/SystemTap_Beginners_Guide/en-US/Useful_Scripts*: restored
  href link to allow building from both the generate-docs script
  and Makefile.
* doc/SystemTap_Beginners_Guide/en-US/html/: deleted
* doc/SystemTap_Tapset_Reference/tapsets/: deleted
* scripts/generate-docs: remove building of HTML docs
* scripts/update-docs: pass --enable-htmldocs flag to build HTML docs
* doc/SystemTap_Tapset_Reference/Makefile.am: only build HTML
  if BUILD_HTMLDOCS macro defined
* doc/beginners/Makefile.am: only build HTML if BUILD_HTMLDOCS macro
  defined
* doc/SystemTap_Beginners_Guide/testsuite: new symlink to allow
  building from both Makefile and generate-docs

PR19346: escape xml documentation

SystemTap_Beginners_Guide and SystemTap_Tapset_Reference docs are
now prebuilt in the source tree to avoid xmlto at build time.

The prebuilt SystemTap_Beginners_Guide docs are stored in
doc/SystemTap_Beginners_Guide/en-US/.

The prebuilt tapset reference docs are stored in
doc/SystemTap_Tapset_Reference.

* configure.ac: Skip symlinking examples directory, remove checking
  for xmlto when building reference docs, remove BUILD_PDFREFDOCS
  condition.
* scripts/generate-docs: new script to update the prebuilt documentation.
* doc/beginners/Makefile.am: updated to copy prebuilt docs from
  source tree.
* doc/SystemTap_Reference/Makefile.am: updated to copy prebuilt
* doc/SystemTap_Beginners_Guide/en-US/Useful_scripts*: updated href links
  for generation in source tree.
* doc/SystemTap_Beginners_Guide/en-US/html: prebuilt html pages
* doc/SystemTap_Beginners_Guide/en-US/SystemTap_Beginners_Guide.pdf:
  prebuilt pdf
* doc/SystemTap_Reference_guide/{man3, man_pages}: prebuilt man
  pages
* doc/SystemTap_Reference_guide/tapsets: prebuilt html pages
* doc/SystemTap_Reference_guide/tapsets.pdf: prebuilt pdf

Fix PR19521 by updating messages to use the unmangled variable/function name.

* elaborate.cxx (no_var_mutation_during_iteration_check::visit_arrayindex):
  Error/warning messages now print the unmangled variable/function name.
  (semantic_pass_stats): Ditto.
  (embeddedcode_info::visit_embeddedcode): Ditto.
  (symresolution_info::collect_functions): Ditto.
  (semantic_pass_opt1): Ditto.
  (semantic_pass_opt2): Ditto.
  (dead_assignment_remover::visit_try_block): Ditto.
  (semantic_pass_opt4): Ditto.
  (duplicate_function_remover::visit_functioncall): Ditto.
  (autocast_expanding_visitor::resolve_functioncall): Ditto.
  (semantic_pass_types): Ditto.
* translate.cxx (c_tmpcounter::emit_function): Ditto.

Added some test case cleanups.

* testsuite/systemtap.base/expansion.exp: Added "close;wait" to clean up
  spawned processes.
* testsuite/systemtap.base/global_access.exp: Ditto.
* testsuite/systemtap.base/stable_function.exp: Ditto.
* testsuite/systemtap.base/temp-directory.exp: Minor cleanups.

Fix build issue with --without-rpm in rpm_finder.cxx

* rpm_finder.cxx: Provide full dummy functions if HAVE_LIBRPM
is not set.

Align cs/stap.1.in to stap.1.in (doc overview).

examples index: drop non-test_installcheck # usage lines

testsuite examples README: relax requirements

Our only real requirements of meta files is what's demanded by the
index generator perl script & the testsuite.

examples: add historical security band-aids

Fix my PR19497 commit by fixing some ifdef logic in runtime/linux/alloc.c.

* runtime/linux/alloc.c: Correct #ifdef logic, the STAPCONF_GRSECURITY
  section was accidently reversed.

Don't test hardware breakpoint examples where they aren't supported.

* testsuite/systemtap.examples/memory/hw_watch_addr.meta: Make sure the
  kernel supports hardware breakpoints before trying the test case.
* hw_watch_sym.meta: Ditto.

Make some interactive mode test case improvements.

* testsuite/systemtap.pass1-4/buildok-interactive.exp: Only run the test
  if stap was compiled with the readline library. Add support for the
  "compatible_version" option.
* session.cxx (systemtap_session::version): Report whether stap was
  compiled with the readline library.
* testsuite/lib/systemtap.exp (readline_p): Add a new function that
  reports if systemtap was compiled with the readline library.

Add an 'compatible_version' interactive mode option.

* interactive.cxx: Mark all unused parameters with '__attribute
  ((unused))' to make gcc 5 happy. Add a 'compatible_version' option.

PR19502 cont'd: tighten the documentation-overview section

tbl & fewer words to the rescue

Regenerate localization data.

This is a regeneration of the localization data (`make update-po`)
after commits 9f7523e, 678efd8, and 9c91553.

Localize normal stap -v and stap --help output to czech language.

Use correct plural forms in the stap -v output.

Make xgettext scan for all the NLS macros we use.

Before this update, xgettext, which is run as a part of `make update-po`
was only scanning for the '_()' macro (the other one mentioned in there,
'N_()', was not really used in our sources, it's probably some unused
relict). So now we scan for '_()', '_N()', '_F()', and '_NF()' as defined
in util.h.

From now on, the '_N()' and '_NF()' macros are correctly processing the
plural forms too. Relevant documentation is: https://www.gnu.org/softwa-
re/gettext/manual/html_node/xgettext-Invocation.html#Language-specific-options

Merge remote-tracking branch 'origin/master' into dsmith/interactive

Improve mlock2 tapset support and add testsuite support.

* tapset/linux/nd_syscalls.stp (nd_syscall.mlock2): Fix argument handling
  and add missing comma between arguments in 'argstr'.
* tapset/linux/syscalls.stp (syscall.mlock2): Add missing comma between
  arguments in 'argstr'.
* testsuite/buildok/aux_syscalls-embedded.stp: Add _stp_mlock2_str()
  compile test.
* testsuite/buildok/nd_syscalls-detailed.stp: Add 'mlock2' compile test.
* testsuite/buildok/syscalls-detailed.stp: Ditto.
* testsuite/systemtap.syscall/mmap.c: Add mlock2 support to test case.

Autoreconf following commit 0b03204.

Fix PR19502 by adding the "GETTING HELP" section to the stap.1 manpage.

Move stap.1 to stap.1.in so that it can contain autoconf macros.  Add
the "GETTING HELP" section to it.  Do the same with the czech version
of the manpage.

Use -Wextra. Fix some warnings.

Fix some warnings (mostly -Wunused-parameter) so that we can enable -Wextra.
Tested against GCC5 and GCC6.

Regenerate auto* and po files.

examples-index-gen.pl: Remove duplicate my $usage definition.

"my" variable $usage masks earlier declaration in same scope at
  examples-index-gen.pl line 106.

Add tapset support for mlock2 syscall in 4.4

aux_syscalls.stp - flags to str function
nd_syscalls.stp - add kprobe based syscall probe point
syscalls.stp - add kernel function based syscall probe point

PR19510 partial fix - more '-p1' output improvements.

* elaborate.cxx (create_monitor_function): Initialize 'unmangled_name'
  when a vardecl gets created.
  (monitor_mode_init): Ditto.
  (monitor_mode_write): Ditto.
  (symresolution_info::visit_symbol): Ditto.
  (stable_functioncall_visitor::visit_functioncall): Ditto.

Output semi-colons between statements when printing a script.

* staptree.cxx (print): Add a semi-colon after every statement in a
  block. This helps when using parser output as input back to systemtap
  by separating statements appropriately.
* testsuite/systemtap.base/optim_arridx.exp: Update test to expect a
  semi-colon after statements in parser output.
* testsuite/systemtap.server/client_args.exp: Ditto.

Merge remote-tracking branch 'origin/master' into dsmith/interactive

Fix systemtap.examples/memory/hw_watch_{addr,sym}.stp.

* testsuite/systemtap.examples/memory/hw_watch_addr.stp: Only try hardware
  breakpoints (i.e. 'kernel.data') probes if CONFIG_HAVE_HW_BREAKPOINT is
  on.
* testsuite/systemtap.examples/memory/hw_watch_sym.stp: Ditto.

Align czech program strings terminology to reviewed manpages.

Localize a few basic main.cxx strings.

tapset documentation: standardize

Some generated man pages had an erroneous "IBM" in the footer, and
inconsistent datestamping or capitalization.  The man pages look more
uniform now.

add generated po/cs.gmo

strace.stp sample tweak

A small fixed lookup array only needs a few entries allocated.

Fix systemtap.base/utrace_syscall_args.stp for s390x kernels >= 2.6.33.

PR19510 partial fix - improve '-p1' output.

* testsuite/systemtap.pass1-4/parse-semok.exp: New testcase.
* staptree.h: Add the 'unmangled_name' field to the 'symboldecl' class.
* staptree.cxx (vardecl::print): Print the 'unmangled_name' field, instead
  of the 'name' field (which could have been mangled).
  (vardecl::printsig): Ditto.
  (functiondecl::print): Ditto.
  (functiondecl::printsig): Ditto.
* parse.cxx (do_parse_global): Set the new 'unmangled_name' field.
  (do_parse_functiondecl): Ditto.
* elaborate.cxx (add_global_var_display): Use the 'unmangled_name' field
  instead of 'tok->content'.

Autoreconf after adding czech manpages.

Add czech version of stap.1 and stapprobes.3stap manpages.

Preparation for the czech localization of manpages.

Following changes were inspired by the shadow utils project:
https://github.com/shadow-maint/shadow

configure.ac: Add man/cs/Makefile to AC_CONFIG_FILES.
man/Makefile.am: Include processing the cs folder with automake.
man/cs/Makefile.am: Add the cs folder to the mandir.
systemtap.spec: Include localized manpages in the expected file list.

The specfile change aims to also cover possible future
localizations that might include the "region" specification.

tapsets.cxx: fix indentation to appease GCC 6

The new -Wmisleading-indentation complains about the indentation of
these braces because of the if-statement right before. We can squash
that warning by simply unindenting the braces.

Whether this scoping should even exist is another question. I like it
there because that whole scope is related to variable expansion. It
should probably be moved to a function.

Fix PR9497 by updating the runtime to handle linux 4.4 commit 7523e4dc50.

* runtime/linux/autoconf-module_layout.c: New autoconf test.
* buildrun.cxx (compile_pass): Add 'module_layout' autoconf test for new
  module_layout structure.
* runtime/linux/alloc.c: Handle module struct changes in rawhide.
* runtime/linux/print.c (_stp_print_kernel_info): Ditto.
* runtime/transport/symbols.c (_stp_module_update_self): Ditto.
* tapset/linux/context.stp (module_size): Ditto.

Get systemtap.base/at_var.exp to pass on s390x.

* testsuite/systemtap.base/at_var.exp: Make changes needed to get test to
  pass on s390x. On s390x all syscalls args are longs, so you can't print
  them as a struct.
* testsuite/systemtap.base/at_var.stp: Ditto.

PR17741: expand try_assign macro description

PR17741: add a try_assign macro

add a try_assign macro that stores in a provided variable the value
from evaluating the body of the try or catch statement.

tapset/try_assign.stpm:    define a try_assign macro
testsuite/../try_assign.*: basic testcase checking that the try_assign
macro's functionality works as expected.

Improve interactive mode script display.

* interactive.cxx (list_cmd): Display scripts so that the colon following
  the line numbers line up no matter how many lines are in the script.

stap.1: highlight %.*M formatting tip

It's common enough, and easy enough to get wrong.

Add the interactive "edit" command.

* interactive.cxx (edit_cmd): New class.
  (interactive_mode): Add 'edit_cmd' to the command vector.

Updated optim_arridx.exp for the interactive branch.

Merge remote-tracking branch 'origin/master' into dsmith/interactive

Fix warning message typo in runtime/unwind.c.

Add new stress test case - parallel_exec.exp.

Fixed typo in last all_kernel_functions.exp change.

Fix PR19470 by updating process_by_pid.exp for arches without .plt probes.

* testsuite/systemtap.base/process_by_pid_no_plt.stp: New test script for
  process_by_pid.exp for platforms without .plt probes.
* testsuite/systemtap.base/process_by_pid.exp: Use process_by_pid.stp if
  this platform supports .plt probes, use process_by_pid_no_plt.stp
  otherwise.

Localization files regeneration.

Czech translation of program strings. Initial version.

Update pthreadprobes.exp for RHEL7 ppc64.

* testsuite/systemtap.exelib/pthreadprobes.exp: Handle some versions of
  glibc (such as RHEL7 ppc64) where the "cond_timedwait" mark doesn't
  exist.

man/stap.1: A few typo fixes and tiny specifications.

Update tracepoint support for 4.4.0 aarch64 kernels.

* tapsets.cxx (tracepoint_extra_decls): Add more decls.
  (tracepoint_builder::init_dw): Add another header file path.

Move testsuite 'genload' function to its own file.

* testsuite/lib/genload.exp: Move code from systemtap.stress/current.exp
  to its own file so it can be used multiple places.
* testsuite/config/unix.exp: Load genload.exp.
* testsuite/systemtap.stress/current.exp: Move 'genload' function to its
  own file.
* testsuite/systemtap.stress/all_kernel_functions.exp: Use 'genload'
  function (instead of having a copy).

PR12414: Missing return value is not reported

The default behavior returns a 0 or "" which is now documented.
Analyzing the AST right now for termination without reaching a
return seems like a waste. This could be easily done if we had
a control flow graph.

Fix PR19265 by adding code to handle relative module paths.

* tapsets.cxx (handle_module_token): New function that handles relative
  module paths.
  (dwarf_builder::build): Call handle_module_token().
  (kprobe_builder::build): Ditto. Simplify module names.

Removed unneeded file in last commit.

Fix PR19396 by updating tracepoint query code to find more tracepoints.

* tapsets.cxx (tracepoint_extra_decls): Add new parameter to let the
  function know if we're compiling a tracequery module or not. Handle
  several odd trace headers that get unintentially included. Add a few
  tweaks for a few more trace headers.
  (emit_module_decls): Update the call to tracepoint_extra_decls.
  (get_tracequery_modules): Ditto.
  (init_dw): Add a few more paths of potential places to look for
  tracepoint headers.
* session.h: Add new 'kernel_extra_cflags' member variable to the session
        object.
* session.cxx (systemtap_session): Initialize 'kernel_extra_cflags'.
* buildrun.cxx (compile_pass): Add in custom extra cflags.
  (make_tracequeries): Ditto.
* scripts/tracepoint-diff: Ignore more tracepoints we can't use.
* testsuite/systemtap.base/tracepoints.exp: Save the tracepoint script to
  a file, since it can grow large than the command line will support on a
  system with lots of tracepoints.
* testsuite/systemtap.base/tracepoints_list.exp: New testcase that makes
  sure that all tracepoints found by perf can be seen by systemtap.

Restore the dedupe logic for tracepoint headers

With and without this dedupe logic, I see no difference in the
tracepoints found on Fedora 23, RHEL7, and RHEL6.  But it is faster
since we avoid processing headers found in both the kernel source tree
and build tree.

The way the header paths are normalized for #include, I don't see how
skipping that dedupe logic was supposed to help find more tracepoints.
I've added a comment pointing to what other functions would need to
change as well for that to have a more tangible effect, in case we
decide to compare file contents instead of just paths, for instance.

See also commit b1966849ecf that introduced the "#if 0" I'm removing.
The specific tracepoints mentioned in irq_vectors.h are still fine.

PR9968: Share global variable between embedded C and script

Embedded-C functions and blocks can now use the
STAP_GLOBAL_{GET,SET}_* macros to access script level global variables.

* NEWS: description
* doc/langref.text: description + added section for stable and
  unmodified-fnargs pragmas which was only in man/stap.1
* staptree.cxx: scan for pragmas in varuse_collecting_visitor
  visit_embeddedcode and visit_embedded_expr to allow proper locks
  to be emitted
* translate.cxx: c_unparser visit_embeddedcode and visit_embedded_expr
  generates the needed macros

Updated scripts/tracepoint-diff.

* scripts/tracepoint-diff: Updated to handle the fact that systemtap now
  lists kernel tracepoints by category.

Add a variable definition and buffer size test cases.

* testsuite/semko/var_definition.stp: New variable definition test case.
* testsuite/systemtap.base/stap_bufsize.exp: New test case for buffer size.