monitor mode: simplify scrolling

Tab is now used to select the window to perform scrolling on.

Fix PR19990 by updating runtime/linux/access_process_vm.h.

* runtime/linux/access_process_vm.h (__access_process_vm_): Use
  get_user_pages_remote() when available.
* buildrun.cxx (compile_pass): Added export test for
  'get_user_pages_remote()'.

Avoid using tcl exec command "-ignorestderr" option

In older versions of tcl the exec command does not support the
"-ignorestderr" option.  Changed the code to redirected the stderr
output to /dev/null which works on both older and newer versions of
tcl.

installcheck-parallel: show end of systemtap.sum when done

Remove empty script file warning for tapset files

Empty tapset files warnings are now suppressed and not removed.
Empty user level scripts still have this warning.

Autoreconf following commit 6a32afe.

Fix testsuite's installcheck-parallel behavior for stap not in $PATH.

This fixes the testsuite's installcheck-parallel target so that it
works even when stap binary resides on some place not referenced
within $PATH.

Note that we want to stop the testing in case environment_sanity.exp
fails.  For this reason we need to avoid calling runtest using
the execrc script.

Remove a blacklist regular expression that wasn't needed.

* dwflpp.cxx (build_kernel_blacklist): Removed a blacklist regexp,
  "|raw_.*", since it didn't seem to match any locking functions as it was
  supposed to do.

Move the testsuite's artifacts directory to the builddir.

This update is a response to PR10791#c15. It moves the artifacts
directory, introduced in commit 8093ef39b, to the build directory
avoiding writes to the source directory.

Modify the dry run mode for the network/socktop example.

We want to avoid testsuite writing into the source directory.
Before this update, when socktop has been run by check.exp as
a part of the testsuite run, it was copying the module to the
working directory.  We want to avoid this.

Fixed PR19940 by updating runtime/linux/access_process_vm.h.

* runtime/linux/access_process_vm.h: Changed page_cache_release() to
  put_page().

Terminate testsuite run if compiler sanity test fails.

Ensure that the testsuite run terminates right at the beginning
if compiler sanity test fails.  This notably ensures that required
headers, object files and libraries are in place for the main arch,
as well as for the compat arch in the multilib environment.

Fix PR19905 by adding support for the preadv2/pwritev2 syscalls.

* tapset/linux/syscalls2.stp: Added preadv2/pwritev2 syscall probes.
* tapset/linux/nd_syscalls2.stp: Ditto.
* tapset/linux/aux_syscalls.stp (_preadv2_flags_str): New function.
* testsuite/systemtap.syscall/preadv.c: Added preadv2() testing.
* testsuite/systemtap.syscall/pwritev.c: Added pwritev2() testing.

Improve 64-bit file offset handling in syscall.preadv and syscall.pwritev.

* tapset/linux/syscalls2.stp (syscall.preadv): Improve handling of 64-bit
  offsets.
  (syscall.pwritev): Ditto.
* testsuite/systemtap.syscall/preadv.c: Turn on 64-bit file offsets and
  add tests to make sure we're decoding them properly.
* testsuite/systemtap.syscall/pwritev.c: Ditto.

Add missing asmlinkage() calls to nd_syscall.{membarrier,userfaultfd}.

* tapset/linux/nd_syscalls.stp (nd_syscall.membarrier): Add missing
  asmlinkage() call.
* tapset/linux/nd_syscalls2.stp (nd_syscall.userfaultfd): Ditto.

Add the testsuite parallel testing feature.

This merges updates from the mcermak/paralleltest branch into the master.

Fix PR19915 by correctly updating the wsize.

tapset docs: ctime overloading

Vincent Bernat reported problems building with --enable-htmldocs due
to the newly overloaded ctime() function docs.  Tweak the /** */
docs for the second overload, so as to suffer errors in neither
html nor pdf build phases.

Fix typo in SystemTap_Tapset_Reference/man3

This patch fix some spelling typos found in
doc/SystemTap_Tapset_Reference/man3.

Signed-off-by: Masanari Iida <standby24x7@gmail.com>

Finish fixing PR19882 by updating support for the copy_file_range() syscall.

* tapset/linux/syscalls.stp: Corrected argstr formatting for
  'copy_file_range'.
* tapset/linux/nd_syscalls.stp: Corrected argstr formatting and types for
  'copy_file_range'.
* testsuite/buildok/nd_syscalls-detailed.stp: Updated copy_file_range test.
* testsuite/buildok/syscalls-detailed.stp: Ditto.
* testsuite/systemtap.syscall/copy_file_range.c: Got copy_file_range()
  test working.

PR19882: add copy_file_range syscall supportt

tapset/linux/nd_syscalls.stp: kprobe based syscall probe for
copy_file_range syscall
tapset/linux/syscalls.stp: kernel function based syscall probe for
copy_file_range syscall
buildok/[nd_]syscalls-detailed.stp: basic buildok tests for the new
probe points
copy_file_range.c: test file to check new tapset functionality

Add tests for 2 new functions in buildok/aux_syscalls-embedded.stp.

Cleaned up 'pure' and 'unprivileged' annotations in aux_syscalls.stp.

* tapset/linux/aux_syscalls.stp: Cleaned up. Marked _membarrier_cmd_str()
  as a string function. Audited all functions and constants to make sure
  they are marked as 'pure' and 'unprivileged' when needed.

Fix PR19876 by adding tapset support for the 'userfaultfd' system call.

* tapset/linux/syscalls2.stp: Add support for the 'userfaultfd' system
  call.
* tapset/linux/nd_syscalls.stp: Ditto.
* tapset/linux/aux_syscalls.stp (_userfaultfd_flags_str): New function.
  (_sys_pipe2_flag_str): Added O_DIRECT to the list of supported flags.
* testsuite/buildok/syscalls2-detailed.stp: Add userfaultfd test.
* testsuite/buildok/nd_syscalls2-detailed.stp: Ditto.
* testsuite/systemtap.syscall/userfaultfd.c: Add new
  syscall.exp/nd_syscall.exp test case.

Fix PR19875 by adding tapset support for the 'membarrier' system call.

* tapset/linux/syscalls.stp: Add support for the 'membarrier' system
  call.
* tapset/linux/nd_syscalls.stp: Ditto.
* tapset/linux/aux_syscalls.stp (_membarrier_cmd_str): New function.
* testsuite/buildok/syscalls-detailed.stp: Add membarrier test.
* testsuite/buildok/nd_syscalls-detailed.stp: Ditto.
* testsuite/systemtap.syscall/membarrier.c: Add new
  syscall.exp/nd_syscall.exp test case.

Fix the interactive stap's buildok-interactive.exp test case.

* testsuite/lib/stapi.exp (stapi_start): Set the interactive stap's
  termibnal to 4096 columns, to avoid problems with long pathnames needing
  to scroll.
* testsuite/systemtap.pass1-4/buildok-interactive.exp: Tweak switch
  statements so that tcl will know when the arguments stop. This was
  bothering RHEL5's ancient tcl (8.4.3).

Add kernel support-range to stap -V output and other PRERELEASE markers.

RHBZ1321628: temporarily suppress CONFIG_STACK_VALIDATION=

Something in kernel 4.6.0-rc0 is interfering with our makefiles.

copyright year bump

PR19874: reset 60s alarm for "stap -c CMD"

Brown paper bag bug.  Test case included.

routine configury prep for future 3.1 release

pre-release docs rebuild

Updated the tapset-doc-filter overload.py to more accurately
process overloaded entities.  One should count by 'programlisting'
nodes, not by 'para', which can repeat within any single overload.

AUTHORS bump

PR19873: staprun -o BADFILE -c CMD cleanup

* staprun/mainloop.c (start_cmd): Close fd >= 3 to ensure no dangling
  reference to the stap module /.cmd file.  Set an alarm timeout, in
  case the parent process goes away and forgets to send us our SIGUSR
  to exec the CMD.

staprun: tweak the -o path-pattern length limiting

cpuNNN is too limited, considering we can have cpus beyond serial
number 999.  Bump it way up.  999999 cpus should be enough for
anybody.

testsuite examples check.exp: Don't try to clean up output files.

Scraping file name patterns out of a test_installcheck command line
is fragile, undocumented, and unnecessary.  Plus if the code failed,
it could error out of the whole .exp file.  Stop trying to clean
this up.

made some tasty update-po soup

PR19833: turn cleanup_module / init_module inside out

Sort of ... at least, make the synthetic systemtap_kernel_module_{init,exit}
unctions the outermost rather than innermost wrapping layer.  This is because
in the procfs case, the synthetic _exit function can run first (if the
module's being rmmod'd without an STP_EXIT message), and the subsequent
transport / belated-stap-probe-cleanup code can run second.  That's bad
if the former tries to nuke /proc/systemtap/$DIR while the latter still
has subdirectories/files it wants to clean up (such as for procfs.read
objects).

So now we make the /proc/systemtap/$DIR [de]construction be fairly far out.

stap driver: close $HOME/.systemtap/rc file after reading

The ifstream stayed open too long (and was even passed to child processes).

translate.cxx monitor_status probe: add try/catch

Tolerate overflow of the procfs output buffer used for collecting the
monitor_status JSON content.  Also, come up with a reasonable WAG for
how much data we might write.  It could be far more than 8K if we're
talking about scripts with hundreds of probes.

monitor mode: show some status even for exited script

Retain the parsed json object from refresh to refresh, so in case
the module exits, we still can draw a curses window from the last
available content.  (Print a reasonable error message otherwise.)

Monitor mode: Don't display EXITED in default help

The else block was being executed in help state.

Monitor mode: add faster output scrolling hotkeys

Monitor mode: add option to hide status window

This allows users to use the entire window for output.

Make sure monitor pipe file descriptors are marked close-on-exec.

* staprun/relay.c (init_relayfs): Make sure pipe fds are marked
  close-on-exec.
* staprun/common.c (pipe_cloexec): New function.
* staprun/staprun.h: Add pipe_cloexec() prototype.

staprun/monitor.c: build under -std=c90-ish

No  ... for(int i ...  for you!

staprun monitor: handle !HAVE_MONITOR_LIBS case differently

Instead of stub inlines in staprun.h, put real stub functions into
monitor.c, which is now compiled even iun the !HAVE_MONITOR_LIBS case.

RHBZ1319085 cont'd: #undef delay() before redefining it

elaborate.cxx: tweak monitor mode globals representaton

Fix the quoting in the generated procfs("monitor_status") probe
so that values of globals are properly quoted in the JSON stream.

stapio main loop: always time out on pselect()

The main thread's pselect() call must now get a timeout setting too,
because it is responsible for orderly shutdown of the stap module in
case of interrupts.  Without a polling timeout, the pselect() can just
sit there, with other reader threads happily continuing their work,
as though the ^C never took effect.

Fix staprun compile error when HAVE_MONITOR_LIBS isn't defined.

* staprun/common.c (monitor_winch): Add empty function when
  HAVE_MONITOR_LIBS isn't defined, to make the compiler happy. This is
  necessary since the function's address is used in setup_main_signals().
* staprun/staprun.h: When HAVE_MONITOR_LIBS isn't defined, change
  monitor_winch() from an inline function to a declaration.

Avoid "make distclean" removing removing various man pages

The man pages are not generated by the regular "make". They are now
generated using a special step and are now part of the sources.  The
"make distclean" should not remove these prebuilt pages.

RHBZ1320691: correct path to /sbin/new-kernel-pkg

This name works on older distros as well as /usr-move ones.

tapset: add ctime() 0-argument overload

fix monitor mode: output was being limited to first n rows

monitor mode: staprun revamp

A group of changes for usability & stability of the staprun side of
--monitor mode.  The gist of it is to let staprun persist awhile after
a script exits (whether interactively commanded with 'q', or with the
script exiting due to an exit/error), so that its outputs can be seen.

* monitor.c (monitor_state): Add new "exited" and "exited_help" states.
  (monitor_render): Remove code that reads input from module.
  Support exited_help subset text.
  (monitor_remember_output_line): New utility function to strndup
  module output lines into our circular buffer.
  (monitor_input): Revamp logic to use read(2) syscalls instead of
  temporary fdopen() FILEs to read from module-output pipe, for
  several reasons.
  (monitor_exited): New function to enter exited state.
* relay.c (reader_thread): Use write(2) loop when feeding output
  pipe/file, in case it gets full.
  (init_relayfs): Drop F_SETPIPE_SZ; it is not needed with write loop
  here and proper nonblocking read on other side.
* mainloop.c (signal_thread): Keep it running after each signal, just
  in case a ^C is repeated.  Encode SIGQUIT with a set to 'load_only'
  instead of pending_interrupts count.
  (stp_main_loop): Treat several startup-time errors as worthy of
  stap module removal/cleanup rather than detaching.  Within main
  loop proper, call cleanup_and_exit upon pending_interrupts, as
  the single standard spot where a stap module shutdown from any
  cause should come.  Redirect warning/error messages to monitor
  output buffer.  Notify monitor code of received STP_EXIT message.
* staprun.h: Provide inline-void stub functions for the !MONITOR_LIBS
  case.

Add logging to systemtap.base/strftime.exp.

* testsuite/systemtap.base/strftime.exp: Add logging so that we can better
  see what is going on.

Add some missing documentation

Add "private" keyword in stapref and use of "next" in functions.

Fix PR17393 by improving the way we execute "system" commands.

* staprun/common.c (open_cloexec): New function.
  (openat_cloexec): Ditto.
  (closefrom): ditto.
* staprun/staprun.h: Add prototypes for new functions.
* staprun/ctl.c (init_ctl_channel): Before trying to open the control
  channel, make sure it isn't open already. Use openat_cloexec() and
  open_cloexec() when opening the control channel. Remove unneeded call to
  set_clexec().
* staprun/relay.c (open_outfile): Use open_cloexec(). Remove unneeded call
  to set_clexec().
  (init_relayfs): Ditto.
* staprun/relay_old.c (open_relayfs_files): Ditto.
  (init_oldrelayfs): Ditto.
* staprun/mainloop.c (start_cmd): Add comment explaining the closefrom()
  isn't needed here.
  (system_cmd): Wait until the child has closed everything (by calling
  closefrom) before returning.
* staprun/staprun.c (term_signal_handler): Remove unneeded call to
  close_ctl_channel(), since remove_module() now calls it.

Monitor mode: clamp probe list scrolling

Previously, the probe list could be scrolled beyond the number of probes
available and display an empty list. This also made it harder to scroll
up. Also, the number of script probes is now extracted using the json list.

Monitor mode: display number of script probes

Remove monitor mode global mangling

Commit 87103d2b32ea873721 does not mangle variable names
during the search so the synthetic monitor_enabled variables could
not be found. Those synthetic variables are now not mangled to
allow them to be found.

monitor mode: add 'q' keystroke to quit

It'll be nice to have a sequence other than ^C to cause an exit, so
that e.g. we can review output / diagnostics after the script quit.
Switching to 'h' to flip between help screen and normal mode, to avoid
accidental 'q'.

monitor mode: deconflict with private global mangling

The synthesized probe body for monitor mode control needs to refer to
globals that may be declared private inside a tapset, in order to
clear them.  It needs to pierce the mangling-based name-hiding, so
that when the synthetic fragment is symbol-resolved, it will find the
mangled private globals to manipulate.  This is implemented by an
optional mode-flag in the symresolution_info class to suppress
global-mangling.

The test script was:

   stap --monitor -p4 -e 'probe nd_syscall.* {}' -v

translator: PR13283 redux, optimize string comparison again

With the function-overloading machinery now assuring that function
calls translate to full temporaries to hold return values, we no
longer need to make yet another copy just to evaluate string
comparisons.

PR13283: make strcmp test case run in -u mode also

procfs write probe: optimize with /* stable */

The synthetic ...procfs_value_get function used in procfs().write
probes should be considered stable, so its calls can be optimized.

translate.cxx emit_global_param: skip synthetic vars

module-param capability for synthetic globals (such as --monitor
mode enable flags) is inappropriate.

NEWS: mark --interactive and --monitor experimental

PR19847: in interactive mode, clear pending_interrupts at every prompt

... otherwise we remember previous ^C's that have already been
handled.

Increase monitor pipe size.

The default pipe size is not able to handle large volumes.

* configure.ac: Check for F_SETPIPE_SZ macro declaration.
* staprun/relay.c: Set pipe size.

Add some monitor mode improvements.

Added an option to pause and resume the script while running to
allow the user to review the output. Previously, a synthetic probe
was being displayed in the probe list, this is now removed.

* elaborate.cxx:
  - monitor_mode_write: skip generating probe point
    condition for synthetic probes. Add command to resume
    and pause all probes.
  - semantic_pass: call monitor_mode_{read, write} in init
* staprun/monitor.c: Bind keys for pause and resume.

configury: regenerate with autoconf 1.15

An older RHEL host complained that the /missing script was too old.
Regenerated the lot with % automake -a -c -f

Get rid of unused return value warning

Casting to (void) doesn't suppress unused return value in GCC.

PR19802: hashbench.stp

Rework into the beginning of a hash benchmark suite.
The first test is for plotting 1/2/3-d hash value distributions,
with a bunch of modifiable parameters (use stap "-G param=value").

PR19802 benchmark program

stap dyninst: allow -B option to pass CFLAGS

Formerly, -B (session.kbuildflags) was only used during runtime=kernel
builds.  Now it can be used to pass CFLAGS to the compiler run that
builds the generated dyninst-bound stap_FOO.so shared library.

dyninst runtime: make ilog2 evaluable even with -O0

While debugging a generated dyninst module, it became an obstacle that
the __builtin_constant_p-guarded ilog2() macro expression failed down
to a ____ilog2_NaN dummy function.  With -O0, that function is at least
referenced, thus blocking linkage.  We ditch the constant-p checking,
and provide an abort()ing fallback.

array_slicing test case: fix timeouts

Many tests used probe begin {} without an exit() inside,
so naturally timed out.  Switched them to probe oneshot {}.

PR19802: inline murmurhash3 into map-gen.h

Instead of calling into the distributed murmurhash3 function, break it
up so that the map-gen.h hash function inlines it.  Each index
(integer or string) is mixed into the hash naturally as though it were
copied into one large contiguous block.

The results show very good dispersion when compared with the kernel
hash_64() function.  Evaluating the hash function is somewhat slower
(30%-ish).  (Dumbing it down a little bit was attempted a couple of
ways; none were superior enough in dispersion/performance.)

runtime: map streamlining

Drop all MAP_*LOCK code, which has never been compiled in.  Drop also
all map-pointer==NULL tests, since the generated code ensures
that never happens.

PR19802: make associate-array hash tables sized accordingly to each map's maxnum

Add a MAPHASHBIAS parameter to tune space-vs-time tradeoff.

PR19802 prototype: switch to murmurhash3

Instead of the kernel's hash_64 and our poor multi-index hash-mixing
function, use a minutely adapted version of Austin Appleby's 32-bit
MurmurHash3 computation.  It spreads keys and especially vectors of
keys much better.

PR13608 testsuite: fix typo in [proc setup_server]

RHBZ1319085: hack for s390 udelay_simple()

For a few brief s390 kernel builds, an exported udelay_simple()
is to be preferred to udelay().  Should have no impact anywhere
else.

Don't use cleanup_and_exit() to exit monitor mode.

This usage was causing a kernel crash so we are forced
to use SIGINT in the meantime.

Don't signal warning if script is exited immediately in monitor mode.

Fix PR19812 by translating vpid to host namespace pid.

Docker containers can use virtual pids, which need to get mapped to
host namespace pid in order to get the userspace probing working.

If the container is run with docker run --pid=host, then it uses
the host namespace pids and this translation is unnecessary.

PR13608: poll checking if the stap server started

systemtap.exp: in proc setup_server, instead of sleeping for 1 second
between starting the server and checking if it started, which
sometimes fails on rhel7, wait and poll whether the stap server has
started.

PR13608: test compile server request size options

test --max-request-size and --max-compressed-request options

PR13608: fixed comments and docs to make more sense

PR13608:  --max-compressed-request documentation

updated the man page and the stap-server command to list the
--max-compress-request size option.

PR13608: remove extra log message

don't need to log the result of the unzip -Zt command anymore.

PR13608: --max-compressed-request ## server option

add --max-compressed-request compile server option that takes a value
for the maximum compressed client request size allowed in bytes. The
default, if this option is not used is 5000 bytes.

PR13608: perform client request size check earlier

move the compressed client request size check from check_request_size()
to readDataFromSocket() which will check the expected request size
before the request transmits. Then rename check_request_size()
to be more specific, so check_uncompressed_request_size(). Default
max compressed request size if 5000 bytes.

PR13608: add documentation for --max-request-size

Update the stap-server man page and the stap-server command to
include information on the --max-request-size option.

PR13608: add --max-request-size ## option for server

Add an option in the stap server to set the max (uncompressed)
request size in bytesreceived from the client. If it's not set,
the default max request size is 50KB. Then the max compressed
request size is set to be 10% of the max uncompressed size, making
the default 5KB.

PR13608: check size of uncompressed client request

stap-serverd.cxx: using unzip, check if the client's request size is
reasonable, so between 0B and 100KB.

PR13608: check client's zipped request size

stap-serverd.cxx: on the compile server, when receiving a client
request, check that the zipped request size is not too large (>5KB).

Run update-syscalls-docs before update-docs