stapio main loop: always time out on pselect()

The main thread's pselect() call must now get a timeout setting too,
because it is responsible for orderly shutdown of the stap module in
case of interrupts.  Without a polling timeout, the pselect() can just
sit there, with other reader threads happily continuing their work,
as though the ^C never took effect.

Fix staprun compile error when HAVE_MONITOR_LIBS isn't defined.

* staprun/common.c (monitor_winch): Add empty function when
  HAVE_MONITOR_LIBS isn't defined, to make the compiler happy. This is
  necessary since the function's address is used in setup_main_signals().
* staprun/staprun.h: When HAVE_MONITOR_LIBS isn't defined, change
  monitor_winch() from an inline function to a declaration.

Avoid "make distclean" removing removing various man pages

The man pages are not generated by the regular "make". They are now
generated using a special step and are now part of the sources.  The
"make distclean" should not remove these prebuilt pages.

RHBZ1320691: correct path to /sbin/new-kernel-pkg

This name works on older distros as well as /usr-move ones.

tapset: add ctime() 0-argument overload

fix monitor mode: output was being limited to first n rows

monitor mode: staprun revamp

A group of changes for usability & stability of the staprun side of
--monitor mode.  The gist of it is to let staprun persist awhile after
a script exits (whether interactively commanded with 'q', or with the
script exiting due to an exit/error), so that its outputs can be seen.

* monitor.c (monitor_state): Add new "exited" and "exited_help" states.
  (monitor_render): Remove code that reads input from module.
  Support exited_help subset text.
  (monitor_remember_output_line): New utility function to strndup
  module output lines into our circular buffer.
  (monitor_input): Revamp logic to use read(2) syscalls instead of
  temporary fdopen() FILEs to read from module-output pipe, for
  several reasons.
  (monitor_exited): New function to enter exited state.
* relay.c (reader_thread): Use write(2) loop when feeding output
  pipe/file, in case it gets full.
  (init_relayfs): Drop F_SETPIPE_SZ; it is not needed with write loop
  here and proper nonblocking read on other side.
* mainloop.c (signal_thread): Keep it running after each signal, just
  in case a ^C is repeated.  Encode SIGQUIT with a set to 'load_only'
  instead of pending_interrupts count.
  (stp_main_loop): Treat several startup-time errors as worthy of
  stap module removal/cleanup rather than detaching.  Within main
  loop proper, call cleanup_and_exit upon pending_interrupts, as
  the single standard spot where a stap module shutdown from any
  cause should come.  Redirect warning/error messages to monitor
  output buffer.  Notify monitor code of received STP_EXIT message.
* staprun.h: Provide inline-void stub functions for the !MONITOR_LIBS
  case.

Add logging to systemtap.base/strftime.exp.

* testsuite/systemtap.base/strftime.exp: Add logging so that we can better
  see what is going on.

Add some missing documentation

Add "private" keyword in stapref and use of "next" in functions.

Fix PR17393 by improving the way we execute "system" commands.

* staprun/common.c (open_cloexec): New function.
  (openat_cloexec): Ditto.
  (closefrom): ditto.
* staprun/staprun.h: Add prototypes for new functions.
* staprun/ctl.c (init_ctl_channel): Before trying to open the control
  channel, make sure it isn't open already. Use openat_cloexec() and
  open_cloexec() when opening the control channel. Remove unneeded call to
  set_clexec().
* staprun/relay.c (open_outfile): Use open_cloexec(). Remove unneeded call
  to set_clexec().
  (init_relayfs): Ditto.
* staprun/relay_old.c (open_relayfs_files): Ditto.
  (init_oldrelayfs): Ditto.
* staprun/mainloop.c (start_cmd): Add comment explaining the closefrom()
  isn't needed here.
  (system_cmd): Wait until the child has closed everything (by calling
  closefrom) before returning.
* staprun/staprun.c (term_signal_handler): Remove unneeded call to
  close_ctl_channel(), since remove_module() now calls it.

Monitor mode: clamp probe list scrolling

Previously, the probe list could be scrolled beyond the number of probes
available and display an empty list. This also made it harder to scroll
up. Also, the number of script probes is now extracted using the json list.

Monitor mode: display number of script probes

Remove monitor mode global mangling

Commit 87103d2b32ea873721 does not mangle variable names
during the search so the synthetic monitor_enabled variables could
not be found. Those synthetic variables are now not mangled to
allow them to be found.

monitor mode: add 'q' keystroke to quit

It'll be nice to have a sequence other than ^C to cause an exit, so
that e.g. we can review output / diagnostics after the script quit.
Switching to 'h' to flip between help screen and normal mode, to avoid
accidental 'q'.

monitor mode: deconflict with private global mangling

The synthesized probe body for monitor mode control needs to refer to
globals that may be declared private inside a tapset, in order to
clear them.  It needs to pierce the mangling-based name-hiding, so
that when the synthetic fragment is symbol-resolved, it will find the
mangled private globals to manipulate.  This is implemented by an
optional mode-flag in the symresolution_info class to suppress
global-mangling.

The test script was:

   stap --monitor -p4 -e 'probe nd_syscall.* {}' -v

translator: PR13283 redux, optimize string comparison again

With the function-overloading machinery now assuring that function
calls translate to full temporaries to hold return values, we no
longer need to make yet another copy just to evaluate string
comparisons.

PR13283: make strcmp test case run in -u mode also

procfs write probe: optimize with /* stable */

The synthetic ...procfs_value_get function used in procfs().write
probes should be considered stable, so its calls can be optimized.

translate.cxx emit_global_param: skip synthetic vars

module-param capability for synthetic globals (such as --monitor
mode enable flags) is inappropriate.

NEWS: mark --interactive and --monitor experimental

PR19847: in interactive mode, clear pending_interrupts at every prompt

... otherwise we remember previous ^C's that have already been
handled.

Increase monitor pipe size.

The default pipe size is not able to handle large volumes.

* configure.ac: Check for F_SETPIPE_SZ macro declaration.
* staprun/relay.c: Set pipe size.

Add some monitor mode improvements.

Added an option to pause and resume the script while running to
allow the user to review the output. Previously, a synthetic probe
was being displayed in the probe list, this is now removed.

* elaborate.cxx:
  - monitor_mode_write: skip generating probe point
    condition for synthetic probes. Add command to resume
    and pause all probes.
  - semantic_pass: call monitor_mode_{read, write} in init
* staprun/monitor.c: Bind keys for pause and resume.

configury: regenerate with autoconf 1.15

An older RHEL host complained that the /missing script was too old.
Regenerated the lot with % automake -a -c -f

Get rid of unused return value warning

Casting to (void) doesn't suppress unused return value in GCC.

PR19802: hashbench.stp

Rework into the beginning of a hash benchmark suite.
The first test is for plotting 1/2/3-d hash value distributions,
with a bunch of modifiable parameters (use stap "-G param=value").

PR19802 benchmark program

stap dyninst: allow -B option to pass CFLAGS

Formerly, -B (session.kbuildflags) was only used during runtime=kernel
builds.  Now it can be used to pass CFLAGS to the compiler run that
builds the generated dyninst-bound stap_FOO.so shared library.

dyninst runtime: make ilog2 evaluable even with -O0

While debugging a generated dyninst module, it became an obstacle that
the __builtin_constant_p-guarded ilog2() macro expression failed down
to a ____ilog2_NaN dummy function.  With -O0, that function is at least
referenced, thus blocking linkage.  We ditch the constant-p checking,
and provide an abort()ing fallback.

array_slicing test case: fix timeouts

Many tests used probe begin {} without an exit() inside,
so naturally timed out.  Switched them to probe oneshot {}.

PR19802: inline murmurhash3 into map-gen.h

Instead of calling into the distributed murmurhash3 function, break it
up so that the map-gen.h hash function inlines it.  Each index
(integer or string) is mixed into the hash naturally as though it were
copied into one large contiguous block.

The results show very good dispersion when compared with the kernel
hash_64() function.  Evaluating the hash function is somewhat slower
(30%-ish).  (Dumbing it down a little bit was attempted a couple of
ways; none were superior enough in dispersion/performance.)

runtime: map streamlining

Drop all MAP_*LOCK code, which has never been compiled in.  Drop also
all map-pointer==NULL tests, since the generated code ensures
that never happens.

PR19802: make associate-array hash tables sized accordingly to each map's maxnum

Add a MAPHASHBIAS parameter to tune space-vs-time tradeoff.

PR19802 prototype: switch to murmurhash3

Instead of the kernel's hash_64 and our poor multi-index hash-mixing
function, use a minutely adapted version of Austin Appleby's 32-bit
MurmurHash3 computation.  It spreads keys and especially vectors of
keys much better.

PR13608 testsuite: fix typo in [proc setup_server]

RHBZ1319085: hack for s390 udelay_simple()

For a few brief s390 kernel builds, an exported udelay_simple()
is to be preferred to udelay().  Should have no impact anywhere
else.

Don't use cleanup_and_exit() to exit monitor mode.

This usage was causing a kernel crash so we are forced
to use SIGINT in the meantime.

Don't signal warning if script is exited immediately in monitor mode.

Fix PR19812 by translating vpid to host namespace pid.

Docker containers can use virtual pids, which need to get mapped to
host namespace pid in order to get the userspace probing working.

If the container is run with docker run --pid=host, then it uses
the host namespace pids and this translation is unnecessary.

PR13608: poll checking if the stap server started

systemtap.exp: in proc setup_server, instead of sleeping for 1 second
between starting the server and checking if it started, which
sometimes fails on rhel7, wait and poll whether the stap server has
started.

PR13608: test compile server request size options

test --max-request-size and --max-compressed-request options

PR13608: fixed comments and docs to make more sense

PR13608:  --max-compressed-request documentation

updated the man page and the stap-server command to list the
--max-compress-request size option.

PR13608: remove extra log message

don't need to log the result of the unzip -Zt command anymore.

PR13608: --max-compressed-request ## server option

add --max-compressed-request compile server option that takes a value
for the maximum compressed client request size allowed in bytes. The
default, if this option is not used is 5000 bytes.

PR13608: perform client request size check earlier

move the compressed client request size check from check_request_size()
to readDataFromSocket() which will check the expected request size
before the request transmits. Then rename check_request_size()
to be more specific, so check_uncompressed_request_size(). Default
max compressed request size if 5000 bytes.

PR13608: add documentation for --max-request-size

Update the stap-server man page and the stap-server command to
include information on the --max-request-size option.

PR13608: add --max-request-size ## option for server

Add an option in the stap server to set the max (uncompressed)
request size in bytesreceived from the client. If it's not set,
the default max request size is 50KB. Then the max compressed
request size is set to be 10% of the max uncompressed size, making
the default 5KB.

PR13608: check size of uncompressed client request

stap-serverd.cxx: using unzip, check if the client's request size is
reasonable, so between 0B and 100KB.

PR13608: check client's zipped request size

stap-serverd.cxx: on the compile server, when receiving a client
request, check that the zipped request size is not too large (>5KB).

Run update-syscalls-docs before update-docs

Rename documentation update scripts for clarity

The script names were confusing before this rename.

Add 32-bit compile fix in interactive.cxx.

Preserve the working directory within the test.

Test must not change the working directory.  Without this update,
when target_compile() failed, test finished with working directory
set to $tmpdir instead of $curdir breaking all subsequent tests:

=====
Running ./systemtap.base/utrace_syscall_args.exp ...
UNTESTED: 64_BIT_UTRACE_SYSCALL_ARGS
Running ./systemtap.base/valid_pid.exp ...
ERROR: ./systemtap.base/valid_pid.exp does not exist.
...
=====

Exit documentation generator script early on error.

Update tapset documentation

Some man pages are replaced by the function overloading changes.

Fixed PR19799 by making deleting from aggregate arrays more reliable.

* runtime/pmap-gen.c (_stp_pmap_del): Be sure to delete keys from all
  cpu's maps.
* runtime/map-gen.c (_stp_map_del_hash): New function.
* testsuite/systemtap.maps/agg_delete.exp: New test case.
* testsuite/systemtap.maps/agg_delete1.stp: Ditto.
* testsuite/systemtap.maps/agg_delete2.stp: Ditto.

Remove duplicate entries for generated tapset cross references

Fix some copy paste typos

The -g flag was not added so the testcase failed

Add backwards compatible tapset functions following function overloading
changes.

Use function overloading in some tapset functions

Documentation for overloaded functions are now merged into
one entry. Some tapset functions are now simplified through
overloading. Instead of having new function names with suffixes
such as "2" or "pid" to indicate extra arguments, the functions
now seem to have optional arguments.

* doc/SystemTap_Tapset_Reference/overload.py: New script to resolve
documentation for overloaded functions.
* tapset/*: Rename some functions.
* testsuite/*: Rename functions in tests.

examples: tweak .meta files

Added some overlooked fun .meta's for jistone's old key*.stp examples;
removed unnecessarily-unique organizational keywords from other examples.

tapset: use @cast() with "kernel<...>" part for tcphdr

This allows netfilter tcp probes to use the tcp.stp tapset functions
without debuginfo.

new sample: network/who_sent_it

This traces threads sending out ip network traffic to given hosts and/or ports.

Permit stap -G parameter values to contain .

The kernel doesn't mind, and has no security implications,
so extend the -G var=value regexp slightly.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Fix PR19764: stap --tmpdir leaves useless tempdirs behind

Remove call to create_tmp_dir() from the main systemtap_session
constructor and call it slightly later, after the cmdline parsing
is finished.  Plus modify create_tmp_dir() so that it only creates
the tmpdir if --tmpdir has not been set on the cmdline.

Make "monitor" mode working with "interactive" mode.

* interactive.cxx (forked_parse_pass): Make sure "monitor" mode is off
  while running the parser. Otherwise we can end up with multiple copies
  of the monitor synthetic probes.
  (forked_semantic_pass): Ditto.
  (interactive_mode): Make sure "monitor" mode is off while dumping probe
  types.

Make utrace_syscall_args.exp pass when run on an NFS filesystem.

* testsuite/systemtap.base/utrace_syscall_args.exp: Put all temporary
  files in a temporary directory and run the script from there. This makes
  the test pass when run from an NFS filesystem.

Make sure the "dump" options can't be used with -i or --monitor.

* session.cxx (check_options): Make sure the dump options (-l/-L/--dump-*)
  can't be used with interactive mode (-i) or monitor mode (--monitor).
* testsuite/parseko/cmdline25.stp: New test.
* testsuite/parseko/cmdline26.stp: Ditto.

Updated testsuite/semok/thirtythree.stp for newer kernels.

* testsuite/semok/thirtythree.stp: Updated for newer kernels. Kernel
  commit 1d798ca3f16437 removed the 'first_page' member of the 'page'
  struct.

Fixed PR19756 by updating tapset/linux/proc_mem.stp.

* tapset/linux/proc_mem.stp (proc_mem_data): Updated for kernel commit
  8463833590, which reworked virtual memory accounting.
  (proc_mem_data_pid): Ditto.

testsuite pyexample.py: make python2.6 compatible

Improve test for STAP_NEXT macro

Check to make sure that STAP_NEXT returns immediately from function.

In interactive mode, run the user's script through -p2 after each change.

* interactive.cxx (auto_analyze_opt): Added new class to handle the
  "auto_analyze" option. If non-zero, the user's script is run through
  pass 2 after every command that modifies the script.
  (add_cmd::handler): Added logic to call forked_semantic_pass() if the
  auto_analyze option is set.
  (edit_cmd::handler): Ditto.
  (delete_cmd::handler): Ditto.
  (forked_semantic_pass): New function to run the user's script through
  pass 2.
  (interactive_mode): Add new "auto_analyze" option.

testsuite celsius.py: make python2.6 compatible

Function overloading embedded-C macro fix

Branch to end label after setting next flag.
Add vim syntax highlighting for macro.

PR18431: Add some tests and final fixes

* elaborate.cxx: typeresolution_info::visit_functioncall: Restore
  type variable on overload, prefix monitor mode function.
* parse.cxx: parser::do_parse_functiondecl: Improve exception message.
* translate.cxx: c_unparser::visit_functioncall:
  - Remove __label__
  - Emit gotos only if overloads present
* testsuite/systemtap.base/func_overload.exp: Test it.

PR18431: Function overloading

A functioncall may now have a variety of implementations
and have the selection happen during runtime. Overloading
by number of parameters during compile time is also
available.

* elaborate.cxx:
  - no_var_mutation_during_iteration_check::visit_functioncall:
    Adapt to referents list.
  - symresolution_info::visit_functioncall: Likewise + sort functioncalls.
  - symresolution_info::find_function -> find_functions: Likewise.
  - void_statement_reducer::visit_functioncall: Likewise.
  - duplicate_function_remover::visit_functioncall: Likewise.
  - autocast_expanding_visitor::resolve_functioncall: Likewise.
  - typeresolution_info::visit_arrindex: Likewise.
  - get_functionsig: Use unmangled name.
* elaborate.h: find_function -> find_functions.
* main.cxx: Set parser user_file indicator flag.
* parse.cxx: Parser user_file flag, accept function declaration
  priority label syntax, remove duplicate function name checking,
  allow next in functions.
* parse.h: pf_user_file flag.
* common_probe_context.h: New "next" flag.
* session.h: New overload_count map for overload name resolution.
* staptree.cxx:
  - functioncall::functioncall: Remove referent initializer list.
  - functiondecl::functiondecl: Initialize default function priority.
  - functioncall_traversing_visitor::visit_functioncall:
    Adapt to referents list.
  - deep_copy_visitor::visit_functioncall: Likewise.
* staptree.h:
  - functioncall: Now holds list of referents.
  - functiondecl: New priority value.
  - function_priority_order: New functor for sorting.
* tapset-method.cxx: Adapt to referents list.
* tapsets.cxx: Adapt to referents list.
* parseko/eleven.stp: Invalidated.
* parseko/nineteen.stp: Invalidated.
* parseko/private02.stp: Invalidated.
* semko/fifty.stpL Invalidated.
* systemtap.base/optim_arridx.exp: Make compatible with overloading.
* translate.cxx:
  - c_unparser: New fc_counter to generate functioncall end labels.
  - c_unparser::emit_function: Reset context next flag, output STAP_NEXT
    macro.
  - c_unparser::visit_next_statement: Set context next flag, allow next
    in functions.
  - c_unparser::visit_functioncall: Main overloading logic.
  - recursion_info::visit_functioncall: Adapt to referents list.

The interactive mode "delete" command now deletes line ranges.

* interactive.cxx (delete_cmd::handler): Add the capability of deleting a
  range of script lines.

If we receive a Ctrl-d in interactive mode, ask if we should quit.

* interactive.cxx (interactive_mode): Treat Ctrl-d at the prompt like a
  "quit" command (but ask first).

Improve the interactive mode "add" command by prompting for more input.

* interactive.cxx (add_cmd::handler): If the user doesn't enter a complete
  function or probe definition on the command line, keep prompting him to
  do so. We know he's finished when the definition can be parsed without
  an error.
  (forked_parse_pass): New function.

Handle imbedded spaces in the interactive mode command "add".

* interactive.cxx (add_cmd::handler): Use the raw input instead of the
  tokenized input, to preserve embedded spaces.

Keep the "add" interactive command from crashing when passed no input.

* interactive.cxx (add_cmd::handler): Don't try to add empty string to the
  script.

tapset: prints* macros for printing stats arrays

Extend commit bb4c40b8ddce to arrays.

* tapset/print_stats.stpm: Add prints[1-9] macros.
* parse.cxx (parser::slurp_pp1_param): Also track [ ] nesting
  when slurping macro parameters, as commas might appear in there
  that need to be relayed rather than interpreted as macro-param
  separators.
* testsuite/systemtap.printf/printf_stats.*: New test.

new macro @prints

Add a note about the new interactive mode to NEWS.

BZ1312458: report missing debuginfo rpms

At some point (commit 1f35f4db), we lost the call to the rpm_finder
missing_rpm_list_print() call at the end of pass2.  It's baa-aack.

Add multiarch testing to testsuite/systemtap.base/callee.exp.

* testsuite/systemtap.base/callee.exp: Revamp test case to test all
  supported executable sizes on multiarch systems. Standardize on a
  4-character indent.

Add some better process cleanup in the testsuite.

* testsuite/systemtap.base/stmtvars.exp: Make sure each "spawn" is
  followed by "catch {close}; catch {wait}".
* testsuite/systemtap.context/args.tcl: Ditto.
* testsuite/systemtap.context/backtrace.tcl: Ditto.
* testsuite/systemtap.context/num_args.tcl: Ditto.
* testsuite/systemtap.context/pid.tcl: Ditto.
* testsuite/systemtap.context/symfileline.tcl: Ditto.

Fix the caller.exp testcase for ppc64.

* testsuite/systemtap.base/caller.exp: On ppc64, expect system_call() as
  the caller, since vfs_write() can get inlined.

Fix the threadstacks.stp example and testcase for ppc64.

* testsuite/systemtap.examples/process/threadstacks.stp: Add ppc64 support
  by also probing "/lib*/*/libpthread.so.*", since RHEL7 ppc64 puts the
  pthread library in /lib64/power8/.
* testsuite/systemtap.base/pthread_stacks.exp: Choose the new stack size
  based on architecture, since 0x10000 is invalid for ppc64.

Update 2 test cases to work on ppc64, which can inline vfs_{read,write}.

* testsuite/systemtap.base/onoffprobe.stp: Switch from probing the return
  of vfs_write() (which can be inlined) to probing the return of
  syscall.write.
* testsuite/systemtap.base/listing_mode_sanity.exp: Make sure we use
  '.call' when listing kernel.function("vfs_read"), since on some kernels
  that function can be inlined.

Get more passes in semok.exp and semko.exp on ppc64.

* dwflpp.cxx (build_kernel_blacklist): Add ppc64-specific
  include/asm/io-defs.h file to the blacklist.
* testsuite/systemtap.pass1-4/semko.exp: Make sure vfs_read() doesn't have
  an inlined version before running twentytwo.stp.
* testsuite/systemtap.pass1-4/semok.exp (dyninst_kfails): Check for plt
  probe support before running plt[12].stp.

Align man/cs content to commit 3d7e77590 (PR15775).

* man/cs/stap.1.in: Removed RELAY_{HOST,GUEST} mention.
* man/cs/systemtap.8.in: Ditto.

PR19700: build fix on gentoo

... where modified /bin/dash doesn't speak 'echo -n'.

Fix rawhide compile problems in aux_syscalls.stp.

* tapset/linux/aux_syscalls.stp (_stp_siginfo_u): Removed extra "break"
  statements that gcc version 6 complains about on rawhide.
  (_stp_compat_siginfo_u): Ditto.

Fix PR15775 by removing old relay host/guest functionality.

* runtime/dyninst/print.c: Remove RELAY_{HOST,GUEST} functionality.
* runtime/linux/print.c: Ditto.
* runtime/print_flush.c: Ditto.
* runtime/transport/transport.c: Ditto.
* testsuite/systemtap.printf/sharedbuf.exp: Removed.
* man/stap.1.in: Removed RELAY_{HOST,GUEST} mention.
* man/systemtap.8.in: Ditto.

Accept other error codes returned by socket syscall in socket.c syscall test

On aarch64 the last socket syscall in socket.c return EINVAL rather
than EPROTONOSUPPORT.  Adjust the test to be a bit more flexible.  An
error is an error.