runtime: map streamlining

Drop all MAP_*LOCK code, which has never been compiled in.  Drop also
all map-pointer==NULL tests, since the generated code ensures
that never happens.

PR19802: make associate-array hash tables sized accordingly to each map's maxnum

Add a MAPHASHBIAS parameter to tune space-vs-time tradeoff.

PR19802 prototype: switch to murmurhash3

Instead of the kernel's hash_64 and our poor multi-index hash-mixing
function, use a minutely adapted version of Austin Appleby's 32-bit
MurmurHash3 computation.  It spreads keys and especially vectors of
keys much better.

PR13608 testsuite: fix typo in [proc setup_server]

RHBZ1319085: hack for s390 udelay_simple()

For a few brief s390 kernel builds, an exported udelay_simple()
is to be preferred to udelay().  Should have no impact anywhere
else.

Don't use cleanup_and_exit() to exit monitor mode.

This usage was causing a kernel crash so we are forced
to use SIGINT in the meantime.

Don't signal warning if script is exited immediately in monitor mode.

Fix PR19812 by translating vpid to host namespace pid.

Docker containers can use virtual pids, which need to get mapped to
host namespace pid in order to get the userspace probing working.

If the container is run with docker run --pid=host, then it uses
the host namespace pids and this translation is unnecessary.

PR13608: poll checking if the stap server started

systemtap.exp: in proc setup_server, instead of sleeping for 1 second
between starting the server and checking if it started, which
sometimes fails on rhel7, wait and poll whether the stap server has
started.

PR13608: test compile server request size options

test --max-request-size and --max-compressed-request options

PR13608: fixed comments and docs to make more sense

PR13608:  --max-compressed-request documentation

updated the man page and the stap-server command to list the
--max-compress-request size option.

PR13608: remove extra log message

don't need to log the result of the unzip -Zt command anymore.

PR13608: --max-compressed-request ## server option

add --max-compressed-request compile server option that takes a value
for the maximum compressed client request size allowed in bytes. The
default, if this option is not used is 5000 bytes.

PR13608: perform client request size check earlier

move the compressed client request size check from check_request_size()
to readDataFromSocket() which will check the expected request size
before the request transmits. Then rename check_request_size()
to be more specific, so check_uncompressed_request_size(). Default
max compressed request size if 5000 bytes.

PR13608: add documentation for --max-request-size

Update the stap-server man page and the stap-server command to
include information on the --max-request-size option.

PR13608: add --max-request-size ## option for server

Add an option in the stap server to set the max (uncompressed)
request size in bytesreceived from the client. If it's not set,
the default max request size is 50KB. Then the max compressed
request size is set to be 10% of the max uncompressed size, making
the default 5KB.

PR13608: check size of uncompressed client request

stap-serverd.cxx: using unzip, check if the client's request size is
reasonable, so between 0B and 100KB.

PR13608: check client's zipped request size

stap-serverd.cxx: on the compile server, when receiving a client
request, check that the zipped request size is not too large (>5KB).

Run update-syscalls-docs before update-docs

Rename documentation update scripts for clarity

The script names were confusing before this rename.

Add 32-bit compile fix in interactive.cxx.

Preserve the working directory within the test.

Test must not change the working directory.  Without this update,
when target_compile() failed, test finished with working directory
set to $tmpdir instead of $curdir breaking all subsequent tests:

=====
Running ./systemtap.base/utrace_syscall_args.exp ...
UNTESTED: 64_BIT_UTRACE_SYSCALL_ARGS
Running ./systemtap.base/valid_pid.exp ...
ERROR: ./systemtap.base/valid_pid.exp does not exist.
...
=====

Exit documentation generator script early on error.

Update tapset documentation

Some man pages are replaced by the function overloading changes.

Fixed PR19799 by making deleting from aggregate arrays more reliable.

* runtime/pmap-gen.c (_stp_pmap_del): Be sure to delete keys from all
  cpu's maps.
* runtime/map-gen.c (_stp_map_del_hash): New function.
* testsuite/systemtap.maps/agg_delete.exp: New test case.
* testsuite/systemtap.maps/agg_delete1.stp: Ditto.
* testsuite/systemtap.maps/agg_delete2.stp: Ditto.

Remove duplicate entries for generated tapset cross references

Fix some copy paste typos

The -g flag was not added so the testcase failed

Add backwards compatible tapset functions following function overloading
changes.

Use function overloading in some tapset functions

Documentation for overloaded functions are now merged into
one entry. Some tapset functions are now simplified through
overloading. Instead of having new function names with suffixes
such as "2" or "pid" to indicate extra arguments, the functions
now seem to have optional arguments.

* doc/SystemTap_Tapset_Reference/overload.py: New script to resolve
documentation for overloaded functions.
* tapset/*: Rename some functions.
* testsuite/*: Rename functions in tests.

examples: tweak .meta files

Added some overlooked fun .meta's for jistone's old key*.stp examples;
removed unnecessarily-unique organizational keywords from other examples.

tapset: use @cast() with "kernel<...>" part for tcphdr

This allows netfilter tcp probes to use the tcp.stp tapset functions
without debuginfo.

new sample: network/who_sent_it

This traces threads sending out ip network traffic to given hosts and/or ports.

Permit stap -G parameter values to contain .

The kernel doesn't mind, and has no security implications,
so extend the -G var=value regexp slightly.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Fix PR19764: stap --tmpdir leaves useless tempdirs behind

Remove call to create_tmp_dir() from the main systemtap_session
constructor and call it slightly later, after the cmdline parsing
is finished.  Plus modify create_tmp_dir() so that it only creates
the tmpdir if --tmpdir has not been set on the cmdline.

Make "monitor" mode working with "interactive" mode.

* interactive.cxx (forked_parse_pass): Make sure "monitor" mode is off
  while running the parser. Otherwise we can end up with multiple copies
  of the monitor synthetic probes.
  (forked_semantic_pass): Ditto.
  (interactive_mode): Make sure "monitor" mode is off while dumping probe
  types.

Make utrace_syscall_args.exp pass when run on an NFS filesystem.

* testsuite/systemtap.base/utrace_syscall_args.exp: Put all temporary
  files in a temporary directory and run the script from there. This makes
  the test pass when run from an NFS filesystem.

Make sure the "dump" options can't be used with -i or --monitor.

* session.cxx (check_options): Make sure the dump options (-l/-L/--dump-*)
  can't be used with interactive mode (-i) or monitor mode (--monitor).
* testsuite/parseko/cmdline25.stp: New test.
* testsuite/parseko/cmdline26.stp: Ditto.

Updated testsuite/semok/thirtythree.stp for newer kernels.

* testsuite/semok/thirtythree.stp: Updated for newer kernels. Kernel
  commit 1d798ca3f16437 removed the 'first_page' member of the 'page'
  struct.

Fixed PR19756 by updating tapset/linux/proc_mem.stp.

* tapset/linux/proc_mem.stp (proc_mem_data): Updated for kernel commit
  8463833590, which reworked virtual memory accounting.
  (proc_mem_data_pid): Ditto.

testsuite pyexample.py: make python2.6 compatible

Improve test for STAP_NEXT macro

Check to make sure that STAP_NEXT returns immediately from function.

In interactive mode, run the user's script through -p2 after each change.

* interactive.cxx (auto_analyze_opt): Added new class to handle the
  "auto_analyze" option. If non-zero, the user's script is run through
  pass 2 after every command that modifies the script.
  (add_cmd::handler): Added logic to call forked_semantic_pass() if the
  auto_analyze option is set.
  (edit_cmd::handler): Ditto.
  (delete_cmd::handler): Ditto.
  (forked_semantic_pass): New function to run the user's script through
  pass 2.
  (interactive_mode): Add new "auto_analyze" option.

testsuite celsius.py: make python2.6 compatible

Function overloading embedded-C macro fix

Branch to end label after setting next flag.
Add vim syntax highlighting for macro.

PR18431: Add some tests and final fixes

* elaborate.cxx: typeresolution_info::visit_functioncall: Restore
  type variable on overload, prefix monitor mode function.
* parse.cxx: parser::do_parse_functiondecl: Improve exception message.
* translate.cxx: c_unparser::visit_functioncall:
  - Remove __label__
  - Emit gotos only if overloads present
* testsuite/systemtap.base/func_overload.exp: Test it.

PR18431: Function overloading

A functioncall may now have a variety of implementations
and have the selection happen during runtime. Overloading
by number of parameters during compile time is also
available.

* elaborate.cxx:
  - no_var_mutation_during_iteration_check::visit_functioncall:
    Adapt to referents list.
  - symresolution_info::visit_functioncall: Likewise + sort functioncalls.
  - symresolution_info::find_function -> find_functions: Likewise.
  - void_statement_reducer::visit_functioncall: Likewise.
  - duplicate_function_remover::visit_functioncall: Likewise.
  - autocast_expanding_visitor::resolve_functioncall: Likewise.
  - typeresolution_info::visit_arrindex: Likewise.
  - get_functionsig: Use unmangled name.
* elaborate.h: find_function -> find_functions.
* main.cxx: Set parser user_file indicator flag.
* parse.cxx: Parser user_file flag, accept function declaration
  priority label syntax, remove duplicate function name checking,
  allow next in functions.
* parse.h: pf_user_file flag.
* common_probe_context.h: New "next" flag.
* session.h: New overload_count map for overload name resolution.
* staptree.cxx:
  - functioncall::functioncall: Remove referent initializer list.
  - functiondecl::functiondecl: Initialize default function priority.
  - functioncall_traversing_visitor::visit_functioncall:
    Adapt to referents list.
  - deep_copy_visitor::visit_functioncall: Likewise.
* staptree.h:
  - functioncall: Now holds list of referents.
  - functiondecl: New priority value.
  - function_priority_order: New functor for sorting.
* tapset-method.cxx: Adapt to referents list.
* tapsets.cxx: Adapt to referents list.
* parseko/eleven.stp: Invalidated.
* parseko/nineteen.stp: Invalidated.
* parseko/private02.stp: Invalidated.
* semko/fifty.stpL Invalidated.
* systemtap.base/optim_arridx.exp: Make compatible with overloading.
* translate.cxx:
  - c_unparser: New fc_counter to generate functioncall end labels.
  - c_unparser::emit_function: Reset context next flag, output STAP_NEXT
    macro.
  - c_unparser::visit_next_statement: Set context next flag, allow next
    in functions.
  - c_unparser::visit_functioncall: Main overloading logic.
  - recursion_info::visit_functioncall: Adapt to referents list.

The interactive mode "delete" command now deletes line ranges.

* interactive.cxx (delete_cmd::handler): Add the capability of deleting a
  range of script lines.

If we receive a Ctrl-d in interactive mode, ask if we should quit.

* interactive.cxx (interactive_mode): Treat Ctrl-d at the prompt like a
  "quit" command (but ask first).

Improve the interactive mode "add" command by prompting for more input.

* interactive.cxx (add_cmd::handler): If the user doesn't enter a complete
  function or probe definition on the command line, keep prompting him to
  do so. We know he's finished when the definition can be parsed without
  an error.
  (forked_parse_pass): New function.

Handle imbedded spaces in the interactive mode command "add".

* interactive.cxx (add_cmd::handler): Use the raw input instead of the
  tokenized input, to preserve embedded spaces.

Keep the "add" interactive command from crashing when passed no input.

* interactive.cxx (add_cmd::handler): Don't try to add empty string to the
  script.

tapset: prints* macros for printing stats arrays

Extend commit bb4c40b8ddce to arrays.

* tapset/print_stats.stpm: Add prints[1-9] macros.
* parse.cxx (parser::slurp_pp1_param): Also track [ ] nesting
  when slurping macro parameters, as commas might appear in there
  that need to be relayed rather than interpreted as macro-param
  separators.
* testsuite/systemtap.printf/printf_stats.*: New test.

new macro @prints

Add a note about the new interactive mode to NEWS.

BZ1312458: report missing debuginfo rpms

At some point (commit 1f35f4db), we lost the call to the rpm_finder
missing_rpm_list_print() call at the end of pass2.  It's baa-aack.

Add multiarch testing to testsuite/systemtap.base/callee.exp.

* testsuite/systemtap.base/callee.exp: Revamp test case to test all
  supported executable sizes on multiarch systems. Standardize on a
  4-character indent.

Add some better process cleanup in the testsuite.

* testsuite/systemtap.base/stmtvars.exp: Make sure each "spawn" is
  followed by "catch {close}; catch {wait}".
* testsuite/systemtap.context/args.tcl: Ditto.
* testsuite/systemtap.context/backtrace.tcl: Ditto.
* testsuite/systemtap.context/num_args.tcl: Ditto.
* testsuite/systemtap.context/pid.tcl: Ditto.
* testsuite/systemtap.context/symfileline.tcl: Ditto.

Fix the caller.exp testcase for ppc64.

* testsuite/systemtap.base/caller.exp: On ppc64, expect system_call() as
  the caller, since vfs_write() can get inlined.

Fix the threadstacks.stp example and testcase for ppc64.

* testsuite/systemtap.examples/process/threadstacks.stp: Add ppc64 support
  by also probing "/lib*/*/libpthread.so.*", since RHEL7 ppc64 puts the
  pthread library in /lib64/power8/.
* testsuite/systemtap.base/pthread_stacks.exp: Choose the new stack size
  based on architecture, since 0x10000 is invalid for ppc64.

Update 2 test cases to work on ppc64, which can inline vfs_{read,write}.

* testsuite/systemtap.base/onoffprobe.stp: Switch from probing the return
  of vfs_write() (which can be inlined) to probing the return of
  syscall.write.
* testsuite/systemtap.base/listing_mode_sanity.exp: Make sure we use
  '.call' when listing kernel.function("vfs_read"), since on some kernels
  that function can be inlined.

Get more passes in semok.exp and semko.exp on ppc64.

* dwflpp.cxx (build_kernel_blacklist): Add ppc64-specific
  include/asm/io-defs.h file to the blacklist.
* testsuite/systemtap.pass1-4/semko.exp: Make sure vfs_read() doesn't have
  an inlined version before running twentytwo.stp.
* testsuite/systemtap.pass1-4/semok.exp (dyninst_kfails): Check for plt
  probe support before running plt[12].stp.

Align man/cs content to commit 3d7e77590 (PR15775).

* man/cs/stap.1.in: Removed RELAY_{HOST,GUEST} mention.
* man/cs/systemtap.8.in: Ditto.

PR19700: build fix on gentoo

... where modified /bin/dash doesn't speak 'echo -n'.

Fix rawhide compile problems in aux_syscalls.stp.

* tapset/linux/aux_syscalls.stp (_stp_siginfo_u): Removed extra "break"
  statements that gcc version 6 complains about on rawhide.
  (_stp_compat_siginfo_u): Ditto.

Fix PR15775 by removing old relay host/guest functionality.

* runtime/dyninst/print.c: Remove RELAY_{HOST,GUEST} functionality.
* runtime/linux/print.c: Ditto.
* runtime/print_flush.c: Ditto.
* runtime/transport/transport.c: Ditto.
* testsuite/systemtap.printf/sharedbuf.exp: Removed.
* man/stap.1.in: Removed RELAY_{HOST,GUEST} mention.
* man/systemtap.8.in: Ditto.

Accept other error codes returned by socket syscall in socket.c syscall test

On aarch64 the last socket syscall in socket.c return EINVAL rather
than EPROTONOSUPPORT.  Adjust the test to be a bit more flexible.  An
error is an error.

Improve perf example and perf read error messages.

* runtime/linux/perf.c (_stp_perf_read): Improve perf read error messages.
* testsuite/systemtap.examples/profiling/perf.stp: Avoid divide by zero
  errors.

Make some small improvements to systemtap.base/callee.exp.

* testsuite/systemtap.base/callee.exp: Made the test more verbose for
  debugging purposes. Reports the desired output and shows the compile
  commands used.
* testsuite/systemtap.base/callee.inlined.c: Has a better return status so
  stap doesn't complain about the target exiting with a non-zero status.

Revert callee.exp change in commit 83dec8abfc7f35e.
This causes a fail on rhel7.2 for the .callee(foo).call testcase.

add CVE-2015-7547 (glibc getaddrinfo) security band-aid

Fix PR19644 by updating the runtime to handle linux 4.5 commit 8244062ef1.

* runtime/transport/symbols.c (_stp_module_update_self): Handle kernel
  change moving module symbol table information into a 'struct
  mod_kallsyms'.
* runtime/linux/autoconf-mod_kallsyms.c: New autoconf test.
* buildrun.cxx (compile_pass): Add autoconf test for 'struct
  mod_kallsyms'.

Add testcase for PR19525 (script doesn't finish in bulk mode).

Fix PR19639 by updating the parallel_exec.exp testcase.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Merge branch 'dsmith/interactive'

testsuite: a buildok-level test for -DSTP_NO_VERREL_CHECK

Add ability to override kernel release check

In some situation it might be useful to disable checking the
kernel release. This happens when a kernel module is being rebuilt
and then probed. Without this override one has to reboot the machine
with the new kernel (and module) and then use systemtap.

To rectify the situation add a new define STP_NO_VERREL_CHECK,
which disables the relevant code in the resulting systemtap module.

This can be used with the following syntax:
stap -DSTP_NO_VERREL_CHECK script.stp

Signed-off-by: Nikolay Borisov <n.borisov@siteground.com>

Add a couple of dyninsg KFAILs to buildok-dyninst.exp and semok.exp.

* testsuite/systemtap.pass1-4/buildok-dyninst.exp: Add
  buildok/profiletimer.stp as a dyninst KFAIL.
* testsuite/systemtap.pass1-4/semok.exp (dyninst_kfails): Add
  semok/transko.stp as a dyninst KFAIL.

Improve tracepoint support on systems with self-built kernels.

* tapsets.cxx (header_exists): New function
  (tracepoint_extra_decls): Look for headers in the kernel build tree and
  kernel source tree (instead of just the kernel source tree). On systems
  with self-built kernels, we were failing to find tracepoint headers.
* buildrun.cxx (compile_pass): Add kernel build tree directory to include
  path.
  (make_tracequeries): Ditto.

Fix testcase backtrace.exp by aligning it to commit 54d87c8ffc.

Add RELAY_HOST/RELAY_GUEST example to stap.1.

Fix PR19560 by improving the relay code.

* staprun/relay.c (reader_thread): Use mutex when accessing state
  variable.
  (switchfile_handler): Ditto. Also don't send the USR2 signal to the same
  thread running the signal handler.
  (init_relayfs): Initialize the mutexes.
  (close_relayfs): Destroy the mutexes.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Better test for hardware breakpoint support in the examples.

* testsuite/systemtap.examples/memory/hw_watch_addr.meta: Move the
  hardware breakpoint test to the associated tcl file.
* testsuite/systemtap.examples/memory/hw_watch_sym.meta: Ditto.
* testsuite/systemtap.examples/memory/hw_watch_addr.tcl: New file.
* testsuite/systemtap.examples/memory/hw_watch_sym.tcl: New file.

Autoreconf following commit 24ef0e886 (automake-1.15-4.fc23).

Add more czech localized manpages.

configure.ac: Process man/cs/{stappaths.7,systemtap.8} with automake.
man/cs/Makefile.am: Put individual manpages into correcponding folders.
man/dtrace.1: Add BUGS section.
man/error::dwarf.7stap: Fix typos.
man/cs/*: New manpages.
NEWS: An advertisement.

error::pass4 - emphasize building stap from git for fresh kernels

PR13643: log client options passed to compile server

Log the options that a stap client passes to the stap compile server.
This will include logging the script file name or the -e script,
depending on what is used by the client.

Use unmangled_name in a couple more places.

Some code for the embedded-C global variable sharing was
using tok->content to unmangle the variable names.

* elaborate.cxx: monitor_mode_read
* staptree.cxx: varuse_collecting_visitor::visit_embedded{code, _expr}
* translate.cxx: global variable sharing functions

Fix PR19536 by making more synthetic functions "private".

* tapsets.cxx (dwarf_pretty_print::expand): Treat internal synthetic
  functions as private.
  (sdt_uprobe_var_expanding_visitor::try_parse_arg_varname): Set
  'unmangled_name' when creating a synthetic function.
* elaborate.cxx (create_monitor_function): Set 'unmangled_name' when
  creating a synthetic function.
* tapset-procfs.cxx (procfs_var_expanding_visitor::visit_target_symbol):
  Ditto.
* testsuite/semok/kretprobe-data.stp: Fix typo.

stapdyn: -fstd=c++11 compatibility

typeof() and auto_ptr() needed some #ifdef love so that the code
compiles with
     CXXFLAGS="-std=c++11 -O2 -g -Wextra -Wall -Werror"
and  CXXFLAGS="-O2 -g -Wextra -Wall -Werror"

Fixed PR19537 by writing a new parse semko test.

* testsuite/systemtap.pass1-4/parse-semko.exp: New test case, similar to
  the old parseok/semko.stp case, that makes sure that we can parse all
  the semko test cases.
* testsuite/parseok/semko.stp: Deleted.
* testsuite/semko/netfilter09.stp: Corrected pass number to '-p2'.
* testsuite/semko/netfilter10.stp: Ditto.
* testsuite/semko/netfilter11.stp: Ditto.

Fix configure.ac enable htmldocs logic

Disable building html documentation in specfile

Move semko/perf01.stp to transko/perf01.stp.

* testsuite/transko/perf01.stp: Moved from semko/perf01.stp (since this
  test fails in pass 3, not pass 2) and added a comment.

Move semko/perf01.stp to transko/perf01.stp.

* testsuite/transko/perf01.stp: Moved from semko/perf01.stp (since this
  test fails in pass 3, not pass 2) and added a comment.

Allow explicit disable htmldocs flag