dwflpp: use fixed-size buffers for ldd parsing

The dynamic string allocation causes trouble on RHEL5 -- %as is always
parsed as a float under C++11, but %ms requires glibc >= 2.7.  But we
already used a fixed buffer for the line, so additional fixed buffers
are not a big deal for its substrings.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

remote: use initializer lists to build cmd vectors

stap-serverd: use initializer lists to build cmd vectors

session: use initializer lists to build cmd vectors

csclient: use initializer lists to build cmd vectors

buildrun: use initializer lists to build cmd vectors

util.h: double-check C++11 support

Plug preempt leak in _stp_runtime_entryfn_put/get_context.

If _stp_runtime_entryfn_get_context returns a context, preemption
counter is always incremented. On the other hand
_stp_runtime_entryfn_put_context only decrements the counter if the
passed context matches the one currently set on the cpu.

The context can be set to NULL by _stp_runtime_contexts_free, making the
comparison false and in effect leading to a leak, e.g.:
timer: _stp_ctl_work_callback+0x0/0x1e0[stap_af8544c7eb51251ef8c
 377abff659b05_25070] preempt leak: 00000101 -> 00000102

monitor mode: remove pipe

Save output to monitor ring buffer directly instead of sending it
through a pipe.

* staprun/mainloop.c: remove pipe fd from fd set
* staprun/monitor.c: remove pipe data processing, add mutex for ring
  buffer
* staprun/relay.c:
  reader_thread - add line processing logic
  init_relayfs - remove pipe
* staprun/staprun.h - remove pipe

Fix: process.library.function failed with sysroot.

Signed-off-by: Torsten Polle <Torsten.Polle@gmx.de>

Fix: Processes are not found.

If sysroot is set, module_val will get sysroot as prefix. But
is_fully_resolved() is appending sysroot once more.

Signed-off-by: Torsten Polle <Torsten.Polle@gmx.de>

Fix: Debug links are not found if the sysroot is used.

Signed-off-by: Torsten Polle <Torsten.Polle@gmx.de>

Support the sysroot option for modules added for symbol/unwind information

The sysroot option failed for modules added for their symbol/unwind
information. Those user module names are prepended by sysroot.

Signed-off-by: Torsten Polle <Torsten.Polle@gmx.de>

Specialize hash<interned_string> for the different implementations

We need the custom hash for boost::string_ref, but the fallback based on
std::string can just forward its hashing.

Also note C++17's std::string_view, which hashes natively.

note the possible use of std::string_view

Dissolve unordered.h

Use std::unordered_map et al

Remove the unused auto_free.h

If anyone wants similar functionality again, unique_ptr and shared_ptr
can take custom deleters, e.g. std::unique_ptr(p, std::free);

Use make_shared for creating exp_types

Always use std::shared_ptr rather than boost's

Also demonstrate better "auto" and "make_shared" use in stapdyn.

Assume unique_ptr is available now

stapdyn: always use decltype instead of typeof

The former is standard C++11, and the latter is a compiler extension.
They work equivalently as used here.

autoreconf -i

configure: make C++11 mandatory

We'll use RHEL6 (GCC 4.4) as our baseline.  This doesn't have full C++11
support, but it's enough for us to see some benefit.

Improved fake utrace locking.

* runtime/stp_utrace.c: Fixed potential locking issues by changing the
  'task_work_added' and 'report_work_added' members of 'struct
  utrace' to be atomic variables. In the process, I also renamed
  'task_work_added' to 'resume_work_added'. As atomice variables, they can
  be modified without locking the utrace struct. Also renamed the 'work'
  member of 'struct utrace' to 'resume_work' (to match up with
  'resume_work_added').

Fix PR19954 by avoiding "suspicious RCU usage" message.

* runtime/transport/symbols.c (_stp_module_update_self): Properly handle
  RCU locking when retrieving the 'kallsyms' member of the module
  structure.

monitor mode: some improvements

Increased size of help window, fixed probe list scrolling

PR20013: stap --dump-functions broken

monitor mode: some refactoring, add a border to status window

staprun: reinstate -d '*' operation

PR14245 created a new relay_basedir_fd variable, for use when
staprun/stapio passes staprun a file descriptor for the base directory
of the sysfs systemtap-module directory.  (This is necessary in order
to get around 0700 mount-dir permissions.)  This broke staprun -d '*'
operation, since that variable got set (badly) once within the readdir
loop, and thence made actual removes inoperative.  Now we clear out
that variable so each actual module subdirectory will get a good
cleaning.

monitor mode: bugfix

Fix an off by 1 error and always flush output.

monitor mode: Use pop up panel for help message

monitor mode: simplify scrolling

Tab is now used to select the window to perform scrolling on.

Fix PR19990 by updating runtime/linux/access_process_vm.h.

* runtime/linux/access_process_vm.h (__access_process_vm_): Use
  get_user_pages_remote() when available.
* buildrun.cxx (compile_pass): Added export test for
  'get_user_pages_remote()'.

Avoid using tcl exec command "-ignorestderr" option

In older versions of tcl the exec command does not support the
"-ignorestderr" option.  Changed the code to redirected the stderr
output to /dev/null which works on both older and newer versions of
tcl.

installcheck-parallel: show end of systemtap.sum when done

Remove empty script file warning for tapset files

Empty tapset files warnings are now suppressed and not removed.
Empty user level scripts still have this warning.

Autoreconf following commit 6a32afe.

Fix testsuite's installcheck-parallel behavior for stap not in $PATH.

This fixes the testsuite's installcheck-parallel target so that it
works even when stap binary resides on some place not referenced
within $PATH.

Note that we want to stop the testing in case environment_sanity.exp
fails.  For this reason we need to avoid calling runtest using
the execrc script.

Remove a blacklist regular expression that wasn't needed.

* dwflpp.cxx (build_kernel_blacklist): Removed a blacklist regexp,
  "|raw_.*", since it didn't seem to match any locking functions as it was
  supposed to do.

Move the testsuite's artifacts directory to the builddir.

This update is a response to PR10791#c15. It moves the artifacts
directory, introduced in commit 8093ef39b, to the build directory
avoiding writes to the source directory.

Modify the dry run mode for the network/socktop example.

We want to avoid testsuite writing into the source directory.
Before this update, when socktop has been run by check.exp as
a part of the testsuite run, it was copying the module to the
working directory.  We want to avoid this.

Fixed PR19940 by updating runtime/linux/access_process_vm.h.

* runtime/linux/access_process_vm.h: Changed page_cache_release() to
  put_page().

Terminate testsuite run if compiler sanity test fails.

Ensure that the testsuite run terminates right at the beginning
if compiler sanity test fails.  This notably ensures that required
headers, object files and libraries are in place for the main arch,
as well as for the compat arch in the multilib environment.

Fix PR19905 by adding support for the preadv2/pwritev2 syscalls.

* tapset/linux/syscalls2.stp: Added preadv2/pwritev2 syscall probes.
* tapset/linux/nd_syscalls2.stp: Ditto.
* tapset/linux/aux_syscalls.stp (_preadv2_flags_str): New function.
* testsuite/systemtap.syscall/preadv.c: Added preadv2() testing.
* testsuite/systemtap.syscall/pwritev.c: Added pwritev2() testing.

Improve 64-bit file offset handling in syscall.preadv and syscall.pwritev.

* tapset/linux/syscalls2.stp (syscall.preadv): Improve handling of 64-bit
  offsets.
  (syscall.pwritev): Ditto.
* testsuite/systemtap.syscall/preadv.c: Turn on 64-bit file offsets and
  add tests to make sure we're decoding them properly.
* testsuite/systemtap.syscall/pwritev.c: Ditto.

Add missing asmlinkage() calls to nd_syscall.{membarrier,userfaultfd}.

* tapset/linux/nd_syscalls.stp (nd_syscall.membarrier): Add missing
  asmlinkage() call.
* tapset/linux/nd_syscalls2.stp (nd_syscall.userfaultfd): Ditto.

Add the testsuite parallel testing feature.

This merges updates from the mcermak/paralleltest branch into the master.

Fix PR19915 by correctly updating the wsize.

tapset docs: ctime overloading

Vincent Bernat reported problems building with --enable-htmldocs due
to the newly overloaded ctime() function docs.  Tweak the /** */
docs for the second overload, so as to suffer errors in neither
html nor pdf build phases.

Fix typo in SystemTap_Tapset_Reference/man3

This patch fix some spelling typos found in
doc/SystemTap_Tapset_Reference/man3.

Signed-off-by: Masanari Iida <standby24x7@gmail.com>

Finish fixing PR19882 by updating support for the copy_file_range() syscall.

* tapset/linux/syscalls.stp: Corrected argstr formatting for
  'copy_file_range'.
* tapset/linux/nd_syscalls.stp: Corrected argstr formatting and types for
  'copy_file_range'.
* testsuite/buildok/nd_syscalls-detailed.stp: Updated copy_file_range test.
* testsuite/buildok/syscalls-detailed.stp: Ditto.
* testsuite/systemtap.syscall/copy_file_range.c: Got copy_file_range()
  test working.

PR19882: add copy_file_range syscall supportt

tapset/linux/nd_syscalls.stp: kprobe based syscall probe for
copy_file_range syscall
tapset/linux/syscalls.stp: kernel function based syscall probe for
copy_file_range syscall
buildok/[nd_]syscalls-detailed.stp: basic buildok tests for the new
probe points
copy_file_range.c: test file to check new tapset functionality

Add tests for 2 new functions in buildok/aux_syscalls-embedded.stp.

Cleaned up 'pure' and 'unprivileged' annotations in aux_syscalls.stp.

* tapset/linux/aux_syscalls.stp: Cleaned up. Marked _membarrier_cmd_str()
  as a string function. Audited all functions and constants to make sure
  they are marked as 'pure' and 'unprivileged' when needed.

Fix PR19876 by adding tapset support for the 'userfaultfd' system call.

* tapset/linux/syscalls2.stp: Add support for the 'userfaultfd' system
  call.
* tapset/linux/nd_syscalls.stp: Ditto.
* tapset/linux/aux_syscalls.stp (_userfaultfd_flags_str): New function.
  (_sys_pipe2_flag_str): Added O_DIRECT to the list of supported flags.
* testsuite/buildok/syscalls2-detailed.stp: Add userfaultfd test.
* testsuite/buildok/nd_syscalls2-detailed.stp: Ditto.
* testsuite/systemtap.syscall/userfaultfd.c: Add new
  syscall.exp/nd_syscall.exp test case.

Fix PR19875 by adding tapset support for the 'membarrier' system call.

* tapset/linux/syscalls.stp: Add support for the 'membarrier' system
  call.
* tapset/linux/nd_syscalls.stp: Ditto.
* tapset/linux/aux_syscalls.stp (_membarrier_cmd_str): New function.
* testsuite/buildok/syscalls-detailed.stp: Add membarrier test.
* testsuite/buildok/nd_syscalls-detailed.stp: Ditto.
* testsuite/systemtap.syscall/membarrier.c: Add new
  syscall.exp/nd_syscall.exp test case.

Fix the interactive stap's buildok-interactive.exp test case.

* testsuite/lib/stapi.exp (stapi_start): Set the interactive stap's
  termibnal to 4096 columns, to avoid problems with long pathnames needing
  to scroll.
* testsuite/systemtap.pass1-4/buildok-interactive.exp: Tweak switch
  statements so that tcl will know when the arguments stop. This was
  bothering RHEL5's ancient tcl (8.4.3).

Add kernel support-range to stap -V output and other PRERELEASE markers.

RHBZ1321628: temporarily suppress CONFIG_STACK_VALIDATION=

Something in kernel 4.6.0-rc0 is interfering with our makefiles.

copyright year bump

PR19874: reset 60s alarm for "stap -c CMD"

Brown paper bag bug.  Test case included.

routine configury prep for future 3.1 release

pre-release docs rebuild

Updated the tapset-doc-filter overload.py to more accurately
process overloaded entities.  One should count by 'programlisting'
nodes, not by 'para', which can repeat within any single overload.

AUTHORS bump

PR19873: staprun -o BADFILE -c CMD cleanup

* staprun/mainloop.c (start_cmd): Close fd >= 3 to ensure no dangling
  reference to the stap module /.cmd file.  Set an alarm timeout, in
  case the parent process goes away and forgets to send us our SIGUSR
  to exec the CMD.

staprun: tweak the -o path-pattern length limiting

cpuNNN is too limited, considering we can have cpus beyond serial
number 999.  Bump it way up.  999999 cpus should be enough for
anybody.

testsuite examples check.exp: Don't try to clean up output files.

Scraping file name patterns out of a test_installcheck command line
is fragile, undocumented, and unnecessary.  Plus if the code failed,
it could error out of the whole .exp file.  Stop trying to clean
this up.

made some tasty update-po soup

PR19833: turn cleanup_module / init_module inside out

Sort of ... at least, make the synthetic systemtap_kernel_module_{init,exit}
unctions the outermost rather than innermost wrapping layer.  This is because
in the procfs case, the synthetic _exit function can run first (if the
module's being rmmod'd without an STP_EXIT message), and the subsequent
transport / belated-stap-probe-cleanup code can run second.  That's bad
if the former tries to nuke /proc/systemtap/$DIR while the latter still
has subdirectories/files it wants to clean up (such as for procfs.read
objects).

So now we make the /proc/systemtap/$DIR [de]construction be fairly far out.

stap driver: close $HOME/.systemtap/rc file after reading

The ifstream stayed open too long (and was even passed to child processes).

translate.cxx monitor_status probe: add try/catch

Tolerate overflow of the procfs output buffer used for collecting the
monitor_status JSON content.  Also, come up with a reasonable WAG for
how much data we might write.  It could be far more than 8K if we're
talking about scripts with hundreds of probes.

monitor mode: show some status even for exited script

Retain the parsed json object from refresh to refresh, so in case
the module exits, we still can draw a curses window from the last
available content.  (Print a reasonable error message otherwise.)

Monitor mode: Don't display EXITED in default help

The else block was being executed in help state.

Monitor mode: add faster output scrolling hotkeys

Monitor mode: add option to hide status window

This allows users to use the entire window for output.

Make sure monitor pipe file descriptors are marked close-on-exec.

* staprun/relay.c (init_relayfs): Make sure pipe fds are marked
  close-on-exec.
* staprun/common.c (pipe_cloexec): New function.
* staprun/staprun.h: Add pipe_cloexec() prototype.

staprun/monitor.c: build under -std=c90-ish

No  ... for(int i ...  for you!

staprun monitor: handle !HAVE_MONITOR_LIBS case differently

Instead of stub inlines in staprun.h, put real stub functions into
monitor.c, which is now compiled even iun the !HAVE_MONITOR_LIBS case.

RHBZ1319085 cont'd: #undef delay() before redefining it

elaborate.cxx: tweak monitor mode globals representaton

Fix the quoting in the generated procfs("monitor_status") probe
so that values of globals are properly quoted in the JSON stream.

stapio main loop: always time out on pselect()

The main thread's pselect() call must now get a timeout setting too,
because it is responsible for orderly shutdown of the stap module in
case of interrupts.  Without a polling timeout, the pselect() can just
sit there, with other reader threads happily continuing their work,
as though the ^C never took effect.

Fix staprun compile error when HAVE_MONITOR_LIBS isn't defined.

* staprun/common.c (monitor_winch): Add empty function when
  HAVE_MONITOR_LIBS isn't defined, to make the compiler happy. This is
  necessary since the function's address is used in setup_main_signals().
* staprun/staprun.h: When HAVE_MONITOR_LIBS isn't defined, change
  monitor_winch() from an inline function to a declaration.

Avoid "make distclean" removing removing various man pages

The man pages are not generated by the regular "make". They are now
generated using a special step and are now part of the sources.  The
"make distclean" should not remove these prebuilt pages.

RHBZ1320691: correct path to /sbin/new-kernel-pkg

This name works on older distros as well as /usr-move ones.

tapset: add ctime() 0-argument overload

fix monitor mode: output was being limited to first n rows

monitor mode: staprun revamp

A group of changes for usability & stability of the staprun side of
--monitor mode.  The gist of it is to let staprun persist awhile after
a script exits (whether interactively commanded with 'q', or with the
script exiting due to an exit/error), so that its outputs can be seen.

* monitor.c (monitor_state): Add new "exited" and "exited_help" states.
  (monitor_render): Remove code that reads input from module.
  Support exited_help subset text.
  (monitor_remember_output_line): New utility function to strndup
  module output lines into our circular buffer.
  (monitor_input): Revamp logic to use read(2) syscalls instead of
  temporary fdopen() FILEs to read from module-output pipe, for
  several reasons.
  (monitor_exited): New function to enter exited state.
* relay.c (reader_thread): Use write(2) loop when feeding output
  pipe/file, in case it gets full.
  (init_relayfs): Drop F_SETPIPE_SZ; it is not needed with write loop
  here and proper nonblocking read on other side.
* mainloop.c (signal_thread): Keep it running after each signal, just
  in case a ^C is repeated.  Encode SIGQUIT with a set to 'load_only'
  instead of pending_interrupts count.
  (stp_main_loop): Treat several startup-time errors as worthy of
  stap module removal/cleanup rather than detaching.  Within main
  loop proper, call cleanup_and_exit upon pending_interrupts, as
  the single standard spot where a stap module shutdown from any
  cause should come.  Redirect warning/error messages to monitor
  output buffer.  Notify monitor code of received STP_EXIT message.
* staprun.h: Provide inline-void stub functions for the !MONITOR_LIBS
  case.

Add logging to systemtap.base/strftime.exp.

* testsuite/systemtap.base/strftime.exp: Add logging so that we can better
  see what is going on.

Add some missing documentation

Add "private" keyword in stapref and use of "next" in functions.

Fix PR17393 by improving the way we execute "system" commands.

* staprun/common.c (open_cloexec): New function.
  (openat_cloexec): Ditto.
  (closefrom): ditto.
* staprun/staprun.h: Add prototypes for new functions.
* staprun/ctl.c (init_ctl_channel): Before trying to open the control
  channel, make sure it isn't open already. Use openat_cloexec() and
  open_cloexec() when opening the control channel. Remove unneeded call to
  set_clexec().
* staprun/relay.c (open_outfile): Use open_cloexec(). Remove unneeded call
  to set_clexec().
  (init_relayfs): Ditto.
* staprun/relay_old.c (open_relayfs_files): Ditto.
  (init_oldrelayfs): Ditto.
* staprun/mainloop.c (start_cmd): Add comment explaining the closefrom()
  isn't needed here.
  (system_cmd): Wait until the child has closed everything (by calling
  closefrom) before returning.
* staprun/staprun.c (term_signal_handler): Remove unneeded call to
  close_ctl_channel(), since remove_module() now calls it.

Monitor mode: clamp probe list scrolling

Previously, the probe list could be scrolled beyond the number of probes
available and display an empty list. This also made it harder to scroll
up. Also, the number of script probes is now extracted using the json list.

Monitor mode: display number of script probes

Remove monitor mode global mangling

Commit 87103d2b32ea873721 does not mangle variable names
during the search so the synthetic monitor_enabled variables could
not be found. Those synthetic variables are now not mangled to
allow them to be found.

monitor mode: add 'q' keystroke to quit

It'll be nice to have a sequence other than ^C to cause an exit, so
that e.g. we can review output / diagnostics after the script quit.
Switching to 'h' to flip between help screen and normal mode, to avoid
accidental 'q'.

monitor mode: deconflict with private global mangling

The synthesized probe body for monitor mode control needs to refer to
globals that may be declared private inside a tapset, in order to
clear them.  It needs to pierce the mangling-based name-hiding, so
that when the synthetic fragment is symbol-resolved, it will find the
mangled private globals to manipulate.  This is implemented by an
optional mode-flag in the symresolution_info class to suppress
global-mangling.

The test script was:

   stap --monitor -p4 -e 'probe nd_syscall.* {}' -v

translator: PR13283 redux, optimize string comparison again

With the function-overloading machinery now assuring that function
calls translate to full temporaries to hold return values, we no
longer need to make yet another copy just to evaluate string
comparisons.

PR13283: make strcmp test case run in -u mode also

procfs write probe: optimize with /* stable */

The synthetic ...procfs_value_get function used in procfs().write
probes should be considered stable, so its calls can be optimized.