PR15044: remove error return string in ip.stp

linux/context-symbols: fix small typo in cutesy error return

Fixes a typo in the return value which could affect backwards
compatibility with versions <= 2.2.

PR15044: change _stp_text_str() from void to int and clean up tapset

The tapset functions user_string_quoted() and user_string_n_quoted()
now no longer return "NULL" and _stp_text_str() in stp_string.c no
longer returns "<unknown>". Instead, _stp_text_str() was changed to
return an int which the tapset checks for to detect an error.

PR15044: cleaned up functions in uconversions.stp

Made multiple changes to the way functions report errors. Also added
two new functions to help the cause: user_string2_warn() and
user_string2_n_warn().

PR15044: clean up funcs in errno.stp and string.stp

In errno.stp, made returnstr() report an error if there are no
registers available rather than returning 0. In string.stp, changed
stringat() to report an error if pos is out of bounds.

Minor typo fix in logging.stp.

stapregex PR15064: update docs

PR15575: Return host order in __tcp_sock_dport/sport

The dport and sport are in network order in inet_sock.  When these
tapset functions extract them, they should convert to host order.

Reported-by: "bcall" on freenode #systemtap

errsnoop sample: reduce memory consumption

The previous version of the code used a stats- (per-cpu-) array with a
5-tuple of index keys, three of them strings.  Multiplying all that
out could could yield several hundred MB of requested kernel RAM at
startup.  Not that anything's wrong with that, but let's not be so
gluttinous.

The new code uses one formatted string as the key column.

stapregex PR15064: additional testsuite for chr classes

stapregex PR15064 oops: actual proper \ escaping in chr class

stapregex PR15064: add remaining essential character classes

This completes POSIX ERE support (ostensibly), but the chr classes
are largely untested at the moment; future commits will add testcases.

stapregex PR15064 testsuite OOPS: escaping support for ':' in testcase format

stapregex PR15064: groundwork for named chr class support

Current support is missing most of the standard chr classes,
need to find a good and proper reference for them.

* stapregex.cxx (regex_parser::parse_char_range): respect [: :] brackets
  when slurping character classes.
* re2c-regex.h (Range::Range): fix lack of deep-copy in copy constructor
  for ranges.
* re2c-regex.cxx (namedCharacterClasses): new global table of char ranges.
  (Scanner::namedChrClass): new function.
  (Scanner::ranToRA): new function.
  (Scanner::ranToRE): change to use ranToRA.
  (Scanner::getRange): check for '[:' digraph and replace named chr class.

stapregex: fix spacing in re2c_error message

PR15064: re-enable basic testcases

(Re)Fix BZ15198 by updating syscall.sigaltstack probe.

* tapset/linux/syscalls2.stp: Use generic 'sigaltstack' probe alias when
  CONFIG_GENERIC_SIGALTSTACK is set or we're running on a 3.9 (or higher)
  kernel (where CONFIG_GENERIC_SIGALTSTACK is the default).
* tapset/linux/nd_syscalls2.stp: Ditto.
* tapset/linux/i386/nd_syscalls.stp: Only use arch-specific 'sigaltstack'
  probe alias if CONFIG_GENERIC_SIGALTSTACK isn't set or we're running on
  a earlier kernel than 3.8.
* tapset/linux/i386/syscalls.stp: Ditto.
* tapset/linux/ia64/nd_syscalls.stp: Ditto.
* tapset/linux/ia64/syscalls.stp: Ditto.
* tapset/linux/powerpc/nd_syscalls.stp: Ditto.
* tapset/linux/powerpc/syscalls.stp: Ditto.
* tapset/linux/s390/nd_syscalls.stp: Ditto.
* tapset/linux/s390/syscalls.stp: Ditto.
* tapset/linux/x86_64/nd_syscalls.stp: Ditto.
* tapset/linux/x86_64/syscalls.stp: Ditto.

Eliminate the possibility of ioblktime.stp global array overflow

In some cases the global array tracking IO operations in flight could
overflow when the machine is doing many IO operations (RHBZ743591).
The possiblity of overflow is addressed by increasing the amount of
space allocated for the global array and using the '%' specifier for
the global array.

Fixed PR15572 by updating the ipmip.stp tapset.

* tapset/linux/ipmib.stp: Updated the 'ipmib.InNoRoutes' and
  'ipmib.InAddrErrors' probe aliases for the 3.10 kernel. Those probe
  aliases now probe the return of the ip_route_input_noref() kernel
  function.

Update testsuite/buildok/nfs_proc-embedded.stp for nfs_proc.stp changes.

Fixed PR15523 by updating the socket.stp tapset.

* tapset/linux/socket.stp: Reimplemented functions as macros. The old
  functions were deprecated. Used those new macros throughout the tapset,
  to avoid trying to use NULL pointers.
* NEWS: Mentioned function deprecations.
* testsuite/buildok/socket-embedded.stp: No longer test deprecated
  functions.

Fixed readability issues in tapset/linux/socket.stp. No code change.

Actually deprecate items marked as deprecated in nfs_proc.stp.

* tapset/linux/nfs_proc.stp: The 'stap_NFS_CLIENT' and '__getfh_inode'
  functions had a comment stating they were deprecated. Actually make it
  happen.
* NEWS: Mentioned function deprecations.

Handle CONFIG_USER_NS/CONFIG_UIDGID_STRICT_TYPE_CHECKS in the runtime.

* runtime/linux/task_finder.c: Add CONFIG_UIDGID_STRICT_TYPE_CHECKS code.
* runtime/linux/task_finder2.c: Ditto.
* runtime/transport/control.c: Ditto.
* runtime/transport/transport.c: Ditto.
* runtime/linux/autoconf-uidgid.c: New autoconf test.
* buildrun.cxx (compile_pass): Add STAPCONF_LINUX_UIDGID_H autoconf test.
* runtime/procfs.c: Include uidgid_compatibility.h.
* runtime/proc_fs_compatibility.h: Move KUIDT_INIT()/KGIDT_INIT() macros
  to uidgid_compatibility.h.
* runtime/transport/debugfs.c: Use KUIDT_INIT/KGIDT_INIT macros.
* runtime/transport/relay_v2.c: Ditto
* runtime/uidgid_compatibility.h: New file.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Adjust stapbm.in and docs to avoid recurssion

*NEWS: added news blurb
*java/stapbm.in: due to change in tapset-method.cxx and only probing
 probe begin, we're able to remove java recursion gaurds
 and simply
*main/stapprobes.3stap: update docs reflecting requirement of jvm pid's
to be prexisting and if a string is passed for
process name, it needs to be listed in a jps -l
invocation
*tapset-method.cxx: switch process("java").begin probe to probe begin
    in order to avoid recurssion due to byteman operations

Fixed BZ920444 by using macros to handle nfs parameter changes.

* tapset/linux/nfs_proc.stpm: New file.
* tapset/linux/nfs_proc.stp: Remove __i2n_ip_proto(),
  __nfs_read_data_info(), and __nfs_write_data_info() functions. Callers
  of those functions now use new macros in nfs_proc.stpm. The advantage
  the macros have, besides clarity, is that they preserve type
  information. Kernel commit 0b7c01533aa9f4a228d07d2768d084acb3a387bc
  changed the commit functions to take a nfs_commit_data structure instead
  of a nfs_write_data_structure. Because functions lose type information,
  systemtap didn't notice this change.

Fixed readability issues in tapset/linux/nfs_proc.stp. No actual code change.

Double-check DW_AT_comp_dir before we try to use it

In building tracepoints, we try a late search for the kernel source tree
using DW_AT_comp_dir, and add extra includes based on that path.  That
comp_dir is not always reliable though; for instance, Ubuntu leaves it
something like "/build/buildd/linux...", which is not an installed path.

(See also http://brainstorm.ubuntu.com/idea/11327)

* tapsets.cxx (tracepoint_builder::init_dw): Verify that the given
  DW_AT_comp_dir actually exists before we use it.

Remove redundant assert_is_myproc from utf functions

* tapset/uconversions.stp (user_string_utf16, user_string_utf32): These
  are marked "/* myproc-unprivileged */", so the translator will insert
  the necessary assert_is_myproc() already.  Having a redundant check
  doesn't actually hurt, except it adds confusion by implying that other
  similar functions are in error for not having this too.

Fix PR15549 by updating the 'sunrpc.clnt.create_client' probe alias.

* tapset/linux/rpc.stp: Fix the 'sunrpc.clnt.create_client' probe alias by
  updating the '_sunrpc.clnt.create_client.rpc_new_client' probe alias.

semop-watch: add some goofy <2.3 compatibility

new sample: semop-watch.stp

This sample demonstrates pulling apart userspace struct/array
parameters from syscall.* probe context.

tapset: standardize sem*op(2) sops_uaddr variable

* tapset/linux/syscalls2.stp, nd_syscalls2.stp (semops): Use
  sops_uaddr, deprecate tsops_uaddr.
* testsuite/buildok/*syscalls2*: Corresponding changes.

stap.1: drop deprecation history details

fix thread-business.stp sample permissions

stapregex: ditch dynamic_cast<> use for regex_query->right

fix build failure after stapregex merge

Always grab the rcu read lock in rcu_dereference().

stapregex testsuite fails: add chr range order check to fix 2:a[b-a]:-

PR15063: enable additional testcases for ^$ oddities

PR15063 cleanup: mark extra pinpointing-tests as successful

PR15063 quickfix: just disable the whole YYFILL mechanism

stapregex cleanup: move maxFill inside of class DFA

PR15063 (additional debugging statements)

stapregex testsuite fails: fix 1:a\x:a\x

stapregex cleanup: get through some minor TODOXXX

stapregex cleanup: error checking in numberical parsing

translate.cxx oops (how did that even happen??)

stapregex cleanup: clarify some of the TODOXXX

stapregex cleanup: explanatory comment for (lack of) const_folder::visit_regex_query

stapregex cleanup: clarify void_statement_reducer::visit_regex_query behaviour

stapregex cleanup: properly set rc after gen_dfa_table()

stapregex cleanup: ditch redundant regex_query::re field in favour of dynamic_cast<...> use

Add buildok testcase for rcu.stp.

Check for a valid address in rcu_dereference().

* tapset/linux/rcu.stp: Call kderef() to make sure the address is safe to
  read.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Fix PR15543 by fixing the 'servername' convenience variables in the rpc tapset.

* tapset/linux/rpc.stp: Handle kernel change that moves the 'cl_server'
  field of the 'rpc_clnt' structure into the 'rpc_xprt' structure.
* tapset/linux/rcu.stp: New file.

PR14454: search for the full path to a module, not only for the module name

Remove a direct include of rwlock.h which fail on a kernel with the RT patches

The file linux/rwlock.h should not be included directly as stated by
an #error message at the 5th line of the file. With a RT patched
kernel, linux/rwlock_rt.h should be included instead of linux/rwlock.h.
The file linux/spinlock.h already do the proper check. We then should
let the include be done by this file.

Signed-off-by: Raphaël Beamonte <raphael.beamonte@gmail.com>
Signed-off-by: Yannick Brosseau <yannick.brosseau@gmail.com>

PR14440: made usage of pfiles.stp and plimit.stp more consistent

Added support for plimit.stp to accept a target PID through both -x and
$1, just like in pfiles.stp. Also removed the //bin/true hack from
pfiles.stp and '#!/usr/bin/env stap' from plimit.stp so that both of
them must be run using stap -g.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Rework xvfb-run check and invocation, update autoconf generated files

pfiles.stp: explain use of //bin/true hack

Add xvfb-run workaround for docs generation

*configure.ac: add AC_PROG_CHECK for xvfb-run
*doc/beginners/Makefile.am: exec xvfb-run -a publican ...
*systemtap.spec: add buildrequires line for building stap

PR15525: removed duplicate O_CLOEXEC flag check

The O_CLOEXEC flag was being checked twice, which caused it to be
printed out twice in the flag string when present. The duplication
was removed and the flags were put back in alphabetical order (same
order as in `man 2 open`) to ensure this does not happen again.

codegen optimization: for foo <<< N, don't use explicit temporary for the N value

Change use of jps to ps and stop bmsubmit recursion issue

*java/stapbm.in: we can make use of ps instead of jps as the java
 name we're looking for is also passed as an argument
 to java and this avoids starting another java proc
 also add a lockfile to bmsubmit via rulename to stop
 further recursion

man stap: fixed typos

README.security: typo

traceio.stp example: check for negative $return

The I/O reads and writes should only be counted when $return is
nonnegative. A negative $result occurs if an error was met (e.g.
EAGAIN = -11).

We could have instead here used the bytes_read/written variables
provided by the tapset, but this example demonstrates the use of
local vars and is also consistent with the disktop.stp example.

new sample: thread-business.stp

regen samples index

examples: add pf4.{stp,meta}

Updated doc info about utrace/uprobe for newer kernels

Fixed typos

man/Makefile.in: regenerate

man/Makefile.am: add stap-report.1

man: add man page for stap-report(1)

stapdyn: Restrict visibility in generated modules

We only want to expose a few specific functions, per stapdyn.h, and we
also want our internal use of those to be bound internally.  This is
accomplished by "-fvisibility=hidden", and then setting visibility to
"protected" by #pragma just for stapdyn.h.

stapdyn: separate enter_dyninst_uprobe_regs

That function calls enter_dyninst_uprobe, which is only defined when
uprobes are active, so we have a weak binding in place.  By instead
splitting this into a new file, which is only included when uprobes are
known to be active, it doesn't need the weak reference.

stapdyn: isolate the tls context pointer more

* runtime/dyninst/runtime_context.h: Rename contexts to tls_context to
  better indicate the purpose of this pointer; update everywhere.
  (_stp_runtime_entryfn_put_context): Take a pointer argument for the
  context you're releasing, to slightly help prevent coding accidents.
* runtime/dyninst/transport.c: Stop the insider-trading of contexts, not
  renaming to tls_context either.  Use _stp_runtime_get_context().
* tapsets.cxx, translate.cxx: Pass the argument to put_context.

PR14574 partial fix: Add dyninst support to system_func.exp test.

* testsuite/systemtap.base/system_func.exp: Add dyninst support.
* testsuite/systemtap.base/system_func.stp: Ditto.

Fix testcase permissions.

Fix PR15513 by adding a 'runtime' preprocessor conditional.

* parse.cxx (eval_pp_conditional): Added 'runtime' preprocessor conditional.
* man/stap.1: Added 'runtime' preprocessor conditional documentation.
* testsuite/parseok/fourteen.stp: Added 'runtime' preprocessor conditional
  test.
* testsuite/systemtap.base/preprocessor.exp: Ditto.
* testsuite/parseko/preprocess18.stp: New file.
* testsuite/parseko/preprocess19.stp: Ditto.

stapdyn: retry incomplete/EINTR transport writes

Adds _stp_write_retry() which loops over incomplete or otherwise
interrupted write() syscalls.

stapdyn: Remove the _stp_err copy of stderr

The only places left using _stp_err were the transport debug messages,
and _stp_vlog only when transport fails.  Both may as well use whatever
stderr is local to the process directly.

stapdyn: move MAX_STORED_WARNINGS to the top of transport.c

stapdyn: Remove the _stp_out copy of stdout

With the transport in place, the only remaining use of _stp_out was for
that transport thread to get its out_fd.  This thread runs within
stapdyn, and we know we'll keep our stdout intact, so _stp_out is no
longer necessary.  Just set out_fd to STDOUT_FILENO, and be prepared for
this to be a -o file (PR14791).

Remove the vestigial _stp_dyninst_transport_init

stapdyn: remove the clunky stp_dyninst_master

This is a holdover from early stapdyn, which ran all module code within
the mutatee, and even tried to run module_exit in the DSO destructor to
catch the mutatee as it was exiting.  We now do these things more
reliably in stapdyn itself.

It was kept around as a bit of a fallback to let new modules keep
working with stapdyn 2.0, but frankly this is bad code and untested
compatibility, that we shouldn't feel nostalgic about.  Modules will now
require at least stapdyn 2.1, detected by having properly initialized
their shared memory before stp_dyninst_session_init is called.

fixed typo in doc -- replaced /n by \n

Removed overly-paranoid comment.

stap-server: also report KALLSYMS config

stap-report: also include libdw* in package list

Fix PR15083 by adding dyninst system() support.

* runtime/dyninst/transport.c (__stp_d_t_run_command): New function.
(_stp_dyninst_transport_thread_func): Add STP_DYN_SYSTEM support.
(_stp_ctl_send): New function.
* runtime/dyninst/transport.h: Added STP_DYN_SYSTEM and
  STP_DYN_OOB_DATA_MASK.

Fix PR15486 by handling debug messages properly in dyninst mode.

* runtime/dyninst/io.c (_stp_vlog): If we're handling a message of type
  DBUG, don't allocate a transport log buffer. Instead use the temporary
  buffer.
* testsuite/systemtap.printf/dbug.exp: New test file.
* testsuite/systemtap.printf/dbug.stp: Ditto.

PR15484: have staprun disable kprobes-optimization again

PR15481: Only destroy mutexes from stapdyn itself

The primary bug was since commit 8ca891c, _stp_shm_destroy was calling
_stp_runtime_context_free, which calls pthread_mutex_destroy on the
context locks.  But _stp_shm_destroy is only meant to destroy *one*
processes view of shm -- it still needs to leave the contents intact for
other processes!  This was making it so a child process ended and
destroyed the contexts, and thus in stapdyn it couldn't grab a context
to run the end probes.

* runtime/dyninst/shm.c (_stp_shm_destroy): Don't destroy contexts!
* runtime/dyninst/runtime_context.h (_stp_runtime_contexts_free): Remove
  the __-prefixed variant, and explain in comments who should call this.
* tapsets.cxx (common_probe_entryfn_epilogue): Only call put_context if
  we had successfully called get_context before.
* testsuite/systemtap.base/be_loaded.*: Test the simple begin/end case
  with a child command loaded.
* translate.cxx (c_unparser::emit_module_exit): This generated exit
  function is the best place to free the contexts and also shutdown the
  transport, because this is the final call among all processes.
* runtime/dyninst/runtime.h (stp_dyninst_dtor): Don't shutdown the
  transport here, because this is called by every process that has the
  module loaded.

stapdyn: implement tapset tzinfo.stp

* runtime/dyninst/session_attributes.*: Add tz_gmtoff and tz_name.
* stapdyn/mutator.cxx (mutator::init_session_attributes): Set them.
* tapset/tzinfo.stp: Reduce to just the common tz_ctime().
* tapset/linux/tzinfo.stp: Move the linux tz_gmtoff() and tz_name here.
* tapset/dyninst/tzinfo.stp: Implement dyninst versions of the same.
* doc/SystemTap_Tapset_Reference/tapsets.tmpl: Get docstrings from the
  new linux/tzinfo.stp too.

Improve the kernel target_set.stp and add a stapdyn version

* tapset/linux/target_set.stp: Prefer process.begin/end for better
  tracking *process* lifetime. (syscall.exit covers thread exits too!)
* tapset/dyninst/target_set.stp: Implement stapdyn target_set.
* testsuite/systemtap.base/target_set_thread.*: Test that thread exits
  don't cause target_set to lose sight of a process.
* main.cxx (run_sdt_benchmark): Save the timing info for verbose runs.