stapregex cleanup: clarify some of the TODOXXX

stapregex cleanup: explanatory comment for (lack of) const_folder::visit_regex_query

stapregex cleanup: clarify void_statement_reducer::visit_regex_query behaviour

stapregex cleanup: properly set rc after gen_dfa_table()

stapregex cleanup: ditch redundant regex_query::re field in favour of dynamic_cast<...> use

Add buildok testcase for rcu.stp.

Check for a valid address in rcu_dereference().

* tapset/linux/rcu.stp: Call kderef() to make sure the address is safe to
  read.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Fix PR15543 by fixing the 'servername' convenience variables in the rpc tapset.

* tapset/linux/rpc.stp: Handle kernel change that moves the 'cl_server'
  field of the 'rpc_clnt' structure into the 'rpc_xprt' structure.
* tapset/linux/rcu.stp: New file.

PR14454: search for the full path to a module, not only for the module name

Remove a direct include of rwlock.h which fail on a kernel with the RT patches

The file linux/rwlock.h should not be included directly as stated by
an #error message at the 5th line of the file. With a RT patched
kernel, linux/rwlock_rt.h should be included instead of linux/rwlock.h.
The file linux/spinlock.h already do the proper check. We then should
let the include be done by this file.

Signed-off-by: Raphaël Beamonte <raphael.beamonte@gmail.com>
Signed-off-by: Yannick Brosseau <yannick.brosseau@gmail.com>

PR14440: made usage of pfiles.stp and plimit.stp more consistent

Added support for plimit.stp to accept a target PID through both -x and
$1, just like in pfiles.stp. Also removed the //bin/true hack from
pfiles.stp and '#!/usr/bin/env stap' from plimit.stp so that both of
them must be run using stap -g.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Rework xvfb-run check and invocation, update autoconf generated files

pfiles.stp: explain use of //bin/true hack

Add xvfb-run workaround for docs generation

*configure.ac: add AC_PROG_CHECK for xvfb-run
*doc/beginners/Makefile.am: exec xvfb-run -a publican ...
*systemtap.spec: add buildrequires line for building stap

PR15525: removed duplicate O_CLOEXEC flag check

The O_CLOEXEC flag was being checked twice, which caused it to be
printed out twice in the flag string when present. The duplication
was removed and the flags were put back in alphabetical order (same
order as in `man 2 open`) to ensure this does not happen again.

codegen optimization: for foo <<< N, don't use explicit temporary for the N value

Change use of jps to ps and stop bmsubmit recursion issue

*java/stapbm.in: we can make use of ps instead of jps as the java
 name we're looking for is also passed as an argument
 to java and this avoids starting another java proc
 also add a lockfile to bmsubmit via rulename to stop
 further recursion

man stap: fixed typos

README.security: typo

traceio.stp example: check for negative $return

The I/O reads and writes should only be counted when $return is
nonnegative. A negative $result occurs if an error was met (e.g.
EAGAIN = -11).

We could have instead here used the bytes_read/written variables
provided by the tapset, but this example demonstrates the use of
local vars and is also consistent with the disktop.stp example.

new sample: thread-business.stp

regen samples index

examples: add pf4.{stp,meta}

Updated doc info about utrace/uprobe for newer kernels

Fixed typos

man/Makefile.in: regenerate

man/Makefile.am: add stap-report.1

man: add man page for stap-report(1)

stapdyn: Restrict visibility in generated modules

We only want to expose a few specific functions, per stapdyn.h, and we
also want our internal use of those to be bound internally.  This is
accomplished by "-fvisibility=hidden", and then setting visibility to
"protected" by #pragma just for stapdyn.h.

stapdyn: separate enter_dyninst_uprobe_regs

That function calls enter_dyninst_uprobe, which is only defined when
uprobes are active, so we have a weak binding in place.  By instead
splitting this into a new file, which is only included when uprobes are
known to be active, it doesn't need the weak reference.

stapdyn: isolate the tls context pointer more

* runtime/dyninst/runtime_context.h: Rename contexts to tls_context to
  better indicate the purpose of this pointer; update everywhere.
  (_stp_runtime_entryfn_put_context): Take a pointer argument for the
  context you're releasing, to slightly help prevent coding accidents.
* runtime/dyninst/transport.c: Stop the insider-trading of contexts, not
  renaming to tls_context either.  Use _stp_runtime_get_context().
* tapsets.cxx, translate.cxx: Pass the argument to put_context.

PR14574 partial fix: Add dyninst support to system_func.exp test.

* testsuite/systemtap.base/system_func.exp: Add dyninst support.
* testsuite/systemtap.base/system_func.stp: Ditto.

Fix testcase permissions.

Fix PR15513 by adding a 'runtime' preprocessor conditional.

* parse.cxx (eval_pp_conditional): Added 'runtime' preprocessor conditional.
* man/stap.1: Added 'runtime' preprocessor conditional documentation.
* testsuite/parseok/fourteen.stp: Added 'runtime' preprocessor conditional
  test.
* testsuite/systemtap.base/preprocessor.exp: Ditto.
* testsuite/parseko/preprocess18.stp: New file.
* testsuite/parseko/preprocess19.stp: Ditto.

stapdyn: retry incomplete/EINTR transport writes

Adds _stp_write_retry() which loops over incomplete or otherwise
interrupted write() syscalls.

stapdyn: Remove the _stp_err copy of stderr

The only places left using _stp_err were the transport debug messages,
and _stp_vlog only when transport fails.  Both may as well use whatever
stderr is local to the process directly.

stapdyn: move MAX_STORED_WARNINGS to the top of transport.c

stapdyn: Remove the _stp_out copy of stdout

With the transport in place, the only remaining use of _stp_out was for
that transport thread to get its out_fd.  This thread runs within
stapdyn, and we know we'll keep our stdout intact, so _stp_out is no
longer necessary.  Just set out_fd to STDOUT_FILENO, and be prepared for
this to be a -o file (PR14791).

Remove the vestigial _stp_dyninst_transport_init

stapdyn: remove the clunky stp_dyninst_master

This is a holdover from early stapdyn, which ran all module code within
the mutatee, and even tried to run module_exit in the DSO destructor to
catch the mutatee as it was exiting.  We now do these things more
reliably in stapdyn itself.

It was kept around as a bit of a fallback to let new modules keep
working with stapdyn 2.0, but frankly this is bad code and untested
compatibility, that we shouldn't feel nostalgic about.  Modules will now
require at least stapdyn 2.1, detected by having properly initialized
their shared memory before stp_dyninst_session_init is called.

fixed typo in doc -- replaced /n by \n

Removed overly-paranoid comment.

stap-server: also report KALLSYMS config

stap-report: also include libdw* in package list

Fix PR15083 by adding dyninst system() support.

* runtime/dyninst/transport.c (__stp_d_t_run_command): New function.
(_stp_dyninst_transport_thread_func): Add STP_DYN_SYSTEM support.
(_stp_ctl_send): New function.
* runtime/dyninst/transport.h: Added STP_DYN_SYSTEM and
  STP_DYN_OOB_DATA_MASK.

Fix PR15486 by handling debug messages properly in dyninst mode.

* runtime/dyninst/io.c (_stp_vlog): If we're handling a message of type
  DBUG, don't allocate a transport log buffer. Instead use the temporary
  buffer.
* testsuite/systemtap.printf/dbug.exp: New test file.
* testsuite/systemtap.printf/dbug.stp: Ditto.

PR15484: have staprun disable kprobes-optimization again

PR15481: Only destroy mutexes from stapdyn itself

The primary bug was since commit 8ca891c, _stp_shm_destroy was calling
_stp_runtime_context_free, which calls pthread_mutex_destroy on the
context locks.  But _stp_shm_destroy is only meant to destroy *one*
processes view of shm -- it still needs to leave the contents intact for
other processes!  This was making it so a child process ended and
destroyed the contexts, and thus in stapdyn it couldn't grab a context
to run the end probes.

* runtime/dyninst/shm.c (_stp_shm_destroy): Don't destroy contexts!
* runtime/dyninst/runtime_context.h (_stp_runtime_contexts_free): Remove
  the __-prefixed variant, and explain in comments who should call this.
* tapsets.cxx (common_probe_entryfn_epilogue): Only call put_context if
  we had successfully called get_context before.
* testsuite/systemtap.base/be_loaded.*: Test the simple begin/end case
  with a child command loaded.
* translate.cxx (c_unparser::emit_module_exit): This generated exit
  function is the best place to free the contexts and also shutdown the
  transport, because this is the final call among all processes.
* runtime/dyninst/runtime.h (stp_dyninst_dtor): Don't shutdown the
  transport here, because this is called by every process that has the
  module loaded.

stapdyn: implement tapset tzinfo.stp

* runtime/dyninst/session_attributes.*: Add tz_gmtoff and tz_name.
* stapdyn/mutator.cxx (mutator::init_session_attributes): Set them.
* tapset/tzinfo.stp: Reduce to just the common tz_ctime().
* tapset/linux/tzinfo.stp: Move the linux tz_gmtoff() and tz_name here.
* tapset/dyninst/tzinfo.stp: Implement dyninst versions of the same.
* doc/SystemTap_Tapset_Reference/tapsets.tmpl: Get docstrings from the
  new linux/tzinfo.stp too.

Improve the kernel target_set.stp and add a stapdyn version

* tapset/linux/target_set.stp: Prefer process.begin/end for better
  tracking *process* lifetime. (syscall.exit covers thread exits too!)
* tapset/dyninst/target_set.stp: Implement stapdyn target_set.
* testsuite/systemtap.base/target_set_thread.*: Test that thread exits
  don't cause target_set to lose sight of a process.
* main.cxx (run_sdt_benchmark): Save the timing info for verbose runs.

stapdyn: implement the tapset is_return()

This also fixes the CONTEXT->probe_type for stapdyn return probes.

Set the right probe_type for inode uretprobes

stapdyn: implement tapset module_name()

Note: for parity with the kernel mode, this name is without any path or
filename extension.  We might want to consider adding a module_path()
with the full filename we loaded.

stapdyn: implement tapset target() and stp_pid()

Add fields for the target pid and stapdyn's own pid to the new
stp_session_attributes, and expose them in the tapset.

Set versions back to 2.3 for the master branch

Merge tag 'release-2.2.1'

Just merging so the tag is in the history of a branch.

java: make sure that rulename-based filter gets into synthetic probe

* tapset-method.cxx (java_builder::build): Put the rewritten body
  into the copied synthetic probe, not the original (?!).

java: support $STAPBM_VERBOSE to enable byteman verbosity

version miniunbump to v2.2.1 for release

update tapset deprecation from <= "2.2" to < "2.3" to make space for minor update

Fix PR15110 by eliminating duplicate warnings for stapdyn.

* runtime/dyninst/transport.c (__stp_d_t_eliminate_duplicate_warnings):
  New function.
  (_stp_dyninst_transport_thread_func): Added warning suppression and
  duplicate warnings elimination.
* translate.cxx (c_unparser::emit_global_init_setters): Emit code to call
  stp_session_attribute_setter().
* stapdyn/mutator.cxx (mutator::init_session_attributes): New function.
  (mutator::run_module_init): Call init_session_attributes().
* stapdyn/mutator.h (mutator): Add init_session_attributes() prototype.
* runtime/dyninst/session_attributes.h: New file.
* runtime/dyninst/session_attributes.c: Ditto.
* runtime/dyninst/runtime.h: Includes session_attributes.c.
* runtime/dyninst/common_session_state.h: Add session attributes structure
  to 'struct stp_runtime_session'.
  (stp_session_attributes): New function.
  (stp_session_init): Add call to stp_session_attributes_init().
* runtime/dyninst/stapdyn.h: Update stp_global_setter comment to note that
  names starting with '@' are internal names.
* stapdyn/dynutil.cxx: Correct spelling of 'stapdyn_suppress_warnings'
  variable name.
* stapdyn/dynutil.h: Ditto.
* stapdyn/stapdyn.cxx (main): Ditto.
* testsuite/systemtap.base/warnings2.exp: Remove dyninst_kfails proc,
  since duplicate warnings are now eliminated in dyninst mode.

java: make sure that rulename-based filter gets into synthetic probe

* tapset-method.cxx (java_builder::build): Put the rewritten body
  into the copied synthetic probe, not the original (?!).

java: support $STAPBM_VERBOSE to enable byteman verbosity

version miniunbump to v2.2.1 for release

update tapset deprecation from <= "2.2" to < "2.3" to make space for minor update

testsuite: update unprivileged_probes with recently added probe types

... incl. the java probes. timer.profile.tick, some minor kprobes variants

java probes: make these unprivileged

* tapset-method.cxx (register_tapset_java): bind_unprivileged the lot,
  considering that they are simply uprobes.
* tapset/system.stp (system): Mark as /* unprivileged */.

benchmark: call them "start" rather than "begin"

... for consistency with our other SDT names.

PR14297: Test that hyphenated SDT normalizes to underscores

Change "-" to "__" in naming our internal benchmark probes

They're supposed to be named like C-identifiers. Plus the process.mark
tapset normalizes "-" in user input to "__" already, making it
impossible to directly match on a literal "benchmark-begin".

PR14297: Skip the user's input when scanning for resolved probes

* elaborate.cxx (derived_probe::script_location): Sweep the derivation
  chain from its second-to-last, so we get at least one level of
  resolution from the user's input.
* testsuite/systemtap.base/list.exp: Add a case for kernel init_once,
  which demonstrates listing the @file:line is useful to disambiguate.
  Add a case for 'begin' too, the simplest expansion we have.

PR14297: add a test case for stap -l

PR15452 Follow DW_AT_signature attributes when trying to find a DW_AT_type.

When we are trying to find a type DIE we might hit upon a DIE that simply
has a DW_AT_signature pointing to the actual type (possibly in .debug_type).
Extend the debugtypes.exp testcase a bit. Add DW_AT_signature chasing to
dwarf_wrappers.h (dwarf_attr_die) when searching for a DW_AT_type. And
clarify that dwflpp::print_members takes a type DIE not a variable DIE.

PR14297 cont'd: find wildcards more carefully for stap -l filtering

* elaborate.cxx (derived_probe::script_location): Look for other
  glob characters too in to-be-skipped items in the derivation chain.

PR14297 cont'd: drop optional flagging from process().plt() derivation

PR14297 cont'd: stap -l to list process().plt()  without synthetic .statement() suffix

Just another layer of synthetic-base-probe indirection.

PR14297 cont'd: correct stap -l syscall.* -- i.e., aliases

What a tangled web.

* elaborate.cxx (alias_derived_probe::sole_location): Define &
  override to provide the alias name itself rather than the
  aliased referent probes.

Print plt addresses in hex

PR14297 and .mark($$name) regression

The machinery for derived-probe chaining hasn't worked quite right,
relying on pretend-aliases and in-place-modified probe-point
components, inconsistencies abounding.  Some of these are improved
in this code.

* elaborate.cxx (collect_derivation_pp_chain): Use sole_location() for
  the starting point as that is the one most likely brought up-to-date
  during the building process, and will be emitted in pass-3.
  (script_location): Drop *basest* type logic fallback logic entirely;
  fall back to top-level sole_location().
* elaborate.h, staptree.h: Drop basest/almost_basest functions.
* staptree.cxx: Ditto.
  (probe::probe derived-copy ctor): Make deep-copy of probe body,
  in case of partial rewriting during derivation steps.
* main.cxx (printscript): Rework listings code to use exactly the
  same routine for -l output as which feeds pn(): namely
  derived_probe::script_location().
* tapsets.cxx (query_one_library, query_one_plt, sdt_query::convert_location):
  Use new derived-probe-copy ctor systematically; nested if necessary to
  track levels of wildcard-expansion and synthetic probe creation.

version bumps, cont'd

version bump for 2.3 development

improve error message for  $foo->bar.baz  misuse

java support: snuff gcc warnings on non-HAVE_JAVA builds

systemtap java support reorganization

* systemtap.spec: require byteman > 2.0 for java support
* configure.ac: Make java/stapbm a AC_CONFIG_FILE.

* java/HelperSDT.c: Reorganize sys/sdt.h ABI usage: make the rule-name
  magic string the last argument, don't pass class/method strings.
  Stop mis-using "provider" name.
* java/HelperSDT.h: Regenerated.
* java/Makefile.am: Spell out more dependencies.
* java/stapbm: Thoroughly reorganized to use rulename as run-time unique-id,
  byteman port-number selection to enable concurrency, fewer lockfiles.
* tapset-method.cxx: Use consistent exceptions for error handling.  Switch
  to rulename-based identification.  Rework synthetic probe generation.
  Register java.* probes only if HAVE_JAVA.
* session.cxx, session.h, man/stap.1: Drop -J / -j options.
* testsuite/systemtap.apps/java*: Rely on pn() for class/method names.

Another related hunk extends the derivation chain to plain struct
probe, to avoid having to (mis)use alias-type derived probes.  The
script-location (function tapset::pn) calculation is made based on
a textual analysis of the derivation_pp_chain.

* staptree.h (struct probe): Add a base* field for use by synthetically
  created probes.  Update copy-ish constructor to use this form.  Update
  most callers (former users of probe::create_alias) in tapsets.cxx and
  tapset-method.cxx.  Make collect_derivation_*_chain const functions.
* staptree.cxx (probe::basest, almost_basest, ...): Create/update
  accordingly.
* elaborate.cxx (script_location): Rework a as more faithful heuristic.
  It should make it possible to get rid of the *basest* type calls soon.

testsuite: only run java.exp if installtest_p

NEWS: weakened some deprecation wording; tweaked java wordage

If 'javac' doesn't exist, mark systemtap.apps/java.exp as untested.

Fixed PR15446 by using the new /proc interface.

* runtime/procfs.c: Rewritten to use latest /proc interface (for older
  kernels, use compatibility functions defined in proc_fs_compatibility.h).
* runtime/procfs-probes.c (_stp_proc_open_file): Use PDE_DATA() instead of
  accessing the data field of a 'struct proc_dir_entry' directly.
* runtime/proc_fs_compatibility.h: New file.
* tapset-procfs.cxx (emit_kernel_module_exit): Only remove the
  "/proc/systemtap/{module_name}' directory if the transport layer isn't
  using it.
  (procfs_derived_probe_group::emit_module_init): Pass the data parameter
  down to _stp_create_procfs().
* buildrun.cxx (compile_pass): Add 2 "exportconf" tests for new procfs
  features.

testsuite: clear build tree paths out of main_quiesce.exp test case names

staprun: move empty line after all options

belated NEWS for PR12894

AUTHORS bump

probe timer.profile: langref.tex wording oops

probe timer.profile: document new timer.profile.tick, new behavour of timer.profile

PR15452 Prevent crash in dwflpp::print_members ().

Don't try to find siblings when a DIE doesn't have any children.

This doesn't solve the actual bug and the debugtypes testcase still fails
because the code doesn't doesn't handle the DW_AT_signature.

stapdyn.h: make the release markers a bit more visible

stapdyn: hide internal module functions

The header stapdyn.h is only for functions meant to be called from the
stapdyn binary into the module, so stp_dyninst_session_init_finished
shouldn't be there.  Also, all functions that aren't part of stapdyn.h
should be declared with static visibility.

Update syscall.rt_sigpending probe alias for kernel 3.10.