stapregex -- placate the gods of coverity (UNINIT_CTOR)

session.cxx: add assert statement for benchmark opts

staprun/common.c: add assert statement for -C, -S, -r

systemtap.spec: prefer with_systemd on recent OS

version bump for 2.4 development

Revert "testsuite: set -B CONFIG_DEBUG_INFO=y in testsuite rc to help debug crashes"

This reverts commit 6bb6bf29ae.....
                and f1d4f4313.....

Revert "PR15782 cont'd: PR_Read_Complete should initialize vars more"

This reverts commit 59331ea0de1f10d0694b3389e0b4710db4da0798.

PR15782 cont'd: PR_Read_Complete should initialize vars more

Use a clearer looping/accumulation structure.

Implement PR_Read_Complete() in nsscommon.cxx.

A wrapper for PR_Read which ensures that all of the requested data
is read.
Updates callers of PR_Read() as appropriate.

regex: warning cleanup as per gcc 3.4.6 on i686

stapregex rewrite: appropriate NEWS items

stapregex rewrite: regenerate autoconf

stapregex rewrite -- prepare for rebase onto main branch for 2.3 release

stapregex REWRITE -- fixes for 100% (existing, non-subexpression) testsuite pass

stapregex REWRITE -- further bug fixes for engine (2 testsuite errors remaining)

stapregex REWRITE -- further bug fixes (esp. dealing with infinite loops)

stapregex REWRITE -- rudimentary emit implementation (no tags yet)

stapregex REWRITE -- bug fix progress (fix deallocation with ^, fix duplicate-state-check, ditch debug output)

stapregex REWRITE -- bug fix progress (failure alternative, ^ anchoring)

stapregex REWRITE -- bug fix progress (range creation off-by-one error)

stapregex REWRITE -- bug fix progress (get rid of infinite looping)

stapregex REWRITE -- bug fix progress in existing code (up to infinite-loop error)

stapregex REWRITE - rig test suite to work with new code

stapregex REWRITE PROGRESS -- Delete irrelevant pre-rewrite code

stapregex REWRITE PROGRESS: ADD PARTIAL stapregex-dfa.cxx & related (missing emit data, some tag-reordering stuff)

oops: add stapregex-tree.cxx mention to README.stapregex

stapregex REWRITE PROGRESS: ADD stapregex-tree.cxx & related

stapregex: fix guard clauses in stapregex.cxx for nontagged and standalone (testsuite) cases

stapregex: ADD /* pragma:tagged_dfa */ to make non-subexpression-using programs a bit more efficient

stapregex REWRITE PROGRESS: ADD stapregex.cxx & related

stapregex REWRITE PROGRESS: character class handling in stapregex-parse.cxx

stapregex REWRITE PROGRESS: ADD stapregex-parse.cxx & related

fix stapregex rewrite oops: vimline in translator-output.cxx

stapregex REWRITE PROGRESS: ADD stapregex.h

stapregex cleanup: check miscellaneous TODOXXX

Add dyninst kfail in systemtap.pass1-4/transok.exp.

Added "semok" test improvements.

* testsuite/systemtap.pass1-4/semok.exp (dyninst_kfails): Kfail more
  tests.
* testsuite/semok/kretprobe-data.stp: Update for newer kernels.

Update dyninst kfails in systemtap.pass1-4/parseok.exp.

Setup more kfails in buildok-dyninst.exp.

Added "buildok" test improvements.

* testsuite/systemtap.pass1-4/buildok.exp: Kfail twentyeightprime.stp if
  we're using inode uprobes, since absolute probes don't work there.
* testsuite/buildok/twenty.stp: Also probe 'iterate_dir', since
  'vfs_readdir' has been renamed.

NEWS update for coloring and function suggestion

PR15375: implement function suggestions

Added dwarf_builder::suggest_functions(), which builds a list of similar
functions from a given function. This is used in dwarf_builder::build()
to suggest functions to the user when the probe point could not be
derived.

PR15375: add visited_modules to dwarf_query struct

The visited_modules member of dwarf_query is used to keep track of all
the modules which have been visited during the query. This information
will be used in the function suggestion feature to know from which
modules to pull functions.

PR15375: add sym_seen to module_info struct

The sym_tab struct only caches non-inlined functions. The sym_seen set
includes all functions, and is also updated during update_symtab. This
will allow us to give better function suggestions.

PR15375: add levenshtein() function to calculate edit distance

The levenshtein() function added in util.cxx will be used in the new
upcoming function suggestion feature.

Kfail unsupported inode uprobes tests in unprivileged_probes.exp.

* testsuite/lib/systemtap.exp (inode_uprobes_p): New function.
* testsuite/systemtap.base/uprobes_filtering.exp: Use 'inode_uprobes_p',
  instead of private code, to know whether to test.
* testsuite/systemtap.unprivileged/unprivileged_probes.exp
  (test_unrestricted_probes): Kfail
  'process(number).statement(number).absolute*' tests if we're using inode
  uprobes, since absolute probes aren't supported.

Tweak systemtap.examples/process/psig.stp to compile on RHEL6.

* testsuite/systemtap.examples/process/psig.stp (translate_mask): Tweak
  function to lower stack usage. This avoids the dreaded "the frame size
  of XXX bytes is larger than 256 bytes" error messages.

Fix a bogus unprivileged_probes.exp perf probe test.

* testsuite/systemtap.unprivileged/unprivileged_probes.exp: Fix bogus
  'perf*.counter' probe test. Originally was testing
  "perf.type(number).config(number).sample(number).counter(string)" probe
  type, which doesn't exist.

Fix testsuite/semok/thirtysix.stp.

* testsuite/semok/thirtysix.stp: Since not all markers in "stap" have a
  '$arg' parameter, this test was failing (correctly). To fix this, only
  probe the "pass*__*" markers (which all have a '$arg' parameter).

AUTHORS bump

The testsuite now looks for systemtap java support before java testing.

* testsuite/lib/systemtap.exp (java_p): New function.
  (setup_systemtap_environment): Test for systemtap java functionality.
* testsuite/systemtap.apps/java.exp: Mark as untested if no stap java
  support.
* testsuite/systemtap.unprivileged/unprivileged_probes.exp
  (test_unrestricted_probes): Mark java probe tests as untested if no stap
  java support.

Improve the inode-uprobes check in systemtap.base/uprobes_filtering.exp.

Make the systemtap.base/proc_exec.exp test more robust.

Updated renaming module testcases to handle updated error messages.

* testsuite/systemtap.base/pr13158.exp: Updated testcase with new error
  messages.
* testsuite/systemtap.base/rename_module.exp: Ditto.

The rest of the PR15751 changes.

Fix PR15751 by adding support for new 'compat' sigaction structures.

* buildrun.cxx (compile_pass): Added 'compat_sigaction' autoconf test.
* runtime/linux/autoconf-compat_sigaction.c: New file.
* tapset/linux/aux_syscalls.stp (_struct_sigaction32_u): Prefer 'struct
  compat_sigaction' when available (over old 'struct sigaction32').
  (_struct_old_sigaction32_u) Prefer 'struct compat_old_sigaction' when
  available (over old 'struct old_sigaction32').
* testsuite/systemtap.context/usymbols.exp: Update to use
  'compat_sigaction' where available.

Fix dyninst support in testsuite/systemtap.base/unresolved-struct-typedef.exp.

Improve stapdyn uprobe error reporting.

* stapdyn/mutatee.cxx (mutatee::instrument_dynprobe_target): Turn off
  dyninst error messages and add our own if we can't find the uprobe entry
  functions.

Fix PR15743 by only looking up the dyninst uprobe function if we need to.

* stapdyn/mutatee.cxx (mutatee::instrument_dynprobe_target): Only look up
  the uprobe enter function if we have a uprobe probe.

Fix testsuite/systemtap.base/setjmp.exp compilation issues.

* testsuite/systemtap.base/setjmp.exp: Add simple optimized ("-O")
  testing. Fix test program compilation.

stapdyn binaries: also link against -lsymtabAPI

Help testsuite/systemtap.base/probefunc.exp pass on newer kernels.

PR15731: Fix 'syscall.{execve,compat_execve}' on newer kernels.

* tapset/linux/syscalls.stp (syscall.execve): Use 'sys_execve', since
  'do_execve' can be inlined.
  (syscall.compat_execve): Prefer 'compat_sys_execve', which can't be
  inlined.
* tapset/linux/nd_syscalls.stp: Matching changes from syscalls.stp for
  'nd_syscall.execve' and 'nd_syscall.compat_execve'.
* testsuite/buildok/twentyseven.stp: Updated for change to
  'syscall.execve'.
* testsuite/systemtap.base/pointer_array.stp: Ditto.
* testsuite/systemtap.base/execve.exp: New 'syscall.execve' test.
* testsuite/systemtap.base/execve.stp: Ditto.

testsuite/systemtap.base/pr14546.exp: When tests timeout, kill stap.

Increase test timeout in testsuite/systemtap.base/list.exp.

Update the systemtap.base/itrace.exp testcase.

* testsuite/systemtap.base/itrace.exp: Check for original utrace, since
  "fake" utrace doesn't support itrace.

Kfail known dyninst problems in the at_var_mark* tests.

* testsuite/systemtap.base/at_var_mark.exp: Add kfail for dyninst without
  VMA-tracking (PR15052).
* testsuite/systemtap.base/at_var_mark_func.exp: Ditto.

Improve perf probe warnings and testcase.

* runtime/linux/perf.c (_stp_perf_init): Print a better warning for
  unsupported perf probe types.
* testsuite/systemtap.base/perf.exp: Change perf hw probes to sw probes,
  which are more widely available.

stap --compatible: constrain version parameter to present or past

Fight the Future!

Enable 32-bit unwinding on 64bit

runtime/unwind.c: Add compat_task flag and enable COMPAT_REG_MAP
                  when active
runtime/unwind/unwind.h: Add COMPAT_REG_MAP 1 to 1 mapping in case x86_64.h
                         isn't defined
runtime/unwind/x86_64.h: COMPAT_REG_MAP mapping from 32 DWARF register values
                         to 64 bit register values
testsuite/systemtap.exelib/exelib.exp: enable -m32 flags on x86_64
translate.cxx: Remove warning and check for 32bit unwinding on 64bit

Improve buildok-dyninst.exp test results a bit.

* testsuite/systemtap.pass1-4/buildok-dyninst.exp: Add kfail for
  buildok/fortyseven.stp.
* testsuite/buildok/gtod_init.stp: Only look for 'STAP_NEED_GETTIMEOFDAY'
  when using the kernel runtime.
* testsuite/buildok/gtod_noinit.stp: Ditto.

PR14927: change error messages from using warn/x() to staperror()

There are two main reasons for this:
1. Using staperror() will preface the errors with an "ERROR:" string,
   which may be colored, depending on the coloring mode.
2. The use of warn() and family are not recommended as they are provided
   only for compatibility with BSD.

token colorizer: eschew tok_embedded etc. types

When printing source context for an error, we don't really know how
many characters from the source to highlight for any given token, as
that only stores the starting column position.

The tok->content.size() is a guide, but not a perfect one, as for some
(tok_string, tok_embedded, ...), the content is processed from the
source characters (with quotation signs removed, etc.), for others,
the tok->content() can be many lines long.  That's a problem because
if we try to source_line.substr(..., long_multiline_token.length()...),
we'll get a SEGV.

So we colorize only those tokens whose type is known to be simple and
literal transcriptions of the source file, starting at
column=tok->column.

PR14927: stapdyn: make warning/error string capitalization consistent

Just like in stap and staprun, where messages that follow the "WARNING:"
and "ERROR:" string are capitalized.

PR14927: make more warnings from staprun/stapdyn sensitive to -w

Before, even with the -w option specified for staprun, some warnings
(such as when the child process exits with a nonzero code) were still
output. Now, all warnings are affected by -w.

A similar operation was carried out in stapdyn, where the use of warnx()
was changed to stapwarn() so that -w now silences them. This changes
also gives those warnings the chance to be colored if necessary.

PR14927: stapdyn: add colorization for stapwarn() and staperror()

The colorize() and parse_stap_color() functions are the same as in
session.cxx.

PR14927: fix inheritance of color mode to staprun and stapdyn from stap

Added the -C switch in the building of the cmd for stapdyn. Also, since
the default color mode is now auto, we must check if the currently
active mode is anything other than auto before explicitly passing the -C
switch to staprun or stapdyn.

PR14927: stapdyn: add -C switch

Also clarified usage of -C in staprun to indicate that auto is now the
default coloring mode.

parser: print a warning in case of suspicious }% embedded-c non-closer

PR14927: fix indentation and small compare() bug

PR14927: add new testcase color_parsing.exp

To make sure that the parser implemented for PR14927 is correct and
safe, this new testcase sets SYSTEMTAP_COLORS to various erroneous
values and verifies that both stap and staprun react accordingly.

PR14927: make stap use same parser as staprun for consistency

In order to ensure that both stap and staprun react the same way to
various values of SYSTEMTAP_COLORS, the parsing method in staprun was
copied to replace the one in stap (with small C++ adjustments).

This will also allow us to test both stap and staprun using the same
test cases (see the next commit).

PR14927: protect terminal from invalid vals in SYSTEMTAP_COLORS

PR14927: enable coloring for stap and staprun/io by default

The default coloring mode was changed from 'never' to 'auto'.
Additionally, the terminal is now checked to make sure that it is not
dumb (i.e. it understands ANSI codes). Finally, to make sure that the
color sequences don't affect the testsuite, the latter was changed to
impersonate a dumb terminal.

make STP_OOB_DATA treatment more stringent

Since all STP_OOB_DATA originally comes from _stp_vlog() in
runtime/linux/io.c, we can be sure that all warnings will be prefixed
by "WARNING: " and all errors by "ERROR: ", as defined by WARN_STRING
ERR_STRING in io.c.

Therefore, we can be more stringent in control.c and mainloop.c in the
way we identify warnings and errors. Additionally, warnings can instead
use the warn() macro and errors the err() macro so that they benefit
from coloring.

The main effect of this patch is that all calls to _stp_warn() and
_stp_error() will be colored upon reception by stapio.

PR14927: adjust testsuite for staprun/io string changes

PR14927: change wording in some call sites to err() and perr()

Following the changes from the previous commit, all calls to err() and
perr() were checked so that they were consistent with the prefix
"ERROR:" added by those macros.

Where err() was used to report non-critical information, it was
replaced by eprintf(), and where it was used for warnings, it was
replaced by the warn() macro.

PR14927: add parsing of SYSTEMTAP_COLORS

Add the parse_stap_color() function to parse out the color sequence of
wanted string types from SYSTEMTAP_COLORS.

PR14927: remember original color mode to pass to staprun

PR14927: add -C switch for color in staprun/io

Also make stap send the -C switch if itself it was called with --color.
As opposed to the --color switch of stap, the WHEN argument was made
mandatory here so that it's consistent with the others, and it doesn't
conflict with the MODULE argument (and users don't have to resort to
using e.g. '-Cauto').

A few formatting fixes in the staprun manual page.

PR14927: tweak message coloring logic to simplify

... but whoops, the code is now more c++-y.  For use in
staprun/stapio/stapdyn, it'll need c-ificiation again.

PR14927: parse SYSTEMTAP_COLOR on-the-fly

Colors are no longer stored in memory. Instead, upon each request to
colorize(), the SYSTEMTAP_COLOR env var is parsed and queried for the
value of the key of interest.

This allows colorize() and parse_stap_color() to be more self-contained
and easier to eventually port to other parts of SystemTap, such as
staprun/io.

Fix 'buildok' testsuite failures on ia32.

* testsuite/buildok/nd_syscalls-detailed.stp: Mark 'compat' probe alias
  tests as optional, so test will pass on ia32.
* testsuite/buildok/nd_syscalls2-detailed.stp: Dito.
* testsuite/buildok/syscalls-detailed.stp: Ditto.

PR14927: enable support for SYSTEMTAP_COLORS env var

The new SYSTEMTAP_COLORS environment variable allows users to customize
colors. See the updated man page for more info on the syntax and
behaviour of this new env var.

PR14927: elaborate.cxx: change a warning to use print_token()

To be more consistent with other print_warning() calls in the file,
this warning was changed to use its second overloaded form, in which
the token is given as the second argument. This has for effect to allow
proper pretty printing of the token using print_token(), thus making
sure that the path is not repeated and that output is coloured if
necessary.

PR14927: add colorize() functions and colorization mechanism

Added colorization of the following elements:
- Error type (e.g. 'semantic error')
- Source location (e.g. '<input>:1:7')
- Caret ('^')
- Token (the one above the caret)

PR14927: lay groundwork for colors

Created a new command-line option '--color' which is capable of taking
in an argument as well. Added a new member 'color_errors' to the
systemtap_session class which gets set upon treating the new switch's
logic. Also created an entry in the man page.

PR14927: move parser::print_error() to systemtap_session

The parser::print_error() method was moved from the parser class to the
systemtap_session class in anticipation for colorization. The session
class previously already took care of error printing, except for parser
errors. Making all the error-printing methods part of the same class
will simplify the implementation of colorization.

Use explicit sys_utimes functions for at_var.exp

This test wants to access a typed $utimes variable, but on architectures
with HAVE_SYSCALL_WRAPPERS the main sys_utimes has all long arguments.
And starting in 3.10, all archs have syscall wrappers, yay!  For this
test's purposes, it's perfectly fine to use the inline SYSC_utimes where
that exists.

linux tapset: new guru-only function raise() to send a signal to current task