belated spring cleaning: imitate semantic_error chaining for macro feature

belated spring cleaning: clarify error behavior for macro feature

belated spring cleaning: missing i18n for macro feature

Minor update for publican bug workaound in systemtap.spec.

* systemtap.spec: Move the BZ920216 workaround into the 'with_publican'
  section, since that is what it is related to.

PR15757 Fix truncated 32bit backtraces on x86_64

runtime/unwind.c: Fix the variable size to be incremented by in the
  eh_frame and table_enc.

For xen kernels, handle cpufreq_register_notifier() failure.

* runtime/time.c (_stp_kill_time): If cpufreq_register_notifier()
  suceeded, unregister the notifier.
  (_stp_init_time): On xen kernels, cpufreq_register_notifier() can
  fail. Just ignore the error.

Make stap-stop-server wait (for up to 10 seconds) for the server to quit.

Fix reported tcl testsuite errors.

* testsuite/systemtap.base/implicitptr.exp: Fix misnamed variable.
* testsuite/systemtap.base/sdt_misc.exp: Change "/usr/bin/kill" to
  "/bin/kill" (for Debian systems).

belated NEWS entry re. user_string_quoted() and friends

Made systemtap.server/server.exp handle inode uprobes properly.

* testsuite/systemtap.server/server.exp: Handle systems with inode uprobes
  properly: don't try to use or look for uprobes.ko.

Made systemtap.server/server_locale.exp more robust.

* testsuite/systemtap.server/server_locale.exp: Updated tests for new
  warning/error messages. For French tests, made them more permissive - if
  we get anything in French, the test passes. This was done because we may
  not have a translation of a particular message.

PR15803: netfilter: tolerate absent context when collecting $verdict

It is possible to skip from the prologue epilogue through to the
prologue for reasons such as shortage of available stack space.
In these cases, the context* c; pointer could remain NULL, which
is considered generally inappropriate to dereference.

* tapset-netfilter.cxx (epilogue): Check for NULL c before extracting
  $verdict.

Made systemtap.server/client.exp more robust.

* testsuite/systemtap.server/client.exp: When this test is run right after
  another server test, sometimes the server from the previous test hasn't
  quite died. So, when getting the initial list of online servers, make
  sure we get the same result twice. Simplify code by using new
  'array_compare' procedure.

PR15793: numa addr_to_node(): protect __pa() call with virt_addr_valid()

Update test case to tolerate exception that may now be thrown by the
tapset function.

session.cxx: make string params const

And change colorize() to take in a token pointer rather than a ref. This
is more in line with other funcs that take in a token and also ensures
that we don't have undefined behaviour if we're called with a
dereferenced NULL pointer (which coverity complained about).

elaborate.cxx -- placate coverity (CTOR_DTOR_LEAK)

stapregex -- placate the gods of coverity (RESOURCE_LEAK)

stapregex -- placate the gods of coverity (INVALIDATE_ITERATOR)

stapregex -- placate the gods of coverity (UNINIT_CTOR)

session.cxx: add assert statement for benchmark opts

staprun/common.c: add assert statement for -C, -S, -r

systemtap.spec: prefer with_systemd on recent OS

version bump for 2.4 development

Revert "testsuite: set -B CONFIG_DEBUG_INFO=y in testsuite rc to help debug crashes"

This reverts commit 6bb6bf29ae.....
                and f1d4f4313.....

Revert "PR15782 cont'd: PR_Read_Complete should initialize vars more"

This reverts commit 59331ea0de1f10d0694b3389e0b4710db4da0798.

PR15782 cont'd: PR_Read_Complete should initialize vars more

Use a clearer looping/accumulation structure.

Implement PR_Read_Complete() in nsscommon.cxx.

A wrapper for PR_Read which ensures that all of the requested data
is read.
Updates callers of PR_Read() as appropriate.

regex: warning cleanup as per gcc 3.4.6 on i686

stapregex rewrite: appropriate NEWS items

stapregex rewrite: regenerate autoconf

stapregex rewrite -- prepare for rebase onto main branch for 2.3 release

stapregex REWRITE -- fixes for 100% (existing, non-subexpression) testsuite pass

stapregex REWRITE -- further bug fixes for engine (2 testsuite errors remaining)

stapregex REWRITE -- further bug fixes (esp. dealing with infinite loops)

stapregex REWRITE -- rudimentary emit implementation (no tags yet)

stapregex REWRITE -- bug fix progress (fix deallocation with ^, fix duplicate-state-check, ditch debug output)

stapregex REWRITE -- bug fix progress (failure alternative, ^ anchoring)

stapregex REWRITE -- bug fix progress (range creation off-by-one error)

stapregex REWRITE -- bug fix progress (get rid of infinite looping)

stapregex REWRITE -- bug fix progress in existing code (up to infinite-loop error)

stapregex REWRITE - rig test suite to work with new code

stapregex REWRITE PROGRESS -- Delete irrelevant pre-rewrite code

stapregex REWRITE PROGRESS: ADD PARTIAL stapregex-dfa.cxx & related (missing emit data, some tag-reordering stuff)

oops: add stapregex-tree.cxx mention to README.stapregex

stapregex REWRITE PROGRESS: ADD stapregex-tree.cxx & related

stapregex: fix guard clauses in stapregex.cxx for nontagged and standalone (testsuite) cases

stapregex: ADD /* pragma:tagged_dfa */ to make non-subexpression-using programs a bit more efficient

stapregex REWRITE PROGRESS: ADD stapregex.cxx & related

stapregex REWRITE PROGRESS: character class handling in stapregex-parse.cxx

stapregex REWRITE PROGRESS: ADD stapregex-parse.cxx & related

fix stapregex rewrite oops: vimline in translator-output.cxx

stapregex REWRITE PROGRESS: ADD stapregex.h

stapregex cleanup: check miscellaneous TODOXXX

Add dyninst kfail in systemtap.pass1-4/transok.exp.

Added "semok" test improvements.

* testsuite/systemtap.pass1-4/semok.exp (dyninst_kfails): Kfail more
  tests.
* testsuite/semok/kretprobe-data.stp: Update for newer kernels.

Update dyninst kfails in systemtap.pass1-4/parseok.exp.

Setup more kfails in buildok-dyninst.exp.

Added "buildok" test improvements.

* testsuite/systemtap.pass1-4/buildok.exp: Kfail twentyeightprime.stp if
  we're using inode uprobes, since absolute probes don't work there.
* testsuite/buildok/twenty.stp: Also probe 'iterate_dir', since
  'vfs_readdir' has been renamed.

NEWS update for coloring and function suggestion

PR15375: implement function suggestions

Added dwarf_builder::suggest_functions(), which builds a list of similar
functions from a given function. This is used in dwarf_builder::build()
to suggest functions to the user when the probe point could not be
derived.

PR15375: add visited_modules to dwarf_query struct

The visited_modules member of dwarf_query is used to keep track of all
the modules which have been visited during the query. This information
will be used in the function suggestion feature to know from which
modules to pull functions.

PR15375: add sym_seen to module_info struct

The sym_tab struct only caches non-inlined functions. The sym_seen set
includes all functions, and is also updated during update_symtab. This
will allow us to give better function suggestions.

PR15375: add levenshtein() function to calculate edit distance

The levenshtein() function added in util.cxx will be used in the new
upcoming function suggestion feature.

Kfail unsupported inode uprobes tests in unprivileged_probes.exp.

* testsuite/lib/systemtap.exp (inode_uprobes_p): New function.
* testsuite/systemtap.base/uprobes_filtering.exp: Use 'inode_uprobes_p',
  instead of private code, to know whether to test.
* testsuite/systemtap.unprivileged/unprivileged_probes.exp
  (test_unrestricted_probes): Kfail
  'process(number).statement(number).absolute*' tests if we're using inode
  uprobes, since absolute probes aren't supported.

Tweak systemtap.examples/process/psig.stp to compile on RHEL6.

* testsuite/systemtap.examples/process/psig.stp (translate_mask): Tweak
  function to lower stack usage. This avoids the dreaded "the frame size
  of XXX bytes is larger than 256 bytes" error messages.

Fix a bogus unprivileged_probes.exp perf probe test.

* testsuite/systemtap.unprivileged/unprivileged_probes.exp: Fix bogus
  'perf*.counter' probe test. Originally was testing
  "perf.type(number).config(number).sample(number).counter(string)" probe
  type, which doesn't exist.

Fix testsuite/semok/thirtysix.stp.

* testsuite/semok/thirtysix.stp: Since not all markers in "stap" have a
  '$arg' parameter, this test was failing (correctly). To fix this, only
  probe the "pass*__*" markers (which all have a '$arg' parameter).

AUTHORS bump

The testsuite now looks for systemtap java support before java testing.

* testsuite/lib/systemtap.exp (java_p): New function.
  (setup_systemtap_environment): Test for systemtap java functionality.
* testsuite/systemtap.apps/java.exp: Mark as untested if no stap java
  support.
* testsuite/systemtap.unprivileged/unprivileged_probes.exp
  (test_unrestricted_probes): Mark java probe tests as untested if no stap
  java support.

Improve the inode-uprobes check in systemtap.base/uprobes_filtering.exp.

Make the systemtap.base/proc_exec.exp test more robust.

Updated renaming module testcases to handle updated error messages.

* testsuite/systemtap.base/pr13158.exp: Updated testcase with new error
  messages.
* testsuite/systemtap.base/rename_module.exp: Ditto.

The rest of the PR15751 changes.

Fix PR15751 by adding support for new 'compat' sigaction structures.

* buildrun.cxx (compile_pass): Added 'compat_sigaction' autoconf test.
* runtime/linux/autoconf-compat_sigaction.c: New file.
* tapset/linux/aux_syscalls.stp (_struct_sigaction32_u): Prefer 'struct
  compat_sigaction' when available (over old 'struct sigaction32').
  (_struct_old_sigaction32_u) Prefer 'struct compat_old_sigaction' when
  available (over old 'struct old_sigaction32').
* testsuite/systemtap.context/usymbols.exp: Update to use
  'compat_sigaction' where available.

Fix dyninst support in testsuite/systemtap.base/unresolved-struct-typedef.exp.

Improve stapdyn uprobe error reporting.

* stapdyn/mutatee.cxx (mutatee::instrument_dynprobe_target): Turn off
  dyninst error messages and add our own if we can't find the uprobe entry
  functions.

Fix PR15743 by only looking up the dyninst uprobe function if we need to.

* stapdyn/mutatee.cxx (mutatee::instrument_dynprobe_target): Only look up
  the uprobe enter function if we have a uprobe probe.

Fix testsuite/systemtap.base/setjmp.exp compilation issues.

* testsuite/systemtap.base/setjmp.exp: Add simple optimized ("-O")
  testing. Fix test program compilation.

stapdyn binaries: also link against -lsymtabAPI

Help testsuite/systemtap.base/probefunc.exp pass on newer kernels.

PR15731: Fix 'syscall.{execve,compat_execve}' on newer kernels.

* tapset/linux/syscalls.stp (syscall.execve): Use 'sys_execve', since
  'do_execve' can be inlined.
  (syscall.compat_execve): Prefer 'compat_sys_execve', which can't be
  inlined.
* tapset/linux/nd_syscalls.stp: Matching changes from syscalls.stp for
  'nd_syscall.execve' and 'nd_syscall.compat_execve'.
* testsuite/buildok/twentyseven.stp: Updated for change to
  'syscall.execve'.
* testsuite/systemtap.base/pointer_array.stp: Ditto.
* testsuite/systemtap.base/execve.exp: New 'syscall.execve' test.
* testsuite/systemtap.base/execve.stp: Ditto.

testsuite/systemtap.base/pr14546.exp: When tests timeout, kill stap.

Increase test timeout in testsuite/systemtap.base/list.exp.

Update the systemtap.base/itrace.exp testcase.

* testsuite/systemtap.base/itrace.exp: Check for original utrace, since
  "fake" utrace doesn't support itrace.

Kfail known dyninst problems in the at_var_mark* tests.

* testsuite/systemtap.base/at_var_mark.exp: Add kfail for dyninst without
  VMA-tracking (PR15052).
* testsuite/systemtap.base/at_var_mark_func.exp: Ditto.

Improve perf probe warnings and testcase.

* runtime/linux/perf.c (_stp_perf_init): Print a better warning for
  unsupported perf probe types.
* testsuite/systemtap.base/perf.exp: Change perf hw probes to sw probes,
  which are more widely available.

stap --compatible: constrain version parameter to present or past

Fight the Future!

Enable 32-bit unwinding on 64bit

runtime/unwind.c: Add compat_task flag and enable COMPAT_REG_MAP
                  when active
runtime/unwind/unwind.h: Add COMPAT_REG_MAP 1 to 1 mapping in case x86_64.h
                         isn't defined
runtime/unwind/x86_64.h: COMPAT_REG_MAP mapping from 32 DWARF register values
                         to 64 bit register values
testsuite/systemtap.exelib/exelib.exp: enable -m32 flags on x86_64
translate.cxx: Remove warning and check for 32bit unwinding on 64bit

Improve buildok-dyninst.exp test results a bit.

* testsuite/systemtap.pass1-4/buildok-dyninst.exp: Add kfail for
  buildok/fortyseven.stp.
* testsuite/buildok/gtod_init.stp: Only look for 'STAP_NEED_GETTIMEOFDAY'
  when using the kernel runtime.
* testsuite/buildok/gtod_noinit.stp: Ditto.

PR14927: change error messages from using warn/x() to staperror()

There are two main reasons for this:
1. Using staperror() will preface the errors with an "ERROR:" string,
   which may be colored, depending on the coloring mode.
2. The use of warn() and family are not recommended as they are provided
   only for compatibility with BSD.

token colorizer: eschew tok_embedded etc. types

When printing source context for an error, we don't really know how
many characters from the source to highlight for any given token, as
that only stores the starting column position.

The tok->content.size() is a guide, but not a perfect one, as for some
(tok_string, tok_embedded, ...), the content is processed from the
source characters (with quotation signs removed, etc.), for others,
the tok->content() can be many lines long.  That's a problem because
if we try to source_line.substr(..., long_multiline_token.length()...),
we'll get a SEGV.

So we colorize only those tokens whose type is known to be simple and
literal transcriptions of the source file, starting at
column=tok->column.

PR14927: stapdyn: make warning/error string capitalization consistent

Just like in stap and staprun, where messages that follow the "WARNING:"
and "ERROR:" string are capitalized.

PR14927: make more warnings from staprun/stapdyn sensitive to -w

Before, even with the -w option specified for staprun, some warnings
(such as when the child process exits with a nonzero code) were still
output. Now, all warnings are affected by -w.

A similar operation was carried out in stapdyn, where the use of warnx()
was changed to stapwarn() so that -w now silences them. This changes
also gives those warnings the chance to be colored if necessary.

PR14927: stapdyn: add colorization for stapwarn() and staperror()

The colorize() and parse_stap_color() functions are the same as in
session.cxx.

PR14927: fix inheritance of color mode to staprun and stapdyn from stap

Added the -C switch in the building of the cmd for stapdyn. Also, since
the default color mode is now auto, we must check if the currently
active mode is anything other than auto before explicitly passing the -C
switch to staprun or stapdyn.

PR14927: stapdyn: add -C switch

Also clarified usage of -C in staprun to indicate that auto is now the
default coloring mode.

parser: print a warning in case of suspicious }% embedded-c non-closer

PR14927: fix indentation and small compare() bug

PR14927: add new testcase color_parsing.exp

To make sure that the parser implemented for PR14927 is correct and
safe, this new testcase sets SYSTEMTAP_COLORS to various erroneous
values and verifies that both stap and staprun react accordingly.

PR14927: make stap use same parser as staprun for consistency

In order to ensure that both stap and staprun react the same way to
various values of SYSTEMTAP_COLORS, the parsing method in staprun was
copied to replace the one in stap (with small C++ adjustments).

This will also allow us to test both stap and staprun using the same
test cases (see the next commit).