PR6580: implement callers(), ucallers().

PR14396: Fix a kernel typo in utf_user_trunc.stp

* testsuite/systemtap.base/utf_user_trunc.stp: s/kernel/user/

PR14396: Truncate UTF strings silently

The UTF-16 and UTF-32 conversion functions were correctly refusing to
write a partial UTF-8 sequence into the buffer, but they were treating
that case as an error.  It should just silently stop processing, so the
result is truncated just as any other string concatenation does.

* tapset/linux/conversions.stp (kernel_string_utf32): Treat only rc<0
  from _stp_convert_utf32 as an error; rc==0 is truncation.
  (kernel_string_utf16): Ditto.
* tapset/linux/uconversions.stp (user_string_utf32): Ditto.
  (user_string_utf16): Ditto.
* testsuite/systemtap.base/utf_kernel_trunc.*: Test a broad range of
  truncation points within kernel UTF strings.
* testsuite/systemtap.base/utf_user_trunc.*: Same test for userspace.
  (The duplication is unfortunate, but it's not too crazy.)

stap: Include DYNINST in the enabled feature list

Don't report non-git if we have an extra-version

When we're not building from git, but we do have --with-extra-version,
just let that suffice in our version strings.  But when we do have a git
repo, still print the fullest information possible.

* version.h: Define STAP_EXTENDED_VERSION with this scheme.
* session.cxx, stapdyn/stapdyn.cxx, staprun/common.c: Use it.

PR6580: implement naive stack(), ustack()

PR14460 ipaddr.exp: all hail bash /dev/tcp

Use bash's /dev/tcp/127.0.0.1/8079 and /dev/tcp/::1/8079, which work.

PR14460 try 1

Switch to tcl's [socket HOST PORT] facilities as a netcat client
substitute.  Except tcl 8.5* doesn't speak ipv6 jive.  Also, switch to
port 8079 for tests, expecting to conflict less with normal ongoings
than good old 8080.

PR14396: Add pretty-printing support for UTF

* dwarf_wrappers.h: Define DW_ATE_UTF if elfutils < 0.155.
* tapsets.cxx (dwarf_pretty_print::recurse_base): Print UTF with %#c
  too. This will generally only work with the ASCII subset for now...
  (dwarf_pretty_print::print_chars): Match strings by char/UTF encoding
  types, rather than by type name, and use the byte_size to select the
  correct string dereferencing function.
* testsuite/systemtap.base/utf_pretty.*: Test it!

PR14396: Add UTF-16/32 conversion functions

* runtime/stp_string.c (_stp_convert_utf32): New, write the given
  UTF-32 code point as UTF-8 in the given buffer.
* tapset/linux/conversions.stp (kernel_string_utf32): New, read and
  convert a UTF-32 string from kernel memory.
  (kernel_string_utf16): Same for UTF-16, handling surrogate pairs.
  (kernel_string2_utf32, kernel_string2_utf16): Same w/ custom error.
* tapset/linux/uconversions.stp: All of the above for user memory.
* testsuite/buildok/conversions*.stp: Add build tests.
* testsuite/systemtap.base/utf_*: New runtime tests.

loc2c-runtime.h: Add uread() and uwrite()

These are the userspace equivalents to kread() and kwrite().

For the (unused) STAPCONF_PROBE_KERNEL case, just define them as direct
equivalents.  Also add in missing kderef and store_kderef the same way.

For the architecture-implemented case, they are nearly identical to
kread and kwrite, just s/kderef/uderef/.  So to avoid duplication, I've
added in a layer of macro indirection to pass in the appropriate deref
function.  (Nevermind that the [ku]derefs are often identical -- oh,
what a tangled web we weave...)

examples: regenerate indexes

PR14164 (netfilter.stp): fix documentation oops.

PR14453: add some forward decls for rhel6.3 rpc tracepoints

* tapsets.cxx (tracepoint_extra_decls): Forward-declare rpc_clnt and rpc_wait_queue.

PR14164 (netfilter.stp): fix requirements for Ethernet-IP case for ARP.

PR14452: drop 1ULL literal from sys/sdt.h

Use (unsigned long long) 1 instead, which is for some reason kosherer.

PR14449: systemtap-server should work without systemtap-runtime preinstalled

Adding a %triggerin to -client to respond to -server being installed.

PR14164 (netfilter.stp): decode ARP packet contents on Ethernet.

configury: need libdwarf-devel for stapdyn

Or else, perhaps stapdyn doesn't need a manual -ldwarf in dyninst_LIBS.

Improve task_finder/task_finder2 error handling.

* runtime/linux/task_finder.c (stap_start_task_finder): When we ignore
  EPERM or ENOENT errors, be sure to not accidently return the ignored
  error.
* runtime/linux/task_finder2.c (stap_start_task_finder): Ditto.

PR14164: fix missing endianness conversion in ARP header extractor.

Use macros (PR11207) in netfilter.stp (PR13667).

PR11207 cleanup: rename session.macros to session.c_macros to clarify distinction from SystemTap macroprocessor macros.

In task_work worker functions, make sure the task isn't exiting.

* runtime/linux/task_finder2.c (__stp_tf_quiesce_worker): If the
  task is exiting, quit early.
  (__stp_tf_mmap_worker): Ditto.
* runtime/stp_utrace.c (utrace_resume): Ditto.

Fix problems with varargs macros in dyninst/io.c.

* runtime/dyninst/io.c: Convert _stp_warn(), _stp_error(),
  _stp_softerror(), and _stp_dbug() from varargs macros into varargs
  functions so that calling _stp_warn() (for example) with just a format
  argument works correctly.

stapdyn: Add a bit of documentation to stap.1

AUTHORS bump

use file based requires

Fix ifarch statement

parse: Fix a -Werror=delete-non-virtual-dtor

  CXX    stap-parse.o
../parse.cxx: In destructor ‘parser::pp1_activation::~pp1_activation()’:
../parse.cxx:421:16: error: deleting object of polymorphic class type
‘parser::pp_macrodecl’ which has non-virtual destructor might cause
undefined behaviour [-Werror=delete-non-virtual-dtor]
cc1plus: all warnings being treated as errors

We need virtual ~macrodecl to destroy the inherited pp_macrodecl.

spec: Configure the rpm verrel into the build

PR11207: minimal explanatory documentation for macroprocessor for 2.0pre.

stapdyn: fix NEWS for loss of systemtap-stapdyn subpackage

PR11207: good NEWS, everyone!

PR11207: initial version of simplified tapset-macro loading from .stpm files.

stapdyn: don't put it into a separate subrpm; leave it in -runtime

AUTHORS bump

stapdyn: Don't ship dynsdt

This is more of a test/demo program at this point, so it doesn't really
warrant installation or rpm packaging.  Demoting...

stapdyn: Add a NEWS blurb

(partly borrowed from Fedora's Systemtap2 feature page)

stapdyn: Enable map and stat types

There are a lot of kernel-isms in the map code especially, and rather
than try to rewrite all that, I've simply copied the necessary bits from
the kernel.  The new pieces are mostly list and hash related.

* runtime/dyninst/alloc.c (_stp_alloc_percpu): Needs to be zeroed.
* runtime/dyninst/runtime.h: Add BITS_PER_LONG and stap_hash_seed.
  Also extract various bits copied from the kernel into new files.
* runtime/dyninst/linux_types.h: Reused Linux type definitions.
* runtime/dyninst/linux_defs.h: Other various reused Linux code.
* runtime/dyninst/linux_hash.h: Direct copy of hashing from Linux.
* runtime/dyninst/ilog2.h: Linux's ilog2(), but just for constants.
* runtime/dyninst/probe_lock.h: Typedef rwlock_t on pthreads.
* runtime/map.c: Don't need sym.c, and emulate ALIGN().
* runtime/map.h: Locate ilog2, and fix NEED_MAP_LOCKS check.

PR14434 Filter out partial structs/classes.

GCC might generate a struct/class without DW_AT_declaration,
but that only contains members which have DW_AT_declaration
set.  We aren't interested in those.  PR14434 (GCC bug #54181).
Filter them out with a new function has_only_decl_members in dwflpp.cxx.
Add new testcase testsuite/systemtap.base/partial-class-type.exp.

spec: Don't use %dir for paths that are fully included

We were getting these messages from rpmbuild:
  warning: File listed twice: /usr/share/systemtap/runtime
  warning: File listed twice: /usr/share/systemtap/tapset

Those two paths included entirely in systemtap-devel, so the %dir
directive is redundant.  However, it should claim %{_datadir}/%{name}
which those two are under.

Add dyninst to systemtap.spec, for Fedora 18+ only

docs: improve .return probe $context var documentation

Don't print usage text on stap option errors

The help text is so long that it tends to push the actual error message
off the screen.  Instead, just print a suggestion to consult --help.

PR14432: Convert stap exit() calls to exceptions

We need the opportunity to clean up after ourselves, for example
removing any temporary directories created.  Calling exit() bypasses our
usual exception/RAII-based cleanups, so don't do that.

* session.h (exit_exception): New, an exception with a custom exit code.
* main.cxx (main): We can simply return here. Also catch exit_exception.
* session.cxx (systemtap_session::usage): Throw an exit_exception.
  (systemtap_session::parse_cmdline): Ditto.
* util.cxx (assert_regexp_match): A runtime_error makes more sense here.

DRY: get NLS definitions in session.h from util.h

Improve BZ812857 by helping current.exp to pass on s390x.

* testsuite/systemtap.stress/current.stp: Make '__switch_to' probe points
  optional, since they can't be probed on the s390x.

stapdyn: TODO updates

- Build integration is in good shape, removing
- Runtime is largely done, but some cleanup left (PR14179)
- Breaking up the tapsets is pretty much done (PR14180)
- New: really need a deref() mechanism
- New: need to rework stapdu_target

Tweak relative git_version.h rules

Merge branch 'master' of git://sourceware.org/git/systemtap

PR14180: Fix tapset documentation for non-root tapsets

* doc/SystemTap_Tapset_Reference/manpager: Use basenames so we can deal
  with tapsets that are from a subdirectory, like tapset/linux/.
* doc/SystemTap_Tapset_Reference/tapsets.tmpl: Update !I paths for the
  many tapsets that moved in commit d3110553.
* tapset/linux/context.stp: Defer <tapsetdescription> to tapset/context.stp

manpager: indent loops

Add tests for missing build id sections (for PR14407).

* testsuite/systemtap.base/buildid.exp: Test removing the build id section
  from a target executable and shared library.

PR11207: search tapset folders for .stpm files.

Gathers a list of .stpm (library) files on the tapset search
path. In this patch, an index of the paths is gathered in
session.library_macro_paths, but the list is not made use of by the
preprocessor.

stapdyn & staprun: Use the top-level git_version.h

Yo dawg, I herd you like Makefile recursion, so I put some recursion in
your recursion so you can version while you version.

Less duplication + more recursion == win?  Another option is to flatten
stapdyn and staprun Makefiles altogether into the root Makefile, but for
now, this is less invasive.

Changing the includes to ../git_version.h is not strictly necessary,
since we also have "-I..", but this way developers won't get burned by
old git_version.h files sitting in staprun/ or stapdyn/.

PR11207: install .stpm files into tapset folders.

PR14378: Better @entry squashing in kprobe.function

@entry is only valid in .return, but kprobe_var_expanding_visitor was
expanding it blindly.  Then kprobe_derived_probe was failing its
assertion that add_call_probe only happens with has_return.  So the test
semko/entry04.stp was failing as it should, but rather ungracefully with
an "Assertion `has_return' failed" abort.

* tapsets.cxx (kprobe_var_expanding_visitor): Add a has_return member so
  we know our current context.
  (kprobe_var_expanding_visitor::visit_entry_op): Guard @entry expansion
  on has_return, the same way dwarf_var_expanding_visitor does.

stapdyn: Add -V option for version/copyright info

* stapdyn/Makefile.am: Add git_version.h.
* stapdyn/Makefile.in: Regenerate.
* stapdyn/stapdyn.cxx (main): Hey buddy, here's your version.

Fixed PR14409 by delaying inode-uprobes registration until after buildid checks.

* runtime/linux/uprobes-inode.c: Rework code to do the buildid check
  before registering uprobes the first time we see a target process.

Fixed PR14427 by handling old and new task_work interface.

* runtime/linux/autoconf-utrace-via-tracepoints.c: Just includes
  task_work.h to determine existence of task_work feature.
* runtime/linux/autoconf-task_work-struct.c: New file.
* buildrun.cxx (compile_pass): Add autoconf-task_work-struct test.
* runtime/linux/task_work_compatibility.h: New header that mask
  differences between old task_work interface and new one.
* runtime/linux/task_finder2.c: Handle removal of 'data' parameter from
  task_work struct by embedding stap_task_finder_target in
  __stp_tf_task_work structure.
* runtime/stp_task_work.c: Include task_work_compatibility.h instead of
  task_work.h.
* runtime/stp_utrace.c (utrace_task_alloc): Update init_task_work()
  function call to compatibility function call.

PR14429: only grumble quietly about preexisting gid/uid conflicts in .spec

configury: add --with-extra-version=STRING option

This is to allow prerelease or other special builds to tag
stap -V / staprun -V outputs with an extra version string.

* configure.ac (with_extra_version): Add option.
* session.cxx (session::version), staprun (parse_args): Print them.
  Hey buddy, what about stapdyn?
* configure, config.in: Regenerated.

PR14180: Doing the tapset shuffle!

Many tapsets are kernel-specific, with no applicability at all
from userspace.  These have all been moved to tapset/linux/.

Some tapsets could be widely applicable, but are implemented with
kernel-specific APIs.  These have been moved to tapset/linux/, and
reimplemented in tapset/dyninst/ too.

Some tapsets are generic utility functions, that don't care at
all where they're run from.  These have been left in place.

ansi.stp: fix a couple sfunction names

stap-report: include buildtime/buildhost in the rpm listing

Add explicit build-id grep from vmlinux and debuginfo to stap-report.

PR11207 groundwork: fix major oops in commit e7c60c35d

Make the buildid.exp testcase more robust with better error checking.

PR14425: restore dummy stapfuncs.3stap man page

* stapfuncs.3stap: It's back, mostly blank.
* stap.1: Mention function::* etc.
* stapex.3stap: Refer to the web site examples too.

PR11207 groundwork: swap pass 1a and 1b as groundwork for .stpm library macro loading.

Note possibility of error recovery for preprocessor %( %) constructs.

PR11207: vary macro error string depending on def'n signature.

Prints either "expected '%('" or "expected '%(' or '('" as makes sense.

Range-check _fildes_index_u and test it

* tapset/linux/aux_syscalls.stp: Make sure the index is 0 or 1.
* testsuite/buildok/aux_syscalls-embedded.stp: Test _fildes_index_u()
  rather than the old, removed _fildes_u().

PR14180: Move all syscall tapsets to linux/

Moving basically all *syscall*.stp into tapset/linux/. These are all
implemented from a kernel assumption, using either kernel.function or
kprobe.function, and the supporting functions also assume that they're
being called from a kernel environment.

PR14180: Search for tapset in additional backend-specific paths

We already search paths in many combinations of kernel version and arch.
For each of these, search also in runtime-specific prefixes, "linux/..."
for kernel mode, and "dyninst/..." for dyninst mode.  (And while we're
at it, only do kernel versioning for kernel mode.)

PR11207: Add a space to a macro error string

PR11207: fix segfault in macro invocation parser.

Revert "PR11207: testsuite for oneline macros feature."

This reverts commit 05b137ec05922db854429770f96ce6a4a1501347.

Revert "PR11207: support for one-line @define in macroprocessor."

This reverts commit 2a82bed6eced5bd3634acd82eb440d46ab8206f4.

PR11207: support for one-line @define in macroprocessor.

Current logic for determining whether to grab a one-line or
a multi-line macro is a bit hairy but well-tested. May go through
it later with a fresh eye to streamline at least the explanatory
comments.

PR11207: testsuite for oneline macros feature.

stap-report: set $PATH, tolerate failures better

parse: Separate "empty or missing" file errors

... especially since there's a third state too: unreadable.

* parse.cxx (parser::parser): Consolidate to a single ctor.
  (parse<istream>): Synthesize the name "<input>" to the parser from here.
  (parse<filename>): Open the file first, check its status, and if good
  only then pass the name and ifstream to the parser.
  (parser::parse): Now here the file is never missing, just empty.

stapdyn: Try to autodetect DYNINSTAPI_RT_LIB

* stapdyn/dynutil.cxx (check_dyninst_rt): New file; Check that env
  DYNINSTAPI_RT_LIB is well set, else guess a good value for it.
* stapdyn/stapdyn.cxx (main): Call check_dyninst_rt().
* stapdyn/dynsdt.cxx (main): Ditto.
* stapdyn/Makefile.am: Build dynutil.cxx and ../util.cxx.
* stapdyn/Makefile.in: Regenerate.

stapdyn: Build dyninst targets in their own subdirectory

* Makefile.am: Remove dyninst targets; add stapdyn/ to SUBDIRS.
* stapdyn/Makefile.am: Add dyninst targets. (base copied from staprun.)
* configure.ac: Process stapdyn/Makefile.
* run-stap.in: Adapt to stapdyn's new location.

* stapdyn/Makefile.in: Generate.
* Makefile.in, configure: Regenerate.

stapdyn: Use PRIx64 when printing GElf_Addr (uint64_t)

PR11207: correctly initialize lexer::saw_tokens.

Dyninst compile fixes for 32-bit systems.

* stapdyn/dynsdt.cxx (find_sdt): Fix printf types for 64-bit longs.
  (instrument_sdt): Ditto.
* stapdyn/stapdyn.cxx (instrument_uprobes): Change type from 'uint64' to
  'int64', since there are only signed 64-bit long BPatch_constExpr
  constructors.

stapdyn: Use an explicit BINDIR path to stapdyn

Added include path to be able to compile for ARM.

Compiling a script against a 3.4 ARM kerne with uprobes support results in a
compile error because struct linux_binprm is not defined. Including
linux/binfmts.h fixes the issue.

Signed-off-by: Torsten Polle <Torsten.Polle@gmx.de>

PR14360: support old behaviour with --compatible.

PR14360: document string literal concatenation in language reference.

PR11210: NEWS entry for alias suffixes feature.

PR12210: couple additional recursive-expansion tests for semko.

Fix permissions for testsuite/parseko/at_operators.stp.

Starting to populate NEWS -- describe string gluing change due to PR14360.

PR11207: initial implementation of macros (definitions visible in same file).

This patch augments systemtap's preprocessor with a simple macro facility,
as follows:

@define add(a,b) %( ((@a)+(@b)) %)
x = add(2,2)

Further details are available in the comments on the preprocessor code,
or in the proposal posted earlier on the mailing list.

PR11207: initial testsuite for macro feature.

stapdyn: Don't check groups for --runtime=dyninst

We don't need to assert stapdev/stapusr group membership for the dyninst
mode, as users are simply allowed to probe anything ptrace-able.  The
groups only apply to our kernel runtime.