(PR14571 partial fix) For dyninst, use TLS for map and stat data.

* runtime/dyninst/tls_data.c: New file.
* runtime/stat.c (struct _Stat): Add a tls_data_container_t structure.
  (_stp_stat_tls_object_init): New function.
  (_stp_stat_tls_object_free): Ditto.
  (_stp_stat_init): Instead of directly allocating percpu data, for
  dyninst set up tls data to be created when accessed by calling
  _stp_tls_data_container_init().
  (_stp_stat_del): For dyninst, call _stp_tls_data_container_cleanup() to
  remove all the tls data.
  (_stp_stat_add): For dyninst, get the proper tls stat object.
  (_stp_stat_get_cpu): Deleted unused function.
  (_stp_stat_get): For dyninst, get the proper tls stat objects.
  (_stp_stat_clear): For dyninst, clear the stat in each thread's tls data.
* runtime/stat.h (struct stat_data): Add a tls_data_object_t structure.
* runtime/map.c (_stp_map_tls_object_init): New function.
  (_stp_map_tls_object_free): Ditto.
  (_stp_pmap_new): Instead of directly allocating percpu data, for dyninst
  set up tls data to be created when accessed by calling
  _stp_tls_data_container_init().
  (_stp_pmap_clear): For dyninst, clear the map in each thread's tls data.
  (_stp_pmap_del): For dyninst, call _stp_tls_data_container_cleanup() to
  remove all the tls data.
  (_stp_pmap_agg): Add dyninst support.
* runtime/map.h (struct map_root): Add a tls_data_object_t structure.
  (struct pmap): Add a tls_data_container_t structure.
* runtime/map-stat.c (_stp_hstat_tls_object_init): New function.
  (_stp_pmap_new_hstat_linear): For dyninst, override the standard tls
  data object init function with _stp_hstat_tls_object_init(), which knows
  how to handle hstats.
  (_stp_pmap_new_hstat_log): Ditto.
* runtime/pmap-gen.c (_stp_pmap_tls_object_init): New function.
  (_stp_pmap_new): For dyninst, override the standard tls
  data object init function with _stp_pmap_tls_object_init(), which knows
  how to handle pmaps.
  (_stp_pmap_set): For dyninst, get the proper tls pmap object.
  (_stp_pmap_add): Ditto.
  (_stp_pmap_get_cpu): Ditto.
  (_stp_pmap_get): Ditto.
  (_stp_pmap_del): Ditto.
* runtime/dyninst/linux_defs.h: Added container_of(), list_entry(),
  list_for_each_entry(), and list_for_each_entry_safe().

Fixup sym.c _stp_module_check note_addr warning.

The check said "notes_addr <= base_addr" /* shouldn't happen */
But the warning said "build-id address %lx < base %lx".
Make them both <=.

Add MODULE_INFO() macro for dyninst mode.

* runtime/dyninst/runtime.h: Add MODULE_INFO() macro to get things
  compiling in dyninst mode (the testsuite adds a "--modinfo intree=Y"
  argument).

PR6580: reimplement straightforward legacy functions in terms of stack().

PR6580 clarification: comment explaining suitability of current kluge for _stp_get_uregs() clearing kernel cache.

The inefficiency alluded to only occurs when interspersing
*partial* kernel and user unwinds, e.g. try this with -DDEBUG_UNWIND=1:

stack(0); ustack(0); stack(1); ustack(1); ...

parse.cxx swallow tokens we are definitely not using.

The tokens produced by expect_* () were immediately dropped on the floor
after inspection. And a lot of places in the parser called next () just
to get passed the current token without using it. Those tokens could
immediately be cleaned up saving ~3MB of "lost memory".

valgrind stap -v -k -p4 -e 'probe begin { log("Hello, World!"); exit(); }'
Before:
==12545==    definitely lost: 2,470,128 bytes in 51,408 blocks
==12545==    indirectly lost: 14,180,805 bytes in 319,624 blocks

After:
==14782==    definitely lost: 18,856 bytes in 220 blocks
==14782==    indirectly lost: 12,432,436 bytes in 264,176 blocks

stapdyn: Enable user macros and verbose gcc reporting

stapdyn: Add execname() using prctl(PR_GET_NAME)

PR6580: incremental unwinder with cache.

Implements a cached unwinder, allowing most backtrace tapset functions
to be implemented in terms of stack() without loss of performance.
stack() calls can be made repeatedly and in any order, and they will
use the results of a single unwind. (Works only with the DWARF
unwinder).

_stp_stack_kernel_print et. al. retain their prior behaviour,
including a number of fallbacks not available to the incremental
unwind. These fallbacks only emit backtrace strings, which can be
tokenized on the tapset end as a last resort.

* runtime/unwind/unwind.h -- define struct unwind_cache to store PCs
  obtained from unwinder.
* runtime/common_probe_context.h -- include two sets of unwinder
  context and cache, one for user side, one for kernel.
* tapsets.cxx -- probe prologue includes a small thing to mark
  the unwind caches as being in an uninitialized state.
* runtime/stack.c -- incremental unwinder implementation.
* runtime/stack-dwarf.c -- deleted. Code moved to stack.c since
  this is now the preferred unwind method.
* tapset/linux/[u]context-symbols.stp -- change stack(), ustack()
  to directly call incremental unwinder.

(PR14571 partial fix) For dyninst, rename 'stat' to 'stat_data'.

* runtime/stat.h: To avoid clashing with 'stat' definition from
  /usr/include/sys/stat.h, rename internal 'stat' typedef to 'stat_data'.
* runtime/map-gen.c: Renamed 'stat' to 'stat_data'.
* runtime/map-stat.c: Ditto.
* runtime/map.c: Ditto.
* runtime/map.h: Ditto.
* runtime/pmap-gen.c: Ditto.
* runtime/stat-common.c: Ditto.
* runtime/stat.c: Ditto.

Cleanup for PR6580: well-duh typo fix for last commit.

Cleanup for PR6580: replace context probe_flags with individual status bits.

Instead of checking c->probe_flags against _STP_PROBE_STATE_*, use
c->user_mode_p and c->full_uregs_p.

(PR14571 partial fix) For dyninst, use TLS for the context structure.

* translate.cxx (c_unparser::emit_common_header): Update to use thread
  local storage in dyninst mode for context structure.
  (c_unparser::emit_global_param): Since there are no module parameters
  with dyninst, don't bother emitting code.
  (c_unparser::emit_module_init): Don't bother emitting kernel-only code
  in dyninst mode.
* runtime/vsprintf.c (_stp_vsprint_memory): For dyninst, use thread local
  storage to get correct context structure.
* tapsets.cxx (common_probe_entryfn_prologue): Take a 'systemtap_sesion'
  argument instead of a 'translator_output' argument.  This allows access
  to the s.is_usermode() function (so we can avoid outputting kernel code
  when using dyninst).
  (dwarf_derived_probe_group::emit_module_decls): Update
  common_probe_entryfn_prologue() call.
  (uprobe_derived_probe_group::emit_module_utrace_decls): Ditto.
  (uprobe_derived_probe_group::emit_module_inode_decls): Ditto.
  (uprobe_derived_probe_group::emit_module_dyninst_decls): Ditto.
  (kprobe_derived_probe_group::emit_module_decls): Ditto.
  (hwbkpt_derived_probe_group::emit_module_decls): Ditto.
  (tracepoint_derived_probe_group::emit_module_decls): Ditto.
* tapset-been.cxx (be_derived_probe_group::emit_module_decls): Ditto.
* tapset-itrace.cxx (itrace_derived_probe_group::emit_module_decls): Ditto.
* tapset-mark.cxx (mark_derived_probe_group::emit_module_decls): Ditto.
* tapset-netfilter.cxx (netfilter_derived_probe_group::emit_module_decls):
  Ditto.
* tapset-perfmon.cxx (perf_derived_probe_group::emit_module_decls): Ditto.
* tapset-procfs.cxx (procfs_derived_probe_group::emit_module_decls):
  Ditto.
* tapset-timers.cxx (profile_derived_probe_group::emit_module_decls):
  Ditto.
* tapset-utrace.cxx (utrace_derived_probe_group::emit_module_decls):
  Ditto.
* tapsets.h: Updated common_probe_entryfn_prologue() declaration.

Include a closing ''' for kvm_service_time.meta so the tests run properly.

Parameterize variables used in config and initscript files.

Fixed PR14560 to avoid cmd_parse.exp hanging on RHEL5.

* testsuite/systemtap.base/cmd_parse.exp: Change cmd_parse14 test to use
  grep instead of expect to avoid hangs on RHEL5.

(PR14488 partial fix) Make memory writing more robust.

* runtime/dyninst/linux_defs.h (__copy_from_user): Remove unused code (and
  update comment).
  (__put_user): New macro.
  (__copy_to_user): New function.
  (__put_user_fn): Ditto.
* runtime/dyninst/loc2c-runtime.h (__get_user_asm): Fix macro to return
  error code.
  (__put_user_asm): New macro.

Correct the location of uconversions.stp in tapsets.tmpl

doc: elaborate on process.* context variables and sdt.h markers

doc: mention 'context variables' as an alias for 'target variables'

langref.tex: document various embedded-C pragmas

langref.tex: clarify when embedded-C code (as opposed to expressions) may appear

dflpp.cxx (find_variable_and_frame_base): Remove extra bracket in error.

Before:
semantic error: unable to find local 'task', dieoffset 0x111604 in nfs,
near pc 0x78863 in nfs_read_done fs/nfs/proc.c ( (alternatives: $data):
identifier '$task' at [...]

After:
semantic error: unable to find local 'task', dieoffset 0x111604 in nfs,
near pc 0x78863 in nfs_read_done fs/nfs/proc.c (alternatives: $data):
identifier '$task' at [...]

(PR14488 partial fix) Make memory reading more robust.

* runtime/dyninst/runtime.h (assert_is_myproc): New dummy macro.
  (stp_dummy_init): Opens the /proc/self/mem file.
  (stp_dummy_exit): Close the file.
* runtime/dyninst/linux_defs.h (user_mode): New dummy macro.
  (__copy_from_user): Rewrote to read memory from /proc/self/mem, to be
  able to catch errors.
* runtime/stp_string.h (__stp_get_user): Always use __get_user(), no
  matter what arch we're on in dyninst mode.
* tapset/uconversions.stp: Moved from tapset/linux/uconversions.stp, since
  the dyninst runtime can use the functions also.

Improve dwflpp::find_variable_and_frame_base error message when var not found.

Mention scope DIE offset and module name.

stap-report: add slackware package-listing widgetry

PR14549: Revert "PR6580: rewrite simple to-be-deprecated backtrace functions in terms of new ones"

This reverts commit 4e4aaf10d022db0f607b9e729b1a7abd5decc1b4, keeping the
definition of spsyms(), in order to avoid regression PR14549.

PR14546 Only copy registers of initial state.

The DWARF unwinder was copying too much information into the cie_regs
state possibly overwriting ~18 bytes after the unwind_context. Just copy
the registers.

Fix small testsuite type s/ko/ok/ in pr14546.exp

PR14546: testcase for repeated unwinder invocations.

chmod +x ./testsuite/semko/entry04.stp

systemtap.spec: activate with_dyninst on rhel7 too

PR14534: systemtap.spec should include ../stap-env in -server, not -runtime

PR14524: also document in tapset/DEVGUIDE.

PR14524: document /* unmangled */ pragma for embedded-C functions.

PR14524: test case for per-function legacy mangling pragma

PR10299 residue: only define STAP_RETVALUE for non-void functions

PR14524: support old embedded-locals notation on a per-function basis

Adding the pragma /* unmangled */ to an embedded-C function now enables
the use of the pre-1.8 local names, i.e. THIS->n instead of STAP_ARG_n.
This aids migration of pre-1.8 scripts and tapsets by allowing mixing
two kinds of embedded functions (pre- and post-1.8) in the same code.

NEWS: note that stap(dyn) does selinux checks itself now

langref: Mention 'delete' in the Arrays and Statistics sections

When reading just the sections on Arrays and Statistics, it was not
apparent that the 'delete' statement is applicable to each.  These
sections now have a mention and back-reference to the delete statement.

Reported-By: Ben Woodard <woodard@redhat.com>

Don't require prefix for ia64 rpm.

* systemtap.spec (Requires): ia64 does not have prelink.

runtime: Use typedef-typeof for safer function pointers

We use kallsyms_lookup_name to access several functions that are
publicly declared but not exported.  We were manually recreating the
call signatures for function pointers though, which is begging for
trouble.  This patch updates all those typedefs to use typeof on the
original function declaration, so we hopefully get compile-time breakage
if the call signature ever changes on us.

Fixed PR14467 by correcting memory initialization.

* runtime/stp_utrace.c (utrace_task_alloc): Don't try to initialize the
  utrace structure after possibly freeing it.

systemtap.spec: Be sensitive to %{?rhel} for publican branding

Manually setting publican_brand to RedHat vs. fedora is too unpleasant.

stapdyn: Check for cooperative SELinux booleans

We know that deny_ptrace=1 or allow_execstack=0 will prevent Dyninst
from working; with libselinux we can check this beforehand.

* configure.ac: Check for libselinux via pkg-config.
* stapdyn/Makefile.am: Add selinux flags when present.
* [...autoreconf...]
* stapdyn/dynutil.cxx (check_dyninst_sebools): New, validate the
  mentioned SELinux booleans for Dyninst compatibility.
* stapdyn/dynsdt.cxx (main): Call check_dyninst_sebools.
* stapdyn/stapdyn.cxx (main): Ditto.
* systemtap.spec: BuildRequire libselinux-devel for dyninst builds.

PR6580: cleanly handle overflow of MAXSTRINGLEN (subject to further testing)

PR6580: notice oops in earlier commit.

build compatibility: drop unnecessary decl

commit dec33462a left some detritus behind.  Clean that up.

* hash.h (struct hash): Don't forward-declare.

PR6580: rewrite simple to-be-deprecated backtrace functions in terms of new ones

For now, avoid changing backtrace(), probemod(), or the functions that
depend on not running into MAXSTRINGLEN according to their documentation.

PR6580: more missed @unwind_error() renaming.

PR6580: rename @unwind_error() to something more descriptive.

Fixed PR14463 by changing error handling of utrace_control().

* runtime/stp_utrace.c (utrace_barrier): Add a 'might_sleep()' call since
  it calls schedule_timeout_interruptible(), which sleeps.
* runtime/linux/task_finder2.c (__stp_utrace_attach): Ignore
  EINPROGRESS errors from utrace_control() when passed UTRACE_STOP, since
  that just means the task hasn't stopped yet.
* runtime/linux/task_finder.c (__stp_utrace_attach_flags): Ditto.

build compatibility: gcc 4.7 with -std=c++11, std::hash collision

* hash.cxx (struct hash): Rename to stap_hash to avoid conflict with
  std::hash template.
* session.h: Corresponding changes.

Reported-By: Doug Evans <dje@google.com>

build compatibility: gcc 4.7 with -std=c++11

* dwflpp.cxx, tapsets.cxx: On glibc >= 2.7, use scanf %ms instead of %as,
  as the former is more posixly correct.

Reported-By: Doug Evans <dje@google.com>

PR11659: Hook into the panic_notifier_list

This feature lets stap dump the trace buffers to the serial console on a
kernel panic. The basic functionality is there, but it could use some
tweeking including adding a summary report at the end of the dump.
Currently it only works for the relay buffer V2.

more typo fix for langref.tex

PR14313: clarifying message for alias_suffixes.stp example.

PR14313: rewrite alias suffix example in langref.tex.

The rewrite avoids possible confusion due to the fact that there is
a syscall.read.return alias defined in the tapset (which changes how
the suffix is resolved in the real code vs. in the example with
only one custom syscall.read alias).

Fix PR14026 by updating the IP before calling the inode-uprobe handler.

* tapsets.cxx (uprobe_derived_probe_group::emit_module_inode_decls): Fix
  the IP before calling the real probe handler using
  uprobe_get_swbp_addr().
* buildrun.cxx (compile_pass): Added
  STAPCONF_UPROBE_GET_SWBP_ADDR_EXPORTED autoconf.
* runtime/linux/runtime.h: Add kallsyms_uprobe_get_swbp_addr declaration.
* runtime/linux/uprobes-inode.c: Ditto.
* runtime/transport/transport.c (_stp_transport_init): If
  STAPCONF_UPROBE_GET_SWBP_ADDR_EXPORTED isn't defined, use
  kallsyms_lookup_name() to find the address of 'uprbe_get_swbp_addr'.

PR6580: implement psyms().

PR6580 misc oops: put ucontext stuff in ucontext-*!

Improve PR14463 by avoiding sleeping in the clone handler.

* runtime/linux/task_finder2.c (__stp_tf_alloc_task_work): Change
  parameter to a void pointer.
  (__stp_tf_clone_worker): New function.
  (__stp_utrace_task_finder_report_clone): Uses stp_task_work_add() to
  call __stp_tf_clone_worker() when we can safely sleep.

PR6580: implement callers(), ucallers().

PR14396: Fix a kernel typo in utf_user_trunc.stp

* testsuite/systemtap.base/utf_user_trunc.stp: s/kernel/user/

PR14396: Truncate UTF strings silently

The UTF-16 and UTF-32 conversion functions were correctly refusing to
write a partial UTF-8 sequence into the buffer, but they were treating
that case as an error.  It should just silently stop processing, so the
result is truncated just as any other string concatenation does.

* tapset/linux/conversions.stp (kernel_string_utf32): Treat only rc<0
  from _stp_convert_utf32 as an error; rc==0 is truncation.
  (kernel_string_utf16): Ditto.
* tapset/linux/uconversions.stp (user_string_utf32): Ditto.
  (user_string_utf16): Ditto.
* testsuite/systemtap.base/utf_kernel_trunc.*: Test a broad range of
  truncation points within kernel UTF strings.
* testsuite/systemtap.base/utf_user_trunc.*: Same test for userspace.
  (The duplication is unfortunate, but it's not too crazy.)

stap: Include DYNINST in the enabled feature list

Don't report non-git if we have an extra-version

When we're not building from git, but we do have --with-extra-version,
just let that suffice in our version strings.  But when we do have a git
repo, still print the fullest information possible.

* version.h: Define STAP_EXTENDED_VERSION with this scheme.
* session.cxx, stapdyn/stapdyn.cxx, staprun/common.c: Use it.

PR6580: implement naive stack(), ustack()

PR14460 ipaddr.exp: all hail bash /dev/tcp

Use bash's /dev/tcp/127.0.0.1/8079 and /dev/tcp/::1/8079, which work.

PR14460 try 1

Switch to tcl's [socket HOST PORT] facilities as a netcat client
substitute.  Except tcl 8.5* doesn't speak ipv6 jive.  Also, switch to
port 8079 for tests, expecting to conflict less with normal ongoings
than good old 8080.

PR14396: Add pretty-printing support for UTF

* dwarf_wrappers.h: Define DW_ATE_UTF if elfutils < 0.155.
* tapsets.cxx (dwarf_pretty_print::recurse_base): Print UTF with %#c
  too. This will generally only work with the ASCII subset for now...
  (dwarf_pretty_print::print_chars): Match strings by char/UTF encoding
  types, rather than by type name, and use the byte_size to select the
  correct string dereferencing function.
* testsuite/systemtap.base/utf_pretty.*: Test it!

PR14396: Add UTF-16/32 conversion functions

* runtime/stp_string.c (_stp_convert_utf32): New, write the given
  UTF-32 code point as UTF-8 in the given buffer.
* tapset/linux/conversions.stp (kernel_string_utf32): New, read and
  convert a UTF-32 string from kernel memory.
  (kernel_string_utf16): Same for UTF-16, handling surrogate pairs.
  (kernel_string2_utf32, kernel_string2_utf16): Same w/ custom error.
* tapset/linux/uconversions.stp: All of the above for user memory.
* testsuite/buildok/conversions*.stp: Add build tests.
* testsuite/systemtap.base/utf_*: New runtime tests.

loc2c-runtime.h: Add uread() and uwrite()

These are the userspace equivalents to kread() and kwrite().

For the (unused) STAPCONF_PROBE_KERNEL case, just define them as direct
equivalents.  Also add in missing kderef and store_kderef the same way.

For the architecture-implemented case, they are nearly identical to
kread and kwrite, just s/kderef/uderef/.  So to avoid duplication, I've
added in a layer of macro indirection to pass in the appropriate deref
function.  (Nevermind that the [ku]derefs are often identical -- oh,
what a tangled web we weave...)

examples: regenerate indexes

PR14164 (netfilter.stp): fix documentation oops.

PR14453: add some forward decls for rhel6.3 rpc tracepoints

* tapsets.cxx (tracepoint_extra_decls): Forward-declare rpc_clnt and rpc_wait_queue.

PR14164 (netfilter.stp): fix requirements for Ethernet-IP case for ARP.

PR14452: drop 1ULL literal from sys/sdt.h

Use (unsigned long long) 1 instead, which is for some reason kosherer.

PR14449: systemtap-server should work without systemtap-runtime preinstalled

Adding a %triggerin to -client to respond to -server being installed.

PR14164 (netfilter.stp): decode ARP packet contents on Ethernet.

configury: need libdwarf-devel for stapdyn

Or else, perhaps stapdyn doesn't need a manual -ldwarf in dyninst_LIBS.

Improve task_finder/task_finder2 error handling.

* runtime/linux/task_finder.c (stap_start_task_finder): When we ignore
  EPERM or ENOENT errors, be sure to not accidently return the ignored
  error.
* runtime/linux/task_finder2.c (stap_start_task_finder): Ditto.

PR14164: fix missing endianness conversion in ARP header extractor.

Use macros (PR11207) in netfilter.stp (PR13667).

PR11207 cleanup: rename session.macros to session.c_macros to clarify distinction from SystemTap macroprocessor macros.

In task_work worker functions, make sure the task isn't exiting.

* runtime/linux/task_finder2.c (__stp_tf_quiesce_worker): If the
  task is exiting, quit early.
  (__stp_tf_mmap_worker): Ditto.
* runtime/stp_utrace.c (utrace_resume): Ditto.

Fix problems with varargs macros in dyninst/io.c.

* runtime/dyninst/io.c: Convert _stp_warn(), _stp_error(),
  _stp_softerror(), and _stp_dbug() from varargs macros into varargs
  functions so that calling _stp_warn() (for example) with just a format
  argument works correctly.

stapdyn: Add a bit of documentation to stap.1

AUTHORS bump

use file based requires

Fix ifarch statement

parse: Fix a -Werror=delete-non-virtual-dtor

  CXX    stap-parse.o
../parse.cxx: In destructor ‘parser::pp1_activation::~pp1_activation()’:
../parse.cxx:421:16: error: deleting object of polymorphic class type
‘parser::pp_macrodecl’ which has non-virtual destructor might cause
undefined behaviour [-Werror=delete-non-virtual-dtor]
cc1plus: all warnings being treated as errors

We need virtual ~macrodecl to destroy the inherited pp_macrodecl.

spec: Configure the rpm verrel into the build

PR11207: minimal explanatory documentation for macroprocessor for 2.0pre.

stapdyn: fix NEWS for loss of systemtap-stapdyn subpackage

PR11207: good NEWS, everyone!

PR11207: initial version of simplified tapset-macro loading from .stpm files.

stapdyn: don't put it into a separate subrpm; leave it in -runtime

AUTHORS bump

stapdyn: Don't ship dynsdt

This is more of a test/demo program at this point, so it doesn't really
warrant installation or rpm packaging.  Demoting...

stapdyn: Add a NEWS blurb

(partly borrowed from Fedora's Systemtap2 feature page)