unprivileged_probes.exp remove bare netfilter.hook(string) tests.

Bare netfilter.hook(string) is no longer valid, it always needs pf(string).

unprivileged_probes.exp test both netfilter pf(string)/hook(string) variants.

Both netfilter.pf(string).hook(string) and netfilter.hook(string).pf(string)
are valid (plus priority).

More tapset-netfilter.cxx compile fixes.

Define NF_IP_PRI_SECURITY and NF_INET_PRE_ROUTING constants for pre 2.6.26
and pre 2.6.24 kernels.

tapset-netfilter.cxx compile fixes.

include limits.h for MAX_INT and MIN_INT, define NF_IP6_PRI_RAW if undefined.

Add testcase for PR14107 Bad user unwinding from kernel fatal signal handler.

This is really a kernel bug, see bug report, when the CFI for the assembly
code is missing we cannot properly recover the register state for the user
process and might give a bad/missing user backtrace.

PR13667: Fixed probe point ordering

Now supports:

netfilter.hook().pf()
netfilter.pf().hook()
netfilter.hook().pf().priority()
netfilter.pf().hook().priority()

And .priority() no longer has a default value (i.e. it is
required).

PR13667: Fixed guru mode hook-not-defined bug

Before, when in guru mode, it would pass the hook/priority
strings across without checking/converting them to numbers. This
caused a bug where perfectly legal strings (such as NF_IP_PRE_ROUTING)
would be unrecognized in the generated code since their definitions
are not available in kernel space.

Now, it checks/converts all the strings to numbers whether in guru
mode or not, but only complains about mismatches if not in guru mode.
If in guru mode, it will still pass the initial string across if it
doesn't match anything else.

PR13667: Tweak verdict-needs-guru error message

PR13667: Added guru mode requirement for $verdict

guru mode is needed to write to $verdict, for obvious reasons

PR13667: Range checking for hooks and priorities

- Added more strict range checking for hook names
- Added support for arp and bridge netfilter hooks
- Added range checking of priority strings for ipv4
  and ipv6 hooks, numerical checking for all

README: note that kernel-debuginfo is not a real prerequisite

AUTHORS bump

Fix loop direction in netfilter_derived_probe_group::emit_module_init.

pass-N messages: print also data+stack consumption from /proc/self/statm

* util.cxx (getmemusage): Extract all other fields from /proc/self/statm.
  Toss most of them away.  Print #6 also.

Help onoffprobe.exp pass more consistently.

* testsuite/systemtap.base/onoffprobe.exp (advance): Tweak regexps so that
  the test will pass more consistently.

RHBZ 820487 - Disable client.exp tests when avahi-daemon is not working.

plt.exp: Don't count unreliable plt invocations.

Depending on gcc version and glibc used plt calls to malloc, free and
__cxa_finalize differ too much (or are just optimized away completely)
to rely on them in the test. Just take them out.

add dbug_task_vma debug macro

replace DEBUG_TASK_FINDER_VMA
with a dbug_unwind-like macro: dbug_task_vma

(BZ820457 partial fix) Update the list of systemtap-testsuite requires.

* systemtap.spec: Add more systemtap-testsuite requires (systemtap-server,
  avahi, and crash).

(BZ820457 partial fix) Update systemtap.printf/sharedbuf.exp for ppc64.

* testsuite/systemtap.printf/sharedbuf.exp: For ppc64, expect a leading
  '.' on the symbol name we're looking for.

varwatch example: make var-changed report lines less verbose

Update bz6503.exp testcase.

* testsuite/systemtap.base/bz6503.exp: Make the test work by non-root
  users.  Also add fat/vfat modules as suggested in BZ820487.
* testsuite/systemtap.base/bz6503.stp: Add fat/vfat modules as
  alternatives as suggested in BZ820487.

Set the proper ip address family in resolved addresses rahter than asserting it.

parser: add comment re. undesirability of changes to keywords set

bump AUTHORS

stap-report: simplify avahi-browse invocation

stap-report: add avahi-browse & ifconfig outputs to help diagnose network issues

parsing: when complaining about tok_junk, hex-dump the character in question

Give good error messages for inodes uprobes registration errors.

* translate.cxx (c_unparser::emit_module_init): Only print an error if
  'probe_point' isn't NULL.
* tapsets.cxx (uprobe_derived_probe_group::emit_module_inode_init): Let
  stapiu_init() handle reporting errors by setting 'probe_point' to NULL.
* runtime/uprobes-inode.c (stapiu_get): Print errors when needed.
  (stapiu_reg): Ditto.

configury: automake 1.12 as deprecated automatic de-ANSI-fication support

Fix this issue with automake 1.12:

| configure.ac:23: error: automatic de-ANSI-fication support has been removed

[fche:] Note that the systemtap git repository and source releases include
autoconf- and automake-generated files, so this is only an issue for those
who have an unusual reason to regenerate them.

Signed-Off-by: Nitin A Kamble <nitin.a.kamble@intel.com>

Improve the labels.exp testcase output handling.

* testsuite/systemtap.base/labels.exp: Handle probe output in either
  order, which is OK when the probes are probing the same address.

PR14079 - caller() pass-4 error if no uretprobes in script

caller() is odd in that it tries to do both kernel and user caller.
There is no ucaller(). Move it into its own tapset and include the
right uprobes related structures.

* runtime/uprobes-inc.h: New include file to be included in ...
* runtime/stack.c: here and ...
* tapset/context-caller.stp: here. New tapset, with just the caller context
  function, removed from ...
* tapset/context-unwind.stp: here.
* doc/SystemTap_Tapset_Reference/tapsets.tmpl: Also include context-caller.stp.

Improve gtod.exp testcase.

* testsuite/systemtap.base/gtod.exp: Make more robust by using a state
  machine to match output.

PR14078: work around rpmio's bad glob

Work around ancient rpm packaging misfeature.
https://bugzilla.redhat.com/show_bug.cgi?id=819680

* configure.ac (rpm*): Force -lc before -lrpm*.

Regenerate examples index.

Improve the case-scope testcase output handling.

* testsuite/systemtap.base/cast-scope.stp: Print the probe strings in a
  defined order (since the process.function and process.mark probes can
  end up at the same address).

Minor bz5274.exp fixes.

* testsuite/systemtap.base/bz5274.exp: Make sure test output is saved in
  the log file.  Make sure to clean up.

PR13667: update privileged* tests for netfilter-hook probe point name tweaks

fix the small compile issues in the Cleanups DWARF patch

Signed-off-by: Negreanu Marius Adrian <adrian.m.negreanu@intel.com>

Cleanups and fixes for DWARF unwinder.

Add explict comments and set_*_rule functions for different states.
Do data alignment in processCFI, not afterwards in unwind_frame.
Remove unnecessary UNW_DEFAULT_RA. Make unwind_item state union
explicit about (unsigned) reg versus (signed) offset. Same for
unwind_reg_state cfa.

toolshed name change: vardecl::skip_init->synthetic

* staptree.h (vardecl::skip_init): Rename field to "synthetic".
  Update all users.

PR13667: beginning of a netfilter-hook tapset

PR13667: rework netfilter hook $context variable processing

We now use tapset-mark.cxx style script/probe locals for incoming and
outgoing parameters.  These are written/read during the probe prologue
function, and specially marked to prevent optimization/elision.

elaboration: don't elide assignments to skip_init vardecls

Such vardecl objects may also used for output parameters, for which
we don't want to suppress assignments to.

* elaborate.cxx (dead_assignment_remover::visit_assignment): Don't kill
  lvalue skip_init vardecls.

respond to pending_interrupts during sub-make sequence

* buildrun.cxx (run_make_cmd): If we already received a ^C as per
  pending_interrupts, but some naive caller has tried to run yet
  another inferior make, abort without even trying.

auditbt example: sudo doesn't take -c.

PR14057 - ERROR: Your privilege credentials (stapsys) are insufficient...

Initialize user_credentials to pr_unknown in init_staprun and set them
to pr_all when getuid() == 0 in assert_stap_module_permissions or
assert_uprobes_module_permissions.

Improved task_finder2 mmap tracking and better task_work cleanup.

* runtime/task_finder2.c (__stp_tf_alloc_task_work): New function.
  (__stp_tf_free_task_work): Ditto.
  (__stp_tf_cancel_task_work): Ditto.
  (__stp_tf_quiesce_worker): Renamed from __stp_task_worker(). Uses
  __stp_tf_free_task_work() to free the task_work structure.
  (__stp_utrace_task_finder_target_quiesce): Uses
  __stp_tf_alloc_task_work() to allocate a task_work structure.
  (__stp_tf_mmap_worker): New task_work worker function.
  (__stp_utrace_task_finder_target_syscall_exit): If we're in an atomic
  context, use task_work_add() to call __stp_tf_mmap_worker().
  (stap_stop_task_finder): Call __stp_tf_cancel_task_work() to cancel all
  outstanding task work requests.

PR13667 (in progress): Added initial context varaible code

Added some initial code to handle context variables such as
$verdict. It is not functioning properly yet, but it is still
in progress.

Remove more unused semaphore code from dwarf_derived_probe class.

* tapsets.cxx (dwarf_derived_probe::join_group): Remove semaphore code.
  (dwarf_derived_probe::emit_probe_local_init): Ditto.
  (dwarf_derived_probe_group::emit_module_decls): Ditto.

Fix PR13992 cont. Do iterate_over_modules, just not over libraries.

The original fix for PR13992 (commit 0ce08aa) failed to iterate of any
modules when no executable path was found, which made the exelib.exp
testcase fail. Refixed by iterating of modules, just not over libraries.

Removed unused kprobe1 sdt support.

* sdt_types.h: Remove KPROBE1_TYPE define and kprobe1_type enum value.
* testsuite/sys/sdt.h: Ditto.
* tapsets.cxx (sdt_kprobe_var_expanding_visitor): Removed struct and its
  functions.
  (sdt_query::have_kprobe): Removed function.
  (sdt_query::handle_probe_entry): Removed kprobe1_type support.
  (sdt_query::iterate_over_probe_entries): Removed have_kprobe() code.
  (sdt_query::convert_probe): Ditto.
  (sdt_query::convert_location): Ditto.

Update AUTHORS, with a few canonicalized in .mailmap

Removed EXPERIMENTAL_KPROBE_SDT support.

* tapsets.cxx (dwarf_derived_probe_group): Removed 'has_semaphores' member
  variable.
  (dwarf_derived_probe_group::enroll): Throw an error if we have a
  semaphore.
  (dwarf_derived_probe_group::emit_module_decls): No longer emit semaphore
  support in struct stap_dwarf_probe or include kprobes-common.c.
  (dwarf_derived_probe_group::emit_module_init): No longer initialize
  semaphore info in struct stap_dwarf_probe.
  (dwarf_derived_probe_group::emit_module_exit): No longer decrement
  semaphores on module exit.
  (sdt_query::have_kprobe): Remove kprobe2_type support.
  (sdt_query::handle_probe_entry): Ditto.
  (sdt_query::iterate_over_probe_entries): Ditto.
  (sdt_query::convert_location): Ditto.
* sdt_types.h: Remove KPROBE2_TYPE define and kprobe2_type enum value.
* runtime/kprobes-common.c: Deleted.
* runtime/kprobes-common.h: Removed deleted function declarations.
* scripts/probe_perf/bench.sh: Remove EXPERIMENTAL_KPROBE_SDT test.
* testsuite/sys/sdt.h: Removed EXPERIMENTAL_KPROBE_SDT support.
* testsuite/systemtap.base/sdt.exp: Ditto.
* testsuite/systemtap.base/sdt_misc.exp: Ditto.

samples: eventcount: add a bunch of configuration options

Use new task_work kernel feature to truly stop tasks.

* buildrun.cxx (compile_pass): Add STAPCONF_TASK_WORK_ADD_EXPORTED autoconf.
* runtime/autoconf-utrace-via-ftrace.c (__autoconf_func): Makes sure
  <linux/task_work.h> is present and works.
* runtime/autoconf-utrace-via-tracepoints.c (__autoconf_func): Ditto.
* runtime/runtime.h: Added export kludge variables for task_work_add() and
  task_work_cancel().
* runtime/stp_utrace.c (utrace_init): If the task_work_* functions aren't
  exported, use kallsyms_lookup_name() to find them.
  (utrace_cleanup): Cancel work function if necessary.
  (utrace_task_alloc): Initialize task work structure.
  (utrace_free): Cancel work function if necessary.
  (utrace_do_stop): Use task_work_add() functionality to replace
  set_notify_resume().
  (utrace_stop): Ditto.
  (utrace_control): Ditto.
  (finish_report): Ditto.
  (utrace_resume): Updated to work as task worker function.
* runtime/task_finder2.c (__stp_task_worker): New function.
  (__stp_utrace_task_finder_target_quiesce): If we can't sleep, use
  task_work_add() to truly stop the task.
* runtime/uprobes-inode.c (stapiu_change_plus): Check build-ids.

PR13667 cont'd: Fixed test case

Added netfilter probes to the restricted_probe_types list.

PR13667 cont'd: Added compile code

PR13667 cont'd: Added parameters

Now has parameters for hook, protocol family and priority

bloat: lament about symbol-name literal strings in stap-symbols.h

translate symbol/unwind extraction: shrink eh_frame output

commit ebc08b5 forgot the eh_header[] dump case.

* translate.cxx (dump_unwindsym_cxt): Decimify eh_frame[] contents too.

PR14000: remove sysroot prefix from a few more strings

* tapsets.cxx (sdt_query::handle_probe_entry): Here, ...
* translate.cxx (dump_unwindsym_cxt): ... and here.

Small comment clarification in tapset/ia64/registers.stp.

Updated and added syscall testsuite debug scripts.

* testsuite/systemtap.syscall/test-debug.tcl: Updated regexp that looks
  for specially formatted comments in the test executable source.
* testsuite/systemtap.syscall/test-debug-cmd.tcl: New script, similar to
  test-debug.tcl, but displays the output on the command line (instead of
  in its own window).
* testsuite/systemtap.syscall/test-debug-cmd-nd.tcl: New script, similar to
  test-debug-cmd.tcl, but used the nd_sycall tapset.

Added ia64/registers.stp.

* tapset/ia64/registers.stp: New file. Add note that using
  syscall_get_arguments() doesn't work for ia64.

staprun: conditionalize use of pthread_mutex*

staprun is compiled single-threaded, but recent improvements to
util.cxx made it implicitly pthreads-dependent.  Conditionalize
pthread_* calls with #ifndef SINGLE_THREADED throughout.

Reported-By: "Turgis, Frederic" <f-turgis@ti.com>

Fixed PR11763 by supporting getting arg 6 for nd_syscall probes.

* tapset/s390/registers.stp: Convert _stp_arg() to an embedded-C function
  that uses syscall_get_arguments() to find argument values.

staprun: fix missing \n on reloc-related dbug messages

PR14005: tolerate rudely long kernel module/section names

* staprun.c (send_relocation_modules): Ignore return value from
  send_a_relocation(), as failures there are entirely tolerable.

context tapsets: remove EXPERIMENTAL word from the various functions

Two years of EXPERIMENTAL status is plenty.

PR13999: Use %#c to escape pretty-printed characters

We especially need escaping to combat \0 characters, which would
truncate the rest of the pretty-printed string.

* tapsets.cxx (dwarf_pretty_print::recurse_base): Use %#c for chars.
* testsuite/systemtap.printf/pretty-char.*: Test char escaping.

PR13999: Let "%#c" add escapes for nonprintables

The special '#' flag previously didn't do anything for characters.  Now
it signals that non-printable characters should be escaped in the output
string, either using C shortcuts or octal values.

* runtime/vsprintf.c (_stp_vsprint_char_size, _stp_vsprint_char): New
  functions to size and fill the buffer, accounting for escape chars.
  (_stp_vsnprintf): Use the new char functions.
* translate.cxx (c_unparser::emit_compiled_printfs): Ditto.
* testsuite/systemtap.printf/char2.*: Test %#c
* NEWS, stap.1: Document it.

PR13998: pretty-print bit fields numerically

When a struct member has bit attributes, we should always pretty-print
it as a number, even if the underlying type is a character.  Since these
attributes only show up in DWARF on the member, not the type die, we
need to treat it as a special case from the struct member iteration.

* tapsets.cxx (dwarf_pretty_print::recurse_bitfield): Print the incoming
  type numerically, regardless of whether it's a char.
  (dwarf_pretty_print::recurse_struct_members): If a member has a
  bit_offset attribute, use recurse_bitfield instead of normal recurse.
* testsuite/systemtap.printf/pretty-bits.*: Test how bitfields are
  pretty-printed, both for ints and chars underneath.

BZ814248: staplog crash/defs.h support for arm

* staplog.c: #define ARM if __arm__ to get hold of NR_CPUS in crash/defs.h.

PR13992: let stap tolerate -d /foo/bad/path --ldd argument

* translate.cxx (add_unwindsym_ldd): Skip unresolvable path that
  results in skeleton dwflpp.  We'll get a warning later.
* testsuite/transok/eleven.stp: New test case.

samples regen index

auditbt example: use sudo as sample

regen sample indexes

new sample: auditbt (audit backtracing)

BZ 813323: stapusr-only users no longer able to run unsigned modules in /lib/modules/`uname -r`/systemtap

- Elevate the user's privilege level to stapdev when the module is loaded from
  /lib/modules/`uname -r`/systemtap.
- Suppress error messages about failure to verify the module's signature
  when a signature is not required.

dwflpp --ldd: add another ld.so alias for arm

* dwflpp.cxx (dwflpp::iterate_over_libraries): Add another alias
  for ARM.

Synchronize class/struct declarations

We are not very consistent about choosing struct vs class types, and in
some cases we have a mismatch between declaration and definition of a
given type.  Gcc doesn't care, but clang -Wall complains:

  CXX    stap-main.o
In file included from ../main.cxx:12:
../staptree.h:489:1: error: struct 'vardecl' was previously declared
        as a class [-Werror,-Wmismatched-tags]
struct vardecl: public symboldecl
^~~~~~
class
../staptree.h:218:7: note: previous use is here
class vardecl;
      ^

In all cases, I left the definition alone, and adjusted the declaration
to match, so it should be semantically unchanged.

sdt_query: initialize probe_type/loc as unknown.

The fields, probe_type and probe_loc, are meaningless to start, and are
later set as the queried module is examined.  Commit 74fe61bc tried to
make sure that all POD types in this class are initialized, but these
two were essentially self-assigned.  Gcc misses this uninitialized use,
but clang caught it:

  CXX    stap-tapsets.o
../tapsets.cxx:6058:38: error: field is uninitialized when used here [-Werror,-Wuninitialized]
  base_query(dw, params), probe_type(probe_type), probe_loc(probe_loc), base_probe(base_probe),
                                     ^
../tapsets.cxx:6058:61: error: field is uninitialized when used here [-Werror,-Wuninitialized]
  base_query(dw, params), probe_type(probe_type), probe_loc(probe_loc), base_probe(base_probe),
                                                            ^

Values for "unknown" are now added to these enum types to initialize
with, and dealt with where needed.

stapsh: convert dbug macros to void statements

This is to get around a clang warning:

   CC     stapsh-stapsh.o
 ../../../runtime/staprun/stapsh.c:241:3: error: expression result
     unused [-Werror,-Wunused-value]
   vdbug (1, format, dbug_args);
   ^~~~~~~~~~~~~~~~~~~~~~~~~~~~
 ../../../runtime/staprun/stapsh.c:100:58: note: instantiated from:
 #define vdbug(level, format, args) ( (verbose < level) ? 0 : \
                                                          ^

None of the dbug/vdbug callers care about the fprintf return values,
so just squash them and move on.

dwflpp: Mark loc2c_error as noreturn

Clang complains thusly:

../dwflpp.cxx:2281:15: error: no matching function for call to
      'c_translate_constant'
      *tail = c_translate_constant (pool, &loc2c_error, this,
              ^~~~~~~~~~~~~~~~~~~~
In file included from ../dwflpp.cxx:54:
../loc2c.h:46:18: note: candidate function not viable: no known
      conversion from 'void (*)(void *, const char *, ...)' to
      'void (*)(void *, const char *, ...) __attribute__((noreturn))'
      for 2nd argument
struct location *c_translate_constant (struct obstack *,
                 ^

The declaration for loc2c_error just needs the matching attribute.

csclient: check directly for negative IPv4 pieces

As noted by clang, the code was looking for negative values of an
unsigned variable (which was read by strtoul).

  CXX    stap-csclient.o
../csclient.cxx:2638:44: error: comparison of unsigned expression < 0
      is always false [-Werror,-Wtautological-compare]
      if (errno != 0 || *estr != '\0' || p < 0 || p > 255)
                                         ~ ^ ~

This can never be negative, but strtoul will implicitly case negative-
looking strings to unsigned, which will make them fail p > 255 anyway.
But to be more direct, switch to [signed] long and use strtol.

PR13667: rework/simplify rough draft for netfilter.hook probes

PR13667 (In Progress) - Expose Netfilter Hooks

Preliminary work setting up new probe points.

Fixed PR13745 by updating memory tracepoint examples.

* testsuite/systemtap.examples/memory/mmanonpage.stp: Updated tracepoints
  for RHEL6 and upstream kernels.
* testsuite/systemtap.examples/memory/mmanonpage.stp: Ditto.
* testsuite/systemtap.examples/memory/mmfilepage.stp: Ditto.
* testsuite/systemtap.examples/memory/mmwriteback.stp: Ditto.
* testsuite/systemtap.examples/memory/mmanonpage.meta: Updated script
  tracepoint dependencies in 'test_support' section.
* testsuite/systemtap.examples/memory/mmfilepage.meta: Ditto.
* testsuite/systemtap.examples/memory/mmwriteback.meta: Ditto.

test at_var_mark.exp requires uprobes

Fix compile problem by changing 'stp_for_each_cpu' to 'for_each_possible_cpu'.

* runtime/runtime.h: Removed stp_for_each_cpu() macro definition, since no
  longer needed (and 'cpu_possible_map' has been removed from the upstream
  kernel).
* runtime/map-stat.c: Replaced 'stp_for_each_cpu()' with
  'for_each_possible_cpu()'.
* runtime/map.c: Ditto.
* runtime/perf.c: Ditto.
* runtime/pmap-gen.c: Ditto.
* runtime/stat.c: Ditto.
* runtime/transport/procfs.c: Ditto.
* translate.cxx: Ditto.

Clarify that resource limits are imposed on stap-server requests and not on stap-server itself.

Don't compile csclient.cxx and cscommon.cxx when HAVE_NSS is false.

- Don't compile the files at all (Makefile.am)
- #if HAVE_NSS added to the files in case another distro compiles
  them anyway.
- Don't call functions in these files from elsewhere.

runtime/autoconf: compensate for missing <linux/wait.h> in some inode-uprobes versions

Improved nfsdtop.stp by using aggregates.

* testsuite/systemtap.examples/network/nfsdtop.stp: Use aggregates to
  optimize a bit and reduce the number of global variables.

Added meta file for nfsdtop.stp and regenerated example index files.

* testsuite/systemtap.examples/network/nfsdtop.meta: New file.
* testsuite/systemtap.examples/network/nfsdtop.stp: Made executable and
  added '#! /usr/bin/env stap' line at the top.
* testsuite/systemtap.examples/index.html: Regenerated.
* testsuite/systemtap.examples/index.txt: Ditto.
* testsuite/systemtap.examples/keyword-index.html: Ditto.
* testsuite/systemtap.examples/keyword-index.txt: Ditto.

Added new NFS server example script.

pf3.stp sample: and regenerate the examples index

Next up, one thousand commits to add then subtract
whitespace.

pf3.stp sample: fix index title

examples: add pf3.stp

* profiling/pf3.*: New example for combined kernel/user-space
  gross function profiling.