systemtap.spec: prep for release with %changelog

Also, move some BuildRequire: lines, as per Peter Robinson's
suggested fedora changes.

PR14168: Let stap_system() callers describe the command

This fixes the gripe of commit 42da159, that error codes from
"env ... make" were identified as env failures.

* util.cxx (stap_system): Add a "description" parameter that names the
  command for the WARNING message.
* util.h (stap_system): Keep the old form as a wrapper which uses
  args[0] as the description.
* buildrun.cxx (run_make_cmd): Now more descriptive than ever before,
  pass the name "kbuild" to stap_system().

PR14168: note an adverse effect in diagnostics: WARNING: env vs. make exited with status

configury: in bundled-elfutils mode, pass -fexceptions to elfutils CFLAGS

PR13516: tweak interrupt catching

* main.cxx (main): Catch exceptions by const-ref to avoid
  possibly problematic copy.

PR14240: Fixed netfilter hookfunction for RHEL5

Previous to kernel 2.6.22 (linux commit 3db05fe), the hook function
definition takes a **skb whereas currently it uses *skb. We need to
emit the right version for this to compile on RHEL5.

docs: tweak wording on tapsets in pass 2

docs: tweak stappaths & stapprobes man pages

* stappaths.7.in: Better explain what tapsets are.
* stapprobes.3stap: Clarification tweak.

PR10299: commented-out example of possible alternate mangling scheme.

PR14244: Assert that the real UID has access to debugfs

Some systems are now defaulting debugfs to mode 0700.  If the user has
no access to debugfs, then they won't be able to communicate with the
systemtap module.  Thus, this should be a non-starter, before even
loading the module at all.

This was previously causing staprun to fail after loading the module,
when it checked R/W access to the module's .ctl file.  But since we also
restrict removing modules to those you can control, staprun would not
unload the new module either.

Fix uprobes detection when there's a loaded systemtap module.

* testsuite/lib/systemtap.exp (uprobes_p): Make sure we find real uprobes,
  not just a symbol from a loaded systemtap module.

PR14016: Fixed uncaught exceptions in stap-serverd

After a run of coverity, there were a number of uncaught exception
warnings, among others. This fixes them.

Update the Beginners Guide version information

The "version:" flag in publican.cfg does not really work the way
expected.  It will change the name of the generated pdf file during
the build, but it does not completely override the <productnumber> in
Book_Info.xml. Need manual fixing for the time being.

tapset/DEVGUIDE: blurb detailing current preferred embedded-C coding conventions.

PR10299: minor style tweak to existing code.

PR10299: Mangle kernel.mark arguments too

staprun: Comment why access() is still needed after open()

NEWS: describe the required changes to embedded-C functions.

- SystemTap now mangles local variables to avoid collisions with C
  headers included by tapsets. This required a change in how
  embedded-C functions access local parameters and the return value slot.

  Instead of THIS->foo in an embedded-C function, please use the newly
  defined macro STAP_ARG_foo (substitute the actual name of the
  argument for 'foo'); instead of THIS->__retvalue, use the newly
  defined STAP_RETVALUE. All of the tapsets and test cases have been
  adapted to use this new notation.

  If you need to run code which uses the old THIS-> notation, run stap
  with the --compatible=1.7 option.

PR10299: enable locals mangling in translate.cxx.

It is now *required* to use STAP_ARG_* and STAP_RETVALUE to access
parameters in embedded-C functions -- the actual underlying names
and locations of the parameters are subject to be changed/renamed
arbitrarily.

PR10299: migrated existing tapsets and tests to use new STAP_ARG_* macros.

PR10299: Basic documentation for the changes to embedded-C argument access.

PR10299: minor fix to previous commit.

PR10299: enable support for arbitrary mangling (first without breaking existing behaviour).

PR10299 groundwork: tests to check old and new behaviour.

Add perf probe memory access tests.

* testsuite/systemtap.stress/conversions.exp (run_conv_test): Add perf
  probe memory access test.
* testsuite/systemtap.stress/conversions_perf.stp: New file.

Fix perf probe registration (PR14224) so that multiple probes work.

* tapset-perfmon.cxx (perf_derived_probe_group::emit_module_init): Fix
  code generation for perf probe registration.

Improve conversions.exp testcase logic for detecting tracepoint support.

* testsuite/systemtap.stress/conversions.exp: Better test for
  "sched_switch" tracepoint. The original method failed on ia64.

NEWS: move around & compact the inode-uprobes-related linux commit# list

Improve conversions.exp test by also testing tracepoint/timer.profile probes.

* testsuite/systemtap.stress/conversions.exp: Move main logic into a
  procedure so that more than begin probes can be tested.  Add tracepoint
  and timer.profile testing.
* testsuite/systemtap.stress/conversions_profile.stp: New file.
* testsuite/systemtap.stress/conversions_trace.stp: New file.

Typo fixes in utrace_p().

Fix PR14221 by correcting timer.profile probe unregistration.

* tapset-timers.cxx (profile_derived_probe_group::emit_module_exit): Only
  unregister profile timer hook once, instead of once per probe.

Add notes to NEWS about needed kernel patches to get inode-uprobes support.

testsuite: Fix check.exp to work with relative paths

Another fix for the autoconf (commit c66be968a4ea) related
testsuite issues.

testsuite: Fix library.exp to work with relative paths

More fixes for the issues caused by the automake
changes in commit c66be968a4ea.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

docs: let xmlto --with-fop checking be a little more chatty

Remove STAPCONF_UTRACE_VIA_FTRACE.

* buildrun.cxx (compile_pass): Removed autoconf-utrace-via-ftrace.c test
  compilation.
* runtime/autoconf-utrace-via-ftrace.c: Removed.
* tapsets.cxx (check_process_probe_kernel_support): Updated comment to
  remove mention of STAPCONF_UTRACE_VIA_FTRACE.
* runtime/task_finder.c: Ditto.
* runtime/runtime.h: Removed STAPCONF_UTRACE_VIA_FTRACE reference.
* runtime/stp_utrace.c: Removed all STAPCONF_UTRACE_VIA_FTRACE code.
* testsuite/lib/systemtap.exp (utrace_p): Updated requirement list for
  utrace-via-tracepoints.

docs: only use working xmlto --with-fop

There are configurations in the wild that only endavour to work.

* configure.ac: Re. fop, trust but VERIFY, with "xmlto --with-fop".

docs: tighten up generated tapset.pdf formatting

Studying docbook-style-xsl in Fedora, and the corresponding xslt-fo
stylesheets on the web, found some xsl:param options that make the
tapsets.pdf a little more lean and a touch more mean.  See also
http://snapshots.docbook.org/xsl/doc/fo/

* doc/SystemTap_Tapset_Reference/Makefile.am: Pass some powerful
  stringparams to xmlto.

documentation: generate tapset reference pdf with fop if available

* configure.ac: Look for fop program.  It runs much faster than
  pdfdblatex or whatnot.
* doc/SystemTap_Tapset_Reference/Makefile.am: Pass --with-fop to
  xmlto if fop was found.

Bump xmlto memory limits to handle extra documentation from PR14208.

Fix rawhide crashes by using kernel's own strncpy_from_user().

* runtime/copy.c: Use the kernel's generic strncpy_from_user()
  function when available.

testsuite: Fix pretty-bits/char to work with relative paths

This is more fallout from the automake update (commit c66be968a4ea)
which led to relative $srcdir.  The pretty-bits and pretty-char tests
are passing $srcdir headers to @cast kernel types.  That gets compiled
with Kbuild, with the working directory is changed to the kernel root,
so we need to give full paths for those headers.

This adds a new tcl proc "fullpath" which inserts [pwd]/ on relative
paths, and updates those pretty tests to use it.

PR14208: Removed final few mentions of stapfuncs(3stap).

PR14208: Removed redundant old tapset manpages.

Further fix to registers.stp to avoid testsuite complaints.

Crucial typo fix in registers.stp.

Minor usage clarification for manpager.

Removed stapfuncs.3stap and moved corresponding information to docstrings.

testsuite check.exp: tolerate relative $srcdir

After commit c66be968a4ea, the testsuite could receive a relative
$srcdir (if the systemtap build tree was configured with a relative
source tree).  check.exp was not prepared for this, switching around
the cwd's, and still using relative path name strings.  So now we
change directories more circumspectly.  Isly thatly anly adverbly?

PR13516: Wrapped exception throwing in function

Now uses assert_no_exception() rather than directly
checking pending_interrupts.

PR13516: More robust handling of crtl-c

Rather than return or break after checking if(pending_inturrupts),
we now throw an interrupt_exception. This is caught in main, where
we immediately exit.

Also added some code to check for other uncaght exceptions.

PR13516: Shifted main (style cleanup)

  Shifted main right by one tab to align properly with
  the new try/catch block. Decided to do this in a separate commit
  so as to make the previous one more clear.

PR13516 pre: Re-worked tmpdir creation/removal

In preparation for PR13516, we needed to rework the tmpdir
creation/removal, so as to be sure the tmpdir gets removed
when we get an exception. Creation now happens in the
systemtap_session ctor with a call to
systemtap_session::create_tmp_dir() and removal in the dtor
with a call to systemtap_session::remove_tmp_dir().

passes_0_4_again_with_server() now calls the new
systemtap_session::reset_tmp_dir(), rather than just removing
and relying on passes_0_4() to recreate it.

Minor style fix in testsuite code for net-sanity.exp and conversions.exp.

Stress test embedded-C functions including __ip6_skb_proto from PR14165.

The test can probably be expanded to poke other functions with other
values without too much trouble.

PR14164, PR14165: IPv6, ARP functionality for netfilter.stp.

AUTHORS bump

Update generated files

This updates to Fedora 17 versions of automake and autoconf, and adds
the generated code for staprun's new support for --without-nss.

runtime/staprun/configure.ac: support --without-nss for staprun

Signed-off-by: Andreas Müller <schnitzeltony@googlemail.com>

Fix systemtap.base/plt.exp cleanup.

* testsuite/systemtap.base/plt.exp: Only call cleanup function when
  exiting, otherwise an early failure causes later failures.  Also perform
  better cleanup of generated files.

tapset/nfsd.stp (nfsd.open): Try both $access and $may_flags for access.

Adjust for linux kernel commit 999448 nfsd: rename 'int access' to
'int may_flags' in nfsd_open().

Update 2 buildok tests for kernel-3.5.0-0.rc0.git9.2.fc18.

* testsuite/buildok/twentytwo.stp: Add '.call' to the
  'kernel.function("vfs_llseek")' so that we can avoid inlined versions
  that don't have $offset.
* testsuite/buildok/xtime.stp: Update for kernel-3.5.0-0.rc0.git9.2.fc18,
  where the old xtime global variable got moved into a structure.

Update tapset/syscalls.stp for kernel-3.5.0-0.rc0.git9.2.fc18.

Handle the possibility of including runtime/uprobes-inc.h twice.

Better handle task_work_add() return values.

* runtime/stp_utrace.c (finish_report): Ignore ESRCH errors returned from
  task_work_add().
* runtime/task_finder2.c (__stp_utrace_task_finder_target_quiesce): Don't
  treat task_work_add() success as an error.
  (__stp_utrace_task_finder_target_syscall_exit): Ditto.

Give better errors when the kernel won't support the task_finder.

* runtime/runtime.h: Only include task_finder.c if the kernel supports it.
* runtime/vma.c: Surround code that needs the task_finder with '#ifdef
  HAVE_TASK_FINDER'.
* runtime/task_finder.c: If we don't have the prerequisites for the
  task_finder, give an error instead of silently defining dummy
  functions.

PR13667: Hardcoded netfilter constants, cleaned up

Since certain older versions of the kernel do not define some
netfilter constants, we had to hardcode all the values
so that it would compile on those older kernels (i.e. RHEL 4 and 5).
This is OK, since we were only including the netfilter_* headers
to map the constants to their equivalent values.

PR13667: Added netfilter guru packet drop example

Enabled tapset::* generation using manpager in the --with-docs build sequence.

Merge branch 'master' of http://sourceware.org/git/systemtap

PR14146: adapted manpager.sh to produce passable tapset::* manpages.

The resulting manpages can act as 'very succinct' (read: utterly
bare-bones) tables of contents listing documented functions and probes,
and referring the user to probe::* and function::* manpages generated by
the 'robust' (read: hideously complicated and slow, but very reliable)
DocBook toolchain.

manpager.sh is currently not hooked up to the build sequence, pending
delivery of a fresh supply of fingers to cross in hope that everything
works as advertised.

PR14168: sanitize $PATH for kbuild invocation

* buildrun.cxx (make_any_make_cmd): Use env(1) to unset and change
  some environment variables, particularly $PATH.
  (run_make_cmd): Don't unsetenv here for the stap process any more.
* testsuite/systemtap.base/kbuildenv.exp: Test it.
* NEWS: Mention it.

PR13667: changed verdict and protocol constants to lowercase to workaround PR10299.

Rudimentary support for ARP and Bridge in netfilter.stp.

Still have to add protocol header extraction i.e. the part that's
actually specific to ARP and Bridge.

Point at current upstream version of mysql.

* mysql.exp (mysqlrelease):  Bump version. Grab from current repository location.

Fix uprobes_pass() logic (that the last commit broke).

Improved uprobes_pass() error message.

* buildrun.cxx (uprobes_pass): Improve error message when no utrace and no
  inode-uprobes.

Ignore ESRCH errors returned from task_work_add().

* runtime/stp_utrace.c (utrace_do_stop): Ignore ESRCH errors returned from
  task_work_add().
  (utrace_stop): Ditto.
  (utrace_control): Ditto.
* runtime/task_finder2.c (__stp_utrace_task_finder_target_quiesce): Ditto.
  (__stp_utrace_task_finder_target_syscall_exit): Ditto.

NEWS: mention staprun -T

Allow tuning of reader thread ppoll timeout value

Default value of 200ms causes too many wake-ups for embedded platforms
low power use-cases. Timeout of several seconds is expected on these.
New option is -T x where x is timeout in ms.

* runtime/staprun/common.c (parse_args): Parse -T option.
  (usage): Mention it.
* runtime/staprun/relay.c (reader_thread): Use -T value to override default
  polling interval.
* runtime/staprun/staprun.8: Document it.

samples: rename psig.stp & add psig.meta

samples: new psig script

diagnostics: for stap -vv and above, print "focused on module <FOO>" messages

* tapsets.cxx (validate_module_elf): Be a touch more verbose about dwarf/elf
  modules elfutils found for us.

PR14137: tolerate duplicate netfilter hook probe handlers

translate.cxx may model duplicate probe handlers by changing multiple
*_derived_probe ->name's to the same string, which upsets
tapset-netfilter.cxx code generation.  Use an index for the contexts
where required.

* tapset-netfilter.cxx (netfilter_derived_probe ctor): Assign unique
  nf_filter index.
  (emit_module_decls, emit_module_init, emit_module_exit): Use when
  appropriate.

Initial (barely adequate) reference doc for netfilter.stp.

Added section describing netfilter probes to stapprobes.3stap.

Note that the link to tapset::netfilter (3stap) is currently broken.
That man page is waiting on a fix for PR14146. If that bug gets delayed
indefinitely, it may be necessary to delete the reference for the time
being, and refer people to the Tapset Reference document instead.

Regenerate examples index.

NEWS: mention pretty-printing changes

Fix to allow netfilters scripts to distinguish between ipv4 and ipv6 packets.

Simple netfilters example and sanitycheck.

This is an example script which uses netfilter hooks to count total
traffic over all source-destination pairs seen by the computer.

Initial version of improved tapset for netfilters.

This tapset exposes the ability to track IPv4 network packets using the
netfilter hooks mechanism. Support for IPv6 is still very patchy, and
support for other protocols (ARP, bridge) is basically nonexistent.

Basic test cases for primitive probe points defined in tapset-netfilter.cxx.

These are all ok/ko type build tests. Tests for actual use of the
functionality will be committed together with an improved netfilter.stp.

The failure of buildok/netfilter02.stp is currently due to a known bug
involving the definition of multiple netfilter probe points.

unprivileged_probes.exp remove bare netfilter.hook(string) tests.

Bare netfilter.hook(string) is no longer valid, it always needs pf(string).

unprivileged_probes.exp test both netfilter pf(string)/hook(string) variants.

Both netfilter.pf(string).hook(string) and netfilter.hook(string).pf(string)
are valid (plus priority).

More tapset-netfilter.cxx compile fixes.

Define NF_IP_PRI_SECURITY and NF_INET_PRE_ROUTING constants for pre 2.6.26
and pre 2.6.24 kernels.

tapset-netfilter.cxx compile fixes.

include limits.h for MAX_INT and MIN_INT, define NF_IP6_PRI_RAW if undefined.

Add testcase for PR14107 Bad user unwinding from kernel fatal signal handler.

This is really a kernel bug, see bug report, when the CFI for the assembly
code is missing we cannot properly recover the register state for the user
process and might give a bad/missing user backtrace.

PR13667: Fixed probe point ordering

Now supports:

netfilter.hook().pf()
netfilter.pf().hook()
netfilter.hook().pf().priority()
netfilter.pf().hook().priority()

And .priority() no longer has a default value (i.e. it is
required).

PR13667: Fixed guru mode hook-not-defined bug

Before, when in guru mode, it would pass the hook/priority
strings across without checking/converting them to numbers. This
caused a bug where perfectly legal strings (such as NF_IP_PRE_ROUTING)
would be unrecognized in the generated code since their definitions
are not available in kernel space.

Now, it checks/converts all the strings to numbers whether in guru
mode or not, but only complains about mismatches if not in guru mode.
If in guru mode, it will still pass the initial string across if it
doesn't match anything else.