PR 11441 - Additional update to stap.1 and NEWS entry for new integrated client features.

PR 11441: More cleanup

- Make sure client side database files are readable by all.
- Update stap.1 man page

PR 11441: Cleanup of integrated compile-server/cert management.

- Call PR_Init/PR_Cleanup only once per session
- Encapsulate compile_server_info within csclient.cxx
- Expose only needed functions from csclient.cxx

PR 11441: Allow specification of servers by certificate serial number.

Mainly intended for certificate management, particularly when revoking
trust, but also useful when listing servers and compiling using servers.

PR 11441: Implement integrated server cert management in stap.

New --trust-servers option allows for precise handling of
individual server certificates for trust as an SSL peer and as a signer.

create_dir: create path components if they do not exist.

Ensure that the server's certificate is in place before attempting to get it's serial number.

Also ensure that error output from certutil is logged.

PR 11441: Implement resolving/querying of trusted servers (SSL) and trusted signing servers.

- Serial number of server certificate now displayed by --list-servers when available
- Servers now present certificate serial number via avahi in order to assist the user in
  identifying trusted servers and signers.
- Resolve servers using dns, avahi and NSS in order to present complete information

Don't check signing certificate database integrity unless we're actually going to verify a signature.

Database permissions were being checked even when loading unsigned modules.

Kill a stray paren in examples/io/inodewatch2.stp

Support a slight 32/64-bit difference in semok/mangled.stp

Add shebang to buildok/syscalls-arch-detailed.stp

Print nicer placeholders for aggregates in $$vars et al.

* tapsets.cxx (dwarf_var_expanding_visitor::visit_target_symbol_context):
  Use {...} and [...] to indicate aggregate types.

Include variables from containing scopes in $$vars too

We now iterate through the lexical scopes up to but not including the
file level, so we can print variables in containing scopes too.

* tapsets.cxx * (dwarf_var_expanding_visitor::visit_target_symbol_context):
  Iterate through scopes to find available vars.

List variables from containing scopes too

Now we iterate through the lexical scopes up to but not including the
file level, so we can find variables in containing scopes too.  This is
most significant for statement probes to list everything available.
Excluding file-level means that globals aren't listed, but we could
consider a more verbose version to include those too.

* tapsets.cxx (dwarf_derived_probe::saveargs): Iterate through scopes.

Resolve statement scopes lexically instead of by raw PC

When we have a statement PC within a function that we wish to probe,
it's not reliable to use getscopes(PC) for variable scoping.  This is
because there may also be inline instances at the PC, and so you can end
up in a different scope altogether.

So now we can traverse the DIEs within a function looking for the
innermost containing the PC, avoiding those nested DIEs which are
actually inlines.  This also lets us get rid of the hack that made
function prologues do a PC search, so we should have more reliable
scoping all around.

* dwflpp.cxx (dwflpp::inner_die_containing_pc): New, scan lexical scopes
  for the innermost DIE that contains a PC, avoiding inlines.
  (dwflpp::iterate_over_labels): Use the above to find the lexical scope
  containing the label's address.
* tapsets.cxx (query_srcfile_line): Use the above to find the closest
  DIE for each statement probe.
  (dwarf_var_expanding_visitor::getscopes): Always call getscopes on the
  given scope_die, so we don't have the trouble that a PC search entails.

PR11911: Include in -L vars which are partially available

Mostly this is for aggregate types, like a struct type where we can't
translate $foo, but $foo->bar works just fine.  So instead of seeing if
translation works without error, we now look for location info
ourselves.  We list all $vars which are present at this address, even
if not "fully" available.

This also adds verbosity on errors, for PR11910.

* tapsets.cxx (dwarf_derived_probe::saveargs): Check for locations
  manually instead of trying translation.
* testsuite/semok/bz11911.stp: New test adapted from Roland.

Minimize difference between Fedora and Red Hat Enterprise Flavors of Manual

Remove stray whitespace at the end of lines

Mechanically went through and removed the white space (' ' and \t) from
the end of lines.

Remove stray '^M' from the xml files.

Minimize manual white space for <programlisting> and <screen>

Docbook pays attention to the white space in <programlisting> and <screen>
sections. To avoid the additional whitespace in those sections mechanically
went through xml and merged the lines together. The resulting manual is a
couple pages shorter.

Added 'stap-merge' to runtime files section.

Make 'make check LD_LIBRARY_PATH=...' work right.

* Makefile.am (check-local): Append to LD_LIBRARY_PATH, don't override it.
* Makefile.in: Regenerated.

Remove redundant parameters of catch command in lib/systemtap.exp

Made arch-specific syscalls probe fixups and deprecations.  New testcase.

* tapset/i386/syscalls.stp (syscall.sigaltstack): Deprecated 'ussp'
  variable in favor of 'uss_uaddr' (to match other arches).
* tapset/ia64/syscalls.stp(syscall.sigaltstack): Deprecated the
  'ss_uaddr'/'oss_uaddr' variables in favor of the
  'uss_uaddr'/'uoss_uaddr' variables (to match other arches).
* tapset/powerpc/syscalls.stp (syscall.sysctl32): Deprecated old probe
  name 'syscall.compat_sysctl'.
  (syscall.sysctl32.return): Deprecated old probe name
  'syscall.compat_sysctl.return'.
  (syscall.sigaltstack): Added probe.
  (syscall.sigaltstack.return): Ditto.
  (syscall.sys32_sigaltstack): Added the kernel function
  'compat_sys_sigaltstack' for newer kernels.
* tapset/s390/syscalls.stp (syscall.getresgid16): Added convenience
  variables to match 'syscall.getresgid'.
  (syscall.getresuid16): Added convenience variables to match
  'syscall.getresuid'.
  (syscall.mmap): Added convienece variables to match other arches.
  (syscall.mmap2): Ditto.
  (syscall.sigaltstack): Added probe.
  (syscall.sigaltstack.return): Ditto.
  (syscall.sys32_sigaltstack): Ditto.
  (syscall.sys32_sigaltstack.return): Ditto.
* tapset/x86_64/syscalls.stp (syscall.sigaltstack): Deprecated the
  'regs_uaddr' variable in favor of 'regs' (since the address isn't a user
  address).
  (syscall.mmap32): Added convenience variables to match 'syscall.mmap'.
  (syscall.pipe32): Added convenience variables to match 'syscall.pipe'.
* testsuite/buildok/testsuite/buildok/syscalls-arch-detailed.stp: New
  testcase.
* tapset/aux_syscalls.stp (__ulong): New function.
* testsuite/buildok/aux_syscalls-embedded.stp: Added __ulong() test.
* NEWS: Mentioned pending deprecations.
* stap.1: Ditto.

Simplify dwfl_assert and dwarf_assert

We don't need template or const efforts for a null pointer check -- just
use const void* for all cases.  Make the overloaded variants inline
while I'm at it.

PR7054: robustify stap -c "  " a bit

* session.cxx (parse_cmdline): Reject empty -c argument.

Support DWARF4 linkage names

With -gdwarf-4, gcc outputs DW_AT_linkage_name instead of
DW_AT_MIPS_linkage_name.  Semantics are unchanged.

* dwarf_wrappers.h (dwarf_linkage_name): New, retrieves the linkage_name
  by either the old or new attribute value.
* dwflpp.cxx (dwflpp::iterate_over_functions): Use dwarf_linkage_name.
  (dwflpp::vardie_from_symtable): Ditto.
* tapsets.cxx (dwarf_query::add_probe_point): Ditto.

PR10975: deprecate cpuid() tapset fn in favour of cpu()

PR9928: note old elfutils for old gcc

Initialize variable to avoid compiler error.

* dwflpp.cxx (iterate_over_functions): Initialize variable to make gcc
  happy.

PR11798: abort 'make *check' early if kernel-devel / -debuginfo absent

PR11800: document that stap -l / -L takes only a single probe point

PR 11369, due to performance issues stap_merge.c is being shipped
instead of a .tcl script.  stap-merge.1 man page was added to
document the command.

Updated stap-server config comment.

* initscript/config.stap-server: Added a comment about default STAP_USER
  values.

Updated stap_get_arch().

* stap-env (stap_get_arch): If we don't have a special renaming rule for
  an arch, just use the output of 'uname -m'.  Added a comment stating the
  code needs to match the code in session.cxx.
* session.cxx (systemtap_session): Added a comment stating the code for
  determining the arch needs to match the code in stap_get_arch.

PR11880: Allow function matching on the MIPS_linkage_name

When a function pattern starts with "_Z", we can assume that it is
trying to match the mangled C++ name.  Without actually implementing a
mangler ourselves, we can do pretty well using the MIPS_linkage_name.

* dwflpp.cxx (dwflpp::iterate_over_functions): Match _Z patterns against
  the MIPS_linkage_name of each function die.
* tapsets.cxx (dwarf_query::query_module_dwarf): As with wildcards,
  don't use the query_module_functions for _Z patterns.
  (dwarf_query::add_probe_point): For _Z queries, use the linkage name
  for the final probe product too.
* testsuite/semok/mangled.stp: Probe mangled names in stap itself.

BZ607232: Fixed 'service systemtap restart' and added required commands.

* initscript/systemtap.in: Fixed 'restart' by making using local copies of
  the $SCRIPTS global variable.  Also brought it up to speed with current
  Fedora packaging guidelines by adding 'force-reload', 'reload',
  'condrestart' and 'try-restart' commands.

Ignore empty files in the cache

Sometimes crashes can leave just-written files at zero length, so we
should be a little paranoid that our cached files are ok.  The stapconf
header is especially vulnerable, as it will prevent all scripts from
being compiled if it gets bad.

* util.cxx (get_file_size(int)): Read the size from a file descriptor.
* cache.cxx (get_stapconf_from_cache, get_script_from_cache): Check that
  cached files are non-empty before using them.

sprint_stack() and sprint_ustack() are pure

sprint_backtrace() is pure and stringy

sprint_ubacktrace() is pure and stringy

Revert accidental commit of twenty.stp.

Fix sdt_misc.exp cleanup_handler

* sdt_misc.exp (cleanup_handler): pbtype_mssgs needs to be global

add dates to release stanzas

respond quickly to ^C for long statement wildcard loops

Without this patch, an operation such as
  % stap -L 'kernel.statement("choose_mirror@*:*")'
was not immediately interruptible.

* dwflpp.cxx (iterate_over_srcfile_lines): Abort quickly if
  pending_interrupts.

nd_syscalls.stp/nd_syscalls2.stp fixups and deprecations. Added testcases.

* tapset/nd_syscalls.stp (nd_syscall.accept): Added a pending deprecation
  of 'flag_str'.  Added 'flags_str'.
  (nd_syscall.dup): Added a pending deprecation of 'old_fd'.  Added
  'oldfd'.
  (nd_syscall.fadvise64): At some point, x86_64 kernels couldn't find
  dwarf parameters.  But, the nd_syscall tapset doesn't care about dwarf
  parameters, so delete the special x86_64 version.
  (nd_syscall.fadvise64_64): Ditto.
  (nd_syscall.fgetxattr): Added pending deprecation of 'name2' and added
  'name_str'.
  (nd_syscall.fremovexattr): Ditto.
  (nd_syscall.fsetxattr): Ditto.
  (nd_syscall.getxattr): Ditto.
  (nd_syscall.lremovexattr): Ditto.
  (nd_syscall.compat_sys_msgctl): Add convenience variables to match
  non-'compat' probe.
  (nd_syscall.compat_sys_msgrcv): Ditto.
  (nd_syscall.compat_sys_msgsnd): Ditto.
* tapset/nd_syscalls2.stp (nd_syscall.pipe): Added convenience variables
  to match 'syscall' probe alias.
  (nd_syscall.compat_sys_recvmsg): Ditto.
  (nd_syscall.signalfd): Ditto.
  (nd_syscall.ustat32): Ditto.
  (nd_syscall.compat_pselect7a): Started a pending deprecation of
  incorrect 'syscall.compat_pselect7a' probe alias name.  Correct name is
  'syscall.compat_pselect7'.
  (nd_syscall.sched_setaffinity): Removed special x86_64 version.
  (nd_syscall.compat_sys_semctl):  Make sure it supports the same
  variables as the non-compat probe.
  (nd_syscall.compat_sys_sendmsg): Ditto.
  (nd_syscall.compat_signalfd): Ditto.
* testsuite/buildok/nd_syscalls-all-probes.stp: New testcase.
* testsuite/buildok/nd_syscalls-detailed.stp: Ditto.
* testsuite/buildok/nd_syscalls2-detailed.stp: Ditto.
* testsuite/lib/stap_buildok.exp (buildok_known_failures): KFail the
  tests that use nd_syscalls probes on ia64 (PR6971).
* NEWS: Mentioned pending deprecations.
* stap.1: Ditto.

bump AUTHORS

PR11861: tolerate null struct bio->bi_vcnt in __bio_ino tapset fn

Jeff Moyer confirms operations such as blkdev_issue_flush
can submit an empty bio.

Follow the Python style guide (11691)

dtrace.in: Follow the Python style guide.

Support -L for nodebuginfo sdt.

* tapsets.cxx (uprobe_derived_probe::getargs): New.
(uprobe_derived_probe::saveargs): New.
(uprobe_derived_probe::args): New.

* sdt_misc.exp: Change test 6 to test -L.

arm: fix typo in __stp_stack_print

Add dieoffset to missing location error messages.

* dwflpp.h (translate_location): Take die as argument.
  (find_struct_member): Take dies vector as argument.
* dwflpp.cxx (translate_location): Take die as argument and output dieoffset
  in error message.
  (find_struct_member): Take dies vector as argument and fill it with the
  dies found.
  (literal_stmt_for_local): Call translate_location with vardie.

loc2c-test: NULL-terminate argp_children

* loc2c-test.c: Add --help output.

Clarify deprecation descriptions in NEWS.

Many small tapset/syscalls.stp fixups. Deprecate misnamed vars. Added testcase.

* tapset/syscalls.stp (syscall.add_key): Added a pending deprecation of
  'description_auddr'. Added 'description_uaddr'.
  (syscall.clock_nanosleep): Added 'flags' convenience variable (to go
  along with existing 'flag_str' variable).
  (syscall.compat_clock_nanosleep): Ditto.
  (syscall.fadvise64): At some point, x86_64 kernels couldn't find
  parameters, so a special version of this probe was written for x86_64.
  Now just uses @defined().
  (syscall.fadvise64_64): Ditto.
  (syscall.fremovexattr): Add 'name_str' and fix 'argstr'.
  (syscall.fgetxattr): Added pending deprecation of 'name2' and added
  'name_str'.
  (syscall.fsetxattr): Ditto.
  (syscall.getxattr): Ditto.
  (syscall.lgetxattr): Ditto.
  (syscall.lremovexattr): Ditto.
  (syscall.futex): Use dwarf variable in comparison instead of convenience
  variable (to let convenience variable be optimized away).
  (syscall.compat_futex): Ditto.
  (syscall.compat_sys_msgctl): Add convenience variables to match
  non-'compat' probe.
  (syscall.compat_sys_msgrcv): Ditto.
  (syscall.compat_sys_msgsnd): Ditto.
* testsuite/buildok/syscalls-detailed.stp: New testcase.
* NEWS: Mentioned pending variable deprecations.
* stap.1: Ditto.

Bump version numbers for the next release.

* configure.ac: Increment version number.
* configure: Regenerated.
* systemtap.spec: Increment version number.
* testsuite/configure.ac: Ditto.
* testsuite/configure: Regenerated.

Instead of ifdef'ing out resolve_server(), add needed headers.

* csclient.cxx: Add needed headers to get resolve_server() to compile when
  HAVE_NSS and HAVE_AVAHI aren't defined.

Fix compilation when HAVE_NSS isn't defined.

* csclient.cxx (resolve_server): If HAVE_NSS isn't defined, just return an
  error.

add utrace blurb

PR 11441: Implement --list-servers=specified.

Also filter listing of identical servers.

PR 11441, PR 10772: Support specified servers on --use-server option to stap.

Implement the direct specification of servers by hostname/ip address with an
(optionally) port in the integrated compile-server client, as implemented by
stap-client.

powerpc needs sdt.h tests built with -g as a fallback option.

sdt_misc.exp (pbtype_flags): Include -g for ppc.

Make the beginner's guide use the iotime.stp example

In effort to clean out the extras directory in systemtap beginner's guide
use the existing iotime.stp example in the examples rather than a local
version in the extras directory.

Remove unused traceio2-simple.stp.

examples: include the sample/test invocation with the description blurbs

Move inodewatch2.stp from the beginner's guide into the examples

Use the para-callgraph.stp example in the examples in the beginner's guide

Use the tested examples rather than extras scripts where possible. So in this
case use the para-callgraph.stp example which has the same functionality as
para-callgraph-simple.stp.

Move inodewatch.stp into the examples

Originally inodewatch.stp was in the beginner guide's extras directory.
Moving inodewatch.stp into the examples directory to get regular testing
of the script.

Clean up the inodewatch-simple.stp to just be inodewatch.stp

This addresses the issues in Red Hat bz617057. Also simplify the script
to make use of the tapset variables dev/ino and MKDEV functions.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Correct error in 4.3.1. Counting Function Calls Made

This was reported in Red Hat bz617055.

PR7097: in flight-recorder-launch mode, don't open the stapio output files early

* runtime/staprun/relay.c (init_relayfs): Return early if load_only.

added a test for the procfs umask functionality, ensuring expected
permissions match up with what is actually set

Version bumps for the 1.3 release

Add NEWS for uprobes-on-NOP speedup

Remove duped -G NEWS

Extend vta-test.exp testcase for PR11825 and add 32-on-64 for fun.

* testsuite/systemtap.base/vta-test.c: Provide constants through struct.
* testsuite/systemtap.base/vta-test.exp: Build/Test also for 32-on-64 if
  available.
* testsuite/systemtap.base/vta-test.stp: Take program under probe as @1.

PR11825: loc2c: Handle a computed-value piece.

* loc2c.c (location_relative): Handle a computed-value piece.

rhbz#616040 loc2c deref on 32bit address fails.

* runtime/loc2c-runtime.h (deref): For __x86_64__ case cast address to
  (unsigned long) everywhere in case we got a 32 bit address of a 32-on-64
  but process.

fntimes: use @entry for timestamps

errno: use syscall.*'s "name" instead of probefunc()

wait4time: use @entry for timestamps

sleeptime: use @entry for timestamps

Use @entry and return- in futexes example

Make sure Dwarf_Ops don't have garbage

We synthesize a Dwarf_Op in a couple of places, but we were only setting
the fields we care about, ".atom" and ".number".  The garbage in
".number2" would survive into "DWARF expression:" comment in loc2c,
which made it look unique and subverted caching.

Now we memset-0 the Dwarf_Op before proceeding.

tcpipstat: use @defined instead of preprocessor

sk_stream_wait_memory spelling fixes

Update bkl examples with newer syntax

* testsuite/systemtap.examples/locks/bkl.stp: Use '!' to alternate
  kernel probepoints between lock_kernel and _lock_kernel (and unlock).
* testsuite/systemtap.examples/locks/bkl_stats.stp: Ditto, and use
  @entry to get timestamps.

Use actual bytes read/written for iotop

Probe on .return, so we know how many bytes the vfs actually handled.

Remove explicit entry probes from iotime example

For the use of syscall.open/read/write, use .return to do all the work.
This uses @entry to collect timestamps and implicit saving for other
$vars.

Note that $return is used for byte counts instead of the entry $count,
because we should care more about the actual work performed.

Add para-callgraph-verbose example

It's like para-callgraph, except using $$parms$$.  The output can get
VERY big, so you probably want to dump it into a file for offline
browsing...

Use @defined in examples/general/grapher.stp

Tweak the systemtap.apps tcl test.

tcl.exp: Bump up timeout value.
stap-tcl.sh: Don't run obj.test as it takes a really long time.

mention user-space and other recent developments in man pages and tutorial

NEWS: tweak SDT_V2 blurbage

Make SDT_V2 the default on all architectures.

sdt.h:  Don't special case unsupported STAP_SDT_V2 architectures as STAP_SDT_V1

PR11821: sdt.exp should tolerate sdt_v2 dwarf warnings

Merge branch 'master' of git://sources.redhat.com/git/systemtap

* 'master' of git://sources.redhat.com/git/systemtap:
  * tapset/syscalls2.stp: Started a pending deprecation of incorrect   'syscall.compat_pselect7a' probe alias name.  Correct name is   'syscall.compat_pselect7'. * testsuite/buildok/syscalls2-detailed.stp: Checks for correct probe alias   name. * NEWS: Mentioned 'syscall.compat_pselect7a' deprecation. * stap.1: Ditto. * HACKING: Updated deprecation description.
  Many small tapset/syscalls2.stp fixups.  Added testcase.
  Fix spurios testcase failure from systemtap.examples/network/socktop.
  added the procfs.umask(UMASK) feature to the NEWS file.

Conflicts:
NEWS