Add NEWS entry for stap-server initscript.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Conflicts:

Makefile.in
configure
doc/Makefile.in
doc/SystemTap_Tapset_Reference/Makefile.in
grapher/Makefile.in
testsuite/configure

Redirect stap-serverd output to /dev/null.

PR 10706 fixed by switching to unbuffered output.
* runtime/staprun/mainloop.c (stp_main_loop): Switched to unbuffered
  output (instead of line buffered output).

I forgot to change the NEWS file when commiting
249534c041971db5e9f89cb11b6d38d311e91f57, and this commit
just adds a line in the NEWS file explaining the commmit above

Fix for bug 10866 (exit with rc != 0 on script ERRORs).
This patch just make the RC=1 when any output line starts with ERROR:.

Also some minors error that was returning 0 instead of 1 were fixed.

More logging for stap-server initscript.

Final cleanup of stap-server initscript and packaging.

PR 6691 fixed by adding support for sys_accept4.
* tapset/aux_syscalls.stp(_sock_type_str): Rewrote in embedded-C and added
  socket flags support.
  (_sock_flags_str): New function.
* tapset/syscalls.stp: syscall.accept prefers to use sys_accept4 when it
  exists.  Added support for sys_accept4's 'flag' parameter.
* testsuite/systemtap.syscall/net1.c (main): Updated regular expression to
  handle the new 'flags' argument.

PR10849: make MAXSKIPPED overflow trigger an error message

reorganize app tests; rewrite tcl as sample of improvements

* testsuite/configure.ac (--enable-testapps): New option.
* testsuite/Makefile.am (TESTAPPS): Pass to dejagnu.

* testsuite/systemtap.base/{xulrunner,tcl,mysql,postgres}:
  Moved under new systemtap.apps/ subdirectory.

* testsuite/systemtap.apps/stap-tcl.sh: New file to build tcl.
* testsuite/systemtap.apps/stap-tcl.stp: New file to test tcl.
* testsuite/systemtap.apps/tcl.exp: New simplified test driver.

* dtrace.in: Disable STAP_HAS_SEMAPHORES as they don't work on shlibs yet.
* includes/sys/sdt.h (STAP_SEMAPHORE): Include __builtin_expect for unlikely.

regen sample indexes with plimit.stp

plimit: Add plimit.stp sample script

Use /dev/urandom (non-blocking) instead of /dev/random.

Never ask the user for a password in stap-gen-cert. Read from /dev/random as
a last resort. Cert db passwords will be going away soon(tm).

context.exp test improvements.
* testsuite/systemtap.context/args.tcl: Increased timeout.  If tests do
  timeout, fail (instead of silently failing).
* testsuite/systemtap.context/num_args.tcl: Ditto.
* testsuite/systemtap.context/backtrace.tcl: Increase timeout.
* testsuite/systemtap.context/pid.tcl: Ditto.

PR10839: compute default KRETACTIVE from num_possible_cpus() instead of NR_CPUS

* tapsets.cxx (dwarf_ and kprobe_derived_probe_group): Redefine KRETACTIVE.

Fix syscall testsuite bugs.
* testsuite/systemtap.syscall/test.tcl: Substitute '[[[[' and ']]]]' for
  '(' and ')'.  This allows us to get unquoted parens.
* testsuite/systemtap.syscall/test-debug.tcl: Matches substitute logic of
  test.tcl.
* testsuite/systemtap.syscall/README: Document '[[[[' and ']]]]'.
* testsuite/systemtap.syscall/chmod.c: Handle optional O_LARGEFILE flag in
  open calls.
* testsuite/systemtap.syscall/dir.c: Ditto.
* testsuite/systemtap.syscall/mmap.c: Ditto.
* testsuite/systemtap.syscall/openclose.c: Ditto.
* testsuite/systemtap.syscall/readwrite.c: Ditto.
* testsuite/systemtap.syscall/stat.c: Ditto.

Removed extra declarations.
* runtime/transport/transport.h: Removed extra declarations of
  _stp_transport_init() and _stp_transport_close().

Rework for bugs found during testing.

Normalize Breno Leitao's name without an accent

Per Breno's guidance, I'm removing the accent from the 'a' in Leitao.
We can normalize it either way -- I just want it to be consistent.

This only has an effect on git shortlog and git blame, but we do use
shortlog in our AUTHORS queries.

tty: Adding tty.stp to the documentation

Adding the TTY tapset to the .tmpl Reference documentation

A new testcase for tty tapset

This is a basic test to assure that the tty tapset is working
compiling and working properly

A new tapset that adds support for tty and serial devices

A new tapset that supports tty devices and consequently serial
devices. It is just a basic implementation that can be extended
as demands appears

init.d/rc.d -> rc.d/init.d

Create /etc/sysconfig in %install.

stap-server initscript cleanup and follow fedora initscript requirements.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

PR10820: stap -L ignores any variable that isn't accessible

* tapsets.cxx (saveargs): check the accessibility.

* grapher/GraphData.hxx (GraphDataBase, GraphData): Use
  boost::circular_buffer for time and data storage.

Fix regression of parsing grapher options

* grapher/StapParser.hxx (ioCallback): Test return value from findTaggedValue
  properly.

Change permissions and ownership of /var/log/systemtap.log after installation.

Add stap-server userid to the stap-server group when it is created.

Add /var/log/stap-server.log to the files for the systemtap-server sub rpm.

In systemtap.spec create $RPM_BUILD_ROOT%{_localstatedir}/log before working in it.

Specialized user to run stap-server and improved logging.

Properly close the spawn of the pr10854 testcase

PR10854 cont'd: Add a testcase for the reproducer

PR10854: Use a mutex around transport startup/shutdown

We had a race where the probe setup could be called during/after the
probe shutdown in abnormal circumstances, which leads to kernel
callbacks still registered after module unload.  (BOOM)

Now the setup/shutdown activities and related flags are guarded by a
mutex, so we should have strict ordering.

* runtime/transport/transport.c (_stp_transport_mutex): New.
  (_stp_handle_start): Grab the mutex, and make sure we're not exiting.
  (_stp_cleanup_and_exit): Grab the mutex.
  (_stp_lock_inode, _stp_unlock_inode): Use kernel version for checking
  inode locking type.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Kill off child processes correctly on exit.

* grapher/grapher.cxx (ChildDeathReader::reap): New function.
  (StapLauncher): Keep a list of instantiated parsers.
  (StapLauncher::cleanup): Kill off all launched stap processes.

Change temporary paths to their proper values.

More refactoring for multiple stap processes.

* grapher/StapParser.hxx (StapParser): Change _win and _widget from
  references to pointers.
* grapher/StapParser.cxx (ioCallback): Ditto.
* grapher/grapher.cxx (StapLauncher, GraphicalStapLauncher): Rewrite
  to make GraphicalStapLauncher a derived class of StapLauncher.
  (main): Accept graphing data from stdin with a "-" argument.

Change stap parser to use an input file descriptor other than stdin

* grapher/StapParser.hxx (_inFd, getInFd, setInFd): new member and fuctions
* grapher/StapParser.cxx (ioCallback): Use _inFd variable
  instead of stdin.
* grapher/grapher.cxx (StapLauncher::launch): Don't read input from stap on
  stdin; use the the read end of the pipe.

stap-server initscript fully functional.

Enable Kbuild-like quiet builds

This enables much cleaner build output from automake.  To re-enable the
verbose commands, pass --disable-silent-rules to configure, or use V=1
at make time.

* configure.ac: Enable AM_SILENT_RULES by default.

PR 10822 fixed by waiting for the procfs file.
* testsuite/systemtap.base/onoffprobe.exp: Wait for up to 10 seconds for
  the procfs file to be created.

Correct the safety-net escape WRT locking

Within a probe body, the "out" label starts the normal exit path,
including unlocking whatever globals are used in that probe.  Since the
unprivileged safety-net checks are before the locks are ever grabbed, we
should bypass the unlock on the way out.

* elaborate.cxx (derived_probe::emit_process_owner_assertion): Use
  "return" instead of "goto out".

Refactor probe locking into shared functions

For scripts with thousands of probes, we save a fair amount of code-gen
time in pass-4 by having the common locking code extracted into shared
functions.

* runtime/probe_lock.h (stp_lock_probe, stp_unlock_probe): New.
* translate.cxx (c_unparser::emit_lock_decls): New, emits a static
  const array of locks needed for each probe.
  (c_unparser::emit_locks): Just call stp_lock_probe.
  (c_unparser::emit_unlocks): Just call stp_unlock_probe.

Relax the -Wframe-larger-than check

This is just a workaround for PR10821, and should be reverted when that
bug is fixed.

Ensure that DWARF keeps loc2c to a reasonable stack depth

* dwflpp.cxx (dwflpp::express_as_string): Limit stack depth to 32.

PR10750 cont'd: Build with -Wframe-larger-than=512

* buildrun.cxx (compile_pass): Add the warning to limit the frame size
  even lower than the Kbuild default (only works for gcc 4.4+).

PR10750: Enforce a reasonable limit on # of varargs

If we leave the number of args unbounded, then an excessively-sized
printf could cause a kernel stack overflow.  I've arbitrarily chosen 32
as our new maximum.

* translate.cxx (c_unparser::visit_print_format): Throw if >32 args.
* testsuite/transko/varargs.stp: Assert that 33 args aren't allowed.
* testsuite/transok/varargs.stp: Assert that 32 args are ok.

Merge branch 'unwind_robust'

stap-server initscript is now part of the systemtap-server package.

No stap-server/config file yet.

Infrastructure for new stap-server initscript.

Added testsuite to test xulrunner sdt markers.

xulrunner.exp:  New testsuite, modelled after mysql.exp.
mysql.exp (stap-mysql.sh): Use installed stap.
postgres.exp (stap-mysql.sh): Use installed stap.
tcl.exp (stap-mysql.sh): Use installed stap.

RHBZ519314: define task_struct cast to operate without debuginfo

* tapset/task.stp: Use @cast(...,"task_struct","kernel<linux/sched.h")
  throughout to operate dwarf-free.

Limit the number of call frame instructions we process in the unwinder.

* runtime/unwind.c (processCFI): Fail if the number of instructions is
  larger than MAX_CFI (currently 512).

Make sure cie and fde end point to sane values in while doing unwind_frame.

* runtime/unwind.c (unwind_frame): Check end read from cie or fde doesn't
  go passed end of unwind table.

Be paranoid about table size resolving cie_for_fde and fde_pointer_type.

* runtime/unwind.c (cie_for_fde): Take table and table_len into account.
  (fde_pointer_type): Likewise.
* runtime/unwind/unwind.h: Adjust function prototypes.

tcl.exp path fix.

tcl.exp (run_tests): Fix stap path.

Add limit on unwind table size we accept.

* translate.cxx (MAX_UNWIND_TABLE_SIZE): New define.
  (dump_unwindsyms): Check debug_len and eh_len against new limit.

Add testsuite for tcl sdt markers.

dtrace.in (provider::generate): Set enabled to true until .so is resolved.
tcl.exp:  New testsuite for tcl sdt markers modelled after mysql.

Improve some runtime struct layouts

Guided by pahole, I've shaved off a few padding bytes here and there.
New sizes on x86_64:

  stap_task_finder_target  192 -> 184
  stap_itrace_probe        216 -> 208
  stap_utrace_probe        328 -> 312
  stap_uprobe_tf           200 -> 192
  stap_uprobe_spec          48 ->  40

I only changed field layouts, not types or names, so this should be
perfectly safe. (FLW)

bemoan that _stp_*printf can't be protected with gcc attribute printf

fix 32-bit compatibility for @hist_log printing

* stat-common.c (_stp_stat_print_histogram_buf): Fix HIST_PRINTF
  parameter passing.

PR10799: warn on possibly uintended local-vs-global namespace collision

* elaborate.cxx (find_var): Take extra token parameter.
  Look for cross-file global variable resolution, signal
  a warning.
* testsuite/systemtap.examples/io/traceio2.stp: Fix it.
* testsuite/systemtap.syscall/sys.stp: Fix it.
* NEWS: Document it.

provide error message token/context if loc2c doesn't

* tapsets.cxx (visit_target_symbol): When catching semantic_error,
  fill in token value if unset.  Can happen for loc2c DIE() msgs.

Avoid lockdep warnings.

uprobe_fork_uproc() runs with parent_uproc->rwsem locked.
However uprobe_mk_process() that gets called within uprobe_fork_uproc()
also locks child_uproc->rwsem after initializing it.

Lockdep report confuses this to acquiring a lock that already has been
acquired and suggests using sub-classes.

The alternatives we have are:
1. use classes level to distinguish different uproc structures.
2. unlock parent_uproc->rwsem before we call uprobe_fork_uproc().
3. dont try locking child_uproc->rwsem; since we are protected by
   uproc_mutex as well as parent_uproc->rwsem;

We use the last approach.

Signed-off-by: Srikar Dronamraju <srikar@linux.vnet.ibm.com>
---

PR10331: build fix for older nss redux

Reported by Wenji, these SEC_* symbols were enums rather than macros,
so instead of individual #ifdefs ...

* stapsslerr.h: use NSS_{VMAJOR/VMINOR/VPATCH} to detect 3.12.4 or later
  for the two recent error symbols.

Fix transok/tval-opt.stp testcase. Pick diffent function and non-empty block.

This testcase succeeded just because the value being set couldn't be
found. So the error message being compared was the same. Set -o pipefail
to catch that case. On vta compiled kernels it failed because the optimizer
turned { statement } into statement. So pick a function and argument which
location can always be found and add an extra 'next' statement so the
block isn't folded.

* testsuite/transok/tval-opt.stp: Set -o pipefail. Add 'next' to make
  sure block isn't empty. Use "do_filp_open" and "mode".

Updated checking for grapher dependencies.
* configure.ac: Made sure nss includes will error even if only 1 header
  isn't usable.  Added grapher dependencies gtkmm and boost headers.
* Makefile.in: Regenerated.
* config.in: Ditto.
* configure: Ditto.
* doc/Makefile.in: Ditto.
* doc/SystemTap_Tapset_Reference/Makefile.in: Ditto.
* grapher/Makefile.am: Use libglade CFLAGS/LIBS.
* grapher/Makefile.in: Regenerated.

PR10331: build fix for older nss

* stapsslerr.h: #ifdef-conditionalize a few of the error codes,
  apparently defined some time after NSS 3.12.2.

Reported-By: Wenji Huang <wenji.huang@oracle.com>

Add boost-devel build requirement for the grapher.

Fix $$targets in dwarf probes

My print_format refactoring in d5e178c1 missed an improperly-named
token, an sprint that should be sprintf.  Since the token value is now
significant, that name needs to be correct.

PR10331: more ssl error text

* stapsslerr.h: Added a few blurbs from mozilla sources.
  Added mozilla copyright/license header block, which lets
  us use this under GPLv2.

PR10331: improve nss error message handling

* stapsslerr.h: New file containing NSS* error number to string mappings.
  Originally from mozilla NSS documentation, also seen in other GPLv2
  software.
* nsscommon.c (nssError): Print error number, and text from <stapsslerr.h>.
* stap-{client,server}-connect.c (errWarn): Standardize on nssError().
* Makefile.am (nss binaries): Also link in nsscommon.c.

Report experssion stack slot use back from loc2c.

check for module-building Makefile more clearly

* buildrun.cxx (compile_pass): stat the Makefile, not just the build/
  directory.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

cleanup of graph data parser, using Boost functions where useful

* grapher/StapParser.cxx (commaSplit): Use Boost string split function
  (findTaggedValue): Return bool instead of position
  (ioCallback): Avoid using hard-coded string lengths

Add DTRACE_PROBE10.

We already had STAP_PROBE10, but not DTRACE_PROBE10 yet.

* includes/sys/sdt.h: Declare DTRACE_PROBE10 as STAP_PROBE10.

Merge branch 'master' of ssh://wenji@sources.redhat.com/git/systemtap

Merge branch 'master' of sourceware.org:/git/systemtap

PR10746: update test cases related to probe process.*

* testsuite/semok/utrace01.stp: Switch by CONFIG_UTRACE.
* testsuite/systemtap.base/bz10294.stp: Ditto.
* testsuite/systemtap.base/bz6905.stp: Ditto.
* testsuite/systemtap.base/statement.exp: Mark untested if
  non-utrace kernel.

Consolidate print_format creation

We almost had a factory in print_format::parse_print, so let's take that
the rest of the way.  This way we don't have so much duplication in
initializing the print flags.

* staptree.cxx (print_format::parse_print): Replaced with...
  (print_format::create): New factory to parse and create print_formats.
* elaborate.cxx (add_global_var_display): Use this factory.
* parse.cxx (parser::parse_symbol): Ditto.
* tapset-mark.cxx
  (mark_var_expanding_visitor::visit_target_symbol_context): Ditto.
* tapset-utrace.cxx
  (utrace_var_expanding_visitor::visit_target_symbol_arg): Ditto.
* tapsets.cxx
  (dwarf_var_expanding_visitor::visit_target_symbol_context): Ditto.
  (tracepoint_var_expanding_visitor::visit_target_symbol_context) Ditto.

runtime shutdown errors: simplify, improve error specificity

* transport/control.c (*_cmd): Return -Ecodes rather than "-1" from
  file_operations callbacks.
* staprun/ctl.c (init_ctl_channel): Return distinct error codes.
* staprun/staprun.c (remove_module): Skip connection attempt to .ctl
  file; just do delete_module() with O_NONBLOCK.

Refactor some of the histogram printing

* runtime/stat-common.c (reprint_buf): Removed.
  (_stp_stat_print_histogram_buf): Use a local HIST_PRINTF macro to
  abstract the buffer management.  Also convert reprint_buf calls to
  either %* formats or simple for-loops.

Add buildok tests for sprint[ln](@hist_*)

PR10257: Add support for sprint[ln](@hist_*).

* parse.cxx (parser::parse_symbol): Add sprint[ln] to @hist_* hack.
* runtime/stat-common.c: Replace reprint with new reprint_buf, add more
  generic _stp_stat_print_histogram_buf and call it from the older one.
  Also correct some formatting issues.
* translate.cxx (c_unparser::visit_print_format): Add sprint case.

PR5434: Fix syscall.nfsservctl.

Use proper $vars according to CONFIG_NFSD and CONFIG_COMPAT in
syscall.nfsservctl and mask it out along with return probe if
CONFIG_NFSD != "[ym]" && CONFIG_COMPAT != "y".

* tapset/syscalls2.stp (syscall.nfsservctl): Fix it.

Let semko/utrace.stp fail even with CONFIG_UTRACE=y

Add a test for CONFIG_FOO wildcards

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

PR10761: pass -v's to final "staprun -d" if appropriate

* mainloop.c (cleanup_and_exit): Remove non-BUG9788_WORKAROUND
  branch.  Remove execlp branch.  Pass -v to staprun-d if verbose.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Ensure that unprivileged-authorized probe point functions are hashed differently
than non-authorized ones for the purpose of removing duplicates.

2009-10-13  Dave Brolley  <brolley@redhat.com>

        * elaborate.h (print_dupe_stamp_unprivileged): New static method
        of derived_probe.
        (print_dupe_stamp_unprivileged_process_owner): Likewise.

        * elaborate.cxx (print_dupe_stamp_unprivileged): New static method
        of derived_probe.
        (print_dupe_stamp_unprivileged_process_owner): Likewise.

        * tapset-been.cxx (print_dupe_stamp): New virtual method of be_derived_p
robe
        and never_derived_probe.

        * tapset-utrace.cxx (print_dupe_stamp): New virtual method of utrace_der
ived_probe

        * tapset-itrace.cxx (itrace_derived_probe::emit_unprivileged_assertion):
 Removed.
        (itrace_builder::check_unprivileged): Removed.

        * tapsets.cxx (print_dupe_stamp): New virtual method of uprobe_derived_p
robe

PR 10575.  Improves running target commands.
* runtime/staprun/mainloop.c (signal_usr1): Renamed from signal_dontcare.
  Sets a new variable, usr1_interrupt.
  (start_cmd): Avoids pause() race condition by switching to blocking
  SIGUSR1, then waiting on SIGUSR1 with sigsuspend().