fixed format of non-grabbable comments (for Tapset Reference Guide), added tapsetdescription for man page generator (in development)

fixed format of non-grabbable comments (for Tapset Reference Guide), added tapsetdescription for man page generator (in development)

added description for memory tapset

Move vma module tracking from pr6866 branch to master.

* tapsets.cxx (utrace_derived_probe_group::emit_module_decls):
  Always emit vm callback probe for __stp_tf_vm_cb.
* runtime/task_finder.c (__stp_tf_vm_cb): Always expose, move _stp_dbug
  statements under ifdef DEBUG_TASK_FINDER_VMA. Find  and record
  corresponding module when vm_path not NULL.
* runtime/task_finder_vma.c (struct __stp_tf_vma_entry): Add _stp_module.
  (stap_add_vma_map_info): Add _stp_module argument and assign.
  (__stp_tf_get_vma_entry_addr): New static function to get
  the __stp_tf_vma_entry given an address.

Fixups to allow Tapset_Reference_guide documentation to build.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Add missing </para>.

Move lookup_bad_addr call in STAPCONF_PROBE_KERNEL

With most of the implementations, kread/kwrite call deref/store_deref,
and so it makes sense to have lookup_bad_addr in the latter as an
underlying address check.

However, in the STAPCONF_PROBE_KERNEL case that uses probe_kernel_read
and probe_kernel_write, the roles are reversed, so lookup_bad_addr needs
to be in kread/kwrite.

Also note that __deref_bad and __store_deref_bad should only be used in
cases that can be determined at compile time.  These turn into invalid
symbols which prevent the module from loading.  (They might be better
replaced with compile-time assertions.)

PR9947: move runtime cleanup out of the work queue

The kernel lockdep checking found a possible deadlock if a forced rmmod
tried to destroy _stp_work_queue at the same time that the work queue
was unregistering tracepoints.  An unlikely scenario, but still
possible.

Now the work queue will just issue a STP_REQUEST_EXIT down to usermode,
and usermode will echo back an STP_EXIT that triggers the actual probe
cleanup.  This way the unregistrations are happening in exactly the same
context as the registrations were.

Add -ansi -pedantic pair to sdt test.

* testsuite/systemtap.base/sdt.exp: Add additional_flags -ansi together
  with -pedantic.

Add -O2 and -O3 as extra test flags to sdt.

* testsuite/systemtap.base/sdt.exp: Add -O2, -O3.

Introduce stap_run3 for distinct test names.

* testsuite/lib/stap_run2.exp: Add stap_run3, called from stap_run2.
* testsuite/systemtap.base/sdt.exp: Use stap_run3, for distinct test names.

Simplify tracepoint registrations

Instead of registering tracepoints with the deeply-nested if-tree, which
was cluttering the module_init/exit, this now emits normalized reg/unreg
functions for each tracepoint probes.  Now the module_init/exit can be a
simple loop like all of the other probe types.

Add test to compile and run all tracepoints

This checks that kernel.trace("*") will compile, with all context
variables accessed as well.  For kernels without tracepoints, it will
just hit a "begin" and quit.

This doesn't ensure that kernel.trace("*") will always find something
when it should, though...

Fix @cast module splitting

The new semok testcase exposed that the module splitting wasn't properly
setting substr boundaries.  Instead of passing the end position, it's
supposed to pass the number of characters (end - begin).  Oops.

Add simple testcases for @cast

improve sdt.h compatibility and test suite

Replaced cpp VA_ARGS in sdt.h with explicit enumeration of arguments
(since with -pedantic, cpp has no varargs), and added a few more
cflags variants to the sdt.exp test case.

PR 7071: Optional $context variables fix

* tapsets.cxx (dwarf_var_expanding_visitor::visit_target_symbol):
  Substitute erroneous target symbol with literal 0 if session level
  flag, skip_badvars is set.
* session.h (struct systemtap_session):
  New flag: skip_badvars.
* main.cxx:
  Command line argument --skip-badvars added.
* stap.1.in:
  Entry for new option --skip-badvars.
* NEWS:
  Added blurb for new option now available.
* testsuite/semok/badvar.stp:
  Test case to check added functionality.

Run the tests for each member of a list of extra options.

* testsuite/systemtap.base/sdt.h: Add extra_flags and g++ as a test language.

2009-03-11  Dave Brolley  <brolley@redhat.com>

        PR 9936
        * stap-find-servers (configuration): Set timeout to 10 seconds.
        (find_servers): Run avahi-browse in the background and wait for
        $timeout seconds for it to finish. Kill it if it does not finish.
        Use a temp file for avahi-browse output.
        (match_server): Use -t $timeout on read commands.
        * stap-start-server: Check for $server_pid as a running process and
        for avahi-publish-service running as a child of $server_pid in order
        to confirm that the server is running.

Make marker probe support listing mode -L

This patch is to enable displaying the arguments of
marker probe for listing mode -L. The output is like,

$stap -L 'kernel.mark("*")'
kernel.mark("core_marker_format").format("name %s format %s") $arg1:string $arg2:string
kernel.mark("jbd2_checkpoint").format("dev %s need_checkpoint %d") $arg1:string
$arg2:long
kernel.mark("jbd2_end_commit").format("dev %s transaction %d head %d") $arg1:string $arg2:long $arg3:long
kernel.mark("jbd2_start_commit").format("dev %s transaction %d") $arg1:string $arg2:long

Note: It's also possible to figure out the arguments according to the format.

Signed-off-by: Wenji Huang <wenji.huang@oracle.com>

Make tracepoint probe support listing mode -L

This patch is to enable displaying arguments of tracepoint
probe in listing mode -L. The example output is like

$stap -L 'kernel.trace("block_bio*")'
kernel.trace("block_bio_bounce") $q:struct request_queue* $bio:struct bio*
kernel.trace("block_bio_backmerge") $q:struct request_queue* $bio:struct bio*
kernel.trace("block_bio_complete") $q:struct request_queue* $bio:struct bio*
kernel.trace("block_bio_queue") $q:struct request_queue* $bio:struct bio*
kernel.trace("block_bio_frontmerge") $q:struct request_queue* $bio:struct bio*

Signed-off-by: Wenji Huang <wenji.huang@oracle.com>

Merge branch 'typecast'

Merge sequential casts in the vfs tapset

A few places in this tapset were using a pattern like this:
  i_sb = @cast(foo, "inode")->i_sb
  return @cast(foo, "super_block")->bar

The type of i_sb is already known, so I just merged this to:
  return @cast(foo, "inode")->i_sb->bar

PR9932: use @cast module search path

The nfs, rpc, and scsi tapsets use @cast on types that may be compiled
into a kernel module or into the main kernel binary.  The @cast search
path separated with colons lets us search both the kernel and the module.

For a couple of cases, I also merged sequential @casts that work just
fine as a single cast with a multiple-level dereference.

PR9932: add @cast module search path

Sometimes @cast()ing can fail if the type needed may or may not be
defined in a kernel module.  This patch lets @cast take a colon-
separated list of modules to search for the type definition.

* tapsets.cxx (dwarf_cast_query): Simplify.  Take the module and
the code result as reference parameters, and use code.empty() as
the sign that the type isn't resolved yet.
(dwarf_cast_expanding_visitor::visit_cast_op): Split e->module by
colon into substrings, and loop until the type is resolved.

Ensure args are available for postgres static probes.

* includes/sys/sdt.h:  Couple asm with its arg declaration.

Let -DINTERRUPTIBLE=0 mask interrupts in probes

Some time ago we loosened up the code for all probe types to allow
interrupts during the handler.  However, when probing something like
kernel.trace("*"), you get a mix of probes in and out of the interrupt
path, and it becomes much more common to have probes skipped due to
interrupt reentrancy.

The common_probe_entryfn_prologue and common_probe_entryfn_epilogue
functions had an interruptible flag, but this was no longer used
anywhere.  I removed this flag, but then reused the logic to check an
INTERRUPTIBLE macro instead.  Now users can use -DINTERRUPTIBLE=0 to
prevent interrupt reentrancy in their script, at the cost of a bit more
overhead to toggle the interrupt mask.

Fix a few typos in stap(1)

Use alternate keywords for sdt.h

* include/sys/sdt.h: Initialize args when declaring.  Use alternate keywords.

Add tracepoint $$parms alias for $$vars

For parity with the DWARF probes, this makes tracepoints also define
$$parms, which has the same value as $$vars (since tracepoints are
missing the concept of $$locals).

Update location of c->probe_point reset

The probe_point clear was nested in the overload processing code, I
believe accidentally.  This just makes it always cleared on probe exit.

Add safety checks to _stp_get_register_by_offset()

This now checks that CONTEXT->regs actually exists, and that the
requested offset is in the correct range.

PR9935. Fixed stap script typos. arg[5-10] -> $arg[5-10].

* testsuite/systemtap.base/sdt.exp: Enable stap_run2 when installtest_p.
* testsuite/systemtap.base/sdt.stp: Fixed all arg to $arg typos.

Add PR9935 number to sdt.exp disabled test.

Add new sdt.exp testcase.

* testsuite/systemtap.base/sdt.exp: New test file.
* testsuite/systemtap.base/sdt.stp: Likewise.
* testsuite/systemtap.base/sdt.c: Likewise.

Include sys/types.h in sdt.h for __uint64_t.

* includes/sys/sdt.h: Add #include <sys/types.h>.

Put statements after declaration in sdt macros. Fix arg10 assignment.

* includes/sys/sdt.h: Assign args, after declaration.

Only use plain C comments in sdt.h.

includes/sys/sdt.h: Replace c++ comments with plain C comments.

Make stap_run2 count exact number of lines.

* testsuite/lib/stap_run2.exp: Compare found and expected number of lines.
* testsuite/systemtap.*/*.exp (result_string): Make number of lines exact.

Remove extra semi-colons from defines in sdt.h.

* includes/sys/sdt.h (STAP_PROBE_STRUCT_ARG): Remove ending semi-colon.
  (STAP_LABEL_REF): Likewise.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

tracepoint probes: clear session derived_probe_groups pointer in ctor to avoid SEGV

Check pending_interrupts more frequently during unwindsyms (pass 3) processing

Adapt to linux-next commit changing __alloc_percpu API.

After linux-next commit f2a8205c, it takes two parameters again,
so we autoconf for it rather than use KERNEL_VERSION ifdefs.

added commenting/documentation guidelines

Minor changes to labels.exp.

Fix and add tests for function(".so").statement(N)

* tapsets.cxx (query_dwarf_func): die_has_pc (dwarf_haspc) does not expect a
module_start for shared objects so don't call module_address_to_global for the
statement address.
* testsuite/systemtap.base/labels.exp: Add tests for executable .statement(N),
shared object .label("L") and so .statement(N).

PR9930: reentrancy debugging

 If stap is run with "-t -DDEBUG_REENTRANCY", additional warnings will
 be printed for every reentrancy event, including the probe points of
 the resident and interloper probes.

 * tapsets.cxx (common_probe_entryfn_prologue): Add "new_pp" argument,
 update all callers.  Print reentrancy details if needed.

Add placeholder for new news

Tweak tracepoint logic to run on tracepoint_synchronize_unregister()-less RHEL5

Merge branch 'tracepoints'

Document TRACEPOINTS in stapprobes(5)

Ensure tracepoints are synchronized after unreg

The tracepoint API provides tracepoint_synchronize_unregister() as a way
to guarantee that all tracepoint handlers are inactive.  This is
necessary after unregistering to allow the module to safely unload.

* tapsets.cxx (tracepoint_derived_probe_group::emit_module_init):
Call synchronize after unregistering tracepoints.
(tracepoint_derived_probe_group::emit_module_exit): Ditto.

Support older tracepoints using DEFINE_TRACE

At one point, the tracepoints API didn't have DECLARE_TRACE, and the
trace headers all used DEFINE_TRACE.  This is what got pulled into RHEL,
so we need to support this older usage.  The rest of the API stays the
same though.

* buildrun.cxx (make_tracequery): Redefine DEFINE_TRACE as well.

Enable tracepoint target variables

This uses a similar mechanism as marker probes for storing target
variables in locals of the probe body.

* tapsets.cxx (tracepoint_arg): Add fields to help $target access.
(tracepoint_var_expanding_visitor): Expand code to access target
variables - a $target for each tracepoint parameter, as well as
the special $$name and $$vars.
(tracepoint_derived_probe::tracepoint_derived_probe): Expand targets
(resolve_tracepoint_arg_type): Determine if a parameter is a type
that we can dereference, and store the underlying type.
(tracepoint_derived_probe::build_args): Resolve the types.
(tracepoint_derived_probe::emit_probe_context_vars): Emit $target
placeholders into the locals of the probe body.
(tracepoint_derived_probe_group::emit_module_decls): Initialize
$targets from the entry point parameters.

Emit code to hook up tracepoint probes

* tapsets.cxx (tracepoint_arg): New
(tracepoint_derived_probe): Add declaring header name and arg vector
(dwarf_type_name): Build a type string for a given type DIE
(tracepoint_derived_probe::build_args): Scan the function DIE for
the name and type of formal parameters required by the tracepoint.
(tracepoint_derived_probe::tracepoint_derived_probe): Call
build_args and determine the relevant header to include.
(tracepoint_derived_probe_group::emit_module_decls): For each
tracepoint, include its header and declare a probe entry point with
the right function signature.
(tracepoint_derived_probe_group::emit_module_init): Call the
registration for each tracepoint, and handle error unwinding.
(tracepoint_derived_probe_group::emit_module_exit): Unregister each.

Build skeleton tracepoint probes

* tapsets.cxx (tracepoint_derived_probe): Create a skeleton probe
(tracepoint_derived_probe_group): Create a skeleton group
(tracepoint_query::handle_query_func): build a probe

Scan tracequery.ko for tracepoints

* tapsets.cxx (tracepoint_query): Iterate over the modules, CUs, and
functions in tracequery.ko looking for our hijacked tracepoint
declarations.
(tracepoint_builder::build): Run a tracepoint_query

Build tracequery to scan for tracepoints

* session.h (systemtap_session): add tracepoint_derived_probes
* buildrun.cxx (make_tracequery): New - builds a kernel module that
hijacks the tracepoint declarations, so we can query debuginfo.
* buildrun.h: declare above
* tapsets.cxx (tracepoint_builder): New builder for tracepoint
probes.  For now it just handles the initialization to build the
tracequery kernel module.

Make iterate_over_functions work with base_querys

* tapsets.cxx (dwflpp::iterate_over_functions): Change arg from
void* to base_query*, and add explicit function-search parameters.
(query_cu): update caller
(query_dwarf_func): update callback signature

(Note: instead of passing around callback functions, it might be nicer
to use a virtual method in base_query...)

Update AUTHORS

STAP_PROBE takes no extra arguments.

* includes/sys/sdt.h (STAP_PROBE): Don't add __VA_ARGS__.

Create unique named labels.

* includes/sys/sdt.h (STAP_PROBEN_): New macros that take
advantage of __COUNTER__

PR9871: use @cast in tapset

Rewrite some functions using type casting to
get rid of embedded C code in nfs, scsi, signal,
socket, rpc, task and vfs tapset.

Signed-off-by: Wenji Huang <wenji.huang@oracle.com>

added more content for tapset dev

added markers, for publicanization purposes

new intro, tapset dev guide

Make session.module_cache init more consistently

We used to check & init module_cache in a few inconsistent places.  Now
it is always handled in dwflpp::setup_user/setup_kernel.

* tapsets.cxx (dwflpp::setup_user): add module_cache check
(dwarf_builder::build): remove module_cache check
(dwarf_cast_expanding_visitor::visit_cast_op): ditto

removes marked range of strings (intro) and replaces with Intro and Tapset Dev Guide

added invisible marker for publican

change to fedora, add README for more info

change to fedora

add other required XMLs

add images

add Makefile

function instead of (sfunction)

added other required files

Fix typo in kernel version check 2.6.21 -> 2.6.11 in inet_sock.

* tapset/inet_sock.stp (inet_get_local_port): Fix kernel version check.
  (inet_get_ip_source): Likewise.

stap autoconf test for kernel stack trace support

* buildrun.cxx (compile_pass): Add autoconf line for stack trace
test, which defines STAPCONF_KERNEL_STACKTRACE.
* runtime/autoconf-save-stack-trace.c: New file.
* runtime/stack.c : Use STAPCONF_KERNEL_STACKTRACE instead of
tests for kernel configuration and versions.
* runtime/stack-i386.c : ditto
* runtime/stack-x86_64.c : ditto

PR9919: Set last_stmt for array (scalar or statistical) assignments.

* translate.cxx (visit_arrayindex): Update last_stmt.

change stap-report to a plain /bin/sh script; support dkpg in addition to rpm

Search for a label instead of an address for .so static probes.

* tapsets.cxx (dwflpp::build): Use .label for .so instead of .statement(N)

This patch updates the itrace code to support the new utrace interface.
It also adds a private copy of access_process_vm to runtime/itrace.c
since that function is not consistently exported by all distros.

PR9875: Remove sduprobes

Impact: cleanup
Since sdt.h is in git tree, sduprobes is no longer needed.

* Makefile.am: Remove sduprobes.
* Makefile.in: Regenerated.
* doc/Makefile.in: Ditto.
* runtime/sduprobes.c: Removed.

Signed-off-by: Wenji Huang <wenji.huang@oracle.com>

Allow the same static user probe to be used multiple times per line.

* dtrace (provider): Add STAP_PROBE10.
* includes/sys/sdt.h: Likewise.  Convert labels to __label__

added publicanizer for langref

minor revision, added tag

Merge branch 'master' of git+ssh://sources.redhat.com/git/systemtap

Use @cast where possible for examining inet_sock.

* tapset/inet_sock.stp: Remove includes.
  (inet_get_local_port): No embedded C, use @cast.
  (inet_get_ip_source): Likewise.
  (daddr_to_string): New function, still some embedded C used.

Remove unnecessary embedded C include.

* tapset/networking.stp: Remove include.

Guard _struct_sigaction32_u with ifdef CONFIG_COMPAT.

* tapset/aux_syscalls.stp (_struct_sigaction_u): Only needed and compiles
  when CONFIG_COMPAT defined.

PR9896: Fix SystemTap build on Ubuntu Intrepid.

The gcc on Ubuntu doesn't like fprintf() without format arguments

Skip generating empty struct global

Impact: trivial cleanup.

Avoid emitting empty struct global code that is harmless.

Signed-off-by: Wenji Huang <wenji.huang@oracle.com>

Merge branch 'master' of git+ssh://sources.redhat.com/git/systemtap

Adjust extra_offset address against module base.

* translate.cxx (dump_unwindsyms): Adjust extra_offset always
against module base as workaround for buggy elfutils < 0.138.

Fix the syscall tapset for architectures using SYSCALL_WRAPPERS

Merge branch 'gtod'

Add a testcase for gtod init/kill

This test simply checks that _gettimeofday_init and _gettimeofday_kill
are pulled in when gettimeofday is used, and also that they are NOT
pulled in when gettimeofday is not used.

Add selective use of _stp_time_init/kill (PR9822)

Our gettimeofday runtime has frequent wakeups to stay in sync with
kernel time, but this is wasted effort if gettimeofday is not used in
the script.  This patch moves the calls to _stp_time_init and
_stp_time_kill into begin and end/error probes, which only get pulled in
if one of the gettimeofday variants is called.