Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

PR 10984 Additional Work. TOCTOU race checking access permissions before canonicalizing /lib/modules/KVER/systemtap.

Fix compilation warning of passing NULL to int parameter

* util.cxx (in_group_id): Replace NULL with 0.

Fix compilation error, use getgroups without fixed limits.

* util.cxx (in_group_id): Don't use NGROUPS_MAX.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Improve error messages related to module signing.

- Allow root, the owner of the uprobes build directory and the members of the
group owner of the uprobes buld directory to build uprobes.ko.

- When building uprobes.ko, make all generated files writable by the group
owner of the uprobes build directory.

- Don't change the group owner of the uprobes build directory during
'make install'

include modverify.h unconditionally.

Fix uninitialized fields in loc2c.

* loc2c.c (alloc_location, location_from_address, c_translate_constant):
Initialize ops and nops fields.

Add assert for detecting shared library reloading, PR11015.

* runtime/sym.c (_stp_tf_mmap_cb): Only look for first load of whole module
  that is executable. Add check for detecting reloading of module.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

PR 10976, 10984. Loading of signed modules (script module and uprobes) limited to members of stapusr.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Conflicts:

configure

Ensure uprobes/Makefile never returns failure due to setting permissions.
Ensure uprobes install directory has group 'stap-server'.
Rename igid_in to in_group.

Updated.

Fixed tapset reference manual generation.
* doc/SystemTap_Tapset_Reference/Makefile.am: Check for file existence
  before doing compare.
* doc/SystemTap_Tapset_Reference/Makefile.in: Regenerated.
* tapset/ioblock.stp: Fixed comment so that docs can be built.

Rework setting of group and permissions on generated files and directories.

Correct tapset/ioscheduler.stp so documentation builds.

Make built files and directories writeable by the stap-server group individually.

Tweak cu-decl test

* testsuite/systemtap.base/cu-decl.exp: Check utrace.
* testsuite/lib/stap_compile.exp: Make catch after wait.

Correct block IO and IO scheduler tapset and test case

* tapset/ioblock.stp: Update comment and variables.
* testsuite/buildok/ioblock_test.stp: Add parameters.
* testsuite/buildok/ioscheduler.stp: Remove redundant parameters.

Added tracepoint-based probes to block IO and IO scheduler tapsets.
Added testcases for these probes.
Also, modified comments in ioblock.stp so that tapset docmentation can be automatically generated for this tapset.

Only attempt to change the group permissions of built items if we are root.

Allow members of the group stap-server to build the uprobes module.

Ensure that server status files are written by the initscript, not stap-start-server.

Report correct status when a server fails to start.

Fix typo on command to create /usr/share/systemtap/runtime/uprobes.

PR 10905 - Ensure that /usr/share/systemtap/runtime/uprobes is writeable by the
stap-server group.

cleanup: explain -5 magic value used in map-sorting code

build: disable make-silent mode in rpm builds

PR10983: Give preference to tracepoints in trace/events/

In 2.6.32-rc7, there are two power.h tracepoints headers, and only the
one in trace/events/ is valid.  In general, we can expect that
trace/events/ has newer headers, so we should search those first.

* tapsets.cxx (tracepoint_builder::init_dw): Search /events/ first.

PR 10981.  Fixed buildok/netdev.stp for RHEL5.
* tapset/networking.stp: Made 'netdev.change_rx_flag' and
  'netdev.get_stats' optional, since those functions don't exist on
  RHEL5.
* testsuite/buildok/netdev.stp: Ditto.

Don't kfail buildok/sched_test.stp and buildok/process_test.stp.
* testsuite/systemtap.pass1-4/buildok.exp: On rhel5 and rawhide, the
  buildok/sched_test.stp and buildok/process_test.stp tests pass
  sucessfully, so there is no reason to kfail them.

PR 5150.  Fixed nfs tapset by making probes optional.
* tapset/nfs_proc.stp: Made 'nfs.proc.read', 'nfs.proc.write', and
  'nfs.proc.commit' optional for newer kernels without those functions.
* testsuite/systemtap.pass1-4/buildok.exp: Expect nfs-all-probes.stp to
  pass.

Check in regenerated systemtap example indexes.

Clean up examples

Test cross-CU type discovery

Check that we can dereference a type declaration that is
defined in a separate CU from the function.

Make interrupts-by-dev.stp executable

PR4037: 32-bit staprun vs. 64-bit kernels just works (tm)

* configure.ac (PROCFLAGS): Don't define it.
* Makefile.am: Don't use it.

Document is_return(), module_name() and stp_pid() context tapset functions.

With tapset/aux_syscalls.stp fixes, test twentyseven.stp is not kfail.
* testsuite/systemtap.pass1-4/buildok.exp: Test twentyseven.stp should
  pass now.

Search other CUs of the module when resolving declarations.

* dwflpp.h (declaration_resolve_other_cus): New method.
  (iterate_over_globals): Mark as static and takes a CU to iterate over.
  (global_alias_caching_callback_cus): New method.
* dwflpp.cxx (global_alias_caching_callback_cus): New method.
  (declaration_resolve_other_cus): New method.
  (declaration_resolve): Call iterate_over_globals() with current cu.
  Call declaration_resolve_other_cus() when name not found.
  (iterate_over_globals): Takes cu_die to iterate over as argument.

Fixed aux_syscalls.stp for RHEL4.
* tapset/aux_syscalls.stp: Only define entries for IRQF_* flags if they
  exist.

PR 10974 fix.  Fixed aux_syscalls.stp for RHEL5.
* tapset/aux_syscalls.stp: Only define entries for
  IRQF_NOBALANCING/IRQF_IRQPOLL if they exist.

Use DW_AT_MIPS_linkage_name when available in vardie_from_symtable.

If there is a DW_AT_MIPS_linkage_name it encodes the actual name of
the variable as used in the symbol table.

* dwflpp.cpp (vardie_from_symtable): Check whether there is a
  DW_AT_MIPS_linkage_name attribute and use its value if so.

Remove caching of emit_address for kernel modules and shared libraries.

Caching of the address is only safe for kernel addresses that can never
change. For kernel module or dynamic shared library addresses it isn't
safe to cache the address since they can be unloaded, reloaded or mapped
differently in separate executables.

* dwflpp.cxx (emit_address): Remove static from addr definition for
  kernel and dynamic modules.

Explain "cheat" comment in sym.c (_stp_tf_mmap_cb).

We are abusing the "first" section address here to indicate where the
module (actually first segment) is loaded (which is why we are ignoring
the offset). It would be good to redesign the stp_module/stp_section
data structures to better align with the actual memory mappings we are
interested in (especially the "section" naming is slightly confusing
since what we really seem to mean are elf segments (which can contain
multiple elf sections).

* runtime/sym.c (_stp_tf_mmap_cb): Add cheat comment.

PR 5150 partial fixes.  Added support for nfs_file_fsync.
* tapset/nfs.stp(nfs.fop.fsync): Added support for nfs_file_fsync.
  (nfs.fop.fsync.return): Ditto.
  (nfs.aop.readpages.return): Fixed 'size' bug.
  (nfs.aop.write_begin): Renamed to make 'nfs.*.*' probes work correctly.
  (nfs.aop.write_end): Ditto.
  (__nfs.aop.write_begin): Ditto.
  (__nfs.aop.write_end): Ditto.
  (__nfs.aop.prepare_write): Ditto.
  (__nfs.aop.commit_write): Ditto.
  (nfs.fop.aio_read.return): Always sets 'units'.
  (nfs.fop.aio_write.return): Ditto.
  (nfs.fop.sendfile.return): Ditto.

Add testcase for retrieving $global vars from execs and shared libs.

Explicit testcase for PR10010 and PR10622.

* testsuite/systemtap.base/externalvar.c: New file.
* testsuite/systemtap.base/externalvar.exp: New file.
* testsuite/systemtap.base/externalvar.stp: New file.
* testsuite/systemtap.base/externalvar_lib.c: New file.

PR10010 Support $globals in shared libraries.

* dwflpp.cxx (dwflpp::emit_address): Enable task finder and emit a
  _stp_module_relocate for the ".dynamic" section when seeing a
  user-space dso address.
* runtime/sym.c (_stp_mod_sec_lookup): Remove .dynamic section addr cheat.
  (_stp_tf_mmap_cb): Add cheat here.

Allow modules to trigger task_finder vma_tracker.

* runtime/sym.h: Define _stp_need_vma_tracker.
* translate.cxx (emit_symbol_data_done): Output _stp_need_vma_tracker value.
  (c_unparser::emit_module_init): If STP_NEED_VMA_TRACKER isn't defined
  check _stp_need_vma_tracker to call _stp_sym_init().

PR 5150 partial fix.  Support nfs_write_begin()/nfs_write_end().
* tapset/nfs.stp: Added support for nfs_write_begin()/nfs_write_end(),
  which replaced nfs_prepare_write()/nfs_commit_write().

Add documentation for ansi.stp tapset.

* tapset/ansi.stp: Add documentation for every function.
* doc/SystemTap_Tapset_Reference/tapsets.tmpl: Add chapter on ansi.

PR10622 Search for extern $variables in symbol table.

* dwflpp.h (vardie_from_symtable): New method.
* dwflpp.cxx (vardie_from_symtable): New method.
  (literal_stmt_for_local): Use vardie_from_symtable when no location
  attribute and DW_AT_external.
* testsuite/buildok/xtime.stp: New testcase from PR10622.

Define IRQF_ONESHOT for older kernels.

IRQF_ONESHOT was only introduced in 2.6.32. It doesn't hurt defining it
if it isn't already there. It will just never show up on older kernels.

* tapset/aux_syscalls.stp: Define IRQF_ONESHOT if not already defined.

 add definition of function irqflags_str()

Regen indexes for interrupts-by-dev example

Delete test commit file

Turn ctime.stp documentation into proper Tapset Reference markup.

* doc/SystemTap_Tapset_Reference/tapsets.tmpl: Add chapter on ctime.stp.
* tapset/ctime.stp: Turn documentation into proper reference markup.

Accept relative user module paths for -d.

When using relative (non-canonical) paths for user modules one would get
a confusing WARNING: missing unwind/symbol data for module 'bin/test'.
Also unless the path started with '/' the task_finder wouldn't start.
By checking that the given file can be made absolute (canonicalized)
both issues are resolved and the user module will be correctly identified
at both translation and runtime.

* main.cxx (main): case 'd' try canonicalize_file_name() the argument
  first to identify user modules.

Adding a new .meta file to run interrupts-by-dev.stp in test

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Sign uprobes.ko with the builder's certificate.
Delete ownership & permissions tests from modsign.cxx and stap-serverd.

Add documentation for conversions.stp tapset functions.

* doc/SystemTap_Tapset_Reference/tapsets.tmpl: Add conversions.stp chapter.
* tapset/conversions.stp: Add documentation for all functions.

Mark usymname as unprivileged.

* tapset/ucontext-symbols.stp (usymname): Add assert_is_myproc() and mark
  as unprivileged, just like usymdata().

Relax restrictions on ownership and access permissions of signer's cert database.

PR6979: fix loc2c handling of second and later pieces

* loc2c.c (translate): Reset stack state tracking after finishing each piece.

build: quiet down xmlto tests and runs

* configure.ac (xmlto --stringparam check): Add >&/dev/null.
* doc/*/Makefile.am (xmlto runs): Ditto.

A very simple patch that fix the networking tapset documentation.

It references the file include/linux/if_ether.h as the one that contains
the protocol numbers and types.

PR5916: Exploit kretprobe data storage area

Since 2.6.25, kretprobes can carry a data packet to be filled in an
entry_handler.  This patch lets us store our implicitly-saved $target
variables in .return probes in that data area.

* tapset/kretprobe.stp: New get/set functions for kretprobe data.
* translate.cxx (c_unparser::emit_common_header): Add context->pi_longs.
* tapsets.cxx
  (dwarf_var_expanding_visitor::visit_target_symbol_saved_return): Switch
  between the old and new methods of saving $vars in .return probes.
  (dwarf_var_expanding_visitor::gen_mapped_saved_return): The old way.
  (dwarf_var_expanding_visitor::gen_kretprobe_saved_return): The new way.
  (dwarf_derived_probe::join_group): Don't register paired entry-handlers.
  (dwarf_derived_probe::dwarf_derived_probe): Remember saved-var details.
  (dwarf_derived_probe_group::emit_module_decls): Output saved-var details.
  Also split the kretprobe handler whether we're on entry or return.
  (dwarf_derived_probe_group::emit_module_init): Prepare the entry handler.
* testsuite/systemtap.base/kretprobe-vars.stp: Test implicit $var saving.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Use 'module_realpath' instead of overwriting 'path' in insert_module.
Update comments to clearly explain the security issues involved.

PR10877: Fix coveragedb.cxx to account for new components/token structure

PR10927: undocument nonexistent do/while construct

PR10877: Give token* to each component instead of each probe_point

Replace the use of the global variable 'modpath' in diagnostic
messages within verify_it with the use of a 'module_name'
parameter passed in.

Add a comment in insert_module explaining why it's ok to
overwrite the 'path' parameter with the canonicalized path.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Add blank lines for formatting stapprobes.irq

The line spacing is significant to the way the output is rendered.

Fix stapprobes.irq title and add to install list

(And incidentally re-enable quiet builds at the same time...)

Only .3stap.in files should be committed

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Don't reference global variable modpath in insert_module and its helpers.
This allows insert_module to to be used for loading the signed uprobes.ko
module.

Allow the use of $$parms and $$return in uprobes based probes for
unprivileged users.

Re-add management of module signatures in the cache. Don't know why
it was removed.

Normalized whitespace and comments.

IRQ tapset, sample script, testsuite, man page updates, etc

PR10923 Handle AT_frame_base given by DW_OP_call_frame_cfa in .debug_frame.

dwarf_cfi_addrframe should not be called with pc adjusted to the bias
of the dwfl_module_dwarf_cfi or dwfl_module_eh_cfi. This just happened to
work in the .eh_frame case because bias was always zero.

* dwflpp.cxx (get_cfa_ops): Don't adjust pc for bias.

Fix a comment typo

expand comment on has_return=0 treatment of -L foo.return probes

Constrain $var-checking for -L of .return probes

Normally, using a $var in a return probe create a matching entry probe
to save the value.  We don't want all this machinery though when we're
just checking the accessibility of a $var for -L mode.

* tapsets.cxx (dwarf_derived_probe::saveargs): Save/restore has_return
  while the $var accesses are attempted.

PR10849: Support MAXSKIPPED handling on RHEL4 through implementation of atomic_cmpxchg

PR10820-cont': initialize the fields of empty token

* tapsets.cxx (dwarf_derived_probe::saveargs): fill fields.

Revert change which loads uprobes.ko using insert_module.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Revert previous change re: home directory og stap-server. Ensure it has 755 privileges.

PR 9973: Sign uprobes.ko when it is created and load it using insert_module.
Create home directory manually for stap-server.

PR10466: print the set-intersection of variables retrieved from each branch

* elaborate.h: Remove printargs and add getargs.
* tapset-mark.cxx (mark_derived_probe): Ditto.
* tapsets.cxx (dwarf_derived_probe,tracepoint_derived_probe): Ditto.
* main.cxx (printscript): Make intersection before printing.

Add NEWS entry for stap-server initscript.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Conflicts:

Makefile.in
configure
doc/Makefile.in
doc/SystemTap_Tapset_Reference/Makefile.in
grapher/Makefile.in
testsuite/configure

Redirect stap-serverd output to /dev/null.

PR 10706 fixed by switching to unbuffered output.
* runtime/staprun/mainloop.c (stp_main_loop): Switched to unbuffered
  output (instead of line buffered output).