Rename runtime/stack-x86.c -> runtime/stack-dwarf.c to reuse by other arches.

Check module was actually created in tracepoint_builder.

Commit e86f32 added -i to the make invocation for tracequery jobs. This
means make would succeed even if there were errors. So it was possible
that tracequery_ko didn't actually exist. Leading to spurious warnings
about copying non-existing files into the cache when used.

tapset: remove result caching from __find_bdevname

This function is indirectly used from many vfs tapset probe points.
Since it sets/gets an internal script global variable, the current
optimizer does not elide this function, thus wasting time, space, and
risks @cast/kread runtime errors.  Let's get rid of the cache, until
the optimizer can do this automagically.

* tapset/vfs.ftp (__find_bdevname): Simplify.

Remove unused unwind _stp_put_unaligned definitions.

Convert _stp_ctl_write_cmd->default's message to dbug_trans2

PR13128: preparing for more privilege levels

Only staprun (euid==0) sends STP_RELOCATION and STP_TZINFO.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Fix typo in loc2c-runtime.h for ia64

Fix typo in loc2c-runtime.h for ia6

Introduce gfp_mask variants of _stp allocation functions.

* runtime/alloc.c: Add _stp_kmalloc_gfp(), _stp_kzalloc_gfp() and
  _stp_kmalloc_node_gfp() which take a gfp_mask in case you really know
  what you are doing.
* translate.cxx (emit_module_init): Use with GFP_KERNEL for context alloc.
* runtime/map.c: Use for init and new functions called at module_init time.
* runtime/stat.c: Likewise.

runtime/alloc.c: Remove unused _stp_vmalloc() and _stp_vfree() functions.

_stp_vma_match_vdso: Don't subtract build_id_len from notes_addr.

Older (pre-0.138) elfutils would erroneously return the address of the
build id note address with the length added. Newer ones never do this.
And we only support elfutils 0.142+ now anyway. Fixes vma_vdso.exp.

dtrace.in: generate DTRACE_PROBE compatibility macro instead of STAP_PROBE.

stack.c (_stp_get_uregs): Detect kernel unwind before user unwind case.

Detect and optimize the kernel backtrace() then user backtrace in same
probe case, by reusing the unwind info.

stack.c (_stp_get_uregs): Recover user registers from kernel context.

When possible recover full pt_regs user register set by unwinding
using kernel context till we hit user space.

unwind.c (adjustStartLoc): Call stap_find_vma_map_info_user() only on task.

For kernel modules the mapped address is found in the section static_addr.

_stp_current_pt_regs() helper, explicitly checks current->mm.

task_pt_regs(current) is only valid when current->mm has been setup.

PR12221 cont'd: Added module suport for adding build id to hash

Now when you probe a module, the build ID of the module is
added to the script's hash.

dwflpp.cxx:
  - Calls dwfl_getmodules in setup_kernel with a new callback
  add_module_build_id_to_hash().
  - Added add_module_build_id_to_hash() callback.

dwflpp.h:
  - Added function declaration for above callback.

setupdwfl.cxx:
  - Removed adding kernel build ID to session variable as new
  callback handles that case as well.

PR13216: set AM_GNU_GETTEXT_VERSION(0.17) in configury

testsuite: standardize test $pass/$fail messages

* lib/stap_run_error.exp (stap_run_error): Make pass & fail testcase
  names the same, so regressions can be more easily found.

Fix pre gcc 4.6 unitialized variable warnings.

dwflpp.cxx (dwflpp::iterate_over_plt):  Initialize have_rel/have_rela.

dwflpp.cxx (dwflpp::iterate_over_plt): Initialize both rel and rela.

So gcc can see they are not used uninitialized.

Put probe name descriptions on separate line to include in tapset ref.

To get included in the tapset reference manual a probe name description
cannot start on the first '/**' comment line.

Also recognize rel.plt, which is used on x686.

dwflpp.cxx (dwflpp::iterate_over_plt):  Allow either .rela.plt or .rel.plt.

Tell the user if UTS_VERSION does not match running kernel

The test is done before looking at build-id since build-id error
messages like

ERROR: Build-id mismatch: "kernel" vs. "vmlinux-2.6.32-5-amd64" byte 0 (0x5e vs 0xff)
Pass 5: run failed.  Try again with another '--vp 00001' option.

are not very user-friendly.

PR13210 vma/vdso tracking is broken testcase

Add a generic testcase to see if we can track the vma from which a syscall
was made. This might or might not come in through the vdso on the particular
(compat) arch, but should always at least be able to get the vma name.
Currently it fails some of the tests in different ways for different arches
and/or kernel versions.

Add process.plt test.

testsuite/systemtap.base/plt.exp:  New test.
testsuite/systemtap.base/plt.c:  New test case.
tapsets.cxx (base_query::base_query):  .plt requires the elf symbol table.

Put struct unwind_frame_info in unwind.h and remove unused task field.

Remove the identical definitions of struct unwind_frame_info from
unwind/i386.h and unwind/x86_64.h and put it in unwind/unwind.h.
Also put struct unwind_context there to keep all struct definitions
together. Remove unused task field from struct unwind_frame_info.

PR 13107: simplify compile-server testsuite

- Removed the use of a wrapper script to run stap using the server.
- Client/server tests now use the --use-server option as needed.
- testsuite/systemtap.server/server.exp is now reduced.
  - no longer runs all of buildok tests
  - now runs tests on server-specific functionality
  - general client/server interoperability covered by existing tests.

BZ732346 vs PR12729: don't print make failure messages for bad tracepoints

Having buggy/incomplete kernel tracepoint headers is routine, but
PR12729 started relaying make/gcc complaints about them to the user.
That's unkind.

* buildrun.cxx (make_tracequery): Run "make -i" instead of "make"
  for tracequery jobs.

testsuite: add explicit timeouts to stap session

With the previous code, it was possible for the delayedkill ./loop job
to be killed before the stap script watching for its end got really
ready.  That could mean that the stap script starts, and waits, and
waits, and waits more, and waits, and waits, and waits, and waits, and
waits, and waits, and waits, and waits, and waits, and waits, and
waits, and waits, and waits yet more, and waits, and waits, and waits,
and waits, and waits, and waits, and waits, and waits, and waits, and
waits, and waits a bit longer, and waits, and waits, and waits, and
waits, and waits, and waits, and waits, and waits more , and waits,
and waits, and waits, and waits, and waits, and waits, and waits, and
waits, and keeps waiting, and waits, and waits, and waits, and waits,
and waits, and waits, and waits, and goes on waiting, and waits, and
waits a lot, and waits, and waits, and waits, and waits, and waits,
and waits, and waits, and waits for warts, and waits, and waits, and
waits, and waits, and waits, and waits, and waits, and waits, now
getting slightly impatient, and waits, and waits, and waits, and
waits, and waits, and waits, and waits, and waits, and waits, and
waits, and waits, and waits, and waits, and waits a lot more.

Since there is no robust synchronization in the test case, let's
increase the delayedkill interval to make the above wait less likely,
plus add a godot timeout probe that will abort the script before it
gets grey hairs, loses its teeth, and gets bombarded with funeral
pre-planning spam.

Introduce _stp_get_uregs and _STP_PROBE_STATE_FULL_UREGS flag.

No actual functionality change yet. _STP_PROBE_STATE_FULL_UREGS
is set for context probe_flags if full user register set is available
after calling _stp_get_uregs().

Fix arm _stp_get_register_by_offset switched uregs/kregs usage.

PR13200: skip prologue searching for *.function(ADDR).return probes

Prologue searching has to be suppressed for all kretprobes/uretprobes
address calculations, or else the *retprobes facility can overwrite
valid stack frame data instead of return addresses.

* tapsets.cxx (query_addr, query_func_info): Perform prologue analysis
  but verbosely ignore results, for .return probes.

uaddr(): Use CONTEXT->uregs directly when _STP_PROBE_STATE_USER_MODE set.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Remove arch specific _stp_probing_32bit_app() and _stp_get_regparm().

Both functions were doing more than necessary and didn't actually need
access to the current regs. _STP_PROBE_STATE_USER_MODE tells us whether
the current probe triggered in user mode. _stp_is_compat_task() tells
us whether the current task is a 32-on-64 process.

* runtime/compatdefs.h (_stp_is_compat_task): Defined also when CONFIG_COMPAT
  is undefined (to always return false).
* runtime/loc2c-runtime.h: u_fetch_register() and u_store_register() are
  only called from user space dwarf context. Only needs _stp_is_compat_task()
  test.
* runtime/regs.c: Remove arch specific _stp_probing_32bit_app() and
  _stp_get_regparm() functions.
* tapset/i386/registers.stp (_stp_arg): Check regparm directly.
* tapset/powerpc/registers.stp (probing_32bit_app): Use _stp_is_compat_task()
  test.
* tapset/s390/registers.stp (probing_32bit_app): Likewise.
* tapset/x86_64/registers.stp (_stp_arg): Check regparm directly.
  (probing_32bit_app): Use _stp_is_compat_task() test.
  (regparm): Likewise.

PR12136: Test a @cast to type sdt::string

This test would previously fail to find std::string, as that type is not
at the top level of the CU in the debuginfo, but rather nested under the
DIE for the std namespace.  It should now be found.

Note however that this test is currently failing for me due to an
apparently bad argument calculation.  The @cast in the SDT probe looks
good, but from the function probe it's getting a bad pointer for $str.
It's OK on F15 i686, but not on F15 x86_64.  I think this issue is
distinct from what I'm fixing, but it need further investigation...

Fill in @cast default module from SDT

If a @cast in SDT context does not have a specified source for type
info, then we should infer it as the SDT's module, as we do for normal
DWARF-based probes.

* tapsets.cxx (sdt_uprobe_var_expanding_visitor::visit_cast_op): If the
  @cast module isn't already set, use the SDT module.
  (sdt_kprobe_var_expanding_visitor::visit_cast_op): Ditto.

PR12136: Load nested types for C++ CUs

For C++ compile units only, check for nested type definitions within
namespaces, structures, and classes.  This allows @cast to have access
to types like "std::string".

* dwflpp.cxx (dwflpp::global_alias_caching_callback): Take a flag
  has_inner_types to indicate that we should recurse, and a prefix to
  specify what we've already recursed into.
  (dwflpp::iterate_over_globals): Check whether we're in C++, then do
  the real work in the new iterate_over_types.
  (dwflpp::iterate_over_types): Do the work that iterate_over_globals
  used to handle, without assuming that we're starting in a top CU.

Improve scope splitting in function specs

We now take care to only split "::" separators that are outside of any
template specification.  So "std::foo<std::bar>" becomes only two
components, "std" and "foo<std::bar>".

* util.cxx (tokenize_cxx): Split on "::" only outside of templates.
* tapsets.cxx (dwarf_query::parse_function_spec): Use tokenize_cxx.

PR13193 wallpaper

The reported stuck process bug (whether it's in the kernel or
in stap), is apparently triggered by concurrent modprobes.  Change
the testsuite to avoid this practice, to wallpaper over the problem
temporarily.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Conflicts:
NEWS

PR 11441 - continue with unprivileged test suite

Deprecate probe types discovered during testing to have no reasonable
meaning:

      kernel.function(number).inline
      module(string).function(number).inline
      process.function(number).inline
      process.library(string).function(number).inline
      process(string).function(number).inline
      process(string).library(string).function(number).inline

Add process.plt to probe plt entries.

* dwflpp.cxx (iterate_over_plt):  New to callback through plt entries.
* dwflpp.h: Likewise.
* tapsets.cxx (TOK_PLT): New.
(base_query::query_plt_callback, query_plt):  New methods.
(base_query):  New members has_plt, has_statement, plt_val.
(base_query::base_query):  Set new members.
(dwarf_query::query_module_symtab):  Use raw address for plt entries.
(dwarf_query::add_probe_point): Don't reloc the plt entry address.
(query_module):  Call iterate_over_plt.
(plt_expanding_visitor):  New to expand $$name.
(dwarf_derived_probe::register_patterns):  Add new probe tags.

Split kregs and uregs in probe context.

Keep track of kernel registers and user registers for a probe context
separately in anticipation of k/uregs "recovery". This patch simply
replaces the regs field of common_probe_context.h with a kregs and uregs
field, plus changes all over to use one or the other to store or fetch
the appropriate registers.

PR13156 cont'd: Removed String Truncating Code

No longer truncates anything. Just prints everything as-is in
the hash log.

PR13101 Networking tapsets should have structured comments

Fix up the language for the default filter functions for ipmib, linuxmib,
and tcpmib. Also make the functions return sane values regardless of
the value of the op parameter.

PR6503 NEWS blurb

PR6503 test cases

PR6503: verify build-ids of dynamically arriving modules

With the horrible module_sect_attr* hack, the .note.gnu.build-id data
may now be verified.

* runtime/sym.c (_stp_kmodule_check): New function.
* runtime/transport/symbols.c (_stp_module_notifier): Upon MODULE_STATE_COMING,
  verify build-ids.  Reject the module from further consideration upon a
  mismatch.

PR6503: get at dynamic module section addresses via horrible hack (tm)

Since <linux/module.h> does not declare structs module_sect_attr[s],
let's declare it ourselves.  We need to get at these, because
otherwise there is no way to get at the build-id section address.

* runtime/autoconf-module-sect-attrs.c: New (partial) autoconf file.
* buildrun.cxx (compile_pass): Build it.
* runtime/transport/symbols.c (_stp_module_notifier): Use our own
  modern (2.6.19+) declaration of these structs to pass all section
  names/addresses to _stp_kmodule_update_address.

PR6503: note special build-id relocation with -DDEBUG_SYMBOLS

* runtime/sym.c (_stp_kmodule_update_address): Specially
  note .note.gnu.build-id pseudo-section being relocated.

Correct avahi package for building is avahi-devel, not avahi-client.

Systemtap compile-server and client do not require avahi.

Avahi is required for automatic detection and selection of compile-servers
but the client can still contact servers directly without avahi.

avahi-tools and avahi-devel are not required.

Updated stap-start-server, testsuite/lib/systemtap.exp and systemtap.spec
to reflect this. The specfile stills list avahi-client as a build
requirement for both the systemtap and systemtap-server packages.

PR 11441 - continue with unprivileged test suite

New test suite, unprivileged_myproc tests that process probes only
fire within the user's own process for unprivileged users.

Rename unprivileged_all.exp to unprivileged_probes.exp.

PR13156: More verbose hash log output

Added descriptions for each item added to the script's hash in
the hash's log. Also, now it limits the length of each string
printed to the last 80 characters (except paths), to make it
more readable.

BZ738242: tweak memory allocation estimation logic

* runtime/transport/relay_v2.c (_stp_transport_data_fs_init):
  In BULK_MODE, stop overestimating the number of pages we will
  need: it's num_online_cpus rather than num_possible_cpus.

Revert previous change to stap-start-server.

Failure to advertise the server via avahi is fatal again.

buildid.exp: Now no longer fails on RHEL5

Since systems earlier than RHEL 6 don't have build IDs,
this test used to fail on those systems. Now it just
is untested.

systemtap.spec: Added elfutils to the testsuite requires

This is needed for the hash_add_buildid.exp test.

PR12221: Added Test Cases

Test:
  1. Compiles a simple binary
  2. Sets timestamp to a known value
  3. Compiles a stap module probing this binary
  4. Compiles a similar binary, same size, name, path etc
     but different contents
  5. Sets the timestamp to the same as the previous one
  6. Compiles another stap module probing this new binary.

Results:
  Before the build ID was added to the hash, this sequence
  would cause stap to fetch the module from the cache, but
  now, it will compile a new one, since the build IDs are
  different.

RHBZ 737095: Unable to start a systemtap server

- Don't use getlogin to obtain user name because it can fail.
- Establish server log before issuing any messages.
- Failure of avahi to advertise is now only a warning. Avahi is not
  always available and the server can still be used directly.

Don't expose local path names in test names.

Fixed BZ639344 on s390x by adding '/lib/ld64.so.1' as a supported interpreter.

* dwflpp.cxx (iterate_over_libraries): Added '/lib/ld64.so.1' so that
  RHEL6 s390x systems behave correctly.

testsuite: sanitize paths from usymbols.exp

In the compile-failing case, one could see directory names.

testsuite: cleanup buildid.exp test item messages

Eliminate a few duplicate names, and remove a [pwd] path from the
pass/fail strings.

testsuite: excise build-tree directory names from library.exp results

PR13072: fix for translator, add for runtime

* configure.ac, runtime/staprun/configure.ac: Disable enable_sdt_probes
  for gcc < 4.0.

PR6503: enable module-init probing for 2.6.29+

Identified a few key kernel commits that are prerequisites for
this facility; it turns out 2.6.29 is good enough.

PR6503: actually allow module init/exit probes

* dwflpp.cxx (dwflpp::blacklisted_p): Skip blacklist_section
  processing for modules, since we can (sometimes) probe their
  .init / .exit sections now.
* runtime/staprun/staprun.c (send_relocation_modules): Hey, we
  only said "sometimes".  Preexisting modules lie in /sys/module/...
  about having their init stuff still in memory.  Skip those.

i18n: correct use of %# PRIx64 formatting

During the i18n conversion, we ended up with several instances of 0x%#
PRIx64 formatting directives, which duplicates the 0x.  This patch
zaps those throughout.

PR6503: tweak blacklisting logic

Previously, guru mode override for the blacklist only applied to the
file/function blacklist.  With this rework, all blacklists may be
bypassed in guru mode.

Revert "Remove CONFIG_UTRACE check in pass 2 (dwarfbuilder)."

This reverts commit 2fd2c46ca19c8d995d2376ab8ca1d3e62fb6f43e.
<jistone> tsk tsk, mjw is making a liar out of pass-2 / -l
The issue is that pass-2 does not just list the probes,
but also selects which optional probes might trigger.

Added a comment to mention the above.

PR6503: enable module arrival/departure response for kernel/module.* probes

* tapsets.cxx (dwarf_derived_probe_group::emit_module_refresh): Create real
  implementation.  Register kprobes on new module; unregister on old module.

PR6503: call systemtap_module_refresh() upon module arrival/departure

PR6503: when clearing departing module section relocations, clear them all

* runtime/sym.c (_stp_kmodule_update_address): For the reloc=NULL
  case, don't stop iterating after the first departing section.

Regen script index for process/syscalltimes.

Fix systemtap.examples/process/syscalltimes script and add test.

stap was a little too smart for the script, optimizing out unused
variables and producing WARNINGS/ERRORS for deleted variables.
Make all variable manipulation conditional on their actual usage,
add -w to surpress warnings, add a new option -c 'process' to run
during script invocation and add a meta testcase for the testsuite.

Remove CONFIG_UTRACE check in pass 2 (dwarfbuilder).

pass 4 (buildrun) already checks for CONFIG_UTRACE, so remove it from
pass 2 (dwarfbuilder) so scripts containing process() probes can at least
be semantically checked and inspected with stap -l on arches that don't
have utrace yet.

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Remove kfail from backtrace.exp. Fixed by commit 207d2d.

Use "unsigned long" in place of "uintptr_t" to compile on older kernels

Remove commented out and outdated (confusing embedded C) example from SBG.

Just remove so there are no false positives while looking for dangerous
embedded C snippets. The actual example just includes the thread-times.stp
file which is fine.

Don't try to be smart detecting perf event was in user mode.

Just use user_mode(regs) always.
Add test to check we always detect some user_mode activity.

s390 also has ambiguous asm opcode.

* sdt.exp: Add s390 to the ambiguous asm opcode list.

PR12221: Added the build ids to the script's  hash

hash.cxx
  Added the build IDs from the session variables's build_ids
  vector to the script's hash.

session.h
  Added the build_ids vector to the session.

setupdwfl.cxx
  Extracted the build IDs in setup_dwfl_kernel and
  setup_dwfl_user and added them to the build_ids vector.
  Also, rearranged the code for downloading the debuginfo
  to facilitate this patch.

Rename CONTEXT regflags to probe_flags. Now simply indicates user mode.

Renamed common_probe_context.h regflags to probe_flags, rename constant
from _STP_REGS_USER_FLAG to _STP_PROBE_STATE_USER_MODE and use throughout
tapsets to check whether in user_mode() or not.

Allow xfails for sdt.exp.

* sdt.exp (sdt_stap_run): New.  Like stap_run3 but adds FAIL.
Use it for known xfails.

Remove unused runtime/counter.c file.

change probe wildcard matching criterion in sdt_misc.exp

On i386 and x86_64 system, sdt_misc.exp fails with those messages:

i386:
FAIL: sdt_misc wildcard (40) V1_uprobe
FAIL: sdt_misc wildcard (40) V2_kprobe
FAIL: sdt_misc wildcard (40) V2_uprobe
FAIL: sdt_misc wildcard (40) V3_uprobe

x86_64:
FAIL: sdt_misc wildcard (48) V1_uprobe
FAIL: sdt_misc wildcard (48) V2_kprobe
FAIL: sdt_misc wildcard (48) V2_uprobe
FAIL: sdt_misc wildcard (48) V3_uprobe

I believe this because three variables, arr_struct, primary_colors_var, incomplete_struct_type, has been changed to conditional defined in systemtap.base/sdt_types.c:

 92 # if !defined(__cplusplus) || \
 93         ((__GNUC__ > 4 || (__GNUC__ == 4 && __GNUC_MINOR__ >= 5)) && __GXX_EXPERIMENTAL_CXX0X__)
 94   struct {
 95     int int_var;
 96   } arr_struct [2] = {{1},{2}};
 97
 98   enum  {
 99     red = 0,
100     green = 1,
101     blue = 2
102   } primary_colors_var = green;
103
104   struct opaque_struct *incomplete_struct_type = 0;
105 # endi

The criterion should be changed.

Signed-off-by: Han Pingtian <phan@redhat.com>

PR11441 - unprivileged mode test suite enhancements.

- Created a script which identifies all embedded C code in our tapset
  sources.
- Tests to ensure that calls to each function containing embedded C are
  accepted/rejected for unprivileged users, as appropriate.

runtime/staprun/configure.ac: AC_CHECK_LIB before adding -lelf.

Update known and expected failures in unprivileged_all.exp

Remove unused STP_WORK_TIMER define.

* runtime/transport/transport.h: Remove unused STP_WORK_TIMER.

Allow STP_WORK_TIMER to be changed on the stap command line.

* runtime/transport/transport.h: Allow user to override STP_WORK_TIMER
  from the command line using '-DSTP_WORK_TIMER=value'.

PR13112 Add include/asm/io_64.h blacklist.

Also simplify blfile include list (starting .* pattern needed for all
asm/include files means we can collapse some).

PR13108 blacklist probing paravirt ops from paravirt.c or paravirt.h.

PR13112 (and PR13108) blacklist probing function from include/asm .h files.

dwflpp.cxx (build_blacklist): all include/asm .h blfile patterns might
need "full path" so prefix those with '.*'
Add new XFAIL semok.exp inb_blacklisted.stp testcase.

non-guru printk test fail during semantic (p2) time, not build (p4) time.

guru functions are checked during pass 2 (semantic analysis) time.