PR4166: Allow array-like indexing on pointers

* dwflpp.cxx (dwflpp::translate_components): let pointers get treated
  the same as arrays, and add a final DIE dereference for array access.
* loc2c.c (c_translate_array): tolerate pointer types
* testsuite/systemtap.base/pointer_array.*: new test

tapsets.cxx doesn't need loc2c.h. All done through dwflpp.cxx now.

* tapsets.cxx: Remove loc2c.h include.

Remove -O[0123s] gcc optimization flags for gcc pass 4 speedups again.

We cannot guarantee that (un)optimized code compiles and/or generates
fully functional code, so don't tempt the user to try it out.

* session.h (struct systemtap_session): Remove gcc_flags string field.
* hash.cxx (find_script_hash): Don't add gcc_flags.
* main.cxx (usage): Remove -O[0123s] documentation.
(main): Don't use gcc_flags.
* buildrun.cxx (compile_pass): Don't add gcc_flags to EXTRA_CFLAGS.
* stap1.in: Remove -O[0123s] documentation.
* testsuite/systemtap.base/cache.exp: Remove tests for -O[0123s].

Make kernel opt-level the default again.

* main.cxx (main): Default gcc_flags to kernel opt-level (empty).
* buildrun.cxx (compile_pass): Add -freorder-blocks back, document choices.
* stap.1.in: Document new default opt-level.
* testsuite/systemtap.base/cache.exp: Adjust for new caching results.

PR10075: emit address in probe registration logic

* tapsets.cxx(dwarf_derived_probe_group::emit_module_init,
  kprobe_derived_probe_group::emit_module_init): print address.

Add -O[0123s] gcc optimization flags for gcc pass 4 speedup.

* session.h (struct systemtap_session): Add gcc_flags string field.
* main.cxx (usage): Document -O[0123s].
  (main): Default gcc_flags to -O0. Add O:: to getopt_long. Handle case
  'O' to set gcc_flags.
* buildrun.cxx (compile_pass): Add gcc_flags to EXTRA_CFLAGS.
* stap1.in: Add -O[0123s] documentation.
* testsuite/systemtap.base/cache.exp: Add tests for -O[0123s].

PR3523 was fixed, enable -t cache test case.

* testsuite/systemtap.base/cache.exp: Enable -t tests.

Don't accidentially use user space ntohs function.

The definition of ntohs comes from user space include headers
netinet/in.h which could define it as function instead of macro.
So use builtin kernel be16_to_cpu instead.

* tapset/aux_syscalls.stp (_struct_sockaddr_u): Define and use _stp_ntohs
  as be16_to_cpu.

Fix source_loc ostream operator << representation.

* parse.cxx (operator << (ostream&,const source_loc&)): Add loc.file->name.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Rename systemtap_exit to cleanup.
Allow shutdown_server to test $server_pid in order to determine whether we started a server.

Add numa_faults.stp example.

PR10381 sdt.h macros create relocatable addresses in non-writable section.

Allocated section needs to be writable when creating pic shared objects
because we store relocatable addresses in them.

* includes/sys/sdt.h (ALLOCSEC): New macro, depends on __PIC__.
  (STAP_PROBE_DATA_): Use new ALLOCSEC macro.

Remove the filename copy from token->location

The location already has a pointer to a stapfile with the filename, so
there's no need to keep an extra copy.

Optimize string usage in the lexer

This speeds up the parsing stage >2x, mostly by minimizing string
construction and comparison where char comparison will do.

Added timer data flushing and overwrite handling to the ring_buffer transport.
* buildrun.cxx (compile_pass): Checks for ring_buffer api change.
* runtime/autoconf-ring_buffer-flags.c: New file.
* runtime/transport/ring_buffer.c (tracing_wait_pipe): No longer
  schedules, just returns.  The timer function will handle it later.
  (_stp_data_write_reserve): Handles ring_buffer api change.  Added
  overwrite processing.  If we're full, delete an event to make room.
  (_stp_data_write_commit): Handles ring_buffer api change.
  (__stp_relay_wakeup_timer): New function.
  (__stp_relay_timer_start): Ditto.
  (__stp_relay_timer_stop): Ditto.
  (_stp_transport_data_fs_start): Calls __stp_relay_timer_start().
  (_stp_transport_data_fs_stop): Calls __stp_relay_timer_stop().
  (_stp_transport_data_fs_overwrite): Sets overwrite flag.

PR3498, cont'd

* dwflpp.cxx (dwfl_report_offline_predicate): Reject NULL filenames.

Fix signal.send matching for 2.6.30+.

Clarify sdt.h license for public domain.

Do not use GPL for sdt.h.

PR3498 cont'd, fix wildcard module("*") probes

* dwflpp.cxx (name_has_wildcard): Make static.
  (dwfl_report_offline_predicate): Check & adjust behavior.
* dwflpp.h: Corresponding changes.
* tapsets.cxx: Note that kern_dw[] keys may be wildcard strings.
* testsuite/buildok/fortysix.stp: New test.

Add support for constant struct member field offsets.

* loc2c.h (c_translate_add_offset): New function prototype.
* loc2c.c (c_translate_add_offset): New function implementation.
* loc2c-test.c (handle_variable): Use c_translate_add_offset if appropriate.
* dwflpp.cxx (translate_location): Likewise.

More gcc 4.5 'jump skips variable initialization' fixlets.

* tapset/ioblock.stp (__bio_start_sect): Declare, then initialize variables
  that could (through kread) take an early jump.
* tapset/nfs_proc.stp (get_prot_from_client): Likewise.
* tapset/scsi.stp (scsi_timer_pending): Likewise.
* tapset/task.stp (task_cpu): Likewise.
  (task_open_file_handles): Likewise.

canonicalize exelib.exp test case names by [file tail /full/path]

PR3498: speed up pass-2 and pass-3 for kernel offline dwfl module searching

* dwflpp.cxx (dwflpp ctor): Parametrize for user/kernel modes.
  Update callers.
  (dwfl_report_offline_predicate): New function.  Filter and
  abort searches early if possible.
  (setup_kernel): Use new predicate.
* dwflpp.h: Corresponding changes.
* tapsets.cxx (dwfl_report_offline_predicate): Remove this shared
  implementation.
  (dwarf_builder): Turn kern_dw into module_name->dwflpp* map, just
  like user_dw.
  (get_kern_dw): Adapt.
  (dwarf_build_no_more): Adapt.
* tapsets.h: Remove old shared predicate.
* translate.cxx (dwfl_report_offline_predicate2): New function.
  Filter and abort searches early if possible.
  (emit_symbol_data): Use it.

PR10348 Compilation failure with gcc 4.5 snapshot: switch jumps over vars.

* loc2c-test.c (print_vars): Define attr_mem, typedie_mem and typedie before
  switch.
* loc2c.c (translate): Wrap case DW_OP_drop in block brackets.
  (location_relative): Initialize stack.

BZ 490234 fix.
* runtime/procfs.c (_stp_rmdir_proc_module): Now before removing either
  '/proc/systemtap/${MODULE}' or '/proc/systemtap', lock the transport
  directory.  Also make sure '/proc/systemtap' is empty before removal.

Fixed PR 10258.
* tapset-procfs.cxx (procfs_derived_probe::join_group): Outputs structure
  definition.
  (procfs_derived_probe_group::emit_module_decls): The generated
  '_stp_procfs_read' and '_stp_procfs_write' functions no longer put a
  string_t on the stack.
  (procfs_var_expanding_visitor::visit_target_symbol): The generated
  '_procfs_value_set' and '_procfs_value_get' functions copy directly
  into or out of the os buffer.

PR10327: resolve symbol aliases to dwarf functions

This will first read in the symbol table for modules, and update the
dwarf cu_function_cache with aliased names too.  Then when iterating
in dwarf, all of the possible names are matched, instead of only the
canonical dwarf name.

* dwflpp.cxx (dwflpp::iterate_over_functions): call update_symtab,
  and track wildcard addresses in a set to avoid alias dupes
* dwflpp.h (symbol_table::Compare): removed
* tapsets.cxx (symbol_table::map_by_addr): replaces list_by_addr
  (symbol_table::sort): removed -- multimap doesn't need sorting
  (symbol_table::mark_dwarf_redundancies): removed, see update_symtab
  (symbol_table::purge_syscall_stubs): remove map elements inline
  (dwarf_query::handle_query_module): preload the symtable.
  (query_dwarf_func): don't compare the function a second time,
  especially since it may have been an alias that matched at first.
  (module_info::get_symtab): allow being called multiple times
  (module_info::update_symtab): copy dies from the cache to the symtab,
  and also add aliased names to the cache

AUTHORS update

Removed extra period in statement.(ADDRESS)

SystemTap Language Reference: DWARF-less probing patch

Here is a patch to the Language Reference Guide that adds information
about DWARF-less probing.

Signed-off-by: Robb Romans <robb@linux.vnet.ibm.com>
Signed-off-by: Josh Stone <jistone@redhat.com>

Special case _stp_kretprobe_trampoline emission for -1

* translate.cxx (emit_symbol_data_done): Special case
_stp_kretprobe_trampoline emission for -1, which is invalid
in hex if host width > target width.

Add shebang

Make the file executable

Update memory and ioscheduler tapset for 2.6.31

* tapset/ioscheduler.stp (elv_next_request): Change to blk_peek_request.
* tapset/memory.stp (vm.pagefault): Replace $write_access.

An i386 kprobe needs regparm(0) to access args.

* tapsets.cxx (probe_table::convert_probe): Add regparm for kprobe.

Use_utrace_syscall_arg with sdt utrace probes to avoid i386 arg fetching problems.

* tapsets.cxx (probe_table):  Add is_uprobe and is_utrace.
(probe_table::convert_probe): Use _utrace_syscall_arg.
(sdt_var_expanding_visitor): Add utrace_probe.
(sdt_var_expanding_visitor::visit_target_symbol): Use _utrace_syscall_arg.

PR10335 systemtap.base/strftime.exp hangs.

This only happened if there was a lot of cruft in the testsuite dir since
expect wasn't "draining" the output of the spawned ls command for some
reason. Work around it by just using tcl file globs to match.

* testsuite/systemtap.base/strftime.exp: Test with glob and file exists.

PR10323 Some ustack exelib.exp tests fail with prelinked shared libs.

For shared libraries (.dynamic sections) we need the eh frame section
address offset. This is the sh_addr if the shared library isn't prelinked
(since the base load address is zero in that case), otherwise it is
the module start address minus the bias (which also works for the
non-prelinked case).

* translate.cxx (get_unwind_data): Adjust eh_addr for module start and
  bias if module isn't absolute (has no relocations).
* testsuite/systemtap.exelib/ustack.tcl: Accept all prelink tests.

stap-* scripts should be executable.

Only compile with plain gcc for exelib.exp testcases.

g++ is also supported but disabled because it didn't add much interesting
differences in binaries and exploded the test search case a bit.
* testsuite/systemtap.exelib/exelib.exp: Disable g++ by default, but
  keep support for enabling it.

Add seperate debuginfo after prelinking to exelib.exp tests.

We split debuginfo before prelinking, that means that the base load address
of the .so is non-zero, while for the .debug files they are zero.  In the
other case we supported sep-debug without prelinking both .so and .debug
load bases were zero. In this new test case both base load addresses are
non-zero.

* testsuite/systemtap.exelib/exelib.exp: Add libdebug == "sep-after" to
  indicate separate debuginfo after prelinking library. Skip sep-after
  if not prelinking.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Have appropriate argument for bkl.stp built and run tests.

Enable exelib.exp prelink tests except for ustack.tcl.

* testsuite/systemtap.exelib/exelib.exp: Enable prelink "yes".
* testsuite/systemtap.exelib/ustack.tcl: Ignore any prelink test (PR10323).

PR10305 Mark probes fail on prelinked shared library.

Mark probes rely on literal statement addresses, these are based on the
on-disk module address space. Introduce helper function to turn such
addresses into symbol addresses as expected by libdwfl. Also properly
adjust for dw bias when such addresses are used in dw queries.

* dwflpp.h (dwflpp::literal_addr_to_sym_addr): New method.
* dwflpp.cxx (query_cu_containing_address): Don't "globalize" address.
  (literal_addr_to_sym_addr): New method.
* tapsets.cxx (query_module_dwarf): Turn literal addresses into symbol
  addresses.
  (query_dwarf_func): Likewise and adjust for dw module bias.

loc2c-test resolve through const and volatile types.

* loc2c-test.c (handle_variable): Resolve through DW_TAG_const_type and
  DW_TAG_volatile_type typetags.

Remove needless string copying

More fat-trimming optimization for ~7% off listing syscall.*.

* dwflpp.cxx (dwflpp::iterate_over_functions): remove a parameter copy
  (dwflpp::module_name_matches): Use const string& parameters
  (dwflpp::name_has_wildcard): Ditto.
  (dwflpp::module_name_final_match): Ditto.
  (dwflpp::function_name_matches_pattern): Ditto.
  (dwflpp::function_name_matches): Ditto.
  (dwflpp::function_name_final_match): Ditto.

mention that process.* probes are limited to -c/-x hierarchy if given

Make blk.stp and blk_stats.stp executable.

Add the bkl.stp and bkl_stats.stp examples.

PR 10313 Build error due to deprecation of elf_getshstrndx in elfutils (old)

Really old versions of elfutils didn't have version.h, but we still want
to support them. So add workaround also for that case.

* dwflpp.h: Define elf_getshdrstrndx as elf_getshstrndx also for really
  old elfutils versions.

PR 10313 Build error due to deprecation of elf_getshstrndx in elfutils.

* dwflpp.h: Check elfutils version, define elf_getshdrstrndx as
  elf_getshstrndx if elfutils 0.142 detected.
* dwflpp.cxx (get_blacklist_section): Use elf_getshdrstrndx.
* tapsets.cxx (probe_table): Likewise.
  (prepare_section_rejection): Likewise.

Remove unused strlens from str_replace

Testcase For str_replace()

This patch adds the test case needed for this function. I have added
few tests. If required more can be added in future.

As discussed in previous version, the testcase patch has been reverted
to the original as the str_replace() functionality has changed wrt to
error handle.

Signed-off-by: Varun Chandramohan <varunc@linux.vnet.ibm.com>
Signed-off-by: Josh Stone <jistone@redhat.com>

Add str_replace() To Tapsets

This patch adds a search and replace string functionality to existing
tapsets.

The functionality is as follows:

The function takes in a parent string and searches for a substring as
specified by the user. If substring not found, the parent string is
returned. If substring is found, it is replaced by another string and
returned.

NOTE: The function will search and replace all the occurrence of
substrings in a parent string when matched.

Signed-off-by: Varun Chandramohan <varunc@linux.vnet.ibm.com>
Signed-off-by: Josh Stone <jistone@redhat.com>

Merge commit 'origin'

Bump up the default timeout for target_set test

Starting the test with a cold cache can take easily longer than
dejagnu's default 10 second timeout.  I'm bumping it to 180 seconds,
the same as in the stap_run library functions.

Correct typo in forktracker.meta.

Strip -o option suffix

dtrace: Strip the -o option suffix.

Add test for target_set tapset.

Signed-off-by: Josh Stone <jistone@redhat.com>

PR10308 Beginning of statement check should provide alternatives.

tapsets.cxx (query_cu): Add suggested address if found to error message.

PR10307 beginning of statement check should be overridden in guru mode.

* tapsets.cxx (query_cu): When in guru mode just issue an warning (if not
  suppressed) instead of an error when address isn't at the beginning of
  a statement.

Fix various issues in initscript (bz506956)

* initscript/systemtap.in: Fix messages.
  (clog): Don't strip spaces out.
  (parse_args): Parse -y option.
  (status): Show message if no scripts are running.
  (restart): Don't try to stop scripts if no scripts are running.

Fix on-file flight recorder mode bugs on old kernel.

* runtime/staprun/common.c (make_outfile_name): Moved from relay.c, fix not to
  open /dev/null.XXX output files, and add 'bulk' argument for bulkmode.
* runtime/staprun/relay.c (make_outfile_name): Moved to common.c.
* runtime/staprun/relay_old.c (open_oldoutfile): Fix to use fopen() and store
  FILE * to percpu_tmpfile[cpu].

Correctly find probes for -m32 executables.

* sdt.h (STAP_PROBE_DATA_): Pad with 0 so final probe entry doesn't
pickup a stray word.
* sdt_misc.exp (static_user_markers.{c,d}): Add bstruct to test struct
  type handling

Merge branches 'master' and 'master' of ssh://sourceware.org/git/systemtap

Merge branch 'master' of ssh://sourceware.org/git/systemtap

Rename static_uprobes.exp to sdt_misc.exp

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Disabled transport version 3 (for now).

Revert "Make examples-index-gen.pl executable."

This reverts commit 0c98234c86877cfea3df762dc8627b3f05c38e75.

Merge commit 'origin/master' into pr7043

Make forktracker.stp example executable.

Make examples-index-gen.pl executable.

Add froktracker.stp example.

Fix target_set tapset.

Revise acquiring of pid and ppid in fork.return probe -- use returnval()
and pid() instead of pid() and ppid() respectively. Add pid removal on
exit syscall. Use dwarfless syscall probe aliases. Correct formatting.

Signed-off-by: Josh Stone <jistone@redhat.com>

Cleanup.
* runtime/print_old.c: Removed unneeded file.
* runtime/print_flush.c: Renamed from print_new.c
* runtime/print.c: Includes print_flush.c (instead of print_new.c).

Transports now export their state.
* runtime/transport/transport.h: Added prototype for
  _stp_transport_get_state().
* runtime/transport/relay_v2.c (_stp_transport_get_state): New function.
* runtime/transport/relayfs.c (_stp_transport_get_state): Ditto.
* runtime/transport/ring_buffer.c (_stp_transport_data_fs_init): Sets
  state.
  (_stp_transport_data_fs_start): Ditto.
  (_stp_transport_data_fs_stop): Ditto.
  (_stp_transport_get_state): Returns state.
* runtime/print_new.c (stp_print_flush): Checks transport state before
  trying to flush.

PR10298: tweak global param initialization for NULL etc.

* translate.cxx (translate_pass): Emit module_parm stuff at the very end.
* testsuite/buildok/null.stp: New test.

Moved global data into a single structure.

Removed unused code (and all references to 'utt').

Check in sk_stream_wait_memory.stp example.

Merge commit 'origin/master' into pr7043

Enabled overwrite processing on original transports.
* runtime/transport/relay_v2.c (_stp_transport_data_fs_overwrite): Renamed
  from stp_relay_set_overwrite().
* runtime/transport/relayfs.c (stp_relay_set_overwrite): Ditto.
* runtime/transport/ring_buffer.c (_stp_transport_data_fs_overwrite): New
  place holder function.
* runtime/transport/transport.c (_stp_detach): Calls
 _stp_transport_data_fs_overwrite().
  (_stp_attach): Calls _stp_transport_data_fs_overwrite().
* runtime/transport/transport.h: Added prototype for
  _stp_transport_data_fs_overwrite().

PR10273 Correctly adjust libdw address for dwfl dwarf bias.

* dwflpp.cxx (relocate_address): Adjust reloc_addr at start, not afterwards.

Cast STAP_PROBE1 parameter.

* sdt.h (STAP_PROBE1): Add cast of parm1 for narrower signed types.

Merge commit 'origin/master' into pr7043

Made testcase handle slower systems.
* testsuite/systemtap.base/flightrec3.exp: Fixed for slower systems.

Refactor common code in the tokenize test

Fix tokenize function and test.

Previous implementation was error-prone, because allowed returning empty
tokens (mimiced strsep()), which is fine if there is a NULL semantic.
Unfortunately SystemTap doesn't provide it in scripts and has only blank
string (""), therefore testing against it was misleading.
The solution is to return only non-empty tokens (mimic strtok()).

* tapset/string.stp: Fix tokenize.
* testsuite/systemtap.string/tokenize.stp: Improve and add case with
  more than one delimiter in the delim string.
* testsuite/systemtap.string/tokenize.exp: Ditto.
* stapfuncs.3stap.in: Update tokenize description.
* doc/langref.tex: Ditto.

Signed-off-by: Josh Stone <jistone@redhat.com>

Merge commit 'origin/master' into pr7043

Improved error handling.
* testsuite/systemtap.base/flightrec3.exp: Improved error handling.

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap

Specify how to generate Publican document with separate build directory.

PR10273. uprobes fail to insert on prelinked library.

* dwflpp.cxx (relocate_address): For .dynamic section addresses adjust for
  module bias.

Use the expanded value for sdt $$name

* tapsets.cxx (dwarf_builder::build): pass probe_table.probe_name into
  the sdt_var_expander instead of .mark_name, so wildcards are resolved.

Merge commit 'origin/master' into pr7043

Conflicts:
runtime/transport/transport.c

Merge branch 'master' of ssh://sources.redhat.com/git/systemtap