ospf: added a convergence test for link failure

This new test simulates a link failure in router 3 and expects the OSPF
routing table to converge accordingly in all nodes.

ospf: added convergence test for IPv4

Added a convergence test for OSPF (IPv4) using the new topology
builder Topogen.

topotests: make 'quagga' check optional

Only check for quagga directories and binaries when we don't find FRR.
Also fix a copy-paste error in warning message.

topotest: simplify ldp kernel check

Use version_cmp() instead of hand rolling its own parser.

topotest: implement environment diagnostics

Run environment diagnostics on topotest start, report all detected
problems and abort if an error condition is met.

bgp_multiview_topo1: fix exabgp configuration

Allow exabgp to run on my Ubuntu 16.04 by specifying the complete path
instead of relative.

ldp-topo1: Make the implicit label optional to pass old frr code as well

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Doc: Update README to specify ExaBGP version as 4.0 is not yet supported

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

topogen: add equipment version handling

Added helper functions to TopoRouter to test equipment version and type.

topotest: add version comparison function

Implemented a version comparison function that tells if a version
contained in a string is greater/less/equal to another.

topotest: add text normalization function

Standardized function that removes format spaces (or tab) and carriage
returns characters. This function is useful to allow output text
processing without breaking diff capabilities.

Output example:
*N IA 2001:db8:2::/64                ::                        r2-eth0    00:03:39

Becomes:
*N IA 2001:db8:2::/64 :: r2-eth0 00:03:39

If you remove 'IA' you won't have space formatting problem anymore.

template: add router check test

Show test developers that they can check if routers are running by
calling tgen.routers_have_failure().

topogen: handle JSON decode failures

Instead of raise()ing, return a empty dictionary.

topogen: implement router check method

Use a standard function to do 'router running checks' instead of having
to duplicate the code in every test.

topogen: fix topogen memleak activation

When memleak_path is present in the configuration file it means that it is
activated.

topotest: add JSON list comparation support

Add missing list support for json_cmp(). The missing support was
noticed while writing the BGP ECMP topology test.

topogen: add support for ExaBGP peers

Implemented basic support for ExaBGP peers.

topogen: add error functions

Store errors and error code in topogen so other tests can look up for
failures and skip tests.

topogen: implement start/stop methods for TopoGear

Having a generic start/stop methods for TopoGear allows TopoGen to call
start/stop for all equipments. This allows us to reduce the teardown
code by removing the necessity of having to always remember to call
each equipment clean up function.

topogen: configure daemon logging files

Auto configure daemon logging files to the appropriated place. This
removes the responsibility from the test developer to set this in the
daemon configuration.

template: update test template

Use the new logger and implement a default memory leak test/report.

topogen: add per router logging

TopoRouters now create a logger (which logs to /tmp/{router_name}.log)
on start to record all commands and events that it goes through. All log
messages contain timestamps that may be used in the future to:
(1) correlate commands call with events
(2) benchmark/time command speed

topotest: use topolog instead of print

Fix some whitespace issues while at it.

topolog: support adding loggers during runtime

Allow topotest subsystems to create their own loggers. This will help
increase log organization and allow different settings to fit the
subsystems needs.

topolog: implement a logging abstraction

The default logger (root) is already being used by Mininet, so to allow
customizing logging output and configuring log files Topolog was
created. Topolog is no more than a thin layer abstraction to call
logging functions without using the 'root' logger.

all_protocol_startup: More tolerant on interface MTU output

- Allow 'MTU mismatch detection: enabled' and 'MTU mismatch detection:enabled'

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

topogen: add memory leak report configuration

Allow memory leak to be configured from the configuration file.

topogen: support configuration file

Use a configuration file for casual settings like:

* Verbosity level (helps when debugging mininet issues)
* Custom daemon directory (in order to support running different daemon
  binaries without touching tests)
* Daemon type switch: allow running quagga without touching any test
  files

Also fix the add_router() documentation to include all options.

topotest: add writing tests tips

Add two tips to help improve test code quality:
1) Store function returns for later inspection
2) Identify what failed using the assert message

topotest: improve json_cmp assert output

Create a specialized assert and json_cmp() result to improve the
comparison output. With this we also got a way to display all comparison
failures instead of just the first one.

topogen: don't backtrace when topogen is not used

This allows old tests to be run with '--topology-only' without
generating tons of error messages, instead it will just stop the test
without trying anything else.

template: allow test to be run without pytest

Update the PYTHONPATH for standalone runs and pass all command line
arguments to pytest main. Also set the executable bit to the python
scripts file.

topogen: added JSON output support for vtysh_cmd

Allow vtysh_cmd() to convert JSON output to Python data structures.
This feature will be used to get vtysh JSON outputs for tests
comparsions.

Usage example:

```py
router = get_topogen().gears['r1']
json_output = router.vtysh_cmd('show ip ospf json', isjson=True)
json_cmp(json_output, {'important_key': 'important_value'})
```

topotest: implement json_cmp function

Implemented a JSON compare function that tells you when a specific
subset of items exist or not inside a JSON dataset.

More details can be found in the function docstring or in the test file
lib/test_json.py.

template: change the default dot file

Make it look like the RIP(ng) dot files with authentic shapes and colors
for routers and switches.

topotest: added two new sections to guidelines

And fixed some smaller details in the previous sections.

topotest: small guidelines fixes

topotest: rename guidelines equipment names

Use short names for equipment names as the rest of the code in the
repository.

topogen: use shorter names for equipments

After some feedback from mwinter@, the names of equipments are now
shorter to make it easier to type them and to keep consistency with
mininet documentation. While here, update the template and make it use
optional name parameters for clarity.

topotest: add guidelines

This is the beginning of the guidelines file. It will contain all
necessary instructions to help people write topology tests.

topogen: implement __str__ for TopoGear objects

Print TopoGear name, links and type (currently TopoRouter and Switch
don't have any other useful attributes).

example: add missing __init__.py

Adding the __init__.py file makes python and its linter recognize that
the test makes part of the package, this makes us save a few lines of
code to make the linter and auto complete engines happy.

topogen: implement memory leak test call

This is a shortcut for the memory leak test, it should be used in the
new tests in order to avoid boilerplate code.

topogen: add support for setting link state

This commit changes how topology links are made in order to support
discovering who and what link is the node interface connected to. After
that, the implementation of the link state change functions were trivial
as calling a command in the node shell.

The method run() was moved from TopoRouter to TopoGear so all equipment
types can benefit from this code.

Topogen: document new options

We can now add routers to the topology using different daemon binaries
path. This will allow us to run tests with different daemon versions and
types.

topotest: parameterize daemon's path

This diff is a code cleanup that will allow us more flexibility when
defining and using the daemon binaries path, it also fixes a few pylint
warnings.

topogen: first code import

Topogen (Topology Generator) is a helper that wraps around Topotest to
simplify some of the boilerplate code. This abstraction will help the
development of new tests and new APIs without breaking the existing
ones. It also makes the relation of objects clearer, since we no longer
touch the Mininet API directly, which in turn also makes us less
vulnerable to external API changes.

lib: assert sysctl values

Implemented two functions to help setting sysctl values:

* set_sysctl: set a sysctl and return an auditable return value
* assert_sysctl: uses the previous function to assert that the sysctl
  was set

ldp-topo1: sync with PR#710 in FRR

Now zebra is adding the ldpd implicit-null labels to the RIB as well. We
don't want to hide them in the "show ip route" commands because knowing
that a route is associated with an implicit-null label is an useful
piece of information, specially when troubleshooting L2/L3 VPNs.

Note: preserve the original output for cli version 1 (stable/2.0).

Signed-off-by: Renato Westphal <renato@opensourcerouting.org>

ldp-topo1: add some debug commands to facilitate troubleshooting

Signed-off-by: Renato Westphal <renato@opensourcerouting.org>

lib: Fix stopRouter not to fail for case if daemon was never started

Fixes the issue for topotest to fail ot end of skipped LDP test on
a system without MPLS support

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

ospf6_topo1: Remove ff00:/8 routes from Linux Table compare

Some Ubuntu VM setups show ff00:/8 kernel routes, not a FRR issue

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: cleanup diff text output formatting issue and move to library

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Move AddressSanitizer check to separate procedure and add check for errors in vtysh itself as part of checkRouterRunning

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Send Output error from AddressSanitizer to StdErr

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

rip-topo1: Add check to make sure daemons are still running between essential tests

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

(all tests): Add extra check to make sure daemons are still running after each essential stage.

If daemon crashed at a later stage (not startup), then the test scripts didn't properly detect it and report unpredictable errors. This will properly log the daemon crashes

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Add different failure comment on processes killed by AddressSanitizer

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Move updated topotest.py lib with AddressSanitizer to correct directory (fix mistake from 2 commits ago)

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Doc: Update manual sample build instruction with symlink for vtysh and reference to user creation

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Add support for collecting AddressSanitizer output. See README.md for details

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

ldp-topo1: Adjust to accept new format in "show ip route" as introduced with PR 495 (extra comma)

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Fix memory leak detection and reporting which accidentally was dropped a month ago

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Fix another typo on kernel compare

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Fix version check in previous kernel compare

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Actually fix version comparison

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Spell Verifying correctly

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Fix tests to handle new output

The show commands for bgp now have a bit more
data associated with labeled unicast routes.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

lib: Fix kernel version parsing

When we have a kernel sub version > 10 the float conversion
of the kernel version causes 4.10 to be less than 4.5

Get the kernel version in groups on <major>.<minor> and do
comparison that way

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

ospf6-topo1: Update to ignore the proto type in linux kernel table

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

all-protocol-startup: Fix bad assert in case of failed vtysh output test

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

all-protocol-startup: Fix pref commit - bamboo prefix is lower case

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

all-protocol-startup: Add option to skip currently broken checks and relax BGP check

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

ripng-topo1: Fix duplicate IP (Thanks Renato!) and documentation typos

all-protocol-startup: Add test suite which runs all protocols at once and verifies startup and spurious errors of each

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Add function to check for daemon available (i.e. LDPd) and function to return typ (quagga or frr)

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Update FreeRangeRouting -> FRRouting name

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

rip_topo1: Adding new test for RIPv2 Topology

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

ripng_topo1: Adding new test for RIPng Topology

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

topotest library: Fix creation of /etc/XXX/vtysh.conf

- Needs to be created in local filesystem of each router

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

bgp_multiview_topo1: Fix case of tests hanging if convergence is not successful.

- Part of a command was missing which caused a hang in cases when BGP didn't converge

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

LDP-Topo1: Update test to accept new format of LDP output

* Added test to check for version
* Adopted all tests to verify against the correct version of output

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Fix README incorrect reference to Quagga

ldp-topo1: Fix ordering of reference output to check against

Ordering of output is now done by LDP and should be consistent

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

ldp-topo1: Delete accidentally include tar file

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Update Readme to have correct ordering for frr user

We cannot usermod the frr user until after we
create the user with adduser.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Update Readme to reflect FreeRangeRouting name

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

bgp_multiview_topo1: Mask out BGP Table version in comparison

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Added optional output for memleaks at the end of test. Enable them by setting the environment variable TOPOTESTS_CHECK_STDERR to some value

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Move common function and class to topotest library

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

ldp-topo1: Add new LDP Topology Test

bgp_multiview_topo1: Fix bad check for running daemons

Only one ruter running in the setup

Add support for FRR in addition to Quagga

change in checkRunning: Check all daemons on all nodes before aborting with an assert

ospf6-topo1: Add Markdown doc with testdescription

bgp_multiview_topo1: Rename test_description.md to README.md for automatic rendering in online git

bgp_multiview_topo1: Add Markdown doc for test

README: Add example configure statement for building test quagga code

bgp_multiview_topo1: Change from unified to context diff for better readability

ospf6-topo1: Add check for Linux Kernel Routing Table as well and change to better human readable context diff