Merge pull request #3481 from opensourcerouting/6.0-spelchek

[6.0] spelchek

*: spelchek

Signed-off-by: David Lamparter <equinox@diac24.net>

Merge pull request #3470 from pacovn/label_manager_fixes_6.0_backport

Label manager fixes 6.0 backport

bgpd: fix test (using bgp instance 0)

Signed-off-by: F. Aragon <paco@voltanet.io>

zebra: filter zebra messages (label manager)

This change makes the zebra acting as label manager proxy not to relay non-LM
messages to clients that a zebra acting in non-proxy mode may send to it. Also,
the existing code does not schedule a rcv in case of relay_response_back
returns -1. This patch re-schedules reads on the socket even in case such a
function returns -1 by calling thread_add_read().

Signed-off-by: F. Aragon <paco@voltanet.io>

bgpd, doc, ldpd, lib, tests, zebra: LM fixes

Corrections so that the BGP daemon can work with the label manager properly
through a label-manager proxy. Details:

- Correction so the BGP daemon behind a proxy label manager gets the range
  correctly (-I added to the BGP daemon, to set the daemon instance id)
- For the BGP case, added an asynchronous label manager connect command so
  the labels get recycled in case of a BGP daemon reconnection. With this,
  BGPd and LDPd would behave similarly.

Signed-off-by: F. Aragon <paco@voltanet.io>

Merge pull request #3433 from opensourcerouting/init-6.0

[6.0] init script & vtysh pager rework

Merge pull request #3451 from opensourcerouting/6.0-build

[6.0] build reproducibility

build: fix reproducibility re. -fdebug-prefix-map

If CFLAGS contains something like `-fdebug-prefix-map=/build/path=.`, we
need to remove it from CONFIG_ARGS so it doesn't get baked into `show
version`.  Otherwise, build becomes non-reproducible if the build path
changes.  To avoid other things creeping in, let's just remove *FLAGS in
their entirety.  (Not really reliable information anyway.)

With this commit, FRR build should be 100% reproducible.

Signed-off-by: David Lamparter <equinox@diac24.net>

tests: fix domainname dependency

These are causing random test failures when the host's domainname is
actually set to something (as opposed to empty/unset, which it is 99% of
times.)

Signed-off-by: David Lamparter <equinox@diac24.net>

vtysh: rework/straighten pager handling

- no longer try to special-case a custom terminal length; the OS has
  procedures for that (SIGWINCH & TIOCGWINSZ)
- only use a pager if requested by CLI command or VTYSH_PAGER.  The
  behaviour with VTYSH_PAGER set should be compatible to previous
  versions.

Signed-off-by: David Lamparter <equinox@diac24.net>

*: get rid of most daemons.conf references

There's a few left over to get compatibility and not break user
installs, but most is gone.

Signed-off-by: David Lamparter <equinox@diac24.net>

debian/tools: new init script

This separates the init script used for the system (and called in the
systemd unit file) from the script that watchfrr uses to control
daemons.  Mixing these two caused the entire thing to become a rather
huge spaghetti mess.

Note that there is a behaviour change in that the new script always
starts zebra regardless of zebra_enable.

Side changes:
- Ubuntu 12.04 removed from backports since it doesn't work anyway
- zebra is always started regardless of zebra_enable.  To disable FRR,
  the entire init script should be disabled through policy.
- no-watchfrr operation is no longer supported by the scripts in the
  Debian packages.  (This is intentional.)

Signed-off-by: David Lamparter <equinox@diac24.net>

watchfrr: add status command

Just to see WTF is going on inside watchfrr...

Signed-off-by: David Lamparter <equinox@diac24.net>

watchfrr: immediately try connecting after start

When we make a call to (re)start some daemon(s), we can immediately try
connecting to its VTY socket after the script completes.  If the daemon
started correctly, this will always succeed since the start script only
returns after daemon startup is complete.

Among other things, this reduces the delay to "startup complete"
notification at initial watchfrr start.

Signed-off-by: David Lamparter <equinox@diac24.net>

Merge pull request #3430 from donaldsharp/ospf_lsa_6.0

ospfd: default route got flushed after lsa refresh timer.

Merge pull request #3432 from opensourcerouting/6.0-backport-bgp-ifp-crash

[6.0] bgpd: Prevent possible crash when parsing v6 attributes

watchfrr: don't wait around pointlessly at startup

We were waiting for timers to expire even when we already know the
status of all daemons.  This delays startup for no good reason.

Signed-off-by: David Lamparter <equinox@diac24.net>

watchfrr, lib: cleanup & delay detaching

This cleans up watchfrr to be more "normal" like the other daemons in
terms of what it does in main(), i.e. using the full frr_*() call set.

Also, this changes the startup behaviour on watchfrr to stay attached on
the daemon's parent process until startup is really complete.  This
should allow removing the "watchfrr.started" hack at some point.

Signed-off-by: David Lamparter <equinox@diac24.net>

tools/frr: get rid of the bash array and "bB"

With a little shell-fu, this can actually be escaped properly.

Signed-off-by: David Lamparter <equinox@diac24.net>

bgpd: Prevent possible crash when parsing v6 attributes

The peer->nexthop.ifp pointer must be set when parsing the
attributes in bgp_mp_reach_parse, notice this
and fail gracefully.

Rework bgp_nexthop_set to remove the HAVE_CUMULUS and to
fail the nexthop_set when we have a zebra connection and
no ifp pointer, as that not havinga zebra connection and
no ifp pointer is legal.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>
(cherry picked from commit 17cdd31e00b2ca2763c042a415bfcf03b614a783)

ospfd: default route got flushed after lsa refresh timer.

Default route type is not considered while  processing  lsa
refresh timer  expiry   which intern makes it flushed from lsdb.

Signed-off-by: rgirada <rgirada@vmware.com>

Merge pull request #3407 from opensourcerouting/60-bfd-fix-mhop-bsd

6.x: bfdd: fix multihop on FreeBSD

bfdd: fix multihop on FreeBSD

Some systems have a extra `struct sockaddr*` field (`_len`) which must
be filled in order for the peer lookup to work.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>
(cherry picked from commit f43a14d2d3051899f77b859dd001b9478f6d9e86)

Merge pull request #3282 from opensourcerouting/60-fix-bfd-ipv6-unnumbered

6.0: bfdd: fix BGP unnumbered peer setup

bfdd: fix BGP unnumbered peer setup

The session key uses the scope id to figure out which interface we are
using with that link-local address, so if we don't set it when
registering a session we'll end up with multiple IPv6 sessions.

This bug was spotted by Sandro Bolliger.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

Merge pull request #3253 from opensourcerouting/6.0-backport-build

6.0: backport build changes from master

redhat: remove @CONFDATE@ from spec

CONFDATE should not be used like this.  Also, the extraversion is now
burned into tarballs anyway so this is no longer neccessary.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: make rfptest and ospfclient "noinst"

Both of these are testing/demo-style tools that don't make sense as part
of a normal installation.  So don't install them.

NB: this is only the executables, libospfclient and the RFP code are not
affected.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: crop excessive net-snmp library list

This fixes the longstanding GPL vs. OpenSSL licensing issue in our SNMP
code (and cuts down on its other dependencies a wee bit.)

In a way, net-snmp is really buggy here in what it says that we should
link against, but I don't know their application scenarios well enough
to say it should be changed at their end.

Signed-off-by: David Lamparter <equinox@diac24.net>

Merge pull request #3244 from k0ste/stable_6.0_backports

stable/6.0: tools/frr: use path settings from ./configure

build: add "redistclean" target

This puts a source tree back in the state it was in after unpacking a
dist tarball.  Different from distclean in that it doesn't remove files
that are included in the tarball.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: make clean and dist consistent

We weren't cleaning up some files (a whole lot of python foobar) and had
some files in the dist tarball that don't quite belong there.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: work around automake wtf

For some reason, automake was "randomizing" the order of these few lines
in the generated output Makefile.in.

I have absolutely no clue what's going on, but it's the only thing
preventing me from building reproducible source tarballs (i.e.
bit-exactly identical), so... just slightly "rephrase" this.

Should behave exactly the same as before.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: carry --with-pkg-extra-version into tarballs

If we use "./configure --with-pkg-extra-version=... && make dist", we
probably want the dist tarball to remember the extra version it was
configured with.

Use --without-pkg-extra-version to kill the tag.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: rewrite readline/curses check

We don't need termcap/tinfo/curses, those are just for libreadline.  On
most modern systems, libreadline will pull in the appropriate libs it
needs on its own, so unconditionally adding them adds an extra unneeded
dependency for us.

Still need to try with curses/... for some systems, but only after bare
readline fails.

Signed-off-by: David Lamparter <equinox@diac24.net>

debianpkg: remove bad USE_* options, add WERROR

This strips the USE_PIM, USE_BFD and USE_LDP options, all of which are
just straight up counterproductive knobs.

Instead, --enable-werror really needs to default to off, so add an
option for that.

Lastly, use --disable-dependency-tracking to speed up the build.

Signed-off-by: David Lamparter <equinox@diac24.net>

debianpkg: clean up dependencies

- accept either python2 or python3 packages for everything
- drop texlive-latex-base, texlive-generic-recommended (only needed for
  PDF docs)
- python-ipaddr is not a build time requirement, only runtime

Signed-off-by: David Lamparter <equinox@diac24.net>

debianpkg: strip ancient/unused cruft

The SNMP MIB directory is unneeded, --enable-poll has been long gone,
the "build" target is straight up wrong (causing FRR to be built in the
install step) and we haven't needed /proc for configure in ages either.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: try to use -D option for ar and ranlib

The -D option zeroes out timestamps in .a files and has become the
default on recent distributions to enable reproducible builds.

This also shuts up the "u ignored because D is default" warning that is
showing up on some distributions.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: fix some escapes in configure.ac

Some test statements were missing "" around variables causing syntax
errors during configure runs.

Signed-off-by: David Lamparter <equinox@diac24.net>

tools: add a script for building a Debian package in one step.

The script simplifies the relatively lengthy procedure.
It should be invoked from the top level source directory, for example:
./tools/build-debian-package.sh

Signed-off-by: Daniil Baturin <daniil@baturin.org>

doc: Use `mv -f` in Makefile

Sphinx always runs, even in the `make install` stage. When `make install`
is run as root and then another `make` is run by a nonprivileged user,
some versions of `mv` prompt like this:

    mv: replace 'doc/manpages/_build/man/man.stamp',
                 overriding mode 0644 (rw-r--r--)?

Add -f to `mv` to avoid this. As `-f` is part of Posix, this should be
portable enough.

Signed-off-by: Christian Franke <chris@opensourcerouting.org>

tools: Update .gitignore

Signed-off-by: Christian Franke <chris@opensourcerouting.org>

frr-reload.py: Add python2 & python3 compatibility.

Signed-off-by: jpmondet <jp@mondet.org>

tools/frr: use path settings from ./configure

...so we properly locate config files and daemons whereever the user
decided to put them.

Signed-Off-By: David Lamparter <equinox@diac24.net>

frr: add README.md to EXTRA_DIST

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

frr: improve README

Friendly READMEs are all the rage!

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

frr: remove stale files, allow non-GNU Automake

* Add 'foreign' option to allow Automake to ignore missing GNU standard
  files
* Remove AUTHORS
* Remove NEWS
* Remove ChangeLog

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

build: move SPHINXBUILD= to configure in rpm build

Need to pass this on configure now to work properly.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: fix not building docs w/o sphinx

Can't build manpages without sphinx-build, oops...

Signed-off-by: David Lamparter <equinox@diac24.net>

build: fix & clean up *SAN flags

ASAN/MSAN/TSAN flags need to be in CFLAGS and LDFLAGS; the latter links
the correct compiler-dependent library.  Also, the configure switch was
broken (--disable-... would enable the sanitizer.)

Signed-off-by: David Lamparter <equinox@diac24.net>

build: make pkgconfig configure output useful

The variable name is not exactly the most helpful thing there.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: clean up protobuf build integration

We were linking all libs and binaries against libprotobuf-c if the
option was enabled... that makes no sense at all.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: use -export-dynamic

Signed-off-by: David Lamparter <equinox@diac24.net>

build: move RFPLDADD to bgpd/rfp-example/librfp

This makes it slightly easier to replace the stub RFP code with an
external implementation.

Signed-off-by: David Lamparter <equinox@diac24.net>

vtysh: make RPKI node non-conditional

Whether or not RPKI is enabled during build shouldn't really influence
vtysh; the user can always manually install bgpd_rpki.so later and it
should work.  This also means that the behaviour of "RPKI module not
loaded" is consistent regardless of whether it was a compile-time or
runtime decision.

Signed-off-by: David Lamparter <equinox@diac24.net>

*: cleanup .gitignore files

Signed-off-by: David Lamparter <equinox@diac24.net>

tests: properly locate files in builddir

test_cli.refout is written by configure into the build directory, thus
we need a little special glue to find it correctly.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: move vtysh & manpage listings to subdir.am

Since we're now building through one large Makefile, we can easily put
things with their daemons and crossreference nicely.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: remove common.am

Fold things into where they make sense.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: include helper Makefiles in dist

Need these to have "make" work in subdirectories.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: non-recursive tests

May SUBDIRS rest in pieces... er, peace.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: non-recursive vtysh

Signed-off-by: David Lamparter <equinox@diac24.net>

build: non-recursive bgpd & rfp

Note: no more --with-rfp-path on configure - badly messing with the
build system like this really isn't how to do a conditional external
dependency.

Signed-off-by: David Lamparter <equinox@diac24.net>

lib: Add missing smux.h to `make distrib` results

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

doc: drop colspan/rowspan elements

The sphinx 'text' writer apparently doesn't support these, and the
'dummy' writer is only available on recent versions, and all of this
makes the build a bit annoying...

Signed-off-by: David Lamparter <equinox@diac24.net>

doc: html default off

... RPM builds break if we enable this unconditionally; should really
change this in CI instead.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: add Makefile variable easy access

This adds 2 helper targets for use in scripts to easily get at Makefile
variables without parsing the Makefile or config.status.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: improve python search pattern

- try pythonN.N-config after pythonN-config
- use "python-config --ldflags" instead of --libs
- add Python 3.6 to explicitly searched versions
- if linking fails, try with "-lz" added

Signed-off-by: David Lamparter <equinox@diac24.net>

build: add warning when overwriting vars on "make"

doing things like `make CC="mmix-linux-musl-gcc"` breaks the hosttools/
cross-compilation setup pretty hard and just straight up should not be
done.  These vars belong on `configure`, not `make`.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: cache a few more results in ./configure

Makes configure re-runs faster if the `-C` option is used.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: -Werror does not belong in AM_CPPFLAGS

(probably neither do the ASAN/... FLAGS, but let's leave that alone.)

Also, it was intentional that it's $(WERROR) and not @WERROR@.  The
former can be overwritten at comandline as "make WERROR=" while the
latter can't.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: non-recursive solaris

Signed-off-by: David Lamparter <equinox@diac24.net>

build: fix some oddities in solaris/

target_* is always wrong for FRR because we are not a compiler.  We only
use host_* and build_*.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: trigger fewer unneccessary clippy rebuilds

Make sure we include the clippy binary file in our timestamp mangling so
`make` will correctly determine when clippy files don't need to be
rebuilt.

Signed-off-by: David Lamparter <equinox@diac24.net>

build: non-recursive debianpkg

Signed-off-by: David Lamparter <equinox@diac24.net>

build: non-recursive doc + parallel sphinx

Sphinx actually does work with a parallel build, if the doctree creation
is a separate step (which the other builds will then just read
unmodified.)  This can be done with the "dummy" target.

This also adds "-j6" to sphinx-build and adds a "--disable-doc-html"
switch on ./configure to turn on/off building HTML docs separately.

Also, HTML docs are now installed by "make install" to
/usr/share/doc/frr/html.

Signed-off-by: David Lamparter <equinox@diac24.net>

tools/frr: use path settings from ./configure

...so we properly locate config files and daemons whereever the user
decided to put them.

Signed-Off-By: David Lamparter <equinox@diac24.net>
(cherry picked from commit 40da52d8c10273f18e3b3cc522ecfa1847ca3198)

Merge pull request #3232 from donaldsharp/6.0_revert_default_originate_changes

6.0 revert default originate changes

Revert "bgpd: Set attributes according route-maps if applied for default-originate"

This reverts commit 74401e62721b8f83ff0e34127d6235fda112c7c8.

Revert "bgpd: Make sure default-originate works without route-map as well"

This reverts commit c2e10422033771da9f12a4a283b0bc767240a3d8.

Merge pull request #3218 from opensourcerouting/60-bfdmhoplookup

6.0: bfdd: fix multi hop hash lookup

bfdd: fix multi hop hash lookup

Use the proper multi hop hash for matching multi hop peers.

Spotted by Dmitrii Turlupov.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>
(cherry picked from commit 2055ea096923406e31a7d0a1a15406b3b62f2255)

Merge pull request #3170 from opensourcerouting/60-memleak-fix

6.0: backport memory leak fix

lib: refactor thread_execute

Don't allocate threads in the stack, but use the standardized
`thread_get` and `thread_add_unused` to avoid creating corner cases in
the thread API.

This fixes a thread mutex memory leak in FreeBSD.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>
(cherry picked from commit c4345fbf71fcc7ef4b64d95979f252c613dd3ebf)

lib: fix a memory leak in FreeBSD

Two important changes:
* Centralize the thread teardown procedure;
* Save and restore thread mutex context to avoid losing the memory
  pointer;

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>
(cherry picked from commit 6655966d2c2fe7a29ca29af4366fa3e044ad1170)

FRRouting Release 6.0

Major Changes since 5.0:
- Staticd: New daemon responsible for management of static routes
- ISISd: Implement dst-src routing as per draft-ietf-isis-ipv6-dst-src-routing
- BFDd: new daemon for BFD (Bidrectional Forwarding Detection). Responsiblei
  for notifying link changes to make routing protocols converge faster.
- various bug fixes

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Merge pull request #3131 from donaldsharp/early_6.0

lib: Include compiler.h as early as is possible in the build

lib: Include compiler.h as early as is possible in the build

The compiler.h header provides us with some useful macro's
that we are using in the system.  We do not know exactly
where the CPP_NOTICE and CPP_WARN macros are used but
they can move around.  Place this header early in the
build then.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Merge pull request #3123 from opensourcerouting/6.0-error-code-switch

[6.0] lib: add "log error-code" switch

lib: add "log error-code" switch

Signed-off-by: David Lamparter <equinox@diac24.net>

Merge pull request #3078 from opensourcerouting/large_as_path_6

bgpd: Fix for large AS paths which are split into segments (6.0 branch)

bgpd: Fix for large AS paths which are split into segments

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Merge pull request #3054 from donaldsharp/zebra_6.0

zebra: Send correct default vrf tableid for MROUTE stats

Merge pull request #3048 from donaldsharp/pim_6.0

pimd: Actually create vif's in non-integrated config

zebra: Send correct default vrf tableid for MROUTE stats

So the linux kernel uses the RT_TABLE_MAIN for the table
id used for ip routing.  The multicast routing tables use
RT_TABLE_DEFAULT.  We changed the internal code of zebra_vrf
a few months back to use RT_TABLE_MAIN as the tableid to
use.  This caused the pim sg stats to stop working because
of the kernel bug where it uses a different table
for ip routing and ip multicast.

Put a bit of a special case in to do the right thing.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

pimd: Actually create vif's in non-integrated config

The startup of a non-integrated config was not properly
allowing for startup to create the vif when we have
not learned about the interface we are trying to configure
at this point in time.  Actually notice when we are
trying to create a pimreg device or not to properly
notice when to attempt to create the vif or not.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Merge pull request #3002 from donaldsharp/3001_6.0

Push 2993 into 6.0

bgpd: Honor origin change in bgp aggregates

When the origin changed we must honor and update the aggregate
to the peer.  This code adds a bit of code to the bgp_aggregate_info_same
code to see if the origin has changed and to indicate that it has.

Fixes: #2993
Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>