lib: fix rebase conflicts

Changes:
- Remove unused variable.
- Make prototypes static like the declaration.
- Fix new compilers complaint about uninitialized values.
- Fix new compilers complaint about small buffer for `snprintf` concatenation.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: fix northbound conflicts

Changes:
- Use the northbound callback prototypes.
- Re-implement the removed function: `ipv4_network_addr` (more
  information: https://github.com/FRRouting/frr/pull/5535 )

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: migrate prefix-list to use northbound

Implement all northbound CLI commands for prefix lists.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: fix filter northbound double removal

Don't auto remove filter main access list data structure, it has to be
done manually (or via northbound).

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: migrate filter CLI to use northbound

Migrate all filter commands to use the newly implemented northbound.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

*: add filter northbound support

Allow all daemons to work with filter northbound.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: implement filter northbound

Implement all access-list and prefix-list northbound callbacks.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: export prefix-lists functions

Export all functions that are going to be used by the northbound.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: export access-lists shared functions

These functions are going to be used by the new filter northbound
implementation.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

yang: update filter yang model

Important changes:

*   Limit the access-list name length according to header definition;
*   Add another list (sequence) inside instances to avoid repeated fields;

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

Merge pull request #6513 from donaldsharp/allow_filter_deletion

lib: Allow deletion of some access-lists

lib: Allow deletion of some access-lists

Recent rework of access lists to allow sequence numbers
accidently introduced the inability to delete some
access lists.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Merge pull request #6508 from RichardWu-Hebut/master

zebra: Fix zebra crashed in building FPM netlink message when bgp sen…

zebra: Fix zebra crashed in building FPM netlink message when bgp sends aggregation routes to zebra.

Issue:
    When BGP sends aggregation routes to zebra, the next hop is black hole.
    Then Zebra will try to build the netlink FPM message, but there is no
    next hop as it is a black hole route. Then the netlink_route_info_fill
    function returns 0. In the result, zebra will crashed in
    "assert(data_len)" of zfpm_build_route_updates.
    This issue also happen when I create a static black hole route via
    staticd.
Fix:
    As the netlink message of the blackhole route is legal, it should return
    success.

Signed-off-by: Richard Wu <wutong23@baidu.com>

Merge pull request #6506 from volta-networks/ldp_pwstatus_cleanup

ldpd: remove unused 'pwstatus' field from message zapi_pw_status

Merge pull request #6236 from mjstapp/zebra_opaque_module

lib,zebra: New zebra opaque zapi module

ldpd: remove unused 'pwstatus' field from message zapi_pw_status.

Signed-off-by: Karen Schoener <karen@voltanet.io>

Merge pull request #6503 from donaldsharp/bgp_routemap_crash

bgpd: Fix crash in `match ip next-hop address` command

bgpd: Fix crash in `match ip next-hop address` command

When issuing the command `match ip next-hop address`
bgp would crash.  This is because the no form of the
command was making the address optional and we would
try to read data we should not be.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Merge pull request #6456 from ton31337/fix/set_ipv6_ll_if_zero

bgpd: Use IPv6 LL address as nexthop if global was set to ::/LL

Merge pull request #6500 from chiragshah6/evpn_dev2

bgpd: move advertise-vni-all above vni config

doc: update zebra/zapi doc

Add the new OPAQUE zapi messages; a couple of edits.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

zebra: handle OPAQUE registrations and forward messages

Add initial support to maintain client daemon registrations for
OPAQUE messages. Use the registered zapi client info to forward
copies of OPAQUE messages sent to zebra.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

sharpd: add handler for OPAQUE messages

Add a simple handler to receive OPAQUE zapi messages for
testing.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

zebra: add zserv_send_batch api

Add a zserv api to send a batch (a fifo) of messages to a
zapi client.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

sharpd: send opaque message registrations

For testing, add cli to sharpd to send opaque message
registration and un-registration messages.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

zebra: don't print stale text if no GR info

Don't print GR show output header if no GR info is present
for a zapi client.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

sharpd: send new OPAQUE messages

Add a simple cli to exercise the new OPAQUE messages.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

zebra: call zapi message handler with a batch

The zapi code processes a batch of incoming messages, using a
fifo. Hand the entire batch into the main zebra handling code,
and let it loop through the individual messages.

Divert the special OPAQUE messages from the normal processing
flow, and offer them to the new zebra_opaque module instead.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

zebra: add lock and busy counter for zclients

Add a mutex used to manage the list of zclients. Add a busy
counter to the zapi client session, so that we can use a
client session from another pthread.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

zebra: add zebra opaque module

Add the zebra_opaque module, designed to offload some opaque zapi
message processing to a new, dedicated pthread. Add to the build;
also re-sort the lists of zebra files in subdir.am.
Start, stop, and clean-up the opaque module, integrate with zebra
start and shutdown.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

lib: add OPAQUE zapi message

Add a zapi message type designed to carry opaque data. Add
'send' api, and prototype for client handler function. Also
add registration/unreg messages, so that clients can 'subscribe'
to receive these messages as they're passing through zebra.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

lib: add stream_fifo_init, more const

Add utilities that init and deinit a stream_fifo - this lets us
use an on-stack fifo in some places, avoiding malloc'ing. Also
add const to some apis (no functional changes there).

Signed-off-by: Mark Stapp <mjs@voltanet.io>

bgpd: move advertise-vni-all above vni config

Move config 'advertise-vni-all' above all evpn
configuration as vni specific confi commands
have check for advertise-vni-all enabled first.

Ticket: CM-29312
Reviewed By:
Testing Done:

router bgp 5650
...
advertise-all-vni
vni 1002
 route-target import 55500:10002
 route-target export 55500:10002
exit-vni
...

Signed-off-by: Chirag Shah <chirag@cumulusnetworks.com>

Merge pull request #6497 from qlyoung/fix-centos7-docker-build

docker: fix centos7 install

Merge pull request #6480 from volta-networks/feat_pwstatus

ldpd: Relay data plane pseudowire status in LDP notification

Merge pull request #6266 from mjstapp/backup_nhgs

zebra: backup nexthops/nhlfes for LSPs

docker: fix centos7 install

We require python3-sphinx for RPM builds, but it wasn't being installed.

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

zebra: backup LSP zapi processing

Move some processing of zapi label messages so they can be
handled more efficiently. Handle zapi delete and replace
messages.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

zebra: add check_free api

Add a 'check' api to hold the code that determines whether an LSP
can be freed or not. Replace calls to the free api with check
calls.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

zebra: rename 'nhg_copy' to 'nhe_copy'

It copies nhes...

Signed-off-by: Mark Stapp <mjs@voltanet.io>

zebra: show backup nhlfes with dynamic LSPs

Include backup nhlfe info with the show output of
dynamic LSPs (no json yet).

Signed-off-by: Mark Stapp <mjs@voltanet.io>

zebra: support backup nhlfes in LSPs

Handle backup nhlfes in LSP zapi messages. Capture backup info
with LSPs, capture backup info in the dataplane LSP processing.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

sharpd: include backup nh info with lsps

If present in a configured nexthop_group, include
backup nexthop/nhlfe info with LSP zapi add/update
messages.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

lib: add zapi_nexthop2str()

Add a handy 2str api for zapi nexthop debugging.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

zebra: init dest's list of routes

Use the dlist init api on the zebra dest object's list
of routes.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

lib: add backup nexthop/nhlfe to zapi label messages

Add backup nexthops/nhlfes to the zapi messages used
to convey LSPs to zebra.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

zebra: convert LSP nhlfe lists to use typesafe lists

Convert the embedded lists of nhlfes and snhlfes in zebra LSPs
and SLSPs to use typesafe dlists.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

ldpd: Relay data plane pseudowire status in LDP notification

Provide a way for the data plane to indicate pseudowire
status (such as: not forwarding, AC failure).

On a data plane pseudowire install failure, data plane
sets the pseudowire status.
Zebra relays the pseudowire status to LDP.
LDP includes the pseudowire status in the LDP notification
to the LDP peer.

Signed-off-by: Karen Schoener <karen@voltanet.io>

Merge pull request #6054 from sarav511/dr2ndr

pimd: When DR becomes non DR, Still sends register packets to RP

Merge pull request #6442 from wesleycoakley/pbrd-showjson

pbrd: Optional JSON output for all `show pbr` directives

Merge pull request #6048 from sarav511/joinsup

pimd: In join suppression period, join is being sent

Merge pull request #6467 from qlyoung/fix-bgp-logrotation

bgpd: avoid spamming bgp_accept() on bad vrf sock

Merge pull request #6490 from qlyoung/fix-alpine-python3-build

alpine: update packages

bgpd: avoid spamming bgp_accept() on bad vrf sock

bgp_accept() gets called over and over again when a VRF device is
deleted out from under a bgp listener socket that is bound to it.
Prevent this by noting the error and cancelling ourselves, allowing the
vrf status code to clean up the mess when it receives word about the
change from Zebra.

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

alpine: update packages

Alpine builds have been failing for some time as a consequence of only
installing python 2 development packages when we have build scripts that
require python 3.

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

Merge pull request #6484 from kaloom/master

bgpd: Fix "malformed communities" for accept-own-nexthop

Merge pull request #6488 from donaldsharp/more_useful_debug

More useful debug

bgpd: Improve connection rejection messages

Try to give a bit more useful data about where we
think the connection is trying to come in from.
Hopefully this will let us debug connection issues
a bit faster in cases where there are config issues.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

doc: Fix warning about incorrect underline length

The recent change for more snmp doc gave us a sphinx error.
Let's clean it up.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Merge pull request #6482 from donaldsharp/update_snmp_rst

doc: Update snmp.rst

Merge pull request #6479 from volta-networks/fix_isis_if_addr_te

isisd: fix issue with local address TE TLV

tests: Add a basic test for pbr

Just add a basic test for pbr.  This code
does not actually test installation in the kernel at this
point in time.

What we do do is make sure pbr is in a sane state after
some very basic configuration.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

tests: Setup very basic pbr tests for our topology tests

Just a simple setup for pbr to prove it starts.  Once the json
code for pbr gets in we can add more.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

bgpd: Fix "malformed communities" for accept-own-nexthop

"set community accept-own-nexthop" returns "malformed communities"
error. This is because the token matching hits an earlier "accept-own"
and leaves "-nexthop" as a separate token to be processed.
Reorder the switch cases so that both are processed correctly.

Signed-off-by: Appu Joseph <apjo@kaloom.com>

isisd: fix local address TE TLV

we were not correctly checking the MPLS-TE status of the area when
adding an IP address to a circuit, and this was preventing the local
address TLV to be populated after an interfaced flap.

Signed-off-by: Emanuele Di Pascale <emanuele@voltanet.io>

doc: Update snmp.rst

Updated documentation for routers with a large route table, which breaks
SNMP/AgentX and in some conditions even crashes FRR. The documentation
proposal amends the SNMP configuration to exclude certain OID's that
are not needed in normal cases.

Format-fixed-by: Donald Sharp <sharpd@cumulusnetworks.com>
Signed-off-by: Bart Vrancken <bart@abuse.io>

Merge pull request #6481 from donaldsharp/bgp_thread_cancel

bgpd: Use THREAD_CANCEL instead of thread_cancel

Merge pull request #6416 from Orange-OpenSource/master

ospfd: Solve crash after removing and adding conf.

bgpd: Use THREAD_CANCEL instead of thread_cancel

We are crashing in thread_cancel on shutdown because
the thread pointer is NULL.  Use the more appropriate
THREAD_CANCEL macro

Ticket: CM-29873
Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Merge pull request #6478 from mjstapp/dev_doc_more_const

doc: encourage const in the developer doc

Merge pull request #6476 from wesleycoakley/zebra-debuglogfix

zebra, lib: bugfix for zebra packet debugging messages

doc: encourage const in the developer doc

Add a little text about using 'const' in the dev doc.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

lib: stream_hexdump takes const struct

Signed-off-by: Wesley Coakley <wcoakley@cumulusnetworks.com>

Merge pull request #6466 from opensourcerouting/frr-reload-cleanup

tools/frr-reload: cleanup + `--vty_socket`

Merge pull request #6475 from donaldsharp/pim_thread_cancel

pimd: Fix crash on restart from thread_cancel

zebra, lib: bugfix on zebra packet debugging

`debug zebra packet detail` dumps the full message whereas
it had been dropping exactly 10 bytes, the size of the zebra header

Signed-off-by: Wesley Coakley <wcoakley@cumulusnetworks.com>

Merge pull request #6474 from ton31337/fix/doc_bgp_community

doc: Update BGP show bgp (ext|large-)community-list commands

pimd: Fix crash on restart from thread_cancel

We were using thread_cancel() directly instead of
THREAD_OFF which correctly ensures the pointer is not NULL.

Ticket:CM-29866
Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

doc: Update BGP show bgp (ext|large-)community-list commands

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

Merge pull request #6469 from mjstapp/add_ubu_20_doc

doc: add dev doc for ubuntu 20.04

Merge pull request #6447 from opensourcerouting/rename-bgp-vrf-leak

topotest: refactory BGP VRF leak basic test

pbrd, lib, doc: fix new `show` json key semantics

Revise new `show pbr` keys to be consistent with existing
json in other daemons

target->nexthop
id->tableId (where relevant)
isValid->valid
isInstalled->installed

Signed-off-by: Wesley Coakley <wcoakley@cumulusnetworks.com>

pbrd, doc: pbr map json `sequences` -> `policies`

Semantics

Signed-off-by: Wesley Coakley <wcoakley@cumulusnetworks.com>

doc: document json for remaining `show pbr` cmds

Signed-off-by: Wesley Coakley <wcoakley@cumulusnetworks.com>

doc: document `show pbr interface` directive

Signed-off-by: Wesley Coakley <wcoakley@cumulusnetworks.com>

pbrd: `show` directives give arrays where appropos

The new json output for the `show pbr` directives return arrays instead
of associative arrays, which are more meaningful in this context

Signed-off-by: Wesley Coakley <wcoakley@cumulusnetworks.com>

pbrd, lib: verbosity++ for json `show` directives

Increased the verbosity of the json keys and flattened the returned
structure by removing superfluous keys.

Signed-off-by: Wesley Coakley <wcoakley@cumulusnetworks.com>

pbrd, lib: opt. json for `show pbr nexthop-group`

Signed-off-by: Wesley Coakley <wcoakley@cumulusnetworks.com>

pbrd: optional json for `show pbr map`

Signed-off-by: Wesley Coakley <wcoakley@cumulusnetworks.com>

pbrd: json added to `show pbr interface [json]`

Signed-off-by: Wesley Coakley <wcoakley@cumulusnetworks.com>

doc: add dev doc for ubuntu 20.04

Add a doc for ubuntu 20 LTS; it's mainly the same as the 18 LTS
doc, with a couple of extra notes.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

doc: add docs for frr-reload.py options

Signed-off-by: Emanuele Di Pascale <emanuele@voltanet.io>

tools/frr-reload: --vty_socket arg

After the cleanup, adding this doesn't require updating a zillion
locations in the code anymore, just one :)

Partially derived from 6a00e91d99f7f98d857c2056d0dcfeba48966581

Originally-by: Emanuele Di Pascale <emanuele@voltanet.io>
Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

tools/frr-reload: cleanup pass

- throw vtysh into a wrapper class
- ignore "username" commands
- use mark output on stdout
- some other random cleanups

Signed-off-by: David Lamparter <equinox@diac24.net>

vtysh: add "no-header" to show running-config

... to skip the "Building configuration..." header that gets in the way
of automated processing.

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

vtysh: throw mark output on stdout, not stderr

Why is this on stderr...

Signed-off-by: David Lamparter <equinox@diac24.net>

Merge pull request #6375 from adharkar/frr-master-l3vni_label

bgpd: EVPN RT-2 advertised with 2 labels for prefix-routes-only config

Merge pull request #6463 from vivek-cumulus/evpn_extend_nht

bgpd: Extend EVPN next hop tracking for additional EVPN routes

Merge pull request #5881 from patrasar/2386420

pimd: add show ip multicast count [json] command