Merge pull request #15070 from LabNConsulting/chopps/fix-coverity-errors

chopps/fix coverity errors

Merge pull request #15071 from LabNConsulting/chopps/building-cleanup

build: protobuf is required so update building docs

Merge pull request #15073 from LabNConsulting/chopps/fix-yang-key-queries

lib: fix specific entry queries

Merge pull request #15076 from LabNConsulting/chopps/libyang-no-schema-node-key-guarantee

lib: don't count on scheme key nodes being first children

Merge pull request #15075 from pguibert6WIND/pathd_metric_computed

pathd: add dynamic candidate path metric [computed] keyword

lib: don't count on scheme key nodes being first children

Heard back from libyang folks that this is not something they consider part of
the API and/or are going to guarantee. So we cannot count on it. Expect keys at
any location on the child sibling list.

Signed-off-by: Christian Hopps <chopps@labn.net>

pathd: add dynamic candidate path metric [computed] keyword

Add the 'computed' keyword for a given metric.

> [..]
> metric te computed

When set by the PCC, the PCE must send back a computed metric
value in the PCResponse value.

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

lib: fix specific entry queries

- fix key leaf queries
- fix specific list entry with non-key leaf top element

Signed-off-by: Christian Hopps <chopps@labn.net>

Merge pull request #15068 from chiragshah6/zdev

bgpd: lttng tp add ethtag to macip zebra send

Merge pull request #15066 from chiragshah6/mdev1

bgpd: revamp evpn debugs nexthop and l3vni

build: protobuf is required so update building docs

- recommend using libyang 2.1.128 but accept 2.0.0 for now.
- update ubuntu building doc to add GRPC section
- update ubuntu reference docker builds to match grpc doc change

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: mgmtd: increase soft-max msg size to 64K

- remove unused mgmt client/server constants

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: fix coverity CID 1574981

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: fix coverity CID 1574980

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: fix coverity CID 1574979

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: fix coverity CID 1574978

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: fix coverity CID 1574977

Signed-off-by: Christian Hopps <chopps@labn.net>

Merge pull request #14492 from LabNConsulting/oper-state

oper state

tests: add mgmt_oper topotest

Signed-off-by: Christian Hopps <chopps@labn.net>

tests: client testing

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: fixes required after rebasing

lib: fix checkpatch warnings
lib: darr: disable check
mgmtd: fix initialization

Signed-off-by: Christian Hopps <chopps@labn.net>

zebra: fix cleanup of mgmt backend state

Signed-off-by: Christian Hopps <chopps@labn.net>

zebra: fix oper-state walk bug

Signed-off-by: Christian Hopps <chopps@labn.net>

zebra: support yielding between oper state routes query

Signed-off-by: Christian Hopps <chopps@labn.net>

zebra: add zebra to mgmtd oper-state

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: add dedicated API functions for native msgs

- reorg native message header

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: northbound: add yielding and batching to oper-state queries

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: darr: add ability to set MTYPE for dynamic arrays

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: yang: add yang_get_node_keys() function

- comment out unused mem-leaking function.
- improve yang_dnode_get_path return type

Signed-off-by: Christian Hopps <chopps@labn.net>

tools: add more libyang iter macros to .clang-format

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: create and use libyang tree during oper-state walk

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: northbound: improve xpath functionality

Allow user to leave keys off of a list entry node at the end of the xpath. This
will return all list entries. Previously there was no way to just get the list
entries. One had to leave off the last list entry node which would then return
all list nodes as well as all the siblings at the same level.

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: yang: add new functions

- yang_get_key_preds
- yang_lyd_new_list

A function like new_list was added recently to libyang,
this is a compat version.

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: darr: add new access and str functions

- darr_last(), and darr_strdup_cap().
- strcat, strdup, strlen, strnul equivs.

Signed-off-by: Christian Hopps <chopps@labn.net>

tests: add debugs and count in static_simple test

Also add option to use unified config.

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: step 6: remove old unfinished get-data code

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: step 5: add get-tree txn functionality

Adds the guts of the get-tree functionality that is called by or calls
the FE and BE code for get-tree processing.

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: step 4: FE adapter get-tree functionality

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: step 3: BE adapter native message handling

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: step 2: mgmtd: BE client code for get-tree functionality

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: step 1: mgmtd: add FE get-tree functionality

Signed-off-by: Christian Hopps <chopps@labn.net>

bgpd: lttng tp add ethtag to macip zebra send

Ticket:#3597393
Testing Done:

2023-09-08T17:33:03.731 frr_bgp:evpn_mac_ip_zsend {'action': 'add',
'vni': 1003, 'eth_tag': 968006412, 'mac': '00:02:00:00:00:40', 'ip': '',
'vtep': '27.0.0.16', 'esi': '00:00:00:00:00:00:00:00:00:00'}

Signed-off-by: Chirag Shah <chirag@nvidia.com>

bgpd: fix coverity warnings about evpn vpn variable

A few paths could see a vpn variable with a NULL value;
check and protect those paths.

Signed-off-by: Mark Stapp <mstapp@nvidia.com>

bgpd: revamp evpn debugs nexthop and l3vni

Add nexthop fied when import/unimport evpn route in vrf,
print bgp vrf instance name which contains "VRF" keyword.

Include pathcount which is list of paths linked to nexthop.

add and delete l3vni to keep symmetric "L3VNI" keyword as
used in other debug statements.

Ticket: #3671288
Testing Done:

2023/12/27 05:10:03.339616 BGP: [HPE1G-3H7F2] ... new pi VRF vrf2
dest 0x55663e8372c0 (l 2) pi 0x55663e8374d0 (l 1, f 0x4010) nh 6.0.0.1

2023/12/27 05:58:56.650116 BGP: [MC0JJ-7ZYQB] ... delete pi VRF vrf2
dest 0x55663e885110 (l 5) pi 0x55663e8851e0 (l 1, f 0x4098) nh 6.0.0.1

2023/12/27 05:10:03.339581 BGP: [P4TBX-3W31N] evpn VRF vrf2 nh
6.0.0.1 rmac 00:02:00:00:00:04 add to zebra

2023/12/27 06:13:12.685906 BGP: [SWSCZ-2Z6M4] evpn vrf VRF vrf1 nh
6.0.0.1 del to zebra

2023/12/27 05:10:03.339603 BGP: [Y2EAK-4N7FV] path 60.1.1.111/32 linked
to VRF vrf2 nh 6.0.0.1 pathcount 0

2023/12/27 05:58:56.650125 BGP: [GVE17-CSNTB] path 81.1.1.0/24 unlinked
from VRF vrf2 nh 6.0.0.1 pathcount 16

2023/12/27 05:08:10.108038 ZEBRA: [Q8ZEK-CT776] Send L3VNI ADD 104001
VRF vrf1 RMAC 00:04:ba:10:10:62 VRR 1c:34:da:19:59:62 local-ip 6.0.0.31
filter none to bgp

2023/12/27 05:08:26.043121 ZEBRA: [R43YF-2MKZ3] Send L3VNI DEL 104001
VRF vrf1 to bgp

Signed-off-by: Chirag Shah <chirag@nvidia.com>

lib: yang: add tree "printing" utility functions

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: add simplified native msg support

This is intended to replace protobuf use in mgmtd.

Signed-off-by: Christian Hopps <chopps@labn.net>

Merge pull request #15063 from idryzhov/dev-doc-graphviz

doc: add graphiz dependency for dev docs

Merge pull request #15053 from opensourcerouting/fix/drop_ipv6_address_configured

zebra: Drop ipv6_address_configured() function

doc: add graphiz dependency for dev docs

There's a graph in cli.rst that needs graphviz to be built.

Signed-off-by: Igor Ryzhov <iryzhov@nfware.com>

Merge pull request #15059 from donaldsharp/generate_support_bundle_on_test_failure

Generate support bundle on test failure

Merge pull request #15060 from donaldsharp/keychain_free_no_i_really_mean_it

lib: Keychain.c was using free

lib: Keychain.c was using free

This is a bit of a bummer that this slipped through
for so long.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

tools: Add some more data to support bundles

The ipv[4|6] vpn tables in bgp were not being
gathered.  This would be useful for some situations

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

tests: Stop some warning messages on test runs

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

tests: Auto generate support bundle when a test fails

Tests can fail, let's be proactive and gather up a support
bundle when they fail.  It will help diagnose the problem
to some extent.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

zebra: Drop ipv6_address_configured() function

Not used.

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

Merge pull request #15047 from LabNConsulting/aceelindem/fix-opaque-functab-leak

ospfd: Fix opaque functab memory leak and opaque AS External LSA cleanup problems

ospfd: Fix opaque functab leak and opaque AS cleanup problems

   1. Fix ospf opaque LSA function table memory leak.
   2. Remove incorrect one-to-one association of OSPF info-per-type
      to function table (since there many be many).
   3. Fix a problem with opaque AS external cleanup that was exposed
      by #2.
   4. Fix LSA memory leak in ospf_opaque_type9_lsa_if_cleanup().

Signed-off-by: Acee <aceelindem@gmail.com>

Merge pull request #15046 from FRRouting/revert-15002-bgp_evpn_label_no_delete

Revert "bgpd: When receiving a label, store it"

Revert "bgpd: When receiving a label, store it"

Merge pull request #15002 from donaldsharp/bgp_evpn_label_no_delete

bgpd: When receiving a label, store it

Merge pull request #15022 from opensourcerouting/fix/change_to_log.error

tools: Use error log level when failing to execute commands via frr-reload.py

Merge pull request #15036 from opensourcerouting/fix/use_constants_for_addpath_cap_length

bgpd: Use CAPABILITY_CODE_ADDPATH_LEN instead of numeric value

Merge pull request #15037 from opensourcerouting/fix/validate_send_receive_flags

bgpd: Validate Addpath capability flags per AF

Merge pull request #15032 from leonshaw/fix/bgp-default-withdraw

bgpd: "default-originate" shouldn't withdraw non-default routes

tests: Check for 0.0.0.0/1 in bgp_default_route

Ensure that 0.0.0.0/1 route can be advertised along with
default-originate.

Signed-off-by: Xiao Liang <shaw.leon@gmail.com>

bgpd: Validate Addpath capability flags per AF

Send/Receive:
         This field indicates whether the sender is (a) able to receive
         multiple paths from its peer (value 1), (b) able to send
         multiple paths to its peer (value 2), or (c) both (value 3) for
         the <AFI, SAFI>.

         If any other value is received, then the capability SHOULD be
         treated as not understood and ignored [RFC5492].

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

Merge pull request #15035 from donaldsharp/more_frr_memory_leaks_on_shutdown

More frr memory leaks on shutdown

bgpd: Use CAPABILITY_CODE_ADDPATH_LEN instead of numeric value

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

nhrpd: Cleanup a hash on nhrp shutdown

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

lib, bgpd, nhrpd: Cleanup memory in lib/resolver on shutdown

This memory was not being cleaned up on shutdown.  Fix this.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

bgpd: "default-originate" shouldn't withdraw non-default routes

Prevent "default-originate" from withdrawing non-default routes like
0.0.0.0/1 by checking prefix length.

Signed-off-by: Xiao Liang <shaw.leon@gmail.com>

Merge pull request #15015 from donaldsharp/test_ospf_suppress_fa_cleanup

tests: ospf_suppress_fa sleeps, convert to run_and_expect

Merge pull request #15023 from opensourcerouting/fix/drop_redundant_vrf_name

bgpd: Drop redundant VRF name printing for `show bgp summary`

Merge pull request #15025 from donaldsharp/dplane_fpm_nl_wedgied

zebra: Prevent possible wedged fpm write

Merge pull request #15026 from Orange-OpenSource/ospf-te

ospfd: Correct LSA parser which fulfill the TED

tests: Update OSPF TE topotests

The OSPF TE topotest is using switches to interconnect router. During the test,
interfaces are shutdown on some routers to simulate link failure and check that
the TED is correctly updated. However, the switche between router avoid the
detection by the neighbor router that the interface is down i.e. the interface
line remains up as it is conneted to the switch and not to the router.

This patch update the tested topology by removing the switch and connect
directly the router excepted the inter AS link on R3. Interface are also
renamed accordingly.

Signed-off-by: Olivier Dugeon <olivier.dugeon@orange.com>

ospfd: Correct LSA parser which fulfill the TED

Traffic Engineering Database (TED) is fulfill from the various LSA advertised
and received by the router. To remove information on the TED, 2 mechanisms are
used: i) parse TE Opaque LSA when there are flushed and ii) compare the list of
prefixes advertised in the Router LSA with the list of corresponding edges and
subnets contained in the TED. However, this second mechanism assumes that the
Router LSA is unique and contains all prefixes of the advertised router.
But, this is wrong. Prefixes could be advertised with several Router LSA.
This conduct to remove edge and subnet in the TED while it should be maintained.
The result is a faulty test with ospf_sr_te_topo1 topotest when server is heavy
loaded.

This simple patch removed deletion of edges and subnets when parsing the Router
LSA and only removed them when the corresponding TE Opaque LSA is flushed. In
addition, TE Opaque LSA are not flushed when OSPF ajacency goes down. This
patch also correct this second problem.

Signed-off-by: Olivier Dugeon <olivier.dugeon@orange.com>

tests: ospf_suppress_fa sleeps, convert to run_and_expect

The test_ospf_suppres_fa.py script is using straight
up sleeps before testing that the next step worked properly.
On a unloaded test system this will work 100% of the time
on a loaded test system this will have random failures.
Convert the test to use run_and_expect and give each
section of the test 30 seconds to get to the next state
appropriately instead of 10.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

zebra: Use event_add_event instead of _timer

The t_dequeue was being enqueued with a timer of 0
this is really an event instead of a timer.  Let's
use that instead.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

zebra: Prevent possible wedged fpm write

An operator is reporting that the dplane_fpm_nl connection has
started to accumulate contexts.  One such path that could cause
this is that the obuf used is full and stays full.  This would
imply that what ever is on the receiving end has gotten wedged
and is not reading from the stream of data being sent it's way.
If after 15 seconds of no response, let's declare the connection
dead and reset it.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #14890 from louis-6wind/exabgp4

topotests: convert to exabgp 4 and python3

doc: Update examples of show bgp summary

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

tests: Adopt topotests for `show bgp summary` non-JSON output

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

topotests: tmp fix delay in bgp_peer_type_multipath_relax

Workaround an issue in bgp_peer_type_multipath_relax.

Link: https://github.com/FRRouting/frr/issues/14895
Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

doc: update for exabgp 4

Update the documentation to require exabgp 4

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

docker: update ubuntu template for exabgp 4

Update ubuntu template for exabgp 4

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: remove python2 support

Remove python2 support

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert bgp_ecmp_topo1 to python3

Convert bgp_ecmp_topo1 to python3

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert exabgp scripts to python3

Convert exabgp scripts to python3

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: cleanup bgp_peer_type_multipath_relax

Cleanup bgp_peer_type_multipath_relax to make it more readable.

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert bgp_peer_type_multipath_relax to exabgp 4

Convert bgp_peer_type_multipath_relax to exabgp 4

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert bgp_prefix_sid2 to exabgp 4

Convert bgp_prefix_sid2 to exabgp 4

Do not advertise prefixes to exabgp to avoid an issue where exabgp
resets the bgp session with the following notification:

> invalid ipv6 mpls-vpn next-hop length 48 expected 24 or 40

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert bgp_prefix_sid to exabgp 4

Convert bgp_prefix_sid to exabgp 4

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert bgp_vrf_netns to exabgp 4

Convert bgp_vrf_netns to exabgp 4

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert bgp_vrf_md5_peering to exabgp 4

Convert bgp_vrf_md5_peering to exabgp 4

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert bgp_multiview_topo1 to exabgp 4

Convert bgp_multiview_topo1 to exabgp 4

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert bgp_ecmp_topo1 to exabgp 4

Convert bgp_ecmp_topo1 to exabgp 4

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: create exabgp cli fifo

Create reate exabgp cli fifo even it is not used in topotests to avoid
this error message:

> 16:21:42 | 2290205 | cli             | could not find the named pipes (exabgp.in and exabgp.out) required for the cli
> 16:21:42 | 2290205 | cli             | we scanned the following folders (the number is your PID):
> 16:21:42 | 2290205 | cli control     |  - /run/exabgp/
> 16:21:42 | 2290205 | cli control     |  - /run/0/
> 16:21:42 | 2290205 | cli control     |  - /run/
> 16:21:42 | 2290205 | cli control     |  - /var/run/exabgp/
> 16:21:42 | 2290205 | cli control     |  - /var/run/0/
> 16:21:42 | 2290205 | cli control     |  - /var/run/
> 16:21:42 | 2290205 | cli control     |  - /usr/local/run/exabgp/
> 16:21:42 | 2290205 | cli control     |  - /usr/local/run/0/
> 16:21:42 | 2290205 | cli control     |  - /usr/local/run/
> 16:21:42 | 2290205 | cli control     |  - /usr/local/var/run/exabgp/
> 16:21:42 | 2290205 | cli control     |  - /usr/local/var/run/0/
> 16:21:42 | 2290205 | cli control     |  - /usr/local/var/run/
> 16:21:42 | 2290205 | cli control     | please make them in one of the folder with the following commands:
> 16:21:42 | 2290205 | cli control     | > mkfifo //run/exabgp.{in,out}
> 16:21:42 | 2290205 | cli control     | > chmod 600 //run/exabgp.{in,out}

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: log exabgp by default

Log exabgp by default in /tmp/topotests/<testname>/<peername>/exabgp.log
Level is INFO.

Note that in case the configuration syntax is invalid, exabgp does not
log into the file and exits at startup. You can check a configuration
syntax by running:

> exabgp <exabgp.cfg>

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>