lib: add dedicated API functions for native msgs

- reorg native message header

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: northbound: add yielding and batching to oper-state queries

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: darr: add ability to set MTYPE for dynamic arrays

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: yang: add yang_get_node_keys() function

- comment out unused mem-leaking function.
- improve yang_dnode_get_path return type

Signed-off-by: Christian Hopps <chopps@labn.net>

tools: add more libyang iter macros to .clang-format

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: create and use libyang tree during oper-state walk

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: northbound: improve xpath functionality

Allow user to leave keys off of a list entry node at the end of the xpath. This
will return all list entries. Previously there was no way to just get the list
entries. One had to leave off the last list entry node which would then return
all list nodes as well as all the siblings at the same level.

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: yang: add new functions

- yang_get_key_preds
- yang_lyd_new_list

A function like new_list was added recently to libyang,
this is a compat version.

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: darr: add new access and str functions

- darr_last(), and darr_strdup_cap().
- strcat, strdup, strlen, strnul equivs.

Signed-off-by: Christian Hopps <chopps@labn.net>

tests: add debugs and count in static_simple test

Also add option to use unified config.

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: step 6: remove old unfinished get-data code

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: step 5: add get-tree txn functionality

Adds the guts of the get-tree functionality that is called by or calls
the FE and BE code for get-tree processing.

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: step 4: FE adapter get-tree functionality

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: step 3: BE adapter native message handling

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: step 2: mgmtd: BE client code for get-tree functionality

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: step 1: mgmtd: add FE get-tree functionality

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: yang: add tree "printing" utility functions

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: add simplified native msg support

This is intended to replace protobuf use in mgmtd.

Signed-off-by: Christian Hopps <chopps@labn.net>

Merge pull request #15063 from idryzhov/dev-doc-graphviz

doc: add graphiz dependency for dev docs

Merge pull request #15053 from opensourcerouting/fix/drop_ipv6_address_configured

zebra: Drop ipv6_address_configured() function

doc: add graphiz dependency for dev docs

There's a graph in cli.rst that needs graphviz to be built.

Signed-off-by: Igor Ryzhov <iryzhov@nfware.com>

Merge pull request #15059 from donaldsharp/generate_support_bundle_on_test_failure

Generate support bundle on test failure

Merge pull request #15060 from donaldsharp/keychain_free_no_i_really_mean_it

lib: Keychain.c was using free

lib: Keychain.c was using free

This is a bit of a bummer that this slipped through
for so long.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

tools: Add some more data to support bundles

The ipv[4|6] vpn tables in bgp were not being
gathered.  This would be useful for some situations

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

tests: Stop some warning messages on test runs

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

tests: Auto generate support bundle when a test fails

Tests can fail, let's be proactive and gather up a support
bundle when they fail.  It will help diagnose the problem
to some extent.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

zebra: Drop ipv6_address_configured() function

Not used.

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

Merge pull request #15047 from LabNConsulting/aceelindem/fix-opaque-functab-leak

ospfd: Fix opaque functab memory leak and opaque AS External LSA cleanup problems

ospfd: Fix opaque functab leak and opaque AS cleanup problems

   1. Fix ospf opaque LSA function table memory leak.
   2. Remove incorrect one-to-one association of OSPF info-per-type
      to function table (since there many be many).
   3. Fix a problem with opaque AS external cleanup that was exposed
      by #2.
   4. Fix LSA memory leak in ospf_opaque_type9_lsa_if_cleanup().

Signed-off-by: Acee <aceelindem@gmail.com>

Merge pull request #15046 from FRRouting/revert-15002-bgp_evpn_label_no_delete

Revert "bgpd: When receiving a label, store it"

Revert "bgpd: When receiving a label, store it"

Merge pull request #15002 from donaldsharp/bgp_evpn_label_no_delete

bgpd: When receiving a label, store it

Merge pull request #15022 from opensourcerouting/fix/change_to_log.error

tools: Use error log level when failing to execute commands via frr-reload.py

Merge pull request #15036 from opensourcerouting/fix/use_constants_for_addpath_cap_length

bgpd: Use CAPABILITY_CODE_ADDPATH_LEN instead of numeric value

Merge pull request #15037 from opensourcerouting/fix/validate_send_receive_flags

bgpd: Validate Addpath capability flags per AF

Merge pull request #15032 from leonshaw/fix/bgp-default-withdraw

bgpd: "default-originate" shouldn't withdraw non-default routes

tests: Check for 0.0.0.0/1 in bgp_default_route

Ensure that 0.0.0.0/1 route can be advertised along with
default-originate.

Signed-off-by: Xiao Liang <shaw.leon@gmail.com>

bgpd: Validate Addpath capability flags per AF

Send/Receive:
         This field indicates whether the sender is (a) able to receive
         multiple paths from its peer (value 1), (b) able to send
         multiple paths to its peer (value 2), or (c) both (value 3) for
         the <AFI, SAFI>.

         If any other value is received, then the capability SHOULD be
         treated as not understood and ignored [RFC5492].

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

Merge pull request #15035 from donaldsharp/more_frr_memory_leaks_on_shutdown

More frr memory leaks on shutdown

bgpd: Use CAPABILITY_CODE_ADDPATH_LEN instead of numeric value

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

nhrpd: Cleanup a hash on nhrp shutdown

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

lib, bgpd, nhrpd: Cleanup memory in lib/resolver on shutdown

This memory was not being cleaned up on shutdown.  Fix this.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

bgpd: "default-originate" shouldn't withdraw non-default routes

Prevent "default-originate" from withdrawing non-default routes like
0.0.0.0/1 by checking prefix length.

Signed-off-by: Xiao Liang <shaw.leon@gmail.com>

Merge pull request #15015 from donaldsharp/test_ospf_suppress_fa_cleanup

tests: ospf_suppress_fa sleeps, convert to run_and_expect

Merge pull request #15023 from opensourcerouting/fix/drop_redundant_vrf_name

bgpd: Drop redundant VRF name printing for `show bgp summary`

Merge pull request #15025 from donaldsharp/dplane_fpm_nl_wedgied

zebra: Prevent possible wedged fpm write

Merge pull request #15026 from Orange-OpenSource/ospf-te

ospfd: Correct LSA parser which fulfill the TED

tests: Update OSPF TE topotests

The OSPF TE topotest is using switches to interconnect router. During the test,
interfaces are shutdown on some routers to simulate link failure and check that
the TED is correctly updated. However, the switche between router avoid the
detection by the neighbor router that the interface is down i.e. the interface
line remains up as it is conneted to the switch and not to the router.

This patch update the tested topology by removing the switch and connect
directly the router excepted the inter AS link on R3. Interface are also
renamed accordingly.

Signed-off-by: Olivier Dugeon <olivier.dugeon@orange.com>

ospfd: Correct LSA parser which fulfill the TED

Traffic Engineering Database (TED) is fulfill from the various LSA advertised
and received by the router. To remove information on the TED, 2 mechanisms are
used: i) parse TE Opaque LSA when there are flushed and ii) compare the list of
prefixes advertised in the Router LSA with the list of corresponding edges and
subnets contained in the TED. However, this second mechanism assumes that the
Router LSA is unique and contains all prefixes of the advertised router.
But, this is wrong. Prefixes could be advertised with several Router LSA.
This conduct to remove edge and subnet in the TED while it should be maintained.
The result is a faulty test with ospf_sr_te_topo1 topotest when server is heavy
loaded.

This simple patch removed deletion of edges and subnets when parsing the Router
LSA and only removed them when the corresponding TE Opaque LSA is flushed. In
addition, TE Opaque LSA are not flushed when OSPF ajacency goes down. This
patch also correct this second problem.

Signed-off-by: Olivier Dugeon <olivier.dugeon@orange.com>

tests: ospf_suppress_fa sleeps, convert to run_and_expect

The test_ospf_suppres_fa.py script is using straight
up sleeps before testing that the next step worked properly.
On a unloaded test system this will work 100% of the time
on a loaded test system this will have random failures.
Convert the test to use run_and_expect and give each
section of the test 30 seconds to get to the next state
appropriately instead of 10.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

zebra: Use event_add_event instead of _timer

The t_dequeue was being enqueued with a timer of 0
this is really an event instead of a timer.  Let's
use that instead.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

zebra: Prevent possible wedged fpm write

An operator is reporting that the dplane_fpm_nl connection has
started to accumulate contexts.  One such path that could cause
this is that the obuf used is full and stays full.  This would
imply that what ever is on the receiving end has gotten wedged
and is not reading from the stream of data being sent it's way.
If after 15 seconds of no response, let's declare the connection
dead and reset it.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #14890 from louis-6wind/exabgp4

topotests: convert to exabgp 4 and python3

doc: Update examples of show bgp summary

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

tests: Adopt topotests for `show bgp summary` non-JSON output

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

topotests: tmp fix delay in bgp_peer_type_multipath_relax

Workaround an issue in bgp_peer_type_multipath_relax.

Link: https://github.com/FRRouting/frr/issues/14895
Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

doc: update for exabgp 4

Update the documentation to require exabgp 4

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

docker: update ubuntu template for exabgp 4

Update ubuntu template for exabgp 4

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: remove python2 support

Remove python2 support

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert bgp_ecmp_topo1 to python3

Convert bgp_ecmp_topo1 to python3

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert exabgp scripts to python3

Convert exabgp scripts to python3

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: cleanup bgp_peer_type_multipath_relax

Cleanup bgp_peer_type_multipath_relax to make it more readable.

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert bgp_peer_type_multipath_relax to exabgp 4

Convert bgp_peer_type_multipath_relax to exabgp 4

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert bgp_prefix_sid2 to exabgp 4

Convert bgp_prefix_sid2 to exabgp 4

Do not advertise prefixes to exabgp to avoid an issue where exabgp
resets the bgp session with the following notification:

> invalid ipv6 mpls-vpn next-hop length 48 expected 24 or 40

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert bgp_prefix_sid to exabgp 4

Convert bgp_prefix_sid to exabgp 4

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert bgp_vrf_netns to exabgp 4

Convert bgp_vrf_netns to exabgp 4

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert bgp_vrf_md5_peering to exabgp 4

Convert bgp_vrf_md5_peering to exabgp 4

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert bgp_multiview_topo1 to exabgp 4

Convert bgp_multiview_topo1 to exabgp 4

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: convert bgp_ecmp_topo1 to exabgp 4

Convert bgp_ecmp_topo1 to exabgp 4

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: create exabgp cli fifo

Create reate exabgp cli fifo even it is not used in topotests to avoid
this error message:

> 16:21:42 | 2290205 | cli             | could not find the named pipes (exabgp.in and exabgp.out) required for the cli
> 16:21:42 | 2290205 | cli             | we scanned the following folders (the number is your PID):
> 16:21:42 | 2290205 | cli control     |  - /run/exabgp/
> 16:21:42 | 2290205 | cli control     |  - /run/0/
> 16:21:42 | 2290205 | cli control     |  - /run/
> 16:21:42 | 2290205 | cli control     |  - /var/run/exabgp/
> 16:21:42 | 2290205 | cli control     |  - /var/run/0/
> 16:21:42 | 2290205 | cli control     |  - /var/run/
> 16:21:42 | 2290205 | cli control     |  - /usr/local/run/exabgp/
> 16:21:42 | 2290205 | cli control     |  - /usr/local/run/0/
> 16:21:42 | 2290205 | cli control     |  - /usr/local/run/
> 16:21:42 | 2290205 | cli control     |  - /usr/local/var/run/exabgp/
> 16:21:42 | 2290205 | cli control     |  - /usr/local/var/run/0/
> 16:21:42 | 2290205 | cli control     |  - /usr/local/var/run/
> 16:21:42 | 2290205 | cli control     | please make them in one of the folder with the following commands:
> 16:21:42 | 2290205 | cli control     | > mkfifo //run/exabgp.{in,out}
> 16:21:42 | 2290205 | cli control     | > chmod 600 //run/exabgp.{in,out}

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: log exabgp by default

Log exabgp by default in /tmp/topotests/<testname>/<peername>/exabgp.log
Level is INFO.

Note that in case the configuration syntax is invalid, exabgp does not
log into the file and exits at startup. You can check a configuration
syntax by running:

> exabgp <exabgp.cfg>

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: use exabgp 4.2.11 in ci

Use exabgp 4.2.11 in CI instead.

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: look for python3 exabgp

Look for python3 exabgp instead of python2.

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

topotests: require exabgp version >= 4.2.11

Require exabgp >= 4.2.11 to allow to newer version to run exabgp
topotests. Next commits will adapt the exabgp topotests when needed.

Signed-off-by: Louis Scalbert <louis.scalbert@6wind.com>

bgpd: Drop redundant VRF name printing for `show bgp summary`

Before:

```
ton# sh bgp summary

IPv4 Unicast Summary (VRF default):
BGP router identifier 0.0.0.2, local AS number 65001 VRF default vrf-id 0
```

After:

```
ton# sh bgp summary

IPv4 Unicast Summary:
BGP router identifier 0.0.0.2, local AS number 65001 VRF default vrf-id 0
```

After 5be4ee96340a6fcf5c07ff285a0f50a98c85a8f2, we don't need to duplicate that
info.

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

tools: Use error log level when failing to execute commands via frr-reload.py

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

Merge pull request #15014 from Shbinging/fix_ospf_commands

ospfd: fix some ospf cmds' param range

Merge pull request #14996 from donaldsharp/srv6_shutdown_zebra_deletion

zebra: On shutdown, free up srv6 list data

doc: add param range for graceful-restart helper supported-grace-time

Signed-off-by: Bing Shui <652023330037@smail.nju.edu.cn>

ospfd: fix ospf dead-interval minimal hello-multiplier param range

Signed-off-by: Bing Shui <652023330037@smail.nju.edu.cn>

Merge pull request #15004 from chiragshah6/mdev1

tools: fix frr-reload multiple no description cmds

Merge pull request #15003 from donaldsharp/vrf_all_data

bgpd: Have `show bgp vrf all ipv4 uni summ` display vrf NAME

tools: fix frr-reload multiple no description cmds

Ensure to change description for index 0 from the list.

Ticket: #3628756
Testing Done:

After fix:
start with three interfaces description delete in lines_to_del:
(Pdb) lines_to_del
[(('interface swp1',), "description swp1 -> sp1's swp1"),
(('interface swp2',), "description swp2 -> sp2's swp
1"), (('interface swp3',), "description swp3 -> sp3's swp1")]

After first iteration swp1:
(Pdb) index
0
(Pdb) lines_to_del
[(('interface swp1',), 'description'), (('interface swp2',),
"description swp2 -> sp2's swp1"), (('interface swp
1s2',), "description swp3 -> sp3's swp1")]

After second iteration swp2:
(Pdb) lines_to_del
[(('interface swp1',), 'description'), (('interface swp2',),
'description'), (('interface swp3',), "description
swp3 -> sp3's swp1")]

After third iteration swp3 fix
(Pdb) lines_to_del
[(('interface swp1',), 'description'), (('interface swp2',),
'description'), (('interface swp3',), 'description'
)]

Signed-off-by: Chirag Shah <chirag@nvidia.com>

bgpd: Have `show bgp vrf all ipv4 uni summ` display vrf NAME

The vrf name was not being displayed in this output.
New output:

eva# show bgp vrf all ipv4 uni summ
BGP router identifier 0.0.0.0, local AS number 99 VRF RED vrf-id 14
BGP table version 0
RIB entries 0, using 0 bytes of memory
Peers 1, using 20 KiB of memory

Neighbor        V         AS   MsgRcvd   MsgSent   TblVer  InQ OutQ  Up/Down State/PfxRcd   PfxSnt Desc
192.168.119.1   4          0         0         0        0    0    0    never       Active        0 N/A

Total number of neighbors 1
BGP router identifier 0.0.0.0, local AS number 99 VRF GREEN vrf-id 15
BGP table version 0
RIB entries 0, using 0 bytes of memory
Peers 1, using 20 KiB of memory

Neighbor        V         AS   MsgRcvd   MsgSent   TblVer  InQ OutQ  Up/Down State/PfxRcd   PfxSnt Desc
192.168.119.1   4          0         0         0        0    0    0    never       Active        0 N/A

Total number of neighbors 1
BGP router identifier 192.168.122.1, local AS number 99 VRF default vrf-id 0
BGP table version 0
RIB entries 0, using 0 bytes of memory
Peers 1, using 20 KiB of memory

Neighbor        V         AS   MsgRcvd   MsgSent   TblVer  InQ OutQ  Up/Down State/PfxRcd   PfxSnt Desc
192.168.119.1   4          0         0         0        0    0    0    never       Active        0 N/A

Total number of neighbors 1
BGP router identifier 0.0.0.0, local AS number 99 VRF GrEEn vrf-id -1
BGP table version 0
RIB entries 0, using 0 bytes of memory
Peers 1, using 20 KiB of memory

Neighbor        V         AS   MsgRcvd   MsgSent   TblVer  InQ OutQ  Up/Down State/PfxRcd   PfxSnt Desc
192.168.119.1   4          0         0         0        0    0    0    never         Idle        0 N/A

Total number of neighbors 1
eva#

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

bgpd: When receiving a label, store it

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #14982 from donaldsharp/bgp_suppress_fib_clear_peers

bgpd: Make `suppress-fib-pending` clear peering

bgpd: Make `suppress-fib-pending` clear peering

When a peer has come up and already started installing
routes into the rib and `suppress-fib-pending` is either
turned on or off.  BGP is left with some routes that
may need to be withdrawn from peers and routes that
it does not know the status of.  Clear the BGP peers
for the interesting parties and let's let us come
up to speed as needed.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

zebra: Don't leak memory in rtadv.c code on shutdown

The adata variable was being leaked on shutdown since
it was calloc'ed.  There is no need to make this dynamic
memory.  Just choose a size and use that.  Add a bit
of code to ensure that if it's not large enough,
it will just stop and the developer will fix it.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

zebra: On shutdown, free up srv6 list data

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #14992 from opensourcerouting/fix/oad_missing_parts

bgpd: Recent OAD fixes

Merge pull request #14984 from pguibert6WIND/bgp_l3nhg_to_bgp_nhg

bgpd: move l3nhg functions in separate bgp_nhg.[ch] file

Merge pull request #14966 from opensourcerouting/fix/bgpd_route-map_default_originate_peer-group

tests: Check if default-originate works combined with peer-groups + route-maps

Merge pull request #14985 from donaldsharp/zebra_delete_memory_problems

Zebra delete memory problems

Merge pull request #14986 from LabNConsulting/chopps/fix-asan-odr

lib: fix the ASAN OneDefinitionRule violation.

bgpd: Update sub_sort when handling doppelganger connections

This is important especially for OPEN messages. Without this, we can't send
software-version capability which relies on OAD too.

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

bgpd: Use sub_sort also when creating a hash key for update-groups

If OAD is not set or set at least for one peer in peer-group, then split, and
create a separate update-group for those peers.

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

bgpd: Add sub_sort for update group debug logging

When added OAD support, it's handy to know peer->sub_sort also when printing
update-group debug messages.

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

Merge pull request #14983 from donaldsharp/dplane_fpm_nl_deleted

zebra: The dplane_fpm_nl return path leaks memory

lib: fix the ASAN OneDefinitionRule violation.

Rename global client pointer variables and make the linkage static.

Signed-off-by: Christian Hopps <chopps@labn.net>