tests: pause (with CLI) at step() functions when run with --pause

Signed-off-by: Christian Hopps <chopps@labn.net>

Merge pull request #13659 from donaldsharp/increase_mgmt_time

tests: new mgmt_startup tests are failing due to insufficient time

Merge pull request #13646 from donaldsharp/logically_illogical

mgmtd: xpath is already NULL in the failure path

Merge pull request #13641 from donaldsharp/com_list_str

Bunch of code cleanup from Coverity

Merge pull request #13660 from anlancs/bgpd-cleanup-12

bgpd: Fix typo in debug message

Merge pull request #13637 from yyuanam/fix_vtysh_core

lib: fix vtysh core when handling questionmark

Merge pull request #13653 from dpward/ospf6d-redundant-lsa

ospf6d: Prevent redundant LSA generation before interface goes down

bgpd: Fix typo in debug message

Cosmetic change for the debug messages, mainly on the parentheses.

Before:
```
[ZJYCS-KQYD6] VRF vrf-debug(140): Rcvd NH update 50.50.50.0/24(0)0) - metric 300/300 #nhops 2/1 flags Valid Reg Static Static Exact
[VZJVD-D7GXM] parse nexthop update(50.50.50.0/24(0)(VRF vrf-debug)): bnc info not found for nexthop cache
[NSWTE-81HEK] parse nexthop update(50.50.201.0/31(0)(VRF vrf-debug)): bnc info not found for import check
```

After:
```
[ZJYCS-KQYD6] VRF vrf-debug(140): Rcvd NH update 50.50.50.0/24(0)(0) - metric 300/300 #nhops 2/1 flags Valid Reg Static Static Exact
[VZJVD-D7GXM] parse nexthop update 50.50.50.0/24(0)(VRF vrf-debug): bnc info not found for nexthop cache
[NSWTE-81HEK] parse nexthop update 50.50.201.0/31(0)(VRF vrf-debug): bnc info not found for import check
```

Signed-off-by: anlan_cs <vic.lan@pica8.com>

tests: new mgmt_startup tests are failing due to insufficient time

The tests are failing due to heavily loaded system and insufficient
time for large configs to be handled.  Increasing the time
allows the tests to complete locally for me under heavy load.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

eigrpd: dest_addr does not need to be set to NULL

All paths of the loop set dest_addr at the start
of the loop.  No need to set it to NULL to immediately
set it too something else.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

bgpd: vpn_policy_getafi can return AFI_MAX

Let's account for vpn_policy_getafi having a failure
situation and back out of the whole thing gracefully.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

bgpd: blnc cannot be NULL at if statement time

It is impossible for the blnc statement to ever be NULL at
line 1470 as that the if statement at 1453 guarantees it
to be set to something.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

zebra: Consolidate the stream_failure section with normal return

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

zebra: No need to set msg to NULL

The msg value is always reset to something new before it is used inside
the mutex.  No need to set it to NULL.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

bgpd: community_list_set str is always non null

When calling community_list_set the str variable is
always non NULL.  As such let's treat it as such.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #13652 from opensourcerouting/fix/drop_old_releases_from_the_table

doc: Update reference table for current and upcoming release dates

Merge pull request #13450 from patrasar/mld_core

pim6d: Fix crash in ipv6 pim command

ospf6d: Prevent redundant LSA generation before interface goes down

Commit 76249532faad ("ospf6d: Handle Premature Aging of LSAs") added a
duplicate call to OSPF6_INTRA_PREFIX_LSA_EXECUTE_TRANSIT(), when the
interface state changes to "Down".

Fixes: #1738
Signed-off-by: David Ward <david.ward@ll.mit.edu>

lib: fix vtysh core when handling questionmark

When issue vtysh command with ?, the initial buf size for the
element is 16. Then it would loop through each element in the cmd
output vector. If the required size for printing out the next
element is larger than the current buf size, realloc the buf memory
by doubling the current buf size regardless of the actual size
that's needed. This would cause vtysh core when the doubled size
is not enough for the next element.

Signed-off-by: Yuan Yuan <yyuanam@amazon.com>

doc: Update reference table for current and upcoming release dates

Keep only 3 release dates, current and two upcoming. On the next release,
just update one, instead of multiple (zero point looking too much in the
future).

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

mgmtd: xpath is already NULL in the failure path

There is no way that xpath can ever be anything but NULL
in the failure path with the goto's.  Let's just remove
the goto's and return immediately.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #13632 from LabNConsulting/chopps/mgmt-avoid-race

mgmtd: fix possible race btw read config and backend connection

Merge pull request #13639 from opensourcerouting/ospf-timestamp-truncation

ospfd, ospf6d: fix time_t truncation

Merge pull request #13634 from yyuanam/fix_bgp_core

bgpd: fix bgpd core when unintern attr

Merge pull request #13635 from donaldsharp/give_ping_a_chance

tests: Actually loop if ping fails

bgpd: fix bgpd core when unintern attr

When the remote peer is neither EBGP nor confed, aspath is the
shadow copy of attr->aspath in bgp_packet_attribute(). Striping
AS4_PATH should not be done on the aspath directly, since
that would lead to bgpd core dump when unintern the attr.

Signed-off-by: Yuan Yuan <yyuanam@amazon.com>

ospfd, ospf6d: fix time_t truncation

Change timestamp parameter from int to time_t to avoid truncation.

Found by Coverity Scan (CID 1563226 and 1563222)

Signed-off-by: Renato Westphal <renato@opensourcerouting.org>

tests: Actually loop if ping fails

The usage of run_and_expect doesn't work if the function
being called as the run part asserts.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #13631 from donaldsharp/fix_some_ping_issues

various issues

mgmtd: fix possible race btw read config and backend connection

Signed-off-by: Christian Hopps <chopps@labn.net>

Merge pull request #13601 from opensourcerouting/build-yang-embed-20230525

build: fix missing YANG model embedding

Merge pull request #13588 from sri-mohan1/srib-ldpd1

ldpd: changes for code maintainability

Merge pull request #13414 from LabNConsulting/chopps/no-mgmtd-nowrite-on-off

rework messaging, resource handling in mgmtd with bug fix and code hardening

zebra: use ifindex vs ifp to avoid use-after-free on shutdown

Signed-off-by: Christian Hopps <chopps@labn.net>

zebra: avoid unneeded vxlan work on shutdown

Signed-off-by: Christian Hopps <chopps@labn.net>

tests: add unified config tests

- simple unified test
- unified test with late backend startup test

Signed-off-by: Christian Hopps <chopps@labn.net>

pim6d: Fix crash in ipv6 pim command

Problem:
Execute the below commands, pim6d core happens.
interface ens193
 ip address 69.0.0.2/24
 ipv6 address 8000::1/120
 ipv6 mld
 ipv6 pim
We see crash only if the interface is not configured, and
we are executing PIM/MLD commands.

RootCause:
Interface ens193 is not configured. So, it will have
ifindex = 0 and mroute_vif_index = -1.
Currently, we don't enable MLD on an interface if
mroute_vif_index < 0. So, pim_ifp->MLD = NULL.
In the API pim_if_membership_refresh(), we are accessing
pim_ifp->MLD NULL pointer which leads to crash.

Fix:
Added NULL check before accessing pim_ifp->MLD pointer in
the API pim_if_membership_refresh().

Issue: #13385

Signed-off-by: Sarita Patra <saritap@vmware.com>

mgmtd: address review comments

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: fix clang uninit warning

Signed-off-by: Christian Hopps <chopps@labn.net>

tests: add some more mgmtd tests

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: cleanup BE xpath subscription and matching code

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: mgmtd: fix memleaks

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: mgmtd: add manual vty server start option and use it

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: mgmtd: fixes for startup config file processing

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: Add note to SETCFG_REQ and debug logging

- convert impossible situation into assert

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: simplify early config build removing unused code

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: fix reading of config file[s]

Signed-off-by: Christian Hopps <chopps@labn.net>

lib, zebra: Ensure that the ifp->node exists

On removal, ensure that the ifp->node is set to a null
pointer so that FRR does not use data after freed.
In addition ensure that the ifp->node exists before
attempting to free it.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

pimd: When doing json output do not output non-json strings

When entering some show commands that use json in pimd
when the interface cannot be found do not output non-json
format in that case.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

tests: Allow ping to run multiple times before failing

the bgp_default_originate test brings up the topology and
then immediately pings.  Which sometimes fails.  This is
of course possible since the first ping might actually fail
due to arp going on.  So let's give it a second chance or two.
Especially since the test, at this point, is just installing
a default route.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #13602 from opensourcerouting/fix/reuse_subgroup_process_announce_selected

bgpd: Refactor subgroup_announce_table() to reuse an existing helpers

lib: enable short circuit for FE client/adapter connection

Signed-off-by: Christian Hopps <chopps@labn.net>

staticd: remove connect notify function, not needed

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: lib: cleanup error and debug messages

- always use IDs not a mix of IDs and pointers.
- always use PRIu64 not a mix of hex and decimal for IDs

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: lib: move INIT to after client registers

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: send reply to SUBSCR_REQ with success or not

since we don't actually handle xpath subscriptions, reply with fail
if they are requested.

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: add short-circuit operation between same process

- Use a socketpair for connection, and direct (no event loop)
message sending and handling.

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: mgmtd: add a identifying tag to the debug message

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: dont be tricky with session_id just make it a session_id

- Previously was substituting a pointer to local allocated session for the
session_id returned from the FE adapter. This complexity isn't needed.
- Get rid of "%llu" format and the casts that came with it, instead use PRIu64
and the actual (uint64_t) type.

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: fix cleanup of cleanup in FE adapter code

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: eliminate unused state

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: cleanup/fix BE adapter deletion code

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: convert BE/FE adapter to use allocated connections

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: mgmtd: add server-side connection code to mgmt_msg

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: msg: refactor common connection code from mgmtd

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: mgmt msg: add version to messages

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: remove write-on-off, just requeue to the back of the queue

Signed-off-by: Christian Hopps <chopps@labn.net>

tests: python-foo assure foo[0] is on a list not dict_values object

Signed-off-by: Christian Hopps <chopps@labn.net>

Merge pull request #13611 from donaldsharp/logger_warn

tests: Convert to using logger.warning

Merge pull request #13608 from donaldsharp/pam_wrong

vtysh: Give actual pam error messages

tests: Convert to using logger.warning

Use the non deprecated format.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #13607 from LabNConsulting/chopps/fixospftest

tests: ospfapi: fix non-determinism in test

vtysh: Give actual pam error messages

Code was was written where the pam error message put out
was the result from a previous call to the pam modules
instead of the current call to the pam module.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #13599 from LabNConsulting/chopps/analyze-search

tests: allow selecting test results by regexp match

tests: selecting results by regexp and ragnes, add container support

- Allow selecting results using a regexp
- Allow selecting results using commasep range specs
- Add support for getting and saving results from a docker/podman
  container.
- update docs

Signed-off-by: Christian Hopps <chopps@labn.net>

Merge pull request #13594 from LabNConsulting/chopps/uniconfig

tests: cleanup unified config and config arg

tests: ospfapi: fix non-determinism in test

fixes #13584

The test had the ospf client injecting multiple opaque LSAs on 5s pace,
but the test itself verified and advanced on an LSA in the middle of
that sequence and not the last one. Then the test reset the ospf client
and originating router. If a later injected LSA managed to get in to the
router and flooded prior to the client/router reset then the opaque data
or sequence number could differ from the expected value.

Signed-off-by: Christian Hopps <chopps@labn.net>

tests: cleanup the config file specification and default code

Also, add a new warning for missing configuration files when user is
expecting them.

Signed-off-by: Christian Hopps <chopps@labn.net>

Merge pull request #13598 from opensourcerouting/fix/typo_vtysh

vtysh: Fix typo in warning message for `-b -f ...`

bgpd: Refactor subgroup_announce_table() to reuse an existing helpers

Reuse subgroup_process_announce_selected(). It does the same as we do here
duplicating the logic.

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

ripd: embed BFD YANG models

The frr-ripd model has a dependency on frr-bfdd, so include it in build.

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

mgmtd: embed necessary YANG models

Listing `.c` files in `$(…_OBJECTS):` does not have the desired effect.

(Also CLEANFILES is not needed, yang/subdir.am already has yang/*.c in
CLEANFILES anyway.)

Fixes: #13600
Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

vtysh: Fix typo in warning message for `-b -f ...`

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

Merge pull request #13592 from LabNConsulting/chopps/newmunet

munet: import 0.13.5 w/ nicer cmd logging

munet: import 0.13.5 w/ nicer cmd logging

Signed-off-by: Christian Hopps <chopps@labn.net>

ldpd: changes for code maintainability

these changes are for improving the code maintainability and readability

Signed-off-by: sri-mohan1 <sri.mohan@samsung.com>

Merge pull request #13555 from LabNConsulting/aceelindem/ospf-p2mp-delayed-reflooding-config

ospfd: OSPF P2MP Delayed Reflooding configuration

Merge pull request #13586 from ponedo/link-state-doc-fix

doc: fix typo RFC7572 to RFC7752

doc: fix typo RFC7572 to RFC7752

Signed-off-by: ponedo <2534164734@qq.com>

Merge pull request #13548 from opensourcerouting/fix/use_min_value_of_cli_zebra_cap_ecmp

ripd: Make sure we do not overuse higher values for ECMP count

Merge pull request #13556 from donaldsharp/token_to_desc

memory desciprtion shortening

Merge pull request #13578 from opensourcerouting/fix/ripd_argv_find

ripd: Use argv_find to avoid buffer overflow when parsing allow-ecmp args

Merge pull request #13535 from opensourcerouting/feature/ripng_allow_ecmp

ripng: Implement allow-ecmp X command

Merge pull request #13577 from raja-rajasekar/frr_dev1

Fixing show bgp all json format and convert evpn to no pretty output

Merge pull request #13570 from donaldsharp/toooooooo_fast

Grab bag of fixes from upgrading system

ripngd: Make sure we do not overuse higher values for ECMP count

Use a minimum value of a CLI version and a value of Zebra capabilities.

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

doc: Add RIPng allow-ecmp command

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

tests: Check if `allow-ecmp` command works for RIPng

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

ripng: Implement `allow-ecmp X` command

A port of ripd implementation for ripngd implemented by 75fce4645a7cf0a93ef0109d69365f51b84bc47c.

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

ripd: Use argv_find to avoid buffer overflow when parsing allow-ecmp args

==13211==ERROR: AddressSanitizer: heap-buffer-overflow on address 0x6020000af158 at pc 0x55d48c5f1e38 bp 0x7fffd8a713d0 sp 0x7fffd8a713c0
READ of size 8 at 0x6020000af158 thread T0
    #0 0x55d48c5f1e37 in rip_allow_ecmp ripd/rip_cli.c:98
    #1 0x7f2ec125aa0f in cmd_execute_command_real lib/command.c:990
    #2 0x7f2ec125ae90 in cmd_execute_command lib/command.c:1049
    #3 0x7f2ec125b406 in cmd_execute lib/command.c:1217
    #4 0x7f2ec137ca36 in vty_command lib/vty.c:551
    #5 0x7f2ec137ce52 in vty_execute lib/vty.c:1314
    #6 0x7f2ec1384f9e in vtysh_read lib/vty.c:2223
    #7 0x7f2ec137041b in event_call lib/event.c:1995
    #8 0x7f2ec12b54bf in frr_run lib/libfrr.c:1204
    #9 0x55d48c5f0f32 in main ripd/rip_main.c:171
    #10 0x7f2ec0ad9c86 in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x21c86)
    #11 0x55d48c5f1349 in _start (/usr/lib/frr/ripd+0x3b349)

0x6020000af158 is located 0 bytes to the right of 8-byte region [0x6020000af150,0x6020000af158)
allocated by thread T0 here:
    #0 0x7f2ec18ccb40 in __interceptor_malloc (/usr/lib/x86_64-linux-gnu/libasan.so.4+0xdeb40)
    #1 0x7f2ec12d2e41 in qmalloc lib/memory.c:100
    #2 0x7f2ec125a815 in cmd_execute_command_real lib/command.c:955
    #3 0x7f2ec125ae90 in cmd_execute_command lib/command.c:1049
    #4 0x7f2ec125b406 in cmd_execute lib/command.c:1217
    #5 0x7f2ec137ca36 in vty_command lib/vty.c:551
    #6 0x7f2ec137ce52 in vty_execute lib/vty.c:1314
    #7 0x7f2ec1384f9e in vtysh_read lib/vty.c:2223
    #8 0x7f2ec137041b in event_call lib/event.c:1995
    #9 0x7f2ec12b54bf in frr_run lib/libfrr.c:1204
    #10 0x55d48c5f0f32 in main ripd/rip_main.c:171
    #11 0x7f2ec0ad9c86 in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x21c86)

SUMMARY: AddressSanitizer: heap-buffer-overflow ripd/rip_cli.c:98 in rip_allow_ecmp
Shadow bytes around the buggy address:
  0x0c048000ddd0: fa fa fd fa fa fa fd fa fa fa fd fd fa fa fd fa
  0x0c048000dde0: fa fa fd fa fa fa fd fd fa fa fd fa fa fa fd fd
  0x0c048000ddf0: fa fa fd fa fa fa fd fd fa fa fd fd fa fa fd fd
  0x0c048000de00: fa fa fd fa fa fa fd fd fa fa 00 03 fa fa fd fa
  0x0c048000de10: fa fa fd fa fa fa 00 00 fa fa fd fa fa fa 00 03
=>0x0c048000de20: fa fa 00 03 fa fa fd fa fa fa 00[fa]fa fa fa fa
  0x0c048000de30: fa fa fa fa fa fa fa fa fa fa fa fa fa fa fa fa
  0x0c048000de40: fa fa fa fa fa fa fa fa fa fa fa fa fa fa fa fa
  0x0c048000de50: fa fa fa fa fa fa fa fa fa fa fa fa fa fa fa fa
  0x0c048000de60: fa fa fa fa fa fa fa fa fa fa fa fa fa fa fa fa
  0x0c048000de70: fa fa fa fa fa fa fa fa fa fa fa fa fa fa fa fa
Shadow byte legend (one shadow byte represents 8 application bytes):
  Addressable:           00
  Partially addressable: 01 02 03 04 05 06 07
  Heap left redzone:       fa
  Freed heap region:       fd
  Stack left redzone:      f1
  Stack mid redzone:       f2
  Stack right redzone:     f3
  Stack after return:      f5
  Stack use after scope:   f8
  Global redzone:          f9
  Global init order:       f6
  Poisoned by user:        f7
  Container overflow:      fc
  Array cookie:            ac
  Intra object redzone:    bb
  ASan internal:           fe
  Left alloca redzone:     ca
  Right alloca redzone:    cb
==13211==ABORTING

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>