tests: fix some broken logging

- make sure we close and remove all handlers for named logs on each reuse.
- test module level exec.log no longer truncated to last test case output
- cleanup the log names, and make sure they are present in all exec logs
- keep separate exec logs for each pytest worker when running in distributed mode
- disabled code due to CI infra can't handle it: add per test case exec logs

Signed-off-by: Christian Hopps <chopps@labn.net>

Merge pull request #13684 from LabNConsulting/chopps/pause-functionality

tests: pause (with CLI) at step() functions when run with --pause

Merge pull request #13681 from LabNConsulting/chopps/bad-abstract2

lib: mgmtd: remove backend abstraction layer and other cleanup

Merge pull request #13677 from LabNConsulting/chopps/bad-abstract

lib: mgmtd: remove obfuscating abstraction layer and other cleanup

tests: pause (with CLI) at step() functions when run with --pause

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: mgmtd: remove abstraction layer and other cleanup

Code is no longer using a global FE "client context", and instead
creates client objects, rename the structure and it's uses to reflect this.

Remove an obfuscating abstraction layer whose existence was entirely
based on using a uintptr_t rather than a pointer to an declared-only struct.

Change multi-duty "params" structure into a single duty callbacks one.

Remove unsupported API code.

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: mgmtd: remove obfuscating abstraction layer and other cleanup

Remove an obfuscating abstraction layer whose existence was entirely
based on using a uintptr_t rather than a pointer to an declared-only struct.

As the code is no longer using a global FE "client context", and instead
create client objects, rename the structure and it's uses to reflect this.

Change init "params" structure into a single use callbacks one.

Signed-off-by: Christian Hopps <chopps@labn.net>

Merge pull request #13656 from sri-mohan1/srib-ldpd1

ldpd: changes for code maintainability

Merge pull request #13668 from donaldsharp/fsm_more_descriptive

bgpd: Give more data when state machine fails to change state

bgpd: Give more data when state machine fails to change state

When a state machine transition fails, bgpd would output
data about what happened, but not necessarily give the
reason why.  Add that data to the output.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #13659 from donaldsharp/increase_mgmt_time

tests: new mgmt_startup tests are failing due to insufficient time

Merge pull request #13646 from donaldsharp/logically_illogical

mgmtd: xpath is already NULL in the failure path

Merge pull request #13641 from donaldsharp/com_list_str

Bunch of code cleanup from Coverity

Merge pull request #13660 from anlancs/bgpd-cleanup-12

bgpd: Fix typo in debug message

Merge pull request #13637 from yyuanam/fix_vtysh_core

lib: fix vtysh core when handling questionmark

Merge pull request #13653 from dpward/ospf6d-redundant-lsa

ospf6d: Prevent redundant LSA generation before interface goes down

bgpd: Fix typo in debug message

Cosmetic change for the debug messages, mainly on the parentheses.

Before:
```
[ZJYCS-KQYD6] VRF vrf-debug(140): Rcvd NH update 50.50.50.0/24(0)0) - metric 300/300 #nhops 2/1 flags Valid Reg Static Static Exact
[VZJVD-D7GXM] parse nexthop update(50.50.50.0/24(0)(VRF vrf-debug)): bnc info not found for nexthop cache
[NSWTE-81HEK] parse nexthop update(50.50.201.0/31(0)(VRF vrf-debug)): bnc info not found for import check
```

After:
```
[ZJYCS-KQYD6] VRF vrf-debug(140): Rcvd NH update 50.50.50.0/24(0)(0) - metric 300/300 #nhops 2/1 flags Valid Reg Static Static Exact
[VZJVD-D7GXM] parse nexthop update 50.50.50.0/24(0)(VRF vrf-debug): bnc info not found for nexthop cache
[NSWTE-81HEK] parse nexthop update 50.50.201.0/31(0)(VRF vrf-debug): bnc info not found for import check
```

Signed-off-by: anlan_cs <vic.lan@pica8.com>

tests: new mgmt_startup tests are failing due to insufficient time

The tests are failing due to heavily loaded system and insufficient
time for large configs to be handled.  Increasing the time
allows the tests to complete locally for me under heavy load.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

eigrpd: dest_addr does not need to be set to NULL

All paths of the loop set dest_addr at the start
of the loop.  No need to set it to NULL to immediately
set it too something else.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

bgpd: vpn_policy_getafi can return AFI_MAX

Let's account for vpn_policy_getafi having a failure
situation and back out of the whole thing gracefully.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

bgpd: blnc cannot be NULL at if statement time

It is impossible for the blnc statement to ever be NULL at
line 1470 as that the if statement at 1453 guarantees it
to be set to something.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

zebra: Consolidate the stream_failure section with normal return

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

zebra: No need to set msg to NULL

The msg value is always reset to something new before it is used inside
the mutex.  No need to set it to NULL.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

bgpd: community_list_set str is always non null

When calling community_list_set the str variable is
always non NULL.  As such let's treat it as such.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #13652 from opensourcerouting/fix/drop_old_releases_from_the_table

doc: Update reference table for current and upcoming release dates

ldpd: changes for code maintainability

these changes are for improving the code maintainability and readability

Signed-off-by: sri-mohan1 <sri.mohan@samsung.com>

Merge pull request #13450 from patrasar/mld_core

pim6d: Fix crash in ipv6 pim command

ospf6d: Prevent redundant LSA generation before interface goes down

Commit 76249532faad ("ospf6d: Handle Premature Aging of LSAs") added a
duplicate call to OSPF6_INTRA_PREFIX_LSA_EXECUTE_TRANSIT(), when the
interface state changes to "Down".

Fixes: #1738
Signed-off-by: David Ward <david.ward@ll.mit.edu>

lib: fix vtysh core when handling questionmark

When issue vtysh command with ?, the initial buf size for the
element is 16. Then it would loop through each element in the cmd
output vector. If the required size for printing out the next
element is larger than the current buf size, realloc the buf memory
by doubling the current buf size regardless of the actual size
that's needed. This would cause vtysh core when the doubled size
is not enough for the next element.

Signed-off-by: Yuan Yuan <yyuanam@amazon.com>

doc: Update reference table for current and upcoming release dates

Keep only 3 release dates, current and two upcoming. On the next release,
just update one, instead of multiple (zero point looking too much in the
future).

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

mgmtd: xpath is already NULL in the failure path

There is no way that xpath can ever be anything but NULL
in the failure path with the goto's.  Let's just remove
the goto's and return immediately.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #13632 from LabNConsulting/chopps/mgmt-avoid-race

mgmtd: fix possible race btw read config and backend connection

Merge pull request #13639 from opensourcerouting/ospf-timestamp-truncation

ospfd, ospf6d: fix time_t truncation

Merge pull request #13634 from yyuanam/fix_bgp_core

bgpd: fix bgpd core when unintern attr

Merge pull request #13635 from donaldsharp/give_ping_a_chance

tests: Actually loop if ping fails

bgpd: fix bgpd core when unintern attr

When the remote peer is neither EBGP nor confed, aspath is the
shadow copy of attr->aspath in bgp_packet_attribute(). Striping
AS4_PATH should not be done on the aspath directly, since
that would lead to bgpd core dump when unintern the attr.

Signed-off-by: Yuan Yuan <yyuanam@amazon.com>

ospfd, ospf6d: fix time_t truncation

Change timestamp parameter from int to time_t to avoid truncation.

Found by Coverity Scan (CID 1563226 and 1563222)

Signed-off-by: Renato Westphal <renato@opensourcerouting.org>

tests: Actually loop if ping fails

The usage of run_and_expect doesn't work if the function
being called as the run part asserts.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #13631 from donaldsharp/fix_some_ping_issues

various issues

mgmtd: fix possible race btw read config and backend connection

Signed-off-by: Christian Hopps <chopps@labn.net>

Merge pull request #13601 from opensourcerouting/build-yang-embed-20230525

build: fix missing YANG model embedding

Merge pull request #13588 from sri-mohan1/srib-ldpd1

ldpd: changes for code maintainability

Merge pull request #13414 from LabNConsulting/chopps/no-mgmtd-nowrite-on-off

rework messaging, resource handling in mgmtd with bug fix and code hardening

zebra: use ifindex vs ifp to avoid use-after-free on shutdown

Signed-off-by: Christian Hopps <chopps@labn.net>

zebra: avoid unneeded vxlan work on shutdown

Signed-off-by: Christian Hopps <chopps@labn.net>

tests: add unified config tests

- simple unified test
- unified test with late backend startup test

Signed-off-by: Christian Hopps <chopps@labn.net>

pim6d: Fix crash in ipv6 pim command

Problem:
Execute the below commands, pim6d core happens.
interface ens193
 ip address 69.0.0.2/24
 ipv6 address 8000::1/120
 ipv6 mld
 ipv6 pim
We see crash only if the interface is not configured, and
we are executing PIM/MLD commands.

RootCause:
Interface ens193 is not configured. So, it will have
ifindex = 0 and mroute_vif_index = -1.
Currently, we don't enable MLD on an interface if
mroute_vif_index < 0. So, pim_ifp->MLD = NULL.
In the API pim_if_membership_refresh(), we are accessing
pim_ifp->MLD NULL pointer which leads to crash.

Fix:
Added NULL check before accessing pim_ifp->MLD pointer in
the API pim_if_membership_refresh().

Issue: #13385

Signed-off-by: Sarita Patra <saritap@vmware.com>

mgmtd: address review comments

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: fix clang uninit warning

Signed-off-by: Christian Hopps <chopps@labn.net>

tests: add some more mgmtd tests

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: cleanup BE xpath subscription and matching code

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: mgmtd: fix memleaks

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: mgmtd: add manual vty server start option and use it

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: mgmtd: fixes for startup config file processing

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: Add note to SETCFG_REQ and debug logging

- convert impossible situation into assert

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: simplify early config build removing unused code

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: fix reading of config file[s]

Signed-off-by: Christian Hopps <chopps@labn.net>

lib, zebra: Ensure that the ifp->node exists

On removal, ensure that the ifp->node is set to a null
pointer so that FRR does not use data after freed.
In addition ensure that the ifp->node exists before
attempting to free it.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

pimd: When doing json output do not output non-json strings

When entering some show commands that use json in pimd
when the interface cannot be found do not output non-json
format in that case.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

tests: Allow ping to run multiple times before failing

the bgp_default_originate test brings up the topology and
then immediately pings.  Which sometimes fails.  This is
of course possible since the first ping might actually fail
due to arp going on.  So let's give it a second chance or two.
Especially since the test, at this point, is just installing
a default route.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #13602 from opensourcerouting/fix/reuse_subgroup_process_announce_selected

bgpd: Refactor subgroup_announce_table() to reuse an existing helpers

lib: enable short circuit for FE client/adapter connection

Signed-off-by: Christian Hopps <chopps@labn.net>

staticd: remove connect notify function, not needed

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: lib: cleanup error and debug messages

- always use IDs not a mix of IDs and pointers.
- always use PRIu64 not a mix of hex and decimal for IDs

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: lib: move INIT to after client registers

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: send reply to SUBSCR_REQ with success or not

since we don't actually handle xpath subscriptions, reply with fail
if they are requested.

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: add short-circuit operation between same process

- Use a socketpair for connection, and direct (no event loop)
message sending and handling.

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: mgmtd: add a identifying tag to the debug message

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: dont be tricky with session_id just make it a session_id

- Previously was substituting a pointer to local allocated session for the
session_id returned from the FE adapter. This complexity isn't needed.
- Get rid of "%llu" format and the casts that came with it, instead use PRIu64
and the actual (uint64_t) type.

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: fix cleanup of cleanup in FE adapter code

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: eliminate unused state

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: cleanup/fix BE adapter deletion code

Signed-off-by: Christian Hopps <chopps@labn.net>

mgmtd: convert BE/FE adapter to use allocated connections

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: mgmtd: add server-side connection code to mgmt_msg

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: msg: refactor common connection code from mgmtd

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: mgmt msg: add version to messages

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: remove write-on-off, just requeue to the back of the queue

Signed-off-by: Christian Hopps <chopps@labn.net>

tests: python-foo assure foo[0] is on a list not dict_values object

Signed-off-by: Christian Hopps <chopps@labn.net>

Merge pull request #13611 from donaldsharp/logger_warn

tests: Convert to using logger.warning

Merge pull request #13608 from donaldsharp/pam_wrong

vtysh: Give actual pam error messages

tests: Convert to using logger.warning

Use the non deprecated format.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #13607 from LabNConsulting/chopps/fixospftest

tests: ospfapi: fix non-determinism in test

vtysh: Give actual pam error messages

Code was was written where the pam error message put out
was the result from a previous call to the pam modules
instead of the current call to the pam module.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #13599 from LabNConsulting/chopps/analyze-search

tests: allow selecting test results by regexp match

tests: selecting results by regexp and ragnes, add container support

- Allow selecting results using a regexp
- Allow selecting results using commasep range specs
- Add support for getting and saving results from a docker/podman
  container.
- update docs

Signed-off-by: Christian Hopps <chopps@labn.net>

Merge pull request #13594 from LabNConsulting/chopps/uniconfig

tests: cleanup unified config and config arg

tests: ospfapi: fix non-determinism in test

fixes #13584

The test had the ospf client injecting multiple opaque LSAs on 5s pace,
but the test itself verified and advanced on an LSA in the middle of
that sequence and not the last one. Then the test reset the ospf client
and originating router. If a later injected LSA managed to get in to the
router and flooded prior to the client/router reset then the opaque data
or sequence number could differ from the expected value.

Signed-off-by: Christian Hopps <chopps@labn.net>

tests: cleanup the config file specification and default code

Also, add a new warning for missing configuration files when user is
expecting them.

Signed-off-by: Christian Hopps <chopps@labn.net>

Merge pull request #13598 from opensourcerouting/fix/typo_vtysh

vtysh: Fix typo in warning message for `-b -f ...`

bgpd: Refactor subgroup_announce_table() to reuse an existing helpers

Reuse subgroup_process_announce_selected(). It does the same as we do here
duplicating the logic.

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

ripd: embed BFD YANG models

The frr-ripd model has a dependency on frr-bfdd, so include it in build.

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

mgmtd: embed necessary YANG models

Listing `.c` files in `$(…_OBJECTS):` does not have the desired effect.

(Also CLEANFILES is not needed, yang/subdir.am already has yang/*.c in
CLEANFILES anyway.)

Fixes: #13600
Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

vtysh: Fix typo in warning message for `-b -f ...`

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

Merge pull request #13592 from LabNConsulting/chopps/newmunet

munet: import 0.13.5 w/ nicer cmd logging

munet: import 0.13.5 w/ nicer cmd logging

Signed-off-by: Christian Hopps <chopps@labn.net>

ldpd: changes for code maintainability

these changes are for improving the code maintainability and readability

Signed-off-by: sri-mohan1 <sri.mohan@samsung.com>

Merge pull request #13555 from LabNConsulting/aceelindem/ospf-p2mp-delayed-reflooding-config

ospfd: OSPF P2MP Delayed Reflooding configuration

Merge pull request #13586 from ponedo/link-state-doc-fix

doc: fix typo RFC7572 to RFC7752

doc: fix typo RFC7572 to RFC7752

Signed-off-by: ponedo <2534164734@qq.com>

Merge pull request #13548 from opensourcerouting/fix/use_min_value_of_cli_zebra_cap_ecmp

ripd: Make sure we do not overuse higher values for ECMP count