Merge pull request #10187 from chiragshah6/freload

tools: exit when reload fails to parse config file

Merge pull request #10135 from donaldsharp/ripng_faster_timers

tests: Allow ripng_topo1 to converge a bit faster

Merge pull request #10081 from ckishimo/ospf6d_type4

ospf6d: do not originate Type-4 lsa when NSSA

Merge pull request #10120 from idryzhov/bfd-detect-to

bfdd: fix detection timeout update

Merge pull request #10039 from chiragshah6/mdev

frr-reload: fix bgp nbr remote-as rendering

Merge pull request #10177 from qlyoung/fix-pceplib-style

pceplib: fix style issues

tools: exit when reload fails to parse config file

frr-reload triggers restart of service in case
it fails to parse new config file and conjunction with
running config contains 'router bgp' (default bgp instnace).

When frr-reload fails to parse new config file, it fails
to build newconfig context (empty object).
Instead of bailing out it compares against the running config
context. If the running config contains default bgp instance
it thinks new config is removing default bgp instance so it
triggers frr restart.

Fix is to to bail out reload script when it fails to parse
config file.

Ticket:#2861989
Reviewed By: MR-83
Testing Done:

router bgp 102 vrf RED
bgp router-id 2.2.2.2
neighbor underlay peer-group
neighbor underlay remote-as <---- Partial config

Before fix:
2021-12-02 02:43:16,987 ERROR: vtysh failed to process new
configuration: vtysh (mark file) exited with status 4:
b'line 79: % Command incomplete: neighbor underlay remote-as\n\n'
2021-12-02 02:43:17,145  INFO: Loading Config object from vtysh show
running
2021-12-02 02:43:17,362  INFO: "frr version 7.5+cl5.0.0u0" cannot be
removed
2021-12-02 02:43:17,362  INFO: "frr defaults datacenter" cannot be
removed
2021-12-02 02:43:17,362  INFO: "service integrated-vtysh-config" cannot
be removed
2021-12-02 02:43:17,363  INFO: "line vty" cannot be removed
2021-12-02 02:43:17,522  INFO: EVPN is enabled and default instance del
needed
2021-12-02 02:43:17,522  INFO: Restarting FRR          <---- Restart frr

After fix:

Just throw Error and abort the script.

root@TORS1:mgmt:/home/cumulus# /usr/lib/frr/frr-reload.py --debug
--reload --stdout /etc/frr/frr.conf
2021-12-02 04:00:56,519  INFO: Called via "Namespace(bindir='/usr/bin',
confdir='/etc/frr', daemon='', debug=True, filename='/etc/frr/$
rr.conf', input=None, overwrite=False, pathspace=None, reload=True,
rundir='/var/run/frr', stdout=True, test=False, vty_socket=None)"
2021-12-02 04:00:56,520  INFO: Loading Config object from file
/etc/frr/frr.conf
2021-12-02 04:00:56,679   ERROR: vtysh failed to process new
configuration: vtysh (mark file) exited with status 4:
b'line 79: % Command incomplete: neighbor underlay remote-as\n\n'
root@TORS1:mgmt:/home/cumulus#

Signed-off-by: Chirag Shah <chirag@nvidia.com>

frr-reload: fix bgp nbr remote-as

Remove neighbor <> remote-as <> config line,
if the neighbor is part of the peer-group and
peer-group contains remote-as config.

Neighbors which are part of the peer-group
cannot override remote-as.

Fix:
Frr-reload needs to remote 'neighbor <> remote-as <>'
from lines_to_add if its already part of peer-group
and peer-group has remote-as config.

Testing Done:

Before:

Config snippet:
neighbor PEERS peer-group
neighbor PEERS remote-as external
neighbor PEERS timers 3 9
neighbor 10.2.1.1 remote-as external
neighbor 10.2.1.1 peer-group PEERS
neighbor 10.2.1.1 timers 3 9
neighbor 10.2.1.2 remote-as external
neighbor 10.2.1.2 peer-group PEERS

Frr-reload failure:
line 179: Failure to communicate[13] to bgpd, line:  neighbor 10.2.1.1
remote-as external
% Peer-group member cannot override remote-as of peer-group
line 179: Failure to communicate[13] to bgpd, line:  neighbor 10.2.1.2
remote-as external
% Peer-group member cannot override remote-as of peer-group

After:
frr-reload apply the config successfully.

Signed-off-by: Chirag Shah <chirag@nvidia.com>

pceplib: fix style issues

run clang-format
run clang-format
run clang-format
run clang-format
run clang-format

Signed-off-by: Quentin Young <qlyoung@nvidia.com>

Merge pull request #10144 from ton31337/fix/bmp_memory_leaks

Merge pull request #10165 from ton31337/fix/add_connect_timer

Merge pull request #10170 from idryzhov/route-map-show

Merge pull request #10169 from idryzhov/doc-match-ip-nexthop-prefix-list

Merge pull request #10017 from AnuradhaKaruppiah/evpn-pim-register

pimd: handle vxlan sg add/del for upstream entries that are in a reg-join state

doc: add missing route-map match command

Signed-off-by: Igor Ryzhov <iryzhov@nfware.com>

lib: routemap config output cleanup

Just a small cleanup to unify the code and remove duplication.

Signed-off-by: Igor Ryzhov <iryzhov@nfware.com>

Merge pull request #9396 from idryzhov/fix-dup-key-config

Merge pull request #10166 from idryzhov/isis-fast-reroute

isisd: fix running-config for fast-reroute

vtysh: fix duplicated output of key chain configuration

When both ripd and eigrpd run at the same time, all key configuration in
key chain node is duplicated. This change adds a concept of nested nodes
into vtysh to fix the issue.

Before:
```
key chain test
 key 1
  key-string 1
 exit
 key 1
  key-string 1
 exit
exit
!
```
After:
```
key chain test
 key 1
  key-string 1
 exit
exit
!
```

Signed-off-by: Igor Ryzhov <iryzhov@nfware.com>

bfdd: fix detection timeout update

Per RFC 5880 section 6.8.12, the use of a Poll Sequence is not necessary
when the Detect Multiplier is changed. Currently, we update the Detection
Timeout only when a Poll Sequence is terminated, therefore we ignore the
Detect Multiplier change if it's not accompanied with RX/TX timer change.
To fix the problem, we should update the Detection Timeout on every
received packet.

Signed-off-by: Igor Ryzhov <iryzhov@nfware.com>

isisd: fix running-config for fast-reroute

YANG leaf means "enable" while CLI command is "disable".
So we should use "no" when the leaf is "true", not "false".

Signed-off-by: Igor Ryzhov <iryzhov@nfware.com>

Merge pull request #10164 from SaiGomathiN/name_change

pimd: Modifying members of pim_interface to accommodate IPv6 changes

pimd: Clean up switch statement to our standards

Fixup the switch statement to not have a default statement
with a enum as the case.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

tests: Test if BGP session is up additionally for route_server_client setup

Lower connect timer to 5 seconds as well.

```
FAILED test_bgp_route_server_client.py::test_bgp_route_server_client - AssertionError: Cannot see BGP GUA next hop from r3 in r1
```

```
2021-12-02 14:41:21,115 INFO: topolog.r1: vtysh command => "show bgp 2001:db8:f::3/128 json"
2021-12-02 14:41:21,115 DEBUG: topolog.r1: LinuxNamespace(r1): cmd_status("['/bin/bash', '-c', 'vtysh  -c "show bgp 2001:db8:f::3/128 json" 2>/dev/null']", kwargs: {'encoding': 'utf-8', 'stdout': -1, 'stderr': -2, 'shell': False, 'stdin': None})
2021-12-02 14:41:21,159 INFO: topolog.r1: vtysh result:
{
}
```

At least can't reproduce a failure locally (before managed to catch it).

Ran >2000 times, no failure.

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

pimd: Modifying members of pim_interface to accommodate IPv6 changes

Modifying the members of pim_interface which are to be used
for both IPv4 and IPv6 to common names(for both MLD and IGMP).

Issue: #10023

Co-authored-by: Mobashshera Rasool <mrasool@vmware.com>
Signed-off-by: Sai Gomathi <nsaigomathi@vmware.com>

Merge pull request #10110 from idryzhov/if-yang-remove-vrf

lib, yang: remove vrf from the interface list key

Merge pull request #9940 from pguibert6WIND/misc_topotests

simplify some topotests config with naming default vrf

Merge pull request #9708 from mobash-rasool/new_b

pimd: hello sent stats counter change and new flag addition to decide hello send

Merge pull request #9942 from mjstapp/fix_bgp_lu_rmap_in

bgpd: clearer safi handling for BGP-LU route updates

Merge pull request #10150 from donaldsharp/kill_daemon

tests: Fix Daemon Killing to actually notice when a deamon dies

bgpd: clearer safi handling for BGP-LU route updates

Don't hide the LABELED_UNICAST safi when processing route
updates; map it where necessary (to use the UNICAST table
for instance).

Signed-off-by: Mark Stapp <mstapp@nvidia.com>

Merge pull request #9878 from pguibert6WIND/resolver_vrf

lib: resolver per vrf support

Merge pull request #9610 from iqras23/best_path

bgpd: VRF-Lite fix best path selection

bgpd: Handle Delete status when peers flapping for BMP

Memory leak when doing quickly: clear ip bgp * or [no] neighbor X shutdown.

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

Merge pull request #10131 from lyq140/patch-5

pimd: fix igmp user config

Merge pull request #10143 from donaldsharp/lib_kernel_routes

test: Fix addKernelRoute looking for positive results

Merge pull request #10146 from ton31337/fix/acl_bmp

bgpd: Add autocomplete for access-list under BMP node

Merge pull request #10145 from donaldsharp/pim_verify_intf_statistics

tests: Allow interface statistics to be gathered with some delay

Merge pull request #10149 from donaldsharp/zebra_restart

zebra: Prevent thread usage of data after it being freed

Merge pull request #9798 from abuibrahim/master

fix broken northbound confd

tests: Fix Daemon Killing to actually notice when a deamon dies

Lot's of the GR topotests kill daemons in order to test code
that deals with crashing daemons.  Under heavy system load
it was noticed that a kill command was sent and if told to
wait we would sleep 2 seconds send another kill command and
call it good.  This was causiing issues when subsuquent
json commands would get errors like `lost connection to daemon`
as the daemon finally shut down after some time due to load.

Modify the kill the daemon function to notice that the daemon
was not actually killed and if we need to wait wait some
more time for it too happen

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #10147 from ton31337/fix/bgp_packet_set_size

bgpd: bgp_packet_set_size int to void

zebra: Prevent thread usage of data after it being freed

On startup we create a thread timer event to do a rib sweep
of the system.  On shutdown we never stopped this timer and
as such we have a situation where a thread event could be run
on shutdown after the data for it has been freed.  Here is the
crash I am seeing:

(gdb) bt
(gdb)

Save the thread data in zebra_router and stop the thread so we don't
accidently do work on shutdown we don't mean to.  In this case
it happened in our topotests with some severe system load.
Essentially we happened to kill the zebra daemon just as the
graceful_restart timer popped here.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

bgpd: bgp_packet_set_size int to void

stream size is never checked anywhere in the code, just convert to void.

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

bgpd: Add autocomplete for access-list under BMP node

```
home-spine1.donatas.net(config-bgp-bmp)# ipv6 access-list ?
  ACCESSLIST_NAME  Access list name
     test4 test6
```

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

tests: Allow interface statistics to be gathered with some delay

Currently under system load tests that use verify_pim_interface_traffic
immediately after a interface down/up event are not giving any time
for pim to receive and process the data from that event.  Give
the test some time to gather this data.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #9703 from donaldsharp/splitup_bgp_gr

tests: Split up the bgp GR topotests

Merge pull request #10018 from ckishimo/ospf6d_bitN

ospf6d: check N-bit in Hello packet

Merge pull request #10105 from ton31337/feature/rfc9072

bgpd: Implement rfc9072

test: Fix addKernelRoute looking for positive results

Under heavy system load, we are sometimes seeing this
output for addKernelRoute:

2021-11-28 16:17:27,604 INFO: topolog: [DUT: b1]: Running command: [ip route add 224.0.0.13 dev b1-f1-eth0]
2021-11-28 16:17:27,604 DEBUG: topolog.b1: LinuxNamespace(b1): cmd_status("['/bin/bash', '-c', 'ip route add 224.0.0.13 dev b1-f1-eth0']", kwargs: {'encoding': 'utf-8', 'stdout': -1, 'stderr': -2, 'shell': False, 'stdin': None})
2021-11-28 16:17:27,967 DEBUG: topolog.b1: LinuxNamespace(b1): cmd_status("['/bin/bash', '-c', 'ip route']", kwargs: {'encoding': 'utf-8', 'stdout': -1, 'stderr': -2, 'shell': False, 'stdin': None})
2021-11-28 16:17:28,243 DEBUG: topolog: ip route
70.0.0.0/24 dev b1-f1-eth0 proto kernel scope link src 70.0.0.1
Signed-off-by: Donald Sharp <sharpd@nvidia.com>
This tells us that the ip route add succeeded but when looking for it
the system failed to immediately find it.  Why is this happening?
Probably we are under heavy system load and the two different
commands, 'ip route add..' and 'ip route show' are being executed
on different cpu's and the data has not been copied to the different
cpu yet in the kernel.  This is not necessarily something normally
seen but entirely possible.  Giving the system a few extra seconds
for the kernel to execute/work the memory barrier system seems
prudent for long term success of our programming.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #10042 from wangshengjun/dev_bgp

bgpd: do not set the 'BGP_NEXTHOP_REGISTERED/BGP_NEXTHOP_UNREGISTERD'…

Merge pull request #10137 from idryzhov/vtysh-rpki

vtysh: add missing rpki node when showing config

bgpd: do not set the 'BGP_NEXTHOP_REGISTERED/BGP_NEXTHOP_UNREGISTERD' zclient send failed

Signed-off-by: wangshengjun <wangshengjun@asterfusion.com>

Merge pull request #10124 from ton31337/feature/vty_json

vtysh: add missing rpki node when showing config

Before:
```
frr version 8.2-dev
frr defaults traditional
hostname frr
rpki
 rpki polling_period 20
 rpki cache 192.0.2.1 8080 preference 1
service integrated-vtysh-config
!
```

After:
```
frr version 8.2-dev
frr defaults traditional
hostname frr
service integrated-vtysh-config
!
rpki
 rpki polling_period 20
 rpki cache 192.0.2.1 8080 preference 1
exit
!
```

Signed-off-by: Igor Ryzhov <iryzhov@nfware.com>

tests: Allow ripng_topo1 to converge a bit faster

Modify the timers uses to send updates/hello's every
1 seconds instead of 5.  Allowing this test to converge
faster under heavy system load.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #10134 from donaldsharp/isis_topo1_vrf_fix

tests: Fix isis_topo1_vrf to wait a tiny bit for zebra route install

tests: Fix isis_topo1_vrf to wait a tiny bit for zebra route install

During repeated runs I am seeing this test fail to run successfully.
Upon inspecting the output:
            {
              "prefix":"10.0.10.0/24",
              "prefixLen":24,
              "protocol":"isis",
              "vrfId":6,
              "vrfName":"r1-cust1",
              "selected":true,
              "destSelected":true,
              "distance":115,
              "metric":10,
              "queued":true,

We can see that the route is still queued.  Under heavy system
load and not ensuring that isis has time to send the route to
zebra and for zebra to install the route, this test can fail.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #9203 from opensourcerouting/bgpd-show-json

bgpd: add "json" option to a few more show commands

*: Remove redundand braces for single statement blocks

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

Merge pull request #10127 from idryzhov/ospf-asbr-instance

ospfd: fix summary-address deletion

Merge pull request #10106 from ton31337/fix/missing_llgr_cap_handling

bgpd: Add missing LLGR capability handling stuff

Merge pull request #10126 from SaiGomathiN/cleanup

pimd: removing no caller functions

Merge pull request #10125 from ton31337/feature/replace_prefix_to_json_object_string_addf

*: Replace prefix2str for JSON to %pFX

pimd: fix igmp user config

user config should go ahead no matter it is a query router or not

Signed-off-by: ron <lyq140hf2006@163.com>

pimd: removing no caller functions

Removing the no caller function declarations and definitions
in pimd directory.

Signed-off-by: Sai Gomathi <nsaigomathi@vmware.com>

ospfd: fix summary-address deletion

When the summary-address is deleted, `ospf_aggr_handle_external_info` is
called for each aggregated route for the cleanup. It needs to find the
corresponding OSPF instance and it does it using the `ei->instance`
which is totally wrong, because it's the instance from which the route
is redistributed, not the local OSPF instance. A pointer to the correct
OSPF instance is already stored in the external_info structure.

Signed-off-by: Igor Ryzhov <iryzhov@nfware.com>

bgpd: Convert vty_out to vty_json for JSON

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

bfdd: Convert vty_out to vty_json for JSON

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

ldpd: Convert vty_out to vty_json for JSON

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

lib: Convert vty_out to vty_json for JSON

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

ospf6d: Convert vty_out to vty_json for JSON

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

ospfd: Convert vty_out to vty_json for JSON

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

pathd: Convert vty_out to vty_json for JSON

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

pbrd: Convert vty_out to vty_json for JSON

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

pimd: Convert vty_out to vty_json for JSON

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

sharpd: Convert vty_out to vty_json for JSON

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

zebra: Convert vty_out to vty_json for JSON

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

tools: Convert vty_out to vty_json for JSON

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

*: Remove unused variables

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

bgpd: Replace prefix2str for JSON to %pFX

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

lib: Replace prefix2str for JSON to %pFX

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

ospfd: Replace prefix2str for JSON to %pFX

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

pbrd: Replace prefix2str for JSON to %pFX

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

pimd: Replace prefix2str for JSON to %pFX

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

zebra: Replace prefix2str for JSON to %pFX

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

tools: Replace prefix2str for JSON to %pFX

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

tests: add ospf6 topotest to check N-bit and E-bit

Signed-off-by: ckishimo <carles.kishimoto@gmail.com>

tests: verify no ospf6 neighbors

Update verify_ospf6_neighbor() so we can verify there are no
neighbors in a given router

    input_dict = {
        "r0": {
            "ospf6": {
                "neighbors": []
            }
        }
    }
    result = verify_ospf6_neighbor(tgen, topo, dut, input_dict)

Signed-off-by: ckishimo <carles.kishimoto@gmail.com>

ospf6d: check N-bit set in Hello packet

RFC 3101 states both E-bit and N-bit need to be checked when receiving a Hello packet.

"To support the NSSA option an additional check must be made in the function
that handles the receiving of the Hello packet to verify that both the N-bit
and the E-bit found in the Hello packet's option field match the area type and
ExternalRoutingCapability of the area of the receiving interface."

This PR adds the check for the N-bit

Signed-off-by: ckishimo <carles.kishimoto@gmail.com>

Merge pull request #10115 from donaldsharp/bgp_route_server_convergence

tests: Add aggressive timers to the new route server client test

Merge pull request #10008 from qlyoung/update-process-docs

doc: update release process

Merge pull request #9906 from patrasar/2553196

pimd: During Joined -> NotJoined, upstream should send prune nomatter

Merge pull request #10121 from ton31337/feature/match_ipv6_nexthop_prefixlist

bgpd: Add an ability to match ipv6 next-hop by prefix-list

Merge pull request #10116 from donaldsharp/ospf_test_cleanup

Ospf test cleanup

tests: Check if `match ipv6 next-hop prefix-list` command works

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

bgpd: Add an ability to match ipv6 next-hop by prefix-list

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

doc: Add `match ipv6 next-hop prefix-list` command

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

pimd: During Joined -> NotJoined, upstream should send prune nomatter

RCA: When upstream transition from Joined to NotJoined due to SGRpt
prune, then only SGRpt prune was sent and SG Prune is missed.

Fix: Send SG Prune towards source as well as SGRpt prune towards RP.

Signed-off-by: sarita patra <saritap@vmware.com>

tests: Remove create_router_ospf6

This function is never used, remove.  Developer can use
create_router_ospf instead

Signed-off-by: Donald Sharp <sharpd@nvidia.com>