pimd: Return empty JSON if we query non existing interface for IGMP stats

Now we return all zeroed stats, which seems wrong. Handle the same way, as
with PIM interfaces. Return empty JSON and a warning for VTYSH.

```
exit1-debian-11# sh ip igmp statistics interface belekas
% No such interface
exit1-debian-11# sh ip igmp statistics interface belekas json
{
}
```

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

Merge pull request #10792 from donaldsharp/pim_blargle

Fix up #6058

Merge pull request #10796 from anlancs/bgpd-zebra-newline

bgpd: add new line for prompt of "no router bgp"

bgpd: add new line for prompt of "no router bgp"

Simple prompt issue.
"no router bgp <ASN>" is ok, but "no router bgp" without <ASN> missed "\n".

Signed-off-by: anlan_cs <vic.lan@pica8.com>

Merge pull request #10739 from LabNConsulting/chopps/fixgrpc-reorg

grpc, lib: grpc cleanup/reorg

Merge pull request #10565 from lyq140/patch-thread

lib: not thread off when schedule

Merge pull request #10583 from donaldsharp/pim_upstream_timers

pimd: Ensure timers are stopped on instance shutdown

Merge pull request #10693 from anlancs/bgpd-add-check-ns

zebra: use "assert" instead of unnecessary check

Merge pull request #10793 from opensourcerouting/feature/igmp_stats_total_received_messages

pimd: Show total received messages IGMP stats

Merge pull request #10012 from AbhishekNR/upstream

pimd : Handling of Exclude mode IGMPv3 report messages for SSM aware group.

pimd: Show total received messages IGMP stats

```
exit1-debian-11# do sh ip igmp statistics
IGMP statistics
Interface               : global
V1 query                : 0
V2 query                : 0
V3 query                : 3
V2 leave                : 0
V1 report               : 0
V2 report               : 0
V3 report               : 18
mtrace response         : 0
mtrace request          : 0
unsupported             : 0
total received messages : 21
joins failed            : 0
joins sent              : 16
general queries sent    : 6
group queries sent      : 3
total groups            : 4
total source groups     : 1
exit1-debian-11# do sh ip igmp statistics json
{
  "global":{
    "name":"global",
    "queryV1":0,
    "queryV2":0,
    "queryV3":4,
    "leaveV2":0,
    "reportV1":0,
    "reportV2":0,
    "reportV3":18,
    "mtraceResponse":0,
    "mtraceRequest":0,
    "unsupported":0,
    "totalReceivedMessage":22,
    "totalGroups":3,
    "totalSourceGroups":1,
    "joinsFailed":0,
    "joinsSent":16,
    "generalQueriesSent":6,
    "groupQueriesSent":4
  }
}
```

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

lib: grpc: rework RPC handlers improve code clarity

- split NewRpcState object into 2, a Unary and a Streaming variant, which
  then allows for the next.
- move all state machine details inside these new state objects
  - use a template arg to allow for Streaming state tracking object
    creation and deletion w/o requiring this in each specific RPC
    hander.
- Code is more rugged by design now.

Thanks to Rafael Zalamena <rzalamena@opensourcerouting.org> for the cleanup
ideas/motivation.

Signed-off-by: Christian Hopps <chopps@labn.net>

pimd: A wrong address family means the register-stop receive fails

The current code in pim_register_stop_recv would never fail as
that the code was always returning 0 in all cases, but
if the code parses an incorrect afi then it has failed and
should return as much

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

pimd: FRR-PIM sending register packet even after receiving (*,G) register stop

RCA: (*,G) register stop was not handled

Fix: Loop through all (S,G) under the (*,G) and apply reg stop

Authored-by- Saravanan K <saravanank@vmware.com>
Signed-off-by: Mobashshera Rasool <mrasool@vmware.com>

Merge pull request #10738 from LabNConsulting/chopps/fixgrpc

fixes for grpc module

lib: grpc: use candiate ID to delete rather than pointer to candiate

- also be consistent in candidate IDs being uint64_t

Signed-off-by: Christian Hopps <chopps@labn.net>

lib: call protobuf clean up on exit

Let's clean up the valgrind output even more by calling the protobuf
shutdown function that deallocates all library used memory.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

tests: new grpc topotest

Signed-off-by: Christian Hopps <chopps@labn.net>

tests: analyze should also check /tmp/topotests/topotests.xml

Signed-off-by: Christian Hopps <chopps@labn.net>

tests: lib: fix grpc unit-test

Signed-off-by: Christian Hopps <chopps@labn.net>

Merge pull request #10786 from opensourcerouting/pim6-pim-prep

pim6d: prepare for sending & receiving actual PIM packets

Merge pull request #10788 from opensourcerouting/feature/igmp_stats_queries_sent

pimd: Add additional IGMP stats (generic/group specific queries sent)

Merge pull request #10725 from opensourcerouting/zebra-fpm-crash-fix

zebra: don't enqueue data with FPM socket closed

Merge pull request #10731 from donaldsharp/multipath_output_in_zebra

zebra: Multipath output

zebra: don't enqueue data with FPM socket closed

It will trigger an assert while trying to schedule the next write.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

pimd: Add additional IGMP stats (generic/group specific queries sent)

```
exit1-debian-11# sh ip igmp statistics
IGMP statistics
Interface            : global
V1 query             : 0
V2 query             : 0
V3 query             : 6
V2 leave             : 0
V1 report            : 0
V2 report            : 0
V3 report            : 14
mtrace response      : 0
mtrace request       : 0
unsupported          : 0
joins failed         : 0
joins sent           : 16
general queries sent : 6
group queries sent   : 4
total groups         : 5
total source groups  : 1
exit1-debian-11# sh ip igmp statistics json
{
  "global":{
    "name":"global",
    "queryV1":0,
    "queryV2":0,
    "queryV3":6,
    "leaveV2":0,
    "reportV1":0,
    "reportV2":0,
    "reportV3":18,
    "mtraceResponse":0,
    "mtraceRequest":0,
    "unsupported":0,
    "totalGroups":5,
    "totalSourceGroups":1,
    "joinsFailed":0,
    "joinsSent":16,
    "generalQueriesSent":6,
    "groupQueriesSent":4
  }
}
```

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

pimd: Fix indentation for struct igmp_stats

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

Merge pull request #10447 from ton31337/fix/json_with_whitespaces

*: Fix JSON keys with whitespaces and PascalCase

Merge pull request #10768 from opensourcerouting/feature/add_join_stats_per_interface_for_igmp

pimd: Add IGMP join sent/failed statistics

pimd: Add IGMP join sent/failed statistics

```
exit1-debian-11# sh ip igmp statistics
IGMP statistics
Interface           : global
V1 query            : 0
V2 query            : 0
V3 query            : 0
V2 leave            : 0
V1 report           : 0
V2 report           : 0
V3 report           : 16
mtrace response     : 0
mtrace request      : 0
unsupported         : 0
joins failed        : 0
joins sent          : 11
total groups        : 4
total source groups : 0
exit1-debian-11# sh ip igmp statistics json
{
  "global":{
    "name":"global",
    "queryV1":0,
    "queryV2":0,
    "queryV3":0,
    "leaveV3":0,
    "reportV1":0,
    "reportV2":0,
    "reportV3":16,
    "mtraceResponse":0,
    "mtraceRequest":0,
    "unsupported":0,
    "totalGroups":4,
    "totalSourceGroups":0,
    "joinsFailed":0,
    "joinsSent":11
  }
}
```

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

Merge pull request #10704 from anlancs/zebra-remove-check

zebra: Remove unnecessary check

Merge pull request #10724 from opensourcerouting/lib-rotate-logs

lib: rotate log file supplied by command line

Merge pull request #10716 from donaldsharp/routemap_rbtree_nonuniq

Merge pull request #10729 from scop/build/include-frr@-in-deb

debian: include frr@.service in deb

Merge pull request #10399 from g-balaji1/pimv6-sock

pim6d: PIMv6 socket related changes

Merge pull request #10779 from opensourcerouting/typesafe-backflip

lib: typesafe container reverse iterators

Merge pull request #10772 from opensourcerouting/pim6-mld-prep

pim6d: address management & MLD preparation

Merge pull request #10785 from ton31337/fix/remove_dead_code

bgpd: Remove dead code for [un]register_zebra_rnh

pim6d: decode IPv6 source addresses

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

pim6d: encode PIM joins correctly

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

pim6d: reenable pim_init()

... so we have `qpim_all_pim_routers_addr` initialized.

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

pimd: be more informative about missing neighbors

Much more useful to know what we were trying to find a neighbor for.

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

pimd: log interface name for send errors

Not very helpful to be told only the fd number.

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

pim6d: reenable address management code

A few more pieces that should now work reasonably well for IPv6.

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

pim6d: rework interface address tracking/selection

We only care about link-local addresses for IPv6 operation.  Also, MLD
needs the lowest while PIM needs the highest...

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

pimd: refactor/split IGMP integration

Try to untangle some spaghetti...

This is an 1:1 change that should not result in any functional
difference.

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

pimd: add safety check to OIL add/del

These will corrupt memory if mroute_vif_index is -1 (e.g. interface not
operating.)  That shouldn't happen, but it does while doing development
work, so trip an assert rather than corrupting memory.

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

Merge pull request #10744 from opensourcerouting/igmp-json-leave-typo

pimd: fix typo in IGMP interface statistics JSON output.

Merge pull request #10746 from ton31337/feature/show_group_type_under_rp_info_cli

pimd: Show group-type under `show ip pim rp-info`

bgpd: Remove dead code for [un]register_zebra_rnh

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

Merge pull request #10783 from donaldsharp/bgp_zebra_nht

Bgp zebra nht

zebra: prefixlen is not afi/safi dependant in encoding nexthops

When encoding a response to the upper level protocol the
prefixlen is not something that needs to be part of the
switch statement for handling of a prefix.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

*: When matching against a nexthop send and process what it matched against

Currently the nexthop tracking code is only sending to the requestor
what it was requested to match against.  When the nexthop tracking
code was simplified to not need an import check and a nexthop check
in b8210849b8ac1abe2d5d9a5ab2459abfde65efa5 for bgpd.  It was not
noticed that a longer prefix could match but it would be seen
as a match because FRR was not sending up both the resolved
route prefix and the route FRR was asked to match against.

This code change causes the nexthop tracking code to pass
back up the matched requested route (so that the calling
protocol can figure out which one it is being told about )
as well as the actual prefix that was matched to.

Fixes: #10766
Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #10781 from donaldsharp/remove_unused_function

pim6d: pim6d socket changes

socket changes to support IPv6 PIM

Signed-off-by: Balaji Gurudoss <G_Balaji1@dell.com>
[DL: cleaned up & refactored a whole bunch more.]
Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

zebra: Remove unused ZEBRA_NHT_EXACT_MATCH

This usage was removed in an earlier bit of code
do some final cleanup

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

bgpd, lib, pimd: Remove sockopt_cork

sockopt_cork is a no-op function that was cleaned up
in 2017.  Since then it's still not being used.  At
this point in time there is little point in keeping a
dead function that will not be used because of vagaries
between platforms

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #10780 from mobash-rasool/fixes

pimd: Fix Null pointer dereference

doc/developer: remove outdated paragraph

We have `_anywhere` and `_member` now, so this has become outdated.

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

doc/developer: reword list -> container

For some reason I couldn't think of the word "container" back when I
wrote most of this.  It is the proper term most developers wil
understand correctly, so let's use it.

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

lib: add `_last` and `_prev` on typesafe RB/DLIST

RB-tree and double-linked-list easily support backwards iteration, and
an use case seems to have popped up.  Let's make it accessible.

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

pimd: drop printing IP_MULTICAST_LOOP sockopt

This isn't a system or interface setting, it's a socket behavior.  It is
both irrelevant and confusing to the user since it doesn't affect any
system behavior (but it sounds like it does).  Whether it is enabled or
not is solely relevant to how the code is designed to work.

So, remove it from output.

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

Merge pull request #10778 from donaldsharp/command_logging

tests: Make all commands logged

pimd: Show group-type under `show ip pim rp-info`

And filter by group for PIM.

```
exit1-debian-11# show ip pim rp-info
RP address       group/prefix-list   OIF               I am RP    Source   Group-Type
192.168.10.17    238.0.0.0/24        eth2              no         Static   ASM
192.168.10.110   232.0.0.0/24        eth2              no         Static   SSM
exit1-debian-11# show ip pim rp-info 238.0.0.0/24
RP address       group/prefix-list   OIF               I am RP    Source   Group-Type
192.168.10.17    238.0.0.0/24        eth2              no         Static   ASM
exit1-debian-11# show ip pim rp-info 238.0.0.0/24 json
{
  "192.168.10.17":[
    {
      "rpAddress":"192.168.10.17",
      "outboundInterface":"eth2",
      "iAmRP":false,
      "group":"238.0.0.0/24",
      "source":"Static",
      "groupType":"ASM"
    }
  ]
}
exit1-debian-11#
```

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

zebra: use "assert" instead of unnecessary check

Since `zvni_map_to_svi_ns()` is used to find and return one specific interface
based on passed attributes of SVI, so the two parameters `in_param` and `p_ifp`
must not be NULL.

Passing NULL `p_ifp` makes no sense, so the check `if (p_ifp)` is
unnecessary.

So use `assert` to ensure the two parameters, and remove that unnecessary check.

Signed-off-by: anlan_cs <vic.lan@pica8.com>

Merge pull request #10759 from opensourcerouting/feature/add_more_stats_for_igmp

pimd: Add IGMP total groups and total source groups to statistics

Merge pull request #10727 from ton31337/feature/adjust_release_doc

doc: Add a couple of handy commands to get some info for release notes

zebra: Add ECMP supported to `show zebra`

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #10774 from opensourcerouting/pim6-fixes-20220311

pim6d: fix a bunch of IPv6 confusion

Merge pull request #10711 from anlancs/zebra-remove-flag

zebra: remove unnecessary assignment

pimd: Fix Null pointer dereferences

Fixing the below problem:
Dereferencing a pointer that might be "NULL" "group_dnode"
when calling "yang_is_last_list_dnode" in api pim_process_no_rp_cmd

Although there is no NULL pointer dereference since
yang_dnode_exists is called before using the dnode.
So removing the unnecessary yang_dnode_exists api call
and directly get the node and if node does not exists,
return.

Signed-off-by: Mobashshera Rasool <mrasool@vmware.com>

tests: Make all commands logged

Do not allow the test system to turn off the logging of commands
Some tests use the reload command that is accidently turning off
the logging.  Just force the tests to ignore it.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #10776 from donaldsharp/vrrp_compile

Merge pull request #10767 from donaldsharp/some_fixes

bgpd: Do not fail when going from GR mode to GR

vrrpd: Allow it to be built in directory

Looks like the bones were put in place but they
were slightly malformed.  Fix.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

pim6d: fix some format strings for IPv6

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

pim6d: fix some IPv6 confusion in RP code

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

pimd: RP code indentation adjustment

Need to fix some bits here and running into the "80-ch wall".

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

lib: add `%pFXh` to print prefix w/o prefixlen

Mostly for pimd, for the time being.  May be removed again if unused.

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

lib: add JSON printfrr dict-key helper

`json_object_object_add()` adds keys/items to objects/dictionaries.
Useful to have a printfrr based variant for the key there.

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

Merge pull request #10743 from donaldsharp/bgp_no_ll

Merge pull request #10480 from mobash-rasool/pimv6-doc

Merge pull request #10749 from opensourcerouting/live-log-polish

lib, vtysh: apply some polish to live-log feature

Merge pull request #10764 from ton31337/fix/add_missing_new_line_for_cli

ospfd,ospf6d: Add missing newline for `graceful-restart prepare` CLI

Merge pull request #10707 from mobash-rasool/pimv6-register-recv

bgpd: Do not fail when going from GR mode to GR

If you enter:

router bgp 325
  bgp graceful-restart
  bgp graceful-restart
!

The second command entered will fail.  This is not
something that should be failing as that it's a no-op.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

pim6d: Replace pim_br_unknown with PIMADDR_ANY

Signed-off-by: Mobashshera Rasool <mrasool@vmware.com>

pim6d: Handle B bit changes for IPv6

Signed-off-by: Mobashshera Rasool <mrasool@vmware.com>

pim6d: Parsing pimv6 register msg

Signed-off-by: Mobashshera Rasool <mrasool@vmware.com>

pim6d: Abstract api to get src and dst from ip hdr

IPv4 uses "struct ip" and IPv6 uses "struct ip6_hdr" as
headers. Get the src and dst in pim_sgaddr.
Added api pim_sgaddr_from_iphdr to do so.

Signed-off-by: Mobashshera Rasool <mrasool@vmwaer.com>

doc: Add the document for PIMv6

This PR is raised to add the documentation for MLD and PIMv6.

Signed-off-by: Mobashshera Rasool <mrasool@vmware.com>

Merge pull request #10662 from chiragshah6/evpn_dev1

zebra: netlink protodown event handling for vxlan device

ospfd,ospf6d: Add missing newline for `graceful-restart prepare` CLI

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

Merge pull request #10694 from opensourcerouting/pim6-nht-reenable

pim6d: reenable NHT code

Merge pull request #10635 from anlancs/staticd-cross

zebra: let same host route cross VRF

Merge pull request #10079 from mjstapp/fix_intf_del_nhgs

zebra: let /32 host route with same IP cross VRF

Contraints of host routes are too strict in current code:
Host routes with same destination address and nexthop address are forbidden
even when cross VRFs.

Currently host routes with different destination and nexthop address can cross
VRFs, it is ok. But host routes with same addresses are forbidden to cross VRFs,
it is wrong.

Since different VRFs can have the same addresses, leak specific host route with
the same nexthop address ( it means destination address is same to nexthop
address ) to other VRFs is a normal case.

This commit relaxes that contraints. Host routes with same destination address
and nexthop address are forbidden only when not cross VRFs.

Signed-off-by: anlan_cs <vic.lan@pica8.com>

zebra: shutdown doesn't uninstall zebra's NHGs

When an interface goes down, it signals any related NHGs to
re-validate themselves. During zebra shutdown, ensure we remove
any NHGs we've installed.

Signed-off-by: Mark Stapp <mstapp@nvidia.com>

pimd: Add IGMP total groups and total source groups to statistics

Signed-off-by: Donatas Abraitis <donatas@opensourcerouting.org>

Merge pull request #10701 from rampxxxx/feat_isis_json_show_cmds

Feat isis json show cmds