Учёт трафика локальной сети с помощью fprobe и flow-tools – Linux и Unix – Каталог статей

Example usage of flow-tools.

Example – Configuring Cisco Ios Router

NetFlow is configured on each input interface, then global commands are used to specify the export destination. To ensure a consistant source address address Loopback0 is configured as the export source.

ip cef distributed
ip flow-export version 5 origin-as
ip flow-export destination 10.0.0.100 5004
ip flow-export source Loopback0

interface Loopback0
 ip address 10.1.1.1 255.255.255.255

interface FastEthernet0/1/0 
 ip address 10.0.0.1 255.255.255.0
 no ip directed-broadcast
 ip route-cache flow
 ip route-cache distributed

Example – Configuring Cisco Catios Switch

The router side running IOS is configured identically to the example given above. The CatIOS NetFlow Data Export configuration follows:

set mls flow full
set mls nde version 7
set mls nde 10.0.0.1 9800
set mls nde enable

Example – Configuring Juniper Router

Juniper supports flow exports by the routing engine sampling packet headers and aggregating them into flows. Packet sampling is done by  defining a firewall filter to accept and sample all traffic,  applying that rule to the interface, then configuring the sampling forwarding option.

interfaces {
    ge-0/3/0 {
        unit 0 {
            family inet {
                filter {
                    input all;
                    output all;
                }
                address 10.0.0.1/24;
            }
        }
    }

firewall {
    filter all {
        term all {
            then {
                sample;
                accept;
            }
        }
    }
}

forwarding-options {
    sampling {
        input {
            family inet {
                rate 100;
            }
        }
        output {
            cflowd 10.0.0.100 {
                port 9800;
                version 5;
            }
        }
    }
}

Example – Network Topology and flow.acl

The network topology and flow.acl will be used for many of the examples that follow. Flows are collected and stored in /flows/R.

                       ISP-A       ISP-B
                         +           +
                          +         +
            IP=10.1.2.1/24 +       + IP=10.1.1.1/24
                 ifIndex=2  +     +  ifIndex=1
       interface=serial1/1   +   +   interface=serial0/0
                             -----
                             | R | Campus Router
                             -----
                             +   +
           IP=10.1.4.1/24   +     +   IP=10.1.3.1/24
                ifIndex=4  +       +  ifIndex=3
    interface=Ethernet1/1 +         + interface=Ethernet0/0
                         +           +
                       Sales      Marketing
ip access-list standard sales permit 10.1.4.0 0.0.0.255
ip access-list standard not_sales deny 10.1.4.0 0.0.0.255
ip access-list standard marketing permit 10.1.3.0 0.0.0.255
ip access-list standard not_marketing deny 10.1.3.0 0.0.0.255
ip access-list standard campus permit 10.1.4.0 0.0.0.255
ip access-list standard campus permit 10.1.3.0 0.0.0.255
ip access-list standard not_campus deny 10.1.4.0 0.0.0.255
ip access-list standard not_campus deny 10.1.3.0 0.0.0.255
ip access-list standard evil_hacket permit host 10.6.6.6
ip access-list standard spoofer permit host 10.9.9.9
ip access-list standard multicast 224.0.0.0 15.255.255.255

Example – Finding Spoofed Addresses

A common problem on the Internet is the use of “spoofed” (addresses that are not assigned to an organization) for use in DoS attacks or  compromising servers that rely on the source IP address for authentication.

Про анемометры:  Счетчики сжиженного газа купить в Москве недорого, каталог товаров по низким ценам в интернет-магазинах с доставкой

Display all flow records that originate from the campus and are sent to the Internet but are not using legal addresses.

flow-cat /flows/R | flow-filter -Snot_campus -I1,2 | flow-print

Summary of the destinations of the internally spoofed addresses sorted by octets.

flow-cat /flows/R | flow-filter -Snot_campus -I1,2 | flow-stat -f8 -S2

Summary of the sources of the internally spoofed addresses sorted by flows.

flow-cat /flows/R | flow-filter -Snot_campus -I1,2 | flow-stat -f9 -S1

Summary of the internally spoofed sources and destination pairs sorted by packets.

flow-cat /flows/R | flow-filter -Snot_campus -I1,2 | flow-stat -f10 -S4

Display all flow records that originate external to the campus that have campus addresses. Many times these can be attackers trying to exploit host based authentication mechanisms like unix r* commands. Another common source is mobile clients which send packets with their campus addresses before obtaining a valid IP.

flow-cat /flows/R | flow-filter -Scampus -i1,2 | flow-print

Summary of the destinations of the externally spoofed addresses sorted by octets.

flow-cat /flows/R | flow-filter -Scampus -i1,2 | flow-stat -f8 -S2

Example – Locate Hosts Using or Running Services

Find all SMTP servers active during the collection period that have established connections to the Internet. Summarize sorted by octets.

flow-cat /flows/R | flow-filter -I1,2 -P25 | flow-stat -f9 -S2

Find all outbound NNTP connections to the Internet. Summarize with source and destination IP sorted by octets.

flow-cat /flows/R | flow-filter -I1,2 -P119 | flow-stat -f10 -S3

Find all inbound NNTP connections to the Internet. Summarize with source and destination IP sorted by octets.

flow-cat /flows/R | flow-filter -i1,2 -P119 | flow-stat -f10 -S3

Example – Multicast Usage

Summarize Multicast S,G where sources are on campus.

flow-cat /flows/R | flow-filter -Dmulticast -I1,2 | flow-stat -f10 -S3

Summarize Multicast S,G where sources are off campus.

flow-cat /flows/R | flow-filter -Dmulticast -i1,2 | flow-stat -f10 -S3

Example – Find Scanners

Find SMTP scanners with flow-dscan. This will also find SMTP clients which try to contact many servers. This behavior is characterized by a  recent Microsoft worm.

touch dscan.suppress.src dscan.suppress.dst

flow-cat /flows/R | flow-filter -P25 | flow-dscan -b

See Also

flow-tools(1)

Info

26 Август 2010

Очень часто у системных администраторов возникает
задача учёта трафика локальной сети. Ниже будет показано как можно
решить эту задачу используя flow-сенсор fprobe и утилиты из пакета
flow-tools.

Озвучим начальные условия:

  • Локальная сеть с адресным пространством 192.168.2.0/24.
  • Интернет-шлюз под управлением Ubuntu Server 8.10, подключенный к
    локальной сети интерфейсом eth1 и имеющий на нём адрес 192.168.2.1.
  • Сервер мониторинга, работающий под управлением Debian Lenny. Он
    имеет адрес 192.168.2.10. На него мы будем собирать логи и на нём же мы
    будем их обрабатывать.
Про анемометры:  Что такое анемометр?

Первым делом установим fprobe на сервер:

apt-get install fprobe

На вопрос с какого интерфейса снимать трафик нужно
ответить “eth1”, а на вопрос куда отсылать логи – “192.168.2.10:9999”.
Порт можно выбрать произвольно – главное чтобы на сервере мониторинга
он был свободен. Собственно на этом настройка интернет-шлюза
заканчивается, переходим к серверу мониторинга.

Установим flow-tools:

apt-get install flow-tools

Далее приводим файл /etc/flow-tools/flow-capture.conf к виду:

-w /var/log/flow -n 275 0/192.168.2.1/9999

Здесь flow-capture будет принимать netflow с адреса
192.168.2.1 и слушать порту 9999 (если на шлюзе вы указали другой порт
назначения – измените соответствующим образом его значение и здесь.
Логи будут сохраняться в /var/log/flow. Место их хранения
непринципиально. Но если вы выберите другое место – делайте
соответствующие поправки во всех дальнейших инструкциях.

Создадим директорию для логов:

mkdir -p /var/log/flow

И перезапустим flow-коллектор:

invoke-rc.d flow-capture restart

На всякий случай убеждаемся что коллектор слушает нужный порт:

netstat -lpnu|grep flow-capture

В случае если всё хорошо – вывод будет выглядеть примерно вот так:

udp 0 0 0.0.0.0:9999 0.0.0.0:* 19652/flow-capture

Если же коллектор не запустился – внимательно проверьте его настройки.

Через некоторое время в указанной директории начнут
собираться логи. Остаётся только написать скрипты для генерации отчётов
на основе этих логов. Создадим директорию /root/flows, все дальнейшие
действия мы будем производить в ней:

mkdir /root/flows

Создадим файл flow.acl, в котором опишем необходимые
нам списки доступа, этот файл потом будет использоваться утилитой
flow-filter:

ip access-list standard localnet permit 192.168.2.0 0.0.0.255
ip access-list standard localnet deny any

ip access-list standard internet deny 192.168.2.0 0.0.0.255
ip access-list standard internet permit any

Здесь список localnet описывает адресное
пространство локальной сети, а список internet описывает адресное
пространство, трафик с которого мы будем считать. Если какие-то адреса
нужно внести в “бесплатную зону” – их нужно добавить в список internet
с директивой deny (По аналогии с адресным пространством локальной сети).

Так же ненужно забывать что при указании сетей в
этом файле нужно использовать инверсные маски. Если вы не очень
свободно работаете с такими масками – воспользуйтесь IP-калькулятором.

Следующим шагом создадим файл report.conf, который будет использоваться утилитой flow-report:

stat-report localnet
type ip-destination-address
output
format ascii
options +header,+xheader,+totals
fields -flows,-packets,-duration

stat-definition localnet
report localnet

На этом написание конфигурационных файлов
заканчивается и можно переходить к написанию скриптов. Сначала создадим
скрипт для генерации ежесуточных отчётов и сохраним под именем
stat_daily.sh. Вот его листинг:

#!/bin/sh

# Получаем вчерашнюю дату
RPT_Y=`/bin/date +%Y -d "-1 day"`
RPT_M=`/bin/date +%m -d "-1 day"`
RPT_D=`/bin/date +%d -d "-1 day"`

# Путь для хранения отчётов
RPT_DIR="/var/www/flow-reports/daily"

# Дата отчёта
RPT_DATE=${RPT_Y}-${RPT_M}-${RPT_D}

# Файл с отчётом
RPT_NAME=${RPT_DIR}/${RPT_DATE}.html

# Директория с логами
FLOW_DIR="/var/log/flow"

# Если вдруг директория для отчётов не существует - она будет создана
mkdir -p ${RPT_DIR}

# Создаём отчёт
#
# Утилита flow-cat "выбрасывает" на стандартный вывод данные из логов
#
# утилита flow-filter выделяет из логов определённые данные.
# С помощью ключа -f указывается файл со списками доступа
# С помощью ключа -S указывается список, описывающий источник трафика
# С помощью ключа -D указывается список, описывающий получателя трафика (нашу локальную сеть)
#
# Утилита flow-report создаёт отчёт, используя один из предопределённых отчётов.
# Файл со список отчётов задаётся с помощью ключа -s, а конкретный отчёт - с помощью ключа -S
#
# Утилита flow-rptfmt форматирует отчёт, полученный с помощью flow-report.
# Ключ -f задаёт формат, а ключ -H отключает вывод заголовка со служебной информацией
/usr/bin/flow-cat ${FLOW_DIR}/${RPT_Y}/${RPT_Y}-${RPT_M}/${RPT_Y}-${RPT_M}-${RPT_D} \
|/usr/bin/flow-filter -f/root/flows/flow.acl -Sinternet -Dlocalnet \
|/usr/bin/flow-report -s /root/flows/report.conf -S localnet \
| /usr/bin/flow-rptfmt -f html -H >> ${RPT_NAME}

Делаем скрипт исполнимым и добавляем его запуск в cron:

chmod +x stat_daily.sh && echo "20 0 * * * root /root/flows/stat_daily.sh" >> /etc/cron.d/flow_stat

После этого каждый день в директории
/var/www/flow-reports/daily будут складываться отчёты о трафике за
предыдущий день. Отчёт будет выглядеть примерно вот так:

Про анемометры:  VPN Windscribe под Windows для обхода блокировок сайтов. Как скачать, получить 10 гб трафика и пользоваться бесплатно!

2009-02-01

ip-destination-address octets
192.168.2.3 1619973024
192.168.2.2 1954758
192.168.2.10 163242
192.168.2.4 548683

В колонке “ip-destination-address ” отображается
адрес компьютера в локальной сети, а в колонке “octets” – потреблённый
трафик (в байтах).

Так же хорошо бы получать ежемесячные отчёты и удалять старые данные. Для этого создадим скрипт stat_monthly.sh:

#!/bin/sh

# Будем генерировать отчёт за предыдущий месяц
RPT_Y=`/bin/date +%Y -d "-1 month"`
RPT_M=`/bin/date +%m -d "-1 month"`

# Здесь всё практически тоже, что и в предыдущем скрипте
RPT_DIR="/var/www/flow-reports/monthly"

RPT_DATE=${RPT_Y}-${RPT_M}

RPT_NAME=${RPT_DIR}/${RPT_DATE}.html

FLOW_DIR="/var/log/flow"

# Дополнительная переменная - сюда будем архивировать старые логи
FLOW_DIR_OLD=${FLOW_DIR}/old

# Как и в предыдущем скрипте генерируем отчёт
mkdir -p ${RPT_DIR}

/usr/bin/flow-cat ${FLOW_DIR}/${RPT_Y}/${RPT_Y}-${RPT_M} \
|/usr/bin/flow-filter -f/root/flows/flow.acl -Sinternet -Dlocalnet \
|/usr/bin/flow-report -s /root/flows/report.conf -S localnet \
| /usr/bin/flow-rptfmt -f html -H >> ${RPT_NAME}

# Переходим к удалению старых логов
# На всякий случай пересоздаём хранилище этих логов
mkdir -p ${FLOW_DIR_OLD}

# Пеерходим в директорию с логами за прошлый месяц
cd ${FLOW_DIR}/${RPT_Y}/${RPT_Y}-${RPT_M}

# Архивируем логи
/bin/tar -cjf ${FLOW_DIR_OLD}/${RPT_Y}-${RPT_M}.tar.bz2 ./

# Удаляем старые логи
cd ${FLOW_DIR}/${RPT_Y}
rm -rf ${FLOW_DIR}/${RPT_Y}/${RPT_Y}-${RPT_M}

Делаем скрипт исполняемым и добавляем его в cron:

chmod +x stat_monthly.sh && echo "30 0 1 * * root /root/flows/stat_monthly.sh" >> /etc/cron.d/flow_stat

На этом всё. В принципе учёт трафика можно настроить
и используя всего один сервер – для этого flow-сенсор должен отсылать
данные на адрес 127.0.0.1, а коллектор должен слушать на этом адресе.

Для доступа к отчётам можно поднять веб-сервер, или
настроить отправку этих отчётов на e-mail. Например для отправки
ежемесячных отчётов нужно добавить в скрипт stat_monthly.sh строку:

/usr/bin/uencode ${RPT_NAME} `/usr/bin/basename ${RPT_NAME}` | /usr/bin/mail -s "Traf Report" admin@some.host

На этом всё. Приятной работы!

Оцените статью
Анемометры
Добавить комментарий

Adblock
detector