For english readme: README.en.md

Demo URL: https://iplist.opencck.org

Данный сервис предназначен для сбора и обновления IP-адресов (IPv4 и IPv6), а также их CIDR зон для указанных доменов. Это асинхронный PHP веб-сервер на основе AMPHP и Linux-утилит whois и ipcalc. Сервис предоставляет интерфейсы для получения списков зон ip адресов указанных доменов (IPv4 адресов, IPv6 адресов, а также CIDRv4 и CIDRv6 зон) в различных форматах, включая текстовый, JSON, форматы скриптов для добавления в "Address List" на роутерах Mikrotik (RouterOS), Keenetic KVAS\BAT, SwitchyOmega, Amnezia и др.

Основные возможности

• Сбор и автоматическое обновление IP-адресов и CIDR зон для доменов.
• Поддержка вывода данных в различных форматах (JSON, lst, Mikrotik, OpenWRT, ipset и т.д).
• Интеграция с внешними источниками данных (поддержка импорта начальных данных из внешних URL).
• Легкое развертывание с помощью Docker Compose.
• Настройка через JSON файлы для управления доменами.

Используемые технологии

• PHP 8.1+ (amphp, revolt)
• whois, ipcalc (linux)

Конфигурационные файлы хранятся в config/<группа>/<портал>.json. Каждый JSON файл представляет собой конфигурацию для конкретного портала, задавая домены для мониторинга и источники начальных данных по IP и CIDR.

{
    "domains": [
        "youtube.com",
        "www.youtube.com",
        "m.youtube.com",
        "www.m.youtube.com",
        "googlevideo.com",
        "www.googlevideo.com",
        "ytimg.com",
        "i.ytimg.com"
    ],
    "dns": ["127.0.0.11:53", "77.88.8.88:53", "8.8.8.8:53"],
    "timeout": 43200,
    "ip4": [],
    "ip6": [],
    "cidr4": [],
    "cidr6": [],
    "external": {
        "domains": ["https://raw.githubusercontent.com/nickspaargaren/no-google/master/categories/youtubeparsed"],
        "ip4": ["https://raw.githubusercontent.com/touhidurrr/iplist-youtube/main/ipv4_list.txt"],
        "ip6": ["https://raw.githubusercontent.com/touhidurrr/iplist-youtube/main/ipv6_list.txt"],
        "cidr4": ["https://raw.githubusercontent.com/touhidurrr/iplist-youtube/main/cidr4.txt"],
        "cidr6": ["https://raw.githubusercontent.com/touhidurrr/iplist-youtube/main/cidr6.txt"]
    }
}

git clone https://github.com/rekryt/iplist.git
cd iplist
cp .env.example .env

Если требуется отредактируйте .env файл

docker compose up -d

Открыть сервис можно в браузере по протоколу http, порт 8080

http://0.0.0.0:8080/
http://0.0.0.0:8080/?format=json
http://0.0.0.0:8080/?format=json&site=youtube.com&data=domains
http://0.0.0.0:8080/?format=text&site=youtube.com&data=ip4
http://0.0.0.0:8080/?format=mikrotik&data=cidr4
http://0.0.0.0:8080/?format=mikrotik&site=youtube.com&data=cidr4
http://0.0.0.0:8080/?format=comma&data=cidr4

Для настройки SSL сертификата вам понадобится домен настроенный на ваш сервер. Если у вас нет собственного домена - как вариант бесплатный домен можно получить например на https://noip.com. Актуальность такого домена придётся подтверждать раз в месяц.

• Установите и настройте реверс-прокси, например NginxProxyManager
• Создайте виртуальную сеть docker

docker network create web

• Настройте её в docker-compose.yml файлах реверс-прокси и данного проекта

services:
    ...
    app:
        networks:
            - web
networks:
    web:
        external: true
        name: web

• Удалите свойство ports из docker-compose.yml (этого проекта)
• Примените изменения:

docker compose up -d

• Имя контейнера можно посмотреть командой docker compose ps
• В панели администрирования реверс-прокси настройте домен на него iplist-app-1 порт 8080 и включите SSL
• NginxProxyManager будет продлевать ssl сертификат автоматически

apt-get install -y git golang
git clone https://github.com/v2fly/geoip.git
cd geoip
go build .
cd ../

apt-get install -y ntpsec whois dnsutils ipcalc
cp .env.example .env
composer install
php index.php

Для получения выгрузки данных по заданному шаблону используются get параметры: format=custom и template=шаблон, где шаблон может содержать такие паттерны как:

Примеры:

Wildcard домены twitter для dns static add под mikrotik для forward-to=localhost:
https://iplist.opencck.org/?format=custom&data=domains&site=x.com&wildcard=1&template=%2Fip%20dns%20static%20add%20name%3D%7Bdata%7D%20type%3DFWD%20address-list%3D%7Bgroup%7D_%7Bsite%7D%20match-subdomain%3Dyes%20forward-to%3Dlocalhost

Wildcard домены в кастомном формате:
https://iplist.opencck.org/?format=custom&data=domains&wildcard=1&template=data%3A%20%7Bdata%7D%20group%3A%20%7Bgroup%7D%20site%3A%20%7Bsite%7D

Маска подсети в кастомном формате:
https://iplist.opencck.org/?format=custom&data=cidr4&template=data%3A%20%7Bdata%7D%20group%3A%20%7Bgroup%7D%20site%3A%20%7Bsite%7D%20shortmask%3A%20%7Bshortmask%7D%20mask%3A%20%7Bmask%7D

Скачайте iplist.dat файл в рабочий каталог:

https://iplist.opencck.org/?format=geoip&data=cidr4

Пример routing конфигурации:

{
  "routing": {
    "rules": [
      {
        "type": "field",
        "outboundTag": "vpn",
        "ip": ["ext:iplist.dat"]
      },
      ...
    ]
  },
  ...
}

Пример использования тегов (по имени портала или группы) в конфигурации:

{
  "routing": {
    "rules": [
      {
        "type": "field",
        "outboundTag": "vpn",
        "ip": ["ext:iplist.dat:youtube.com"]
      },
      {
        "type": "field",
        "outboundTag": "vpn",
        "ip": ["ext:iplist.dat:anime"]
      },
      ...
    ]
  },
  ...
}

• В администраторской панели роутера (или через winbox) откройте раздел System -> Scripts
• Создайте новый скрипт "Add new" с произвольным именем, например iplist_v4_cidr
• В поле Source введите следующий код (используйте url адрес вашего сервера, протокол в mode тоже может отличаться):

/tool fetch url="https://iplist.opencck.org/?format=mikrotik&data=cidr4&append=timeout%3D1d" mode=https dst-path=iplist_v4_cidr.rsc
:delay 5s
:log info "Downloaded iplist_v4_cidr.rsc succesfully";

/import file-name=iplist_v4_cidr.rsc
:delay 10s
:log info "New iplist_v4_cidr added successfully";

• 
• Сохраните скрипт
• Откройте раздел планировщика System -> Scheduler
• Создайте новое задание с произвольным именем, например iplist_v4_cidr
• В качестве Start time укажите время для старта задания (пример: 00:05:00). Для Interval введите значение 1d 00:00:00.
• В поле On event введите имя скрипта

iplist_v4_cidr

• 
• Откройте скрипт в разделе System -> Scripts и запустите его нажатием на кнопку Run Script
• В разделе Logs вы должны увидеть сообщение New iplist_v4_cidr added successfully
• 
• А в разделе IP -> Firewall -> Address Lists должны появиться новые списоки (в примере с именем youtube)
• 

Через GET-параметр template для формата mikrotik можно указывать шаблон для имени списка:

https://iplist.opencck.org/?format=mikrotik&data=cidr4&append=timeout%3D1d&template={group}_{data}

По умолчанию шаблон имеет значение: {group}_{data}

Включите "Routing mode" в "Only proxy mainland China": Подключитесь к роутеру по ssh и выполните следующие команды:

# переименовываем старый скрипт обновления
mv /etc/homeproxy/scripts/update_resources.sh /etc/homeproxy/scripts/update_resources.sh.origin

# загружаем новый скрипт
wget https://iplist.opencck.org/scripts/homeproxy/update_resources.sh -O /etc/homeproxy/scripts/update_resources.sh

# добавляем права на выполнение
chmod +x /etc/homeproxy/scripts/update_resources.sh

# отменяем стирание cron после перезапуска homeproxy
sed -i '/sed -i/s/^/\t#/; /\/etc\/init.d\/cron restart >/s/^/\t#/' /etc/init.d/homeproxy

# вы захостили это решение? - тогда раскомментируйте следующую строку и поменяйте "example.com" на ваш домен
# sed -i 's/iplist.opencck.org/example.com/g' /etc/homeproxy/scripts/update_resources.sh

Откройте административную панель OpenWRT раздел "System" - "Sсheduled Tasks". Добавьте строку, чтобы автоматически запускать скрипт обновления при старте, а также в 00:05:00 и 12:05:00

5 0,12 * * * /etc/homeproxy/scripts/update_crond.sh

Установить можно по ссылке

Подробнее о формате Switchy RuleList

The MIT License (MIT). Please see LICENSE for more information.