crankcosmos/datasync

DataSync

Правила использования проекта.

Для сборки проекта используется комманда:

docker-compose build

Для запуска проекта используется комманда:

docker-compose up

Перед началом использования проекта необходимо применить миграции, выполнив следующую комманду внутри проекта.

python manage.py migrate

Cron

Для запуска, просмотра, добавления, удаления задач в django-crontab, можно использовать следующие команды(необходимо находиться в контейнере).

python manage crontab add

python manage.py crontab show
python manage.py crontab remove
python manage.py crontab run

Порты и расположение сервисов.

• http://localhost:8000 - Django

• http://localhost:8000/restfactory/ - RestFullApi

• http://localhost:5555/ - Celery-Flower

• http://localhost:***/ - RabbitMQ AdminPanel

Настройка Sentry.

Перейти в папку sentry/ находящуюся внутри папки datasync. Запустить:

docker-compose up

Если запускаете сборку первый раз то необходимо перейти в контейнер с Sentry проинициализировать базу данных коммандой:

docker exec -ti sentry_sentry_1 bash
./entrypoint.sh upgrade

После запуска sentry и создания схемы в бд для продукта, можно перейти по адресу для просмотра ошибок:

http://localhost:9000/sentry/datasync/

Тестирование связи Django с Sentry, необходимо зайтив консоль web

docker exec -ti datasync_web_1

Набрать команду:

bash
python manage.py raven test

Результатом работоспособности будет служить созданная ошибка, которую можно посмотреть через административную панель sentry, описанную выше.

Тестирование работоспособности проекта.

Через докер

Запуск автотестов

./testrun.sh up

Удалeние тестовых контейнеров

./testrun.sh rm

Так же работают все команды docker-compose, только в начале ставим ./testrun.sh

Внутри конейнера app

Для запуска тестов необходимо перейти внутрь контейнера:

    docker-compose exec app bash

После чего необходимо ввести команду:

    python manage.py test

В этом случае запустятся все тесты имеющиеся в проекте.

Для запуска отдельного куска проекта (application), необходимо указать наименование application, например вот так:

    python manage.py test yml

Также предусмотрена возможность запускать тесты по приоритетам, для этого предусмотрены теги в тестах. Например если мы хотим проверить работоспособность базового функционала, мы должны запустить тесты с тегом 'requirement'

    python manage.py test --tag requirement

Запуск проекта с теми же настройками что и на сервере.

Для запуска с настройками как на production сервере, необходимо выполнить следующие операции.

1. в файле .env поправь версию проекта.

docker-compose -f docker-compose-prod.yml config > test_production/docker-prod.yml

docker-compose -f test_production/docker-prod.yml up

docker volume create --name=pgvolume
docker volume create --name=logsvolume
docker volume create --name=staticvolume
docker volume create --name=workerdata

Вспомогательные консольные комманды.

Ниже приведен список консольных комманд, которые позволяют протестировать или запустить отдельный функционал в ручном режиме. Комманды следует выполнять внутри контейнера.

    python manage.py updater -id <yml_id_catalog>

Комманда позволяет запустить отдельный элемент каталога.

    python manage.py check_statuses

Комманда позволяет проверить работоспособность агрегатора. Сверяет файлы и таски, разница во времени не должна быть больше трех минут.

Посмотреть задвоения в БД

bash
 select id_category from yml_ymlcategories group by id_category having count(id_category) > 1;

bash
select offer_id from yml_ymloffers group by offer_id having count(offer_id) > 1;

Бекап и загрузка БД

1. Бекап выполняется коммандой:

    pg_dump -U web -F t web > /home/crank/dumps/dump_web.tar

2. загрузка данных в БД выполняется коммандой:

    pg_restore -c  -U web -d web -v "/code/dump_web.tar" -W