Запись с тегами: debian

Linux backup time machine на базе Python + Rsync + Mysql

в корпоративном чате:
xxx: я очень наделся, что в этом проекте не скажу этих слов, но обстоятельства заставляют.
xxx: господа.
xxx: а бэкапы кто-то делал?

Очередной велосипед для резервного копирования для систем на базе Linux, был собран из Python-а и Rsync-а, когда существующие решения оказались либо слишком сложными, либо не обладающими достаточным функционалом.
Особенности и плюсы Linux Time Machine:

  • Работа по принципу TimeMachine из MacOs, а именно — создание инкрементальных копий в отдельных папках с возможностью быстро восстановить или как-то ещё использовать файлы за произвольную дату
  • Инкрементальные копии, основанные на Hard-Link’ах, то есть в каждой папке находится «как-бы» полная копия, однако не изменившиеся файлы являются Hard-link’ами на свои предыдущие версии в папках за старые даты
  • Лёгкое прореживание инкрементальных копий, так как Hard-link’и позволят не терять сами файлы при удалении одной из их версий
  • Моментальный доступ к файлам за счёт того что они хранятся в чистом виде (в отличии от rdiff-backup и других)
  • Встроенный функционал для создания инкрементальных SQL-дампов баз данных MySql (чтобы можно было бэкапить также и mysql-таблицы в виде файлов)
  • Автоматическое возобновление резервного копирования с того места, на котором оно остановилось, если было прервано
  • Резервное копирование может быть запущено с сервера, на котором хранятся исходные данные, с сервера, на котором находятся резервные копии, а также с любого другого сервера, имеющего доступ к двум предыдущим по ssh (Прямо сейчас эта функция сломана, копировать можно либо с локального сервера, либо на локальный (на котором запускается скрипт) 🙁 )
  • Можно ограничивать частоту резервного копирования (копировать не чаще определённого), и, таким образом, оставить информацию о частоте копирования в конфигурации, не вынося её в crontab.
  • С помощью API систему можно легко и быстро расширить, например, добавить копирование на несколько серверов-хранилищ
  • Копирование как всей файловой системы так и произвольных папок
  • Возможность исключения папок, файлов и масок файлов (например *.log)
  • Возможность автоматической очистки старых копий по гибким правилам
  • Можно настроить отправку уведомлений об ошибках в систему getSentry(веб-интерфейс собирающий и отображающий информацию по ошибкам)

Есть и минусы:

  • Данные хранятся в чистом виде, без сжатия, поэтому могут занимать в несколько раз больше оригинала (в несколько — потому что копий несколько)
  • Для копирования на каждом из «концов» должен быть установлен Rsync
  • Без доступа по ssh резервное копирование работать не будет
  • Доступ по ssh работает только по ключу
  • При вычисления занятого резервными копиями места, один и тот же файл за счёт жестких ссылок учитывается по нескольку раз, так что занятое место может вычисляться неверно (однако, консольная команда du вычисляет занятое место верно)

Читать далее


Компиляция Unreal Engine 4.14, 4.15 в Debian 8 Jessie

Unreal Engine версии 4.14, вышедший относительно недавно, как всегда, имеет кучу нового функционала, и не имеет большого количества старых багов. В частности бага из версии 4.13, приводящего к тому, что при открытии редактора Widget Blueprint весь Unreal Engine Editor вылетает целиком.

К слову, зато в UE 4.14 есть баг, из-за которого редактор вылетает при открытии редактора анимаций, или редактора скелетных мешей.

В версии 4.15 поправлены все досадные баги, приводившие к вылету редактора в Linux, и добавлены такие замечательные вещи, как типы данных Set и Map в BluePrint’ах (в C++ их можно было использовать и раньше). Первые позволяют создавать набор из произвольных неповторяющихся элементов с быстрым поиском по ним, а вторые — ассоциативный массив с произвольным типом ключей и значений.

Однако, если версию 4.13 можно было без проблем скомпилировать в Debian 8 Jessie, то версии 4.14 и 4.15 для компиляции требует Clang весрии 3.9, который есть только начиная с Debian 9 Stretch, который, на момент написания этого текста, ещё не «заморожен» и является тестовым дистрибутивом.

Итак, что же нужно, чтобы собрать UE4.14 или UE4.15 в Debian Jessie:

Читать далее


Debian 8 Jessie на ноутбуке Acer ES1-711G

За несколько лет использования в работе и дома ноутбуков Lenovo я уже успел забыть, какие проблемы бывают при попытке установить на ноутбук Linux, так как с ноутбуками Lenovo у меня была единственная проблема — установить правильный WiFi-драйвер.

Но пришло время, когда мне достался ноутбук Acer ES1-711G, и пришлось вспомнить навыки гугления, чтения логов, курения мануалов, и экспериментов с системой. С ходу установить Debian не удалось. А когда удалось — возник ещё целый ряд проблем.

В интернете есть буквально пара-тройка записей посвящённых этому ноутбуку и проблемам, возникающим с ним, но целостной картины нигде нет. Поэтому здесь я соберу полную инструкцию. Может кому-то ещё это поможет.

Читать далее


Установка нового Flash Plugin в Firefox/IceWeasel (Debian Wheezy, Jessie, Ubuntu Wily Werewolf)

Как заставить работать Firefox в Linux с новейшей версией Flash Player (выше 11.2)

Как известно, новые версии Adobe Flash Player существует в нескольких версиях:

  • ActiveX — для Internet Explorer’a (только в Windows)
  • NPAPI — существовал долгое время для всех остальных браузеров, в последнее время остановился в развитии (в Linux, для Windows всё ещё выходит)
  • PPAPI — существует с относительно недавнего времени для браузеров на движке Chromium

Компания Adobe с 2012 года отказалась поддерживать плагин Flash Player для NPAPI, и поэтому у многих пользователей FireFox в Linux версия плагина не поднимается выше 11.2

При этом сейчас (сентябрь 2016 года) уже есть Flash Plugin версии 23 и даже старше.

Решение придумал Ринат Ибрагимов, программер из Казани. Он написал обёртку (враппер) между NPAPI (системой плагинов Firefox) и PPAPI (системой плагинов Chromium). Эта обёртка выглядит для FireFox как обычный NPAPI-плагин, в то время, как для самого плагина, она выглядит как браузер с поддержкой PPAPI (как например Google Chrome).
То есть, схема работы такая:

Новый Adobe Flash PPAPI < => Враппер FreshPlayer Рината < => Firefox

Вот аккаунт героя на гитхабе: https://github.com/i-rinat
А вот и репозиторий с враппером: https://github.com/i-rinat/freshplayerplugin
Хотя в самом репозитории есть инструкция по установке, запишу здесь чёткую последовательность действий, чтобы не забыть, да и другим помочь.

Читать далее


Доступ к вашему домашнему ПК по ssh сквозь NAT

Если у вас дома стоит стационарный компьютер c Debian/GNU Linux или чем-то похожим, то у вас, вероятно, время от времени возникает потребность подключиться к нему по ssh находясь где-то совсем в другом месте. У меня, например, дома стоит системный блок без монитора и клавиатуры, работающий сервером резервного копирования. У вас это может быть рабочий ПК, или что угодно ещё, работающее под Linux.
Домашний ПК обычно входит в локальную сеть, как правило, организуемую с помощью некоего домашнего роутера. При этом доступ к нему из вне (из интернета) обычно невозможен.

Читать далее


Ваш Fail2Ban вас же и забанил

Для Linux есть замечательная утилита Fail2Ban, которая позволяет банить IP-адреса за подозрительную активность, защищаться таким образом, например, от брутфорса паролей от ssh-аккаунтов, или простым способом бороться с DDOS’ом.

Если вы им ещё не пользуетесь, кратко:

1) Установить можно банально введя

apt-get install fail2ban

после чего вы «из коробки» получите разные виды фильтров для ssh, nginx, mysql, apache, asterisk, exim, postfix, squid и ещё кучи всего.
2) Документация здесь: http://www.fail2ban.org/wiki/index.php/Main_Page

Достаточно установить fail2ban и каждого кто 3 раза будет ошибаться с вводом логина/пароля в ssh будет банить на 10 минут. Такими темпами подобрать пароль быстро не получится, особенно, если он у вас имеет вид «ac5R3&pE_~0)».

Конечно, вы знаете пароль, и всегда вводите его правильно, а точнее, ваш публичный ключ шифрования записан в ~/.ssh/authorized_keys, поэтому вы заходите на хост без пароля.

Но даже вас fail2ban в некоторых случаях может забанить

Читать далее


Создание загрузочной флешки с Windows 7 из под Debian/Gnu Linux

Задача:
Дано:

  • Есть лицензионный диск с Windows 7 или ISO-образ этого диска
  • Есть флешка, превосходящая своим объёмом размер диска или ISO-образа
  • Есть ноутбук, или системный блок, на который нужно установить Windows
  • Есть компьютер с установленным Debian GNU/Linux (в моём случае 8.0)
  • Нет привода для чтения дисков, ни встроенного, ни переносного
  • Нет компьютера с установленной Windows 7

Найти:

  • Как записать дистрибутив Windows 7 на флешку, чтобы с неё можно было загрузиться?

Решение задачи:
Читать далее


DEB-пакет yandex-disk не обновляется, не удаляется, aptitude зависает

С клиентом Яндекс.Диск’а для Linux версии 0.1.5.940 (возможно и с другими) возникает проблема: его невозможно обновить до следующей версии, или удалить, так как, при попытке удаления, процесс aptitude зависает.

Краткое гугление на эту тему позволило найти только одно упоминание: https://toster.ru/q/119609 где пользователь долго мучается с удалением, и наконец ему это удаётся, путём разнообразных танцев с бубном.

В чём собственно проблема?

Кратко: проблема в том, что внутренний девелоперский сервер яндекса недоступен снаружи, и, мало того, он даже не резолвится снаружи.

Читать далее


Установка Redmine + Nginx + Thin на Debian 8 Jessie

Эта заметка по большей части копирует мою же заметку об установке redmine в Debian Wheezy, за некоторыми исключениями.
Во-первых, с выходом Debian Jessie успела обновиться версия Redmine.
Во-вторых, в этой версии Debian по-умолчанию стоит Apache 2.4, который заметно отличается от Apache 2.2, что делает их конфигурационные файлы несовместимыми. Наткнувшись на данную проблему, я решил, что это будет отличным поводом полностью и окончательно перейти на Nginx.

Устанавливать будем Redmine в виртуальной машине на хостинге Digital Ocean под управлением ОС Debian GNU/Linux 8.0 Jessie, а также, дополним его парой полезных «в хозяйстве» плагинов и тем оформления.

В интернете масса инструкций об установке редмайна в Debian. Однако с ними всеми возникают какие-то проблемы. Связанные то с различием в версиях Redmine (между той, которую пытаешься установить и той, о которой написан мануал), то с недостатком в системе пакетов, которые были у писателя мануала, и он просто не обратил на них внимания, то с неправильной фазой луны…
Моя предыдущая инструкция — не исключение, попытавшись провернуть её в Debian Jessie я сам же наткнулся на проблемы в настройке сервера Apache.

Обойдёмся без длинного предисловия, объясняющего, почему будем ставить redmine с нуля, а не пользоваться готовым образом, предоставляемым DigitalOcean, я это уже писал 🙂

В ходе этой установки я пользовался официальными мануалами с сайта redmine.org.


Кстати, если у вас нет аккаунта в DigitalOcean вы можете создать его и получить 10 долларов если пройдёте по этой реф-ссылке: https://www.digitalocean.com/?refcode=e5a7f5c338ab

Читать далее


Debian Jessie перезапуск сети VirtualBox после пробуждения (resume)

В Debian Jessie (в отличии от Debian Wheezy) для управления службами используется systemd и с некоторыми из служб возникают проблемы.
Одна из них: VirtualBox не перезапускает свои виртуальные сетевые адаптеры после пробуждения системы из сна.

Когда это происходит:

  1. Если у вас установлен и используется VirtualBox версии 4.3.8 и ниже (на более высоких не проверял)
  2. Если в VirtualBox у вас настроен host-only адаптер
  3. Вы «усыпили» ваш реальный компьютер, например закрыв крышку ноутбука, после чего «разбудили его»

Каковы признаки:

  1. Виртуальная машина перестаёт пинговаться
  2. Подключиться к виртуальной машине по ssh также невозможно
  3. Если одна из папок виртуальной машины была примонтирована с помощью sshfs, все процессы, пытающиеся ей пользоваться намертво зависают

Что делать?

Читать далее


Страницы:12