Support Ubuntu 20.04 and localized setup messages

Author: mavisland

.github/workflows/tests.yml

@@ -10,11 +10,14 @@ permissions:
 jobs:
   test:
     runs-on: ubuntu-latest
+    strategy:
+      matrix:
+        python-version: ["3.8", "3.12"]
     steps:
       - uses: actions/checkout@v4
       - uses: actions/setup-python@v5
         with:
-          python-version: "3.12"
+          python-version: ${{ matrix.python-version }}
           cache: pip
       - name: Install dependencies
         run: python -m pip install -r requirements-dev.txt

README.md

@@ -59,7 +59,8 @@ sudo bash setup.sh
 
 `setup.sh` ilk kurulumun tamamını yürütür:
 
-- Python 3.10+ ile `venv`/`pip` bileşenlerini denetler. Python eksik veya eskiyse otomatik kurulum yapmadan, sistem dili Türkçeyse Türkçe; diğer dillerde İngilizce örnek Ubuntu komutunu gösterip durur.
+- Kurulum boyunca sistem dili Türkçeyse Türkçe, diğer dillerde İngilizce mesajlar gösterir.
+- Ubuntu 20.04'ün varsayılan Python 3.8 sürümü dahil Python 3.8+ ile `venv`/`pip` bileşenlerini denetler. Python eksik veya eskiyse otomatik kurulum yapmadan örnek Ubuntu komutunu gösterip durur.
 - imapsync ve bağımsız MySQL/MariaDB bileşenlerini denetler; eksikleri kurar.
 - `/opt/zimbra-migration` dizini ile kısıtlı `zimbra-migrator` servis kullanıcısını oluşturur.
 - `zimbra_migration` veritabanını ve yalnızca bu veritabanında CRUD yetkili kullanıcıyı oluşturur.
@@ -200,7 +201,8 @@ sudo bash setup.sh
 
 `setup.sh` performs the complete first-time installation:
 
-- Checks for Python 3.10+ and the `venv`/`pip` components. If Python is missing or outdated, it does not install Python automatically; it stops and prints an example Ubuntu command in Turkish when the system locale is Turkish, or in English otherwise.
+- Displays Turkish messages throughout installation when the system locale is Turkish, and English messages for every other locale.
+- Supports Ubuntu 20.04's default Python 3.8 and checks for Python 3.8+ with the `venv`/`pip` components. If Python is missing or outdated, it does not install Python automatically; it stops and prints an example Ubuntu command.
 - Checks imapsync and the independent MySQL/MariaDB service, installing missing components.
 - Creates `/opt/zimbra-migration` and the restricted `zimbra-migrator` service account.
 - Creates the `zimbra_migration` database and a user limited to CRUD access on that database.

app.py

@@ -16,7 +16,9 @@
 from contextlib import asynccontextmanager
 from datetime import datetime, timedelta, timezone
 from pathlib import Path
-from typing import Annotated
+from typing import Optional
+
+from typing_extensions import Annotated
 
 import uvicorn
 import pymysql
@@ -242,7 +244,7 @@ def add_job(payload: dict) -> int:
             VALUES (:source_host,:source_port,:source_security,:source_email,:source_password,
                     :target_host,:target_port,:target_security,:target_email,:target_password,
                     :start_date,:end_date,:lock_key,:active_lock,:created_at)""",
-            values | {"created_at": now()},
+            dict(values, created_at=now()),
         )
         return int(cursor.lastrowid)
 
@@ -290,7 +292,7 @@ def __init__(self) -> None:
         self.wakeup = asyncio.Event()
         self.running: dict[int, asyncio.subprocess.Process] = {}
         self.tasks: set[asyncio.Task] = set()
-        self.loop_task: asyncio.Task | None = None
+        self.loop_task: Optional[asyncio.Task] = None
         self.paused = False
         self.last_housekeeping = 0.0
 
@@ -602,7 +604,9 @@ def summary():
             SUM(CASE WHEN status='completed' THEN 1 ELSE 0 END) completed,
             SUM(CASE WHEN status IN ('failed','interrupted') THEN 1 ELSE 0 END) failed
             FROM jobs""").fetchone()
-    return dict(row) | {"max_parallel": MAX_PARALLEL, "paused": manager.paused}
+    result = dict(row)
+    result.update(max_parallel=MAX_PARALLEL, paused=manager.paused)
+    return result
 
 
 @app.post("/api/control/pause")

requirements-dev.txt

@@ -1,2 +1,2 @@
 -r requirements.txt
-pytest==8.4.1
+pytest==8.3.5

requirements.txt

@@ -1,7 +1,8 @@
 fastapi==0.116.1
-uvicorn[standard]==0.35.0
+uvicorn[standard]==0.33.0
 python-multipart==0.0.20
 cryptography==45.0.6
 PyMySQL==1.1.1
-python-dotenv==1.1.1
+python-dotenv==1.0.1
 itsdangerous==2.2.0
+typing-extensions==4.13.2

scripts/hash-password.py

@@ -1,14 +1,25 @@
 #!/usr/bin/env python3
 import getpass
 import hashlib
+import locale
+import os
 import secrets
 
-password = getpass.getpass("Panel parolası: ")
-confirmation = getpass.getpass("Panel parolası (tekrar): ")
+language = os.getenv("INSTALL_LANGUAGE") or (locale.getlocale()[0] or "en")
+turkish = language.lower().startswith("tr")
+messages = {
+    "password": "Panel parolası: " if turkish else "Panel password: ",
+    "confirmation": "Panel parolası (tekrar): " if turkish else "Confirm panel password: ",
+    "mismatch": "Parolalar eşleşmiyor" if turkish else "Passwords do not match",
+    "length": "Parola en az 12 karakter olmalıdır" if turkish else "The password must be at least 12 characters long",
+}
+
+password = getpass.getpass(messages["password"])
+confirmation = getpass.getpass(messages["confirmation"])
 if password != confirmation:
-    raise SystemExit("Parolalar eşleşmiyor")
+    raise SystemExit(messages["mismatch"])
 if len(password) < 12:
-    raise SystemExit("Parola en az 12 karakter olmalıdır")
+    raise SystemExit(messages["length"])
 
 n, r, p = 16384, 8, 1
 salt = secrets.token_bytes(16)

scripts/locales/setup.en.sh

@@ -0,0 +1,26 @@
+MSG_ROOT_REQUIRED="Run the installer with sudo: sudo bash setup.sh"
+MSG_EXISTING_INSTALLATION="%s/.env already exists. setup.sh is only for the first installation."
+MSG_STEP_REQUIREMENTS="[1/8] Checking system requirements..."
+MSG_PYTHON_REQUIRED="Python 3.%s or newer is required; Python will not be installed automatically."
+MSG_CURRENT_UBUNTU_EXAMPLE="Example installation on current Ubuntu releases:"
+MSG_PYTHON_RETRY="After installation, verify the version with 'python3 --version' and run setup.sh again."
+MSG_VENV_REQUIRED="Python 3 is available, but the venv/pip components are missing; they will not be installed automatically."
+MSG_INSTALL_EXAMPLE="Example installation:"
+MSG_SETUP_RETRY="Run setup.sh again after installing the packages."
+MSG_MYSQL_REUSE="Using the existing system MySQL/MariaDB service."
+MSG_STEP_IMAPSYNC="[2/8] Checking imapsync..."
+MSG_IMAPSYNC_REUSE="Using the existing imapsync executable:"
+MSG_STEP_FILES="[3/8] Preparing the service account and application directory..."
+MSG_STEP_PYTHON="[4/8] Creating the Python environment..."
+MSG_STEP_DATABASE="[5/8] Preparing the application database..."
+MSG_MYSQL_ACCESS_ERROR="Could not obtain root socket access to the system MySQL/MariaDB service."
+MSG_ZIMBRA_DB_UNUSED="Zimbra's embedded database is not used for security and upgrade safety."
+MSG_STEP_CREDENTIALS="[6/8] Creating panel credentials..."
+MSG_USERNAME_PROMPT="Panel username [admin]: "
+MSG_USERNAME_INVALID="The username may contain only letters, numbers, dots, underscores, and hyphens."
+MSG_STEP_PERMISSIONS="[7/8] Configuring file permissions and the systemd service..."
+MSG_STEP_SERVICE="[8/8] Starting the service..."
+MSG_COMPLETE="Installation completed."
+MSG_PANEL="Panel:"
+MSG_USERNAME="Username:"
+MSG_PORT_SAFETY="Allow port 8787 only from an administrator IP or VPN network."

scripts/locales/setup.tr.sh

@@ -0,0 +1,26 @@
+MSG_ROOT_REQUIRED="Kurulumu sudo ile çalıştırın: sudo bash setup.sh"
+MSG_EXISTING_INSTALLATION="%s/.env zaten var. setup.sh yalnızca ilk kurulum içindir."
+MSG_STEP_REQUIREMENTS="[1/8] Sistem gereksinimleri denetleniyor..."
+MSG_PYTHON_REQUIRED="Python 3.%s veya üzeri gerekli; Python otomatik olarak kurulmayacaktır."
+MSG_CURRENT_UBUNTU_EXAMPLE="Güncel Ubuntu sürümlerinde örnek kurulum:"
+MSG_PYTHON_RETRY="Kurulumdan sonra 'python3 --version' ile sürümü doğrulayıp setup.sh dosyasını yeniden çalıştırın."
+MSG_VENV_REQUIRED="Python 3 bulundu ancak venv/pip bileşenleri eksik; bunlar otomatik olarak kurulmayacaktır."
+MSG_INSTALL_EXAMPLE="Örnek kurulum:"
+MSG_SETUP_RETRY="Paketleri kurduktan sonra setup.sh dosyasını yeniden çalıştırın."
+MSG_MYSQL_REUSE="Mevcut sistem MySQL/MariaDB hizmeti kullanılacak."
+MSG_STEP_IMAPSYNC="[2/8] imapsync denetleniyor..."
+MSG_IMAPSYNC_REUSE="Mevcut imapsync kullanılacak:"
+MSG_STEP_FILES="[3/8] Servis kullanıcısı ve uygulama dizini hazırlanıyor..."
+MSG_STEP_PYTHON="[4/8] Python ortamı oluşturuluyor..."
+MSG_STEP_DATABASE="[5/8] Uygulama veritabanı hazırlanıyor..."
+MSG_MYSQL_ACCESS_ERROR="Sistem MySQL/MariaDB root socket erişimi kurulamadı."
+MSG_ZIMBRA_DB_UNUSED="Zimbra'nın gömülü veritabanı güvenlik ve güncelleme güvenliği nedeniyle kullanılmaz."
+MSG_STEP_CREDENTIALS="[6/8] Panel kimlik bilgileri oluşturuluyor..."
+MSG_USERNAME_PROMPT="Panel kullanıcı adı [admin]: "
+MSG_USERNAME_INVALID="Kullanıcı adı yalnızca harf, rakam, nokta, alt çizgi ve tire içerebilir."
+MSG_STEP_PERMISSIONS="[7/8] Dosya izinleri ve systemd servisi ayarlanıyor..."
+MSG_STEP_SERVICE="[8/8] Servis başlatılıyor..."
+MSG_COMPLETE="Kurulum tamamlandı."
+MSG_PANEL="Panel:"
+MSG_USERNAME="Kullanıcı:"
+MSG_PORT_SAFETY="8787 portuna yalnızca yönetici IP adresinden veya VPN ağından izin verin."

setup.sh

@@ -5,66 +5,50 @@ APP_DIR=${APP_DIR:-/opt/zimbra-migration}
 APP_USER=zimbra-migrator
 DB_NAME=zimbra_migration
 DB_USER=zimbra_migrator
-MIN_PYTHON_MINOR=10
+MIN_PYTHON_MINOR=8
 SOURCE_DIR=$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)
-# Ubuntu'nun sistem dilini tercih et; dosya yoksa mevcut oturum yerel ayarına dön.
+# Prefer Ubuntu's system locale; fall back to the current session locale.
 SYSTEM_LOCALE=""
 if [[ -r /etc/default/locale ]]; then
   SYSTEM_LOCALE=$(sed -n 's/^LANG=["'"']\?\([^"'"']*\)["'"']\?$/\1/p' /etc/default/locale | head -n 1)
 fi
 SYSTEM_LOCALE=${SYSTEM_LOCALE:-${LC_ALL:-${LC_MESSAGES:-${LANG:-en}}}}
-IS_TURKISH=false
+LANGUAGE_CODE=en
 if [[ ${SYSTEM_LOCALE,,} == tr* ]]; then
-  IS_TURKISH=true
+  LANGUAGE_CODE=tr
 fi
+# shellcheck source=/dev/null
+source "$SOURCE_DIR/scripts/locales/setup.${LANGUAGE_CODE}.sh"
 
 python_requirement_error() {
-  if [[ "$IS_TURKISH" == true ]]; then
-    echo "Python 3.${MIN_PYTHON_MINOR} veya üzeri gerekli; Python otomatik olarak kurulmayacaktır." >&2
-    echo "Güncel Ubuntu sürümlerinde örnek kurulum:" >&2
-  else
-    echo "Python 3.${MIN_PYTHON_MINOR} or newer is required; Python will not be installed automatically." >&2
-    echo "Example installation on current Ubuntu releases:" >&2
-  fi
+  printf "$MSG_PYTHON_REQUIRED\n" "$MIN_PYTHON_MINOR" >&2
+  echo "$MSG_CURRENT_UBUNTU_EXAMPLE" >&2
   echo "  sudo apt update" >&2
   echo "  sudo apt install -y python3 python3-venv python3-pip" >&2
-  if [[ "$IS_TURKISH" == true ]]; then
-    echo "Kurulumdan sonra 'python3 --version' ile sürümü doğrulayıp setup.sh dosyasını yeniden çalıştırın." >&2
-  else
-    echo "After installation, verify the version with 'python3 --version' and run setup.sh again." >&2
-  fi
+  echo "$MSG_PYTHON_RETRY" >&2
   exit 1
 }
 
 python_venv_error() {
-  if [[ "$IS_TURKISH" == true ]]; then
-    echo "Python 3 bulundu ancak venv/pip bileşenleri eksik; bunlar otomatik olarak kurulmayacaktır." >&2
-    echo "Örnek kurulum:" >&2
-  else
-    echo "Python 3 is available, but the venv/pip components are missing; they will not be installed automatically." >&2
-    echo "Example installation:" >&2
-  fi
+  echo "$MSG_VENV_REQUIRED" >&2
+  echo "$MSG_INSTALL_EXAMPLE" >&2
   echo "  sudo apt update" >&2
   echo "  sudo apt install -y python3-venv python3-pip" >&2
-  if [[ "$IS_TURKISH" == true ]]; then
-    echo "Kurulumdan sonra setup.sh dosyasını yeniden çalıştırın." >&2
-  else
-    echo "Run setup.sh again after installing the packages." >&2
-  fi
+  echo "$MSG_SETUP_RETRY" >&2
   exit 1
 }
 
 if [[ ${EUID} -ne 0 ]]; then
-  echo "Kurulumu sudo ile çalıştırın: sudo bash setup.sh" >&2
+  echo "$MSG_ROOT_REQUIRED" >&2
   exit 1
 fi
 
 if [[ -f "$APP_DIR/.env" ]]; then
-  echo "$APP_DIR/.env zaten var. setup.sh yalnızca ilk kurulum içindir." >&2
+  printf "$MSG_EXISTING_INSTALLATION\n" "$APP_DIR" >&2
   exit 1
 fi
 
-echo "[1/8] Sistem gereksinimleri denetleniyor..."
+echo "$MSG_STEP_REQUIREMENTS"
 NEEDED_PACKAGES=(rsync)
 if ! command -v python3 >/dev/null 2>&1 || ! python3 -c "import sys; raise SystemExit(sys.version_info < (3, ${MIN_PYTHON_MINOR}))"; then
   python_requirement_error
@@ -73,25 +57,25 @@ if ! python3 -m venv --help >/dev/null 2>&1 || ! python3 -m pip --version >/dev/
   python_venv_error
 fi
 
-# Zimbra'nın /opt/zimbra altındaki gömülü veritabanına dokunulmaz. Sistemde ayrı
-# bir MySQL/MariaDB hizmeti varsa yeniden kurulmaz; yoksa yerel hizmet kurulur.
+# Never touch Zimbra's embedded database under /opt/zimbra. Reuse an independent
+# system MySQL/MariaDB service when available; otherwise install a local service.
 if command -v mysql >/dev/null 2>&1 && mysql --protocol=socket -uroot -e "SELECT 1" >/dev/null 2>&1; then
-  echo "Mevcut sistem MySQL/MariaDB hizmeti kullanılacak."
+  echo "$MSG_MYSQL_REUSE"
 else
   NEEDED_PACKAGES+=(default-mysql-server default-mysql-client)
 fi
 
 apt-get update
 DEBIAN_FRONTEND=noninteractive apt-get install -y "${NEEDED_PACKAGES[@]}"
 
-echo "[2/8] imapsync denetleniyor..."
+echo "$MSG_STEP_IMAPSYNC"
 if command -v imapsync >/dev/null 2>&1; then
-  echo "Mevcut imapsync kullanılacak: $(command -v imapsync)"
+  echo "$MSG_IMAPSYNC_REUSE $(command -v imapsync)"
 else
   bash "$SOURCE_DIR/scripts/install-imapsync-ubuntu.sh"
 fi
 
-echo "[3/8] Servis kullanıcısı ve uygulama dizini hazırlanıyor..."
+echo "$MSG_STEP_FILES"
 if ! getent passwd "$APP_USER" >/dev/null; then
   useradd --system --home "$APP_DIR" --shell /usr/sbin/nologin "$APP_USER"
 fi
@@ -100,20 +84,20 @@ rsync -a --delete \
   --exclude='.git/' --exclude='.env' --exclude='.venv/' --exclude='data/' --exclude='logs/' \
   "$SOURCE_DIR/" "$APP_DIR/"
 
-echo "[4/8] Python ortamı kuruluyor..."
+echo "$MSG_STEP_PYTHON"
 python3 -m venv "$APP_DIR/.venv"
 "$APP_DIR/.venv/bin/pip" install --upgrade pip
 "$APP_DIR/.venv/bin/pip" install -r "$APP_DIR/requirements.txt"
 
-echo "[5/8] Uygulama veritabanı hazırlanıyor..."
+echo "$MSG_STEP_DATABASE"
 if systemctl list-unit-files mysql.service >/dev/null 2>&1; then
   systemctl enable --now mysql
 elif systemctl list-unit-files mariadb.service >/dev/null 2>&1; then
   systemctl enable --now mariadb
 fi
 if ! mysql --protocol=socket -uroot -e "SELECT 1" >/dev/null 2>&1; then
-  echo "Sistem MySQL/MariaDB root socket erişimi kurulamadı." >&2
-  echo "Zimbra'nın gömülü veritabanı güvenlik nedeniyle kullanılmaz." >&2
+  echo "$MSG_MYSQL_ACCESS_ERROR" >&2
+  echo "$MSG_ZIMBRA_DB_UNUSED" >&2
   exit 1
 fi
 DB_PASSWORD=$(python3 -c 'import secrets; print(secrets.token_urlsafe(32))')
@@ -125,14 +109,14 @@ FLUSH PRIVILEGES;
 SQL
 mysql --protocol=socket -uroot "$DB_NAME" < "$APP_DIR/migration_db.sql"
 
-echo "[6/8] Panel kimlik bilgileri oluşturuluyor..."
-read -r -p "Panel kullanıcı adı [admin]: " PANEL_USER
+echo "$MSG_STEP_CREDENTIALS"
+read -r -p "$MSG_USERNAME_PROMPT" PANEL_USER
 PANEL_USER=${PANEL_USER:-admin}
 if [[ ! "$PANEL_USER" =~ ^[A-Za-z0-9._-]+$ ]]; then
-  echo "Kullanıcı adı yalnızca harf, rakam, nokta, alt çizgi ve tire içerebilir." >&2
+  echo "$MSG_USERNAME_INVALID" >&2
   exit 1
 fi
-PANEL_HASH=$("$APP_DIR/.venv/bin/python" "$APP_DIR/scripts/hash-password.py")
+PANEL_HASH=$(INSTALL_LANGUAGE="$LANGUAGE_CODE" "$APP_DIR/.venv/bin/python" "$APP_DIR/scripts/hash-password.py")
 SESSION_SECRET=$(python3 -c 'import secrets; print(secrets.token_urlsafe(48))')
 SERVER_NAME=$(hostname -f 2>/dev/null || hostname)
 SERVER_IP=$(hostname -I 2>/dev/null | awk '{print $1}')
@@ -161,21 +145,21 @@ MYSQL_USER=${DB_USER}
 MYSQL_PASSWORD='${DB_PASSWORD}'
 ENV
 
-echo "[7/8] Dosya izinleri ve systemd servisi ayarlanıyor..."
+echo "$MSG_STEP_PERMISSIONS"
 chown -R root:root "$APP_DIR"
 chown -R "$APP_USER:$APP_USER" "$APP_DIR/data" "$APP_DIR/logs"
 chown root:"$APP_USER" "$APP_DIR/.env"
 chmod 640 "$APP_DIR/.env"
 chmod 700 "$APP_DIR/data" "$APP_DIR/data/pids" "$APP_DIR/logs"
 cp "$APP_DIR/deploy/zimbra-migration.service" /etc/systemd/system/zimbra-migration.service
 
-echo "[8/8] Servis başlatılıyor..."
+echo "$MSG_STEP_SERVICE"
 systemctl daemon-reload
 systemctl enable --now zimbra-migration
 systemctl --no-pager --full status zimbra-migration || true
 
 echo
-echo "Kurulum tamamlandı."
-echo "Panel: http://${SERVER_IP:-127.0.0.1}:8787"
-echo "Kullanıcı: $PANEL_USER"
-echo "Port 8787'yi yalnızca yönetici IP/VPN ağına açın."
+echo "$MSG_COMPLETE"
+echo "$MSG_PANEL http://${SERVER_IP:-127.0.0.1}:8787"
+echo "$MSG_USERNAME $PANEL_USER"
+echo "$MSG_PORT_SAFETY"