Warum MySQL?

Ein Speicherung der Daten in einer SQL-Datenbank ermöglicht eine einfache Verwaltung der Daten über ein Webfrontend das so ohne erweiterte Berechtigungen auskommt. MySQL wurde nur gewählt weil sich darauf von allen relevanten Programmen problemlos zugreifen lässt. Eine Nutzung von PostgreSQL oder einer anderen SQL-Datenbank wäre mit Sicherheit auch möglich.

Greylisting - Pro und Kontra

Zum Thema Greylisting gibt es viele Gegensätzliche Meinungen. Die einen preisen es als Wundermittel gegen Spam die anderen stellen seine Wirksamkeit in Frage und einige Nutzer können nicht mit den dadurch entstehenden Verzögerungen leben. Fakt ist, dass die Spam-Belastung meiner System nach dem Einsatz um über 90% zurückgegangen ist. Inzwischen ist zwar zu beobachten, dass wieder mehr Spam durch das Greylisting durchkommt, aber solange ich noch einen positiven Effekt feststellen kann werde ich Greylisting weiterhin einsetzen. Wen die Nachteile von Greylisting - verzögerte Zustellung und zusätzlicher Ressourcenbedarf - stören, der kann das dargestellte Setup ohne Probleme auch ohne Greylisting umsetzen.

Die Datenbankschmata

Für das Ablegen der Benutzerdaten und Domains gibt es drei relevante Datenbank Schemata. Zwei davon werden zum speichern der zuständigen Domains verwendet, eines für die Informationen über die Postfächer und die Weiterleitungen. Was die Datenbankschema angeht ist man im Grund sehr flexibel. Es wäre durchaus auch möglich getrennte Schemata für Postfächer und Weiterleitungen zu verwenden und die Domains in einer Datenbank zu speichern.

mail_accounts:

domains:

hosts:

Einrichtung der Umgebung

Vor der Einrichtung der benötigten Pakete sollten Sie zunächst sicherstellen, dass ihr System über einen korrekten Hostnamen verfügt. Dies lässt sich in den Dateien /etc/hostname und /etc/hosts festlegen. Wenn das Kommando hostname --fqdn den korrekten, voll-qualifizierten, Hostname ausgibt, dann ist diese Einstellung in Ordnung.

Falsch wäre folgender Eintrag:

192.168.0.1             server  server.doe.org

Der korrekte Eintrag:

192.168.0.1             server.doe.org  server

Grundeinstellungen

Zunächst müssen Sie bei primary_hostname den Name angeben unter dem ihr Mailserver arbeitet. Dieser Name sollte konsistent per DNS und Reverse-DNS auflösbar sein. D.h. eine DNS Abfrage auf den primary Hostname sollte die IP-Adresse ergeben unter der der Mailserver arbeitet und eine Reverse-DNS Abfrage auf diese IP-Adresse wieder den FQDN.:

primary_hostname = server.localdomain.tld

In der Domainlist local_domains definieren wir alle Domains für die Exim lokal zuständig ist, d.h. alle Domains deren Postfächer von der aktuelle Exim Instanz zugestellt werden. Hier kommt die erste MySQL Abfrage zu Einsatz. Zur Laufzeit wird Exim die Abfrage ausführen und dann die Liste der Domains erhalten.:

domainlist      local_domains = localhost:mysql;MYSQL_Q_LDOMAIN

Für die Domains die nicht lokal zugestellt werden existiert die Domainslist relay_to_domains. Diese Domains werden vom lokalen Exim engegen genommen und dann versucht weiterzuleiten.:

domainlist      relay_to_domains = mysql;MYSQL_Q_RDOMAIN

Über qualify_domain wird angegeben welche Domain an Adressen gehängt wird die lediglich aus einem Benutzernamen bestehen. Hier sollte die Hauptdomain eingetragen werden.:

qualify_domain = server.tld

Sehr wichtig ist die Option local_interfaces wird festgelegt auf welchen Netzwerkschnittstellen der Mailserver verfügbar sein soll. Wichtig ist hier zum einen die Loopback Schnittstelle und zum anderen die öffentliche IP-Adresse des Mailservers anzugeben. Ausserdem gibt es hier die Möglichkeit eine IPv6 Adresse anzugeben.:

local_interfaces = <; 127.0.0.1 ; 192.168.0.1 ; \
                2001:0DB8::1

Der Standardport für SMTP ist 25, daher muss der Mailserver hier auf jeden Fall lauschen wenn er von anderen Systemen Nachrichten empfangen will. Port 587 ist ein neuerer Port, definiert vom Message Submission Protokoll das eine Unterscheidung zwischen dem Nachrichtenaustausch zwischen Mailservern und einliefernden Clients bieten will. Auf Port 587 sollen die Clients nur authentifizierte Übertragungen von Clients über SMTP annehmen.:

daemon_smtp_port = 25 : 587

ACL Konfiguration

In der ACL Konfiguration kann festgelegt werden wie sich Exim während der einzelnen Phasen des SMTP Protokolls verhällt. Hier lassen sich diverse Checks und z.B. Greylisting einbinden.

Mit dem Check acl_check_from kann nach dem FROM: Kommando sichergestellt werden, dass auf Port 587 gemäß SMA nur authentifizierte Verbindungen akzeptiert werden:

acl_check_from:
  # drop connections on the SMA Port that did not auth
  drop condition = ${if={$interface_port}{587} {1}{0}}
  !authenticated = *
  # accept everything else (policy checks are in rcpt acl)
  accept

Die weiteren Überprüfungen finden erst nach Bekanntgabe des Empfängers, also nach dem RCPT TO: Kommando statt. Hier werden unter anderem der Syntax der Adressen, RBLs und das Greylisting überprüft.

Router

Nach dem ACL Abschnitt folgt die Konfiguration der Router. Hierbei ist wichtig zu beachten, dass die Reihenfolge in der die Router definiert werden relevant ist. Jede Nachricht die die Eingangsüberprüfungen überstanden hat wird der Reihe nach jedem Router vorgelegt bis einer die Nachricht akzeptiert. Der fail_router, der alle Nachrichten abweist die in der Datenbank als inaktiv vermerkt sind, darf erst nach dem dnslookup Router stehen, da es sonst Probleme mit deaktivierten Accounts geben kann.

Der dnslookup Router verarbeitet alle Nachrichten die nicht lokal zugestellt werden, daher auch domains = ! +local_domains das dafür sorgt, dass dieser Router nicht für lokale Domains angewandt wird.

dnslookup:
  driver = dnslookup
  domains = ! +local_domains
  transport = remote_smtp
  ignore_target_hosts = 0.0.0.0 : 127.0.0.0/8
  no_more

Der blacklist_router sorgt dafür, dass der Header X-Spam-Flag: YES hinzugefügt wird wenn der Absender auf der schwarzen Liste steht. Der spamcheck_director übergibt die Nachricht an SpamAssassin und setzt dann die Verarbeitung fort. Der spampurge_director sorgt, mit der weiter oben besprochene SQL-Abfrage, dafür, dass Spam-Mails ggf. direkt entsorgt werden. Der vacation_director erzeugt über den Transport vacation_autoreply eine Abwesenheitsnachricht wenn dies in der Benutzerdatenbank aktiviert ist. Die Direktoren virtual_cc_director und virtual_forward_director sorgen dafür, dass die Nachrichten dupliziert bzw. weitergeleitet werden. Interessant ist hier vor allem der virtual_local_mailbox Direktor der alle Nachrichten an lokale Adressen, die bis hierhin nicht von einem anderen Router behandelt wurden, an den Dovecot Transport übergibt damit dieser mit Hilfe von Dovecots deliver die Nachricht in das Maildir des Benutzers zustellt.

virtual_local_mailbox:
  driver = accept
  domains = ${lookup mysql {MYSQL_Q_LOCAL}{$value}}
  transport = virtual_local_dovecot_delivery

Transports

Nach den Routern folgt noch eine kurze Besprechung der relevanten Tranports. Der remote_smtp Transport sorgt für die Auslieferung von Nachrichten an andere Hosts per SMTP. Mit dem Parameter interface = <ip> wird er angewiesen für ausgehende Verbindungen die korrekte Adresse zu verwenden. Hier ist die IP-Adresse des Mailservers einzutragen. Wichtig ist diese Option nur wenn auf dem Mailserver mehrere IP-Adressen eingerichtet sind. Etwas mehr Aufmerksamkeit erfordert der spamcheck Transport der dafür sorgt, dass die entsprechenden Nachrichten an SpamAssassin übergeben werden. Dazu wird der Driver pipe benutzt der die Ausgabe von transport_filter an command - in diesem Fall wieder exim selbst - übergibt. Über die Option spam-scanned wird das entsprechende Protokoll gesetzt damit Exim diese Nachricht als gescannt anerkennt.

spamcheck:
  driver = pipe
  command = /usr/sbin/exim4 -oMr spam-scanned -bS
  use_bsmtp = true
  transport_filter = "/usr/bin/spamc -u $local_part@$domain"
  home_directory = "/tmp"
  current_directory = "/tmp"
  user = mail
  group = mail
  log_output = true
  return_fail_output = true
  return_path_add = false
  message_prefix =
  message_suffix =

Der zweite interessante Transport ist der virtual_local_dovecot_delivery. Dieser Transport ist dafür zuständig, dass die Nachrichten über den Dovecot LDA im Postfach des Benutzers landen. Hier wird die Nachricht an deliver übergeben der daraufhin die Benutzerinformationen aus der Datenbank liest - siehe Dovecot Konfiguration - ggf. Sieve Skripte ausführt und daraufhin die Nachricht zustellt. Gleichzeitig sorgt deliver dafür, dass die internen Datenstrukturen von Dovecot, zustätzliche Indices, aktuelle gehalten werden. Ein weiterer Vorteil gegenüber der internen exim Funktionalität.

virtual_local_dovecot_delivery:
  driver = pipe
  command = /usr/lib/dovecot/deliver -d $local_part@$domain
  message_prefix = ""
  message_suffix = ""
  delivery_date_add
  envelope_to_add
  return_path_add
  log_output
  user = mail
  group = mail

Retry

Die Retry Konfiguration wird hier aus den exim Vorgaben übernommen und wird nicht weiter besprochen. Bei der Rewrite Konfiguration ist es möglich weitere Angaben zu machen.

Authentifikation

Der letzte interessante Abschnitt in der exim Konfiguration ist der Abschnitt zur Authentifikation. Hier werden die möglichen Methoden für SMTP-AUTH definiert. Vorgegeben sind PLAIN, LOGIN und CRAM-MD5.

Nachrichten mit dem Dovecot Delivery Agent (LDA) zustellen

Exim4 ist in der Lage die Nachrichten für die lokalen Benutzer direkt zuzustellen, da es das Maildir Format unterstüzt. Es fungiert also per Voreinstellung sowohl als MTA (Mail-Transfer-Agent) als auch als LDA (Local Delivery Agent). Dovecot bringt jedoch einen eigenen LDA mit, der einige Vorteile gegenüber der eingebauten Funktionalität von exim bietet. Der wichtigste Unterschied ist wohl die Unterstützung der Sieve Filtersprache, die eine Server-seitige Filterung der Nachrichten ermöglicht. Insbesondere Ihre IMAP-Nutzer werden diese Funktionalität zu schätzen wissen.

##
## LDA specific settings
##
protocol lda {
  # Address to use when sending rejection mails.
  postmaster_address = postmaster@server.tld
  # Hostname to use in various parts of sent mails, eg. in Message-Id.
  # Default is the system's real hostname.
  #hostname =
  # Support for dynamically loadable plugins. mail_plugins is a space separated
  # list of plugins to load.
  #mail_plugins =
  mail_plugin_dir = /usr/lib/dovecot/modules/lda
  # Binary to use for sending mails.
  sendmail_path = /usr/lib/sendmail
  # UNIX socket path to master authentication server to find users.
  auth_socket_path = /var/run/dovecot/auth-master
  # Enabling Sieve plugin for server-side mail filtering
  mail_plugins = cmusieve
  # Logging
  #log_path = /var/log/dovecot-deliver.log
  #info_log_path = /var/log/dovecot-deliver.log
}

Exim unter hoher Last

Obwohl das vorgestellte Exim Setup durchaus Situationen mit mehr als 6500 Mails pro Stunde verkraften kann gibt es einige Optionen die die Belastung des Systems in Umgebungen mit sehr hoher Last etwas reduzieren können:

queue_only
split_spool_directory
queue_run_max = 1
remote_max_parallel = 1

Diese Anweisungen sorgen dafür, dass alle eingelieferten Nachrichten zunächst in der Queue platziert werden, maximal eine Instanz diese Queue abarbeitet und das Spool Verzeichnis mit weiteren Unterverzeichnissen aufgeteilt wird. Weitere Informationen finden sich im Exim FAQ.

Eine Testmail versenden

Nachdem Sie den Mailserver konfiguriert haben, sollten Sie nun testen ob er auch funktioniert. Dazu kann man händisch mit Hilfe von Telnet eine SMTP Sitzung simulieren.

$> telnet localhost 25

Darauf hin sollte sich der Server bei Ihnen vorstellen:

Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
220 server.domain.tld ESMTP Exim 4.63

Jetzt ist Exim bereit SMTP Befehle engegen zu nehmen. Zunächst müssen wir uns mittels EHLO vorstellen.

EHLO localhost.localdomain

Danach gibt Exim preis welche Funktionen er anbietet:

250-server.domain.tld Hello User at localhost [127.0.0.1]
250-SIZE 10240000
250-PIPELINING
250-AUTH PLAIN LOGIN CRAM-MD5
250-STARTTLS
250 HELP

Den Absender angeben:

MAIL FROM: <jane@domain.tld>

Ein positiver Statuscode (2xx)? Gut. Dann weiter.

250 OK

Den Empfänger angeben.

RCPT TO: <john@domain.tld>

250 Accepted

Wieder ein positivert Statuscode? Gut. Haben Sie die Verzögerung zwischen dem Drücken der Enter Taste und der Rückmeldung gemerkt? In dieser Zeit arbeitet Exim die acl_check_rcpt ACL Regel ab. Hier wird unter anderem der Greylisting Daemon - wenn konfiguriert - und die SQL Datenbank abgefragt. Das dauert einen Moment. Mit DATA leiten wir den Datenteil ein. Ab hier folgt dann unsere Nachricht.

DATA

354 Enter message, ending with "." on a line by itself

Der Text der Mail.

Hallo John Doe,
ich wollte mich nur mal bei dir melden.
.

250 OK id=1K4a1j-0004GI-FP

So, das wars. Wieder ein positiver Statuscode bedeutet, dass Exim die Nachricht angenommen hat. In der Datei /var/log/exim4/mainlog kann man überprüfen ob die Nachricht korrekt zugestellt wurde.

2008-06-06 13:22:56 1K4a1j-0004GI-FP <= jane@domain.tld H=localhost (localhost.localdomain) [127.0.0.1] U=User P=esmtp S=300
2008-06-06 13:22:59 1K4a24-0004R9-KZ <= jane@domain.tld U=mail P=spam-scanned S=861
2008-06-06 13:22:59 1K4a24-0004R9-KZ => john <john@domain.tld> R=virtual_local_mailbox T=virtual_local_dovecot_delivery
2008-06-06 13:22:59 1K4a24-0004R9-KZ Completed
2008-06-06 13:22:59 1K4a1j-0004GI-FP => john@domain.tld R=spamcheck_director T=spamcheck H=localhost
2008-06-06 13:22:59 1K4a1j-0004GI-FP Completed

Probleme? exim -bh!

Sollte es bei der Einlieferung von Nachrichten zu Problemen kommen kann man exim bzw. exim4 mit dem Parameter -bh <ip> aufrufen um eine SMTP Sitzung von der Adresse <ip> zu simulieren. Hier muss die SMTP Sitzung wie gerade beschrieben händisch durchgeführt werden, allerdings wird die so eingelieferte Nachricht nicht zugestellt. Stattdessen versorgt Exim den Anwender so mit sehr ausführlichen Informationen was er gerade macht.

exim4 -bh 127.0.0.1

Eine Testmail über POP3 abrufen

Das POP3 Protokoll ist recht simpel, so dass Sie den Empfang von Nachrichten über POP3 problemlos per Hand testen können.

$> telnet localhost 110

Nachdem Sie sich verbunden haben werden Sie von dovecot begrüßt.

Trying 192.168.0.1...
Connected to server.domain.tld.
Escape character is '^]'.
+OK server.domain.tld Mailserver (powered by Dovecot) ready.

Der Server ist jetzt Bereit. Jetzt kann man sich einloggen.

user john@domain.tld

Der Server sollte den Benutzernamen akzeptieren.

+OK

Dann muss noch das Passwort angegeben werden.

pass pass

Wenn der Server das Passwort akzeptiert sind Sie eingeloggt.

+OK Logged in.

Jetzt kann man sich eine Liste der Nachrichten im Postfach anzeigen lassen.

list

Dovecot teilt nun mit wieviele Nachrichten vorhanden sind.

+OK 1 messages:
1 2958
.

Mit retr kann man die Nachrichten abrufen. Holen Sie die erste Nachricht.

retr 1

Jetzt liefert Ihnen dovecot die Nachricht.

+OK 2958 octets
[Hier folgt die Nachricht]

Nach erledigter Arbeit können Sie sich ausloggen.

quit

Was von Dovecot nochmal bestätigt wird.

+OK Logging out.
Connection closed by foreign host.

Eine Testmail über IMAP abrufen

Das das IMAP Protokoll etwas komplizierter als SMTP oder POP3 ist empfiehlt es sich hierfür mutt oder einen anderen Client zu benutzen.

mutt -f ./Maildir

Aber Sie können es natürlich auch gerne von Hand versuchen.

$> telnet localhost 143

Trying 127.0.0.1...
Connected to server.domain.tld.
Escape character is '^]'.
* OK [CAPABILITY IMAP4rev1 SASL-IR SORT THREAD=REFERENCES MULTIAPPEND UNSELECT LITERAL+ IDLE CHILDREN NAMESPACE LOGIN-REFERRALS STARTTLS        AUTH=PLAIN] server.domain.tld Mailserver (powered by Dovecot) ready.

Gut, der Server anwortet. Jetzt können wir uns anmelden.

1 login john@domain.tld password

Wenn Benutzername und Passwort stimmen, sollte der Server ein OK liefern.

1 OK Logged in.

Jetzt lassen Sie sich die vorhandenen Nachrichten anzeigen.

2 list "" "*"
* LIST (\HasNoChildren) "." "INBOX"
2 OK List completed.

Wählen Sie jetzt den Posteingang (INBOX) aus:

3 select "INBOX"

Daraufhin erhalten Sie automatisch einige Informationen über diesen Ordner:

* FLAGS (\Answered \Flagged \Deleted \Seen \Draft Junk NonJunk  $FORWARDED $TODO $WATCHED $IGNORED)
* OK [PERMANENTFLAGS (\Answered \Flagged \Deleted \Seen \Draft Junk NonJunk  $FORWARDED $TODO $WATCHED $IGNORED \*)] Flags permitted.
* 1 EXISTS
* 0 RECENT
* OK [UIDVALIDITY 1158586288] UIDs valid
* OK [UIDNEXT 136835] Predicted next UID
3 OK [READ-WRITE] Select completed.

Anhand der dritten Zeile (* 1 EXISTS) können Sie sehen, dass eine Nachricht vorliegt. Rufen Sie diese nun ab.

4 fetch 1 all

Sie erhalten nun zunächst nur ein paar Informationen über die Nachricht, nicht jedoch den Nachrichtentext.

* 1 FETCH (FLAGS (\Seen) INTERNALDATE "17-Apr-2008 09:23:44 +0200" RFC822.SIZE 2958 ENVELOPE ("Thu, 17 Apr 2008 00:02:40 -0400" "Subject" (("Hello" NIL "Jeo" "jeo@ceo.org")) (("Hello" NIL "Jeo" "jeo@ceo.org")) (("Hello" NIL "Jeo" "jeo@ceo.org")) ((NIL NIL "ceo" "ceo.org")) NIL NIL NIL "<CEO.20080417.564403.001.1208404960@ceo.org>"))
4 OK Fetch completed.

Den Text müssen Sie explizit anfordern:

5 fetch 1 body[]

Jetzt liefert Dovecot Ihnen den kompleten Inhalt zurück:

* 1 FETCH (BODY[] {486}
[Nachrichtentext]
5 OK Fetch completed.

Sie können sich jetzt abmelden.

6 logout

Dovecot verabschieded sich noch von Ihnen und schließt dann die Verbindung.

* BYE Logging out
6 OK Logout completed.
Connection closed by foreign host.

Greylistd

Greylisting ist ein Verfahren um Spam Mails vor der Einlieferung abzuwehren. Es macht sich die Tatsache zu Nutze, dass die meisten Spamschleudern das SMTP Protokoll nicht korrekt implementieren. Die meisten Spam Versender versuchen einfach die Mails so schnell wie möglich zu verschicken. Das SMTP Protokoll sieht jedoch auch vor, dass ein Server dem Absender einen temporären Fehler liefert und der Absender es nach einer gewissen Zeitspanne erneut versuchen soll. Die meisten Spam-MTAs geben hier sofort auf und versuchen nicht erneut die Nachricht zuzustellen. Die regulären MTAs implementieren das Protokoll jedoch meistens korrekt und versuchen nach einigen Minuten erneut die Nachricht zuzustellen. Der Greylistd merkt sich alle Kombinationen aus Zieladresse und Absender IP. Beim ersten Versuch wird der MTA einen temporären Fehler liefern, nach einer gewissen Wartezeit wird die Nachricht dann akzeptiert. Dies gilt auch für alle weiteren Nachrichten von dem gleichen Absender in einem gewissen Zeitraum. Die Voreinstellung ist 60 Tage, expire in der Konfiguration. Die Wartezeit bevor eine Nachricht nach dem ersten Versuch angenommen wird ist 10 Minuten voreingestellt und kann über retryMin angepasst werden. Ungenutzte Kombinationen werden nach 8 Stunden verworfen retryMax. Über die Datei whitelist-hosts lassen sich Mailserver angeben die niemals durch Greylisting blockiert werden sollen. Hier kann man z.B. wichtige Kunden oder als problematisch bekannte Absender eintragen.

Spam und Ham (nicht-Spam) lernen

Der Spam-Klassifizierer SpamAssassin kombiniert verschiedene Techniken um Spam Mails zu erkennen. Dazu zählen klassische Textmuster-Filter, echtzeit Sperrlisten (RBL) und verteilte Checksum-Netzwerke (Razor, Pyzor, dcc). Eine weitere ist ein Naive Bayes Klassifizierer der anhand bestimmter Trainingsbeispiele lernt und je bessere Erkennungsleistungen zeigt, desto mehr Trainigsdaten er erhällt. Ihre Benutzer können dazu aktiv beitragen indem Sie ihre Spam Mails explizit in einem Spam Ordner ablegen. Über diese Ordner kann man dann das Trainigsskript vom SpamAssassin laufen lassen. Aus den Trainigsdaten berechnet der Klassifizierer dann pro Nachricht eine Wahrscheinlichkeit, dass es sich um Spam handelt anhand der enthaltenen Worte. In der vorangegangenen Konfiguration von SpamAssassin haben wir festgelegt, dass SpamAssassin als Benutzer mail läuft dessen Arbeitsverzeichnis unter /var/mail liegt. Die Bayes-Datenbank liegt demzufolge unter /var/mail/bayesdb_{journal,seen,toks}.

Zum automatischen trainieren des naive Bayes Klassifizierers bietet es sich an ein Shell Skript per cron regelmäßig über ausgewählte Verzeichnisse laufen zu lassen. Dazu müssen Sie zunächst festlegen welche Postfächer verwertbare Nachrichten enthalten. Wichtig ist hier, dass die Nachrichten regelmäßig von Hand kontrolliert werden, damit der Klassifizierer keine falschen Informationen lernt.

#!/bin/bash
DBPATH=/var/mail/bayesdb
SPAMFOLDERS="\
/srv/mail/domain.tld/important.customer/Maildir/.Spam/cur \
/srv/mail/domain.tld/john.doe/Maildir/.Spam/cur \
"
HAMFOLDERS="\
/srv/mail/domain.tld/john.doe/Maildir/cur \
/srv/mail/domain.tld/important.customer/Maildir/cur \
"

for sfolder in $SPAMFOLDERS ; do \
        nice sa-learn --spam --dbpath /var/mail/bayesdb $sfolder
done

for hfolder in $HAMFOLDERS ; do \
        nice sa-learn --ham --dbpath /var/mail/bayesdb $hfolder
done

Legen Sie dieses Script unter /var/mail/satrain.sh ab, versehen Sie es mit Ausführrechten und tragen Sie es als cronjob für den Benutzer mail ein.

$> su mail
$> crontab -e

Im sich öffnenenden Editor tragen Sie dann den Crontab ein.

15 4 * * * /bin/bash /var/mail/satrain.sh >/dev/null

Diese Zeile sorgt dafür, dass das Skript jeden Tag um 4:15 ausgeführt wird und alle Ausgaben, mit Ausnahme von Fehlern, unterdrückt werden.

Dananch können Sie kontrollieren wieviele Spam bzw. Ham Nachrichten bereits gelernt wurden. Entweder über sa-learn oder per Autolearn. Die Zeile die mit nspam endet gibt die Anzahl der gelernten Spam Nachrichten an während die Zeile nham die Anzahl der Ham Nachrichten angibt.

$> sa-learn --dbpath /var/mail/bayesdb --dump magic
0.000          0        813          0  non-token data: nspam
0.000          0       7737          0  non-token data: nham

Webmail einrichten

Als Webmail Client bietet sich Roundcube aufgrund der unkomplizierten Einrichtung, des guten Funktionsumfanges und der ansprechenden Oberfläche an. Natürlich kann man sattdessen auch Horde/IMP oder einen andere Webmail Lösung verwenden, aber ich rate zu Roundcube.

Die Installation von Roundcube ist einfach und unkompliziert. Zunächst wechseln man in das Zielverzeichnis, z.B. /var/www, und lädt die aktuelle Installationsdatei herunter. Den Link findet man auf der Homepage von Roundcube.

$> cd /var/www
$> wget <URL>
$> tar xvfj roundcube-XXX.tar.bz2

Roundcube benötigt eine Datenbank um Einstellungen und Nachrichten zu speichern. Am besten legen Sie dafür eine eigene Datenbank an. Danach muss die Datei mysql.initial.sql aus dem Verzeichnis SQL in diese Datenbank importiert werden und die Datenbankinformationen in der Datei db.inc.php eingetragen werden.

$> cd roundcube-XXX/SQL
$> mysql -uDBUSER -pDBPASS DBNAME < mysql.initial.sql
$> cd ../config
$> cp db.inc.php.dist db.inc.php

In der Datei db.inc.php muss der Parameter $rcmail_config['db_dsnw'] angepasst werden.

$rcmail_config['db_dsnw'] = 'mysql://DBUSER:DBPASS@localhost/DBNAME';

Danach muss noch der Mailserver in der Datei main.inc.php eingetragen werden. Dazu wird diese Datei mit einem Texteditor geöfnet und der Parameter $rcmail_config['default_host'] angepasst.

$rcmail_config['default_host'] = 'mail.domain.tld';

Damit ist die Einrichtung von Roundcube auch schon abgeschlossen und das Webmail-Interface kann über den Webserver aufgerufen werden.

Verwaltungsinterface einrichten

Zum Verwalten der Benutzer in der Datenbank bietet sich ein Web-Frontend an. Dazu findet sich im Archiv mit den Konfigurationsdateien im Ordner scripts/backend/ ein Archiv mit dem Namen ispmail_admin.zip das, das Grundgerüst eines Verwaltungsfrontends in PHP enthällt. Mit diesem Interface ist die komplette Benutzerverwaltung möglich, allerdings ist es noch nicht sehr komfortabel. Der interessierte Leser mit PHP-Kentnissen kann anhand des Grundgerüstes allerdings schnell eine ansprechendere Oberfläche erstellen. Die Installation des Verwaltungsinterfaces ist denkbar einfach. Nachdem das Archiv an einem per Browser zugänglichen Ordner auf dem Webserver entpackt wurde, muss lediglich die Datei config/_conf.dba.inc.php angepasst werden. Dort sind insbesondere die folgenden Zeilen interessant.

$dba->database = "ispmail";
$dba->server = "localhost";
$dba->user = "ispmail";
$dba->password = "ispmail";

Das Verwaltungsfrontend benötigt zusätzlich zu den weiter oben beschriebenen Tabelle noch die Tabelle config in der einige Einstellungen abgespeichert werden. Dazu bitte folgenden SQL-Code ausführen.

DROP TABLE IF EXISTS `config`;
CREATE TABLE IF NOT EXISTS `config` (
  `id` int(16) NOT NULL auto_increment,
  `property` varchar(255) character set latin1 NOT NULL default '',
  `value` text character set latin1 NOT NULL,
  `created_at` int(16) NOT NULL default '0',
  `updated_at` int(16) NOT NULL default '0',
  PRIMARY KEY  (`id`),
  KEY `property` (`property`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 AUTO_INCREMENT=0;
INSERT INTO `config` (`id`, `property`, `value`, `created_at`, `updated_at`) VALUES
(0, 'url_protocol', 'http', 1201340788, 1216806584),
(1, 'list_limit', '34', 1204548583, 1213956805),
(2, 'site_name', 'ISP-Mail Admin', 0, 0);

Hier müssen die gleichen Daten eingetragen werden wie sie weiter oben für die Konfiguration der anderen Dienste verwendet wurden. Danach sollte man das Verzeichnis noch mit einem Passwortschutz über .htaccess versehen und man kann sofort loslegen Benutzer anzulegen.

Dieses Bild zeigt eine Ansicht der Liste der verfügbaren Postfächer.

Dieses Bild zeigt eine Ansicht der Neuanlage eines Postfaches

Dieses Bild zeigt eine Ansicht der Liste der verfügbaren Domains.

Dieses Bild zeigt eine Ansicht der Liste der verfügbaren Hosts.

Sieve zum ausfiltern von Spam

Dovecot unterstützt Sieve Skripte über ein Plugin das man im Abschnitt protocol lda mit der Zeile

mail_plugins = cmusieve

aktivieren muss. Danach ist es möglich im Benutzerverzeichnis eine Datei mit dem Namen .dovecot.sieve abzulegen. Dort kann man Filter Regeln definieren die vom LDA während der Zustellung ausgeführt werden.

Beispiel Sieve Script:

require ["fileinto"];
# Move tagged Spam Mails into the Spam-Folder
if header :contains "X-Spam-Flag" ["YES"] {
  fileinto "spam";
  stop;
}

Dieses Skript kann auch dazu genutzt werden für alle Benutzer automatisch die Spam-Mails vorzusortieren. Dazu speichert man das Skript z.B. unter /srv/mail/globalsieve ab und setzt mit global_script_path = /srv/mail/globalsieve den globalen Skript Pfad auf das Skript. In diesem Zusammenhang sei davor gewarnt, dass Benutzer die ihre Mails ausschließlich per POP3 abrufen nur Nachrichten in ihrer Inbox, exklusive Unterverzeichnisse, sehen. Diese Benutzer können die Nachrichten im Spam Ordner nur über Webmail oder IMAP abrufen. Das kann bei unbedarften Benutzern unter Umständen zu Verwirrung und Ärger führen wenn false-positives im Spam Ordner landen. Weitere Informationen zu Sieve gibt es im RFC3028.

Mailman für Mailinglisten einrichten

Mit Mailman existiert ein moderner und leistungsfähiger Mailinglisten-Manager für Unix Systeme. Die Installation gestaltet sich wie bei Debian üblich recht unkompliziert.:

$> aptitude install mailman

Für die Einbindung in Exim sind zwei Parameter interessant. Zum einen die Alias Datei, in der die Pipe-Befehl für Mailman eingetragen werden sowie die Domainliste für die sich Mailman zuständig fühlt. Bei dem data Parameter kann der Pfad /etc/aliases.mailman einfach übernommen werden, wenn man plant die entsprechenden Aliase dort abzulegen. Die Daten die dort eingetragen werden gibt der Befehl newlist nach dem einrichten einer neuen Liste auf der Kommandozeile aus. Man muss die Angaben dann einfach in die Datei kopieren und die neue Liste ist einsatzbereit. Der Parameter domains gibt an für welche Domains dieser Router angewandt wird, d.h. hier definiert man den Domain Teil unter dem die Listen erreichbar sind. Wenn man z.B. als Domains lists.domain.tld eingetragen hat und eine List mit dem Namen exim angelegt hat, dann ist diese Liste unter exim@lists.domain.tld erreichbar.

mailman_aliases:
  driver = redirect
  allow_fail
  allow_defer
  data = ${lookup{$local_part}lsearch{/etc/aliases.mailman}}
  file_transport = address_file
  pipe_transport = address_pipe
  domains = lists.localdomain.tld
  user = list

Backup Mailserver einrichten

domain.tld IN MX 10 mail1.domain.tld
domain.tld IN MX 20 mail2.domain.tld

Ein Backup-MX, also ein zusätzlicher Mailserver, dient der Ausfallsicherheit und dem Lastausgleich. Das SMTP Protokoll sieht zwar vor das eine Nachricht vom Absender bis zu 4 Tage versucht wird zuzustellen, aber wenn Ihnen das nicht ausreicht, dann besteht eine Option darin einen Backup Mailserver einzurichten. Das DNS Protokoll erlaubt es für eine Domain mehrere Mailserver anzugeben.

Wenn Sie über die Einrichtung eines Backup-MX nachdenken, sollte Ihnen bewusst sein, dass, wenn ihr primärer Mailserver ausfällt, ihre Nutzer weder Nachrichten versenden noch empfangen können. Das einzige was der Backup-MX macht, ist Nachrichten anzunehmen die ihr primärer Mailserver im Moment nicht annehmen kann und sie dann an diesen weiterleitet. Die Einrichtung der benötigten Softwarepakete ist weitgehend mit denen des primären MX identisch, so dass hier auf den Abschnitt Installation der benötigten Pakete verwiesen sei.

Ein wichtiger Aspekt beim Einrichten eines Backup-MX ist es auf die Anfälligkeit gegenüber Spam zu achten. Es ist in der heutigen Zeit unverzeihlich einen Backup-MX einzusetzen, der nicht mindestens genauso gegen Spam abgesichert ist wie der primäre Mailserver. Spammer verschicken heute in der Regel Nachrichten mit gefälschen Abesnder Adressen. Oftmals sind dies existierende Adressen von vollkommen Unbeteiligten. Würde der Backup-MX diese Nachrichten annehmen ohne den lokalen Empfänger zu prüfen und der primäre MX würde später feststellen, dass der Benutzer nicht exisitiert wäre er genötigt laut RFC ein Fehlermeldung (Bounce) an den Absender zu schicken. Dieser hat damit allerdings nichts zu tun. Somit würde zum einen die Belastung des primären MX steigen und zum anderen würden andere Nutzer mit überflüssigen Fehlermeldungen belästigt. Um dieses Problem zu umgehen verwendet das hier vorgestellte Setup eine Replik der Benutzerdatenbank. Diese Replik wird mit Hilfe eines Shell-Skripts stündlich vom primären MX abgerufen. Wird eine Nachricht auf dem Backup-MX eingeliefert prüft dieser mit Hilfe der SQL Query MYSQL_Q_RELAY im Router smarthost ob der Benutzer überhaupt existiert. Diese Überprüfung findet bereits nach dem RCPT TO Schritt statt. Verantwortlich dafür ist die Option verify = recipient im accept  domains = +relay_to_domains Check.

Der Router dnslookup wird nur für die Überprüfung des Absenders benötigt. Zunächst werden wieder die Macros für die SQL-Abfragen definiert.

MYSQL_SERVER=localhost
MYSQL_USER=DBUSER
MYSQL_PASSWORD=DBPASS
MYSQL_DB=DBNAME
MYSQL_EMAILTABLE=mail_accounts
MYSQL_DOMAINTABLE=domains
MYSQL_HOSTTABLE = hosts
BL_WARN=zen.spamhaus.org
BL_DENY=zen.spamhaus.org

Diese Abfrage stellt fest ob wir diese Nachricht annehmen. D.h. ob sie für eine Domain bestimmt ist für die wir zuständig sind und ob das Postfach aktiv ist.

MYSQL_Q_RELAY=SELECT d.domain FROM MYSQL_EMAILTABLE AS ma, MYSQL_DOMAINTABLE AS d WHERE d.domain='${quote_mysql:$domain}' AND ma.local_part='${quote_mysql:$local_part}' AND ma.is_enabled = 'yes' AND ma.domain = d.id

Diese Abfrage stellt fest ob die Nachricht für eine Domain bestimmt ist, für die wir Mails annehmen (Relay).

MYSQL_Q_RDOMAIN=SELECT domain FROM MYSQL_DOMAINTABLE WHERE domain='${quote_mysql:$domain}' AND is_enabled='yes'

Mit dieser Abfrage werden Nachrichten an deaktivierte Postfächer gleich zu Beginn verworfen.

MYSQL_Q_DISABLED=SELECT d.domain FROM MYSQL_EMAILTABLE AS ma, MYSQL_DOMAINTABLE AS d WHERE d.domain='${quote_mysql:$domain}' AND ma.local_part='${quote_mysql:$local_part}' AND ma.is_enabled = 'no' AND ma.domain = d.id

hide mysql_servers = "MYSQL_SERVER/MYSQL_DB/MYSQL_USER/MYSQL_PASSWORD"

primary_hostname = backupmx.domain.tld
domainlist      relay_to_domains = mysql;MYSQL_Q_RDOMAIN
hostlist        relay_from_hosts = 127.0.0.1
acl_smtp_rcpt = acl_check_rcpt
acl_smtp_mail = acl_check_from
qualify_domain = domain.tld
never_users = root
host_lookup = *
trusted_users = mail
untrusted_set_sender = *
local_from_check = false
rfc1413_hosts = *
rfc1413_query_timeout = 15s
check_spool_space = 50M
check_log_space = 20M
return_size_limit = 20k
message_size_limit = 20M
ignore_bounce_errors_after = 2d
timeout_frozen_after = 7d
deliver_queue_load_max = 8
queue_only_load = 10
remote_max_parallel = 15
tls_certificate = /etc/ssl/certs/server.domain.tld.crt
tls_privatekey = /etc/ssl/private/server.domain.tld.key
tls_advertise_hosts = *

Über die Option local_interfaces können die Adresse definiert werden auf denen Exim auf Verbindungen wartet. In diesem Fall ist dies sowohl localhost, als auch eine öffentliche IPv4 sowie eine IPv6 Adresse.

local_interfaces = <; 127.0.0.1 ; 192.168.0.2 ; \
                        2001:0DB8::2

Der Port ist im Falle des Backup-MX nur Port 25, da er nicht dafür ausgelegt ist Nachrichten von einliefernden Benutzern anzunehmen.

daemon_smtp_port = 25
begin acl
acl_check_from:
accept
acl_check_rcpt:
accept  hosts = :
deny    domains       = +relay_to_domains
                local_parts   = ^[./|] : ^.*[@%!] : ^.*/\\.\\./
accept  local_parts   = postmaster
                domains       = +relay_to_domains
require verify        = sender
accept  authenticated = *
warn      message       = X-blacklisted-at: $dnslist_domain
        dnslists        = BL_WARN
deny      dnslists      = BL_DENY
defer
        message = $sender_host_address is not yet authorized to \
                        deliver mail from <$sender_address> to <$local_part@$domain>. \
                        Please try later.
        log_message     = greylisted.
        domains = +relay_to_domains
        !senders        = : postmaster@*
        !hosts         = : +relay_from_hosts : \
                                        ${if exists {/etc/greylistd/whitelist-hosts}\
                                                                {net-lsearch;/etc/greylistd/whitelist-hosts}{}} : \
                                        ${if exists {/var/lib/greylistd/whitelist-hosts}\
                                                                {net-lsearch;/var/lib/greylistd/whitelist-hosts}{}}
        set acl_m9      = $sender_host_address $sender_address $local_part@$domain
        set acl_m9      = ${readsocket{/var/run/greylistd/socket}{$acl_m9}{5s}{}{}}
        condition       = ${if eq {$acl_m9}{grey}{true}{false}}
accept  domains       = +relay_to_domains
                endpass
                verify        = recipient
accept  hosts         = +relay_from_hosts
deny    message       = relay not permitted
# Routers
begin routers

Der Fail Router sortiert alle Nachrichten an deaktivierte Postfächer aus.

# Fail Router
fail_router:
  driver = redirect
  domains = ${lookup mysql {MYSQL_Q_DISABLED}{$value}}
  data = ":fail:"
  allow_fail

Der Smarthost Router kümmert sich um die Zustellung zum primären Mailserver. Bei Router List sollte anstelle eines Hostnamens die IP-Adresse eingetragen werden.

# Smarthost Router
smarthost:
  driver = manualroute
  domains = ${lookup mysql {MYSQL_Q_RELAY}{$value}}
  transport = remote_smtp
  route_list = * 192.168.0.2 byname
  host_find_failed = defer
  same_domain_copy_routing = yes
  no_more

Der DNS-Lookup Router wird für Sender Verify benötigt.

# DNS Lookup Router - required for Sender Verify
dnslookup:
  driver = dnslookup
  domains = ! +relay_to_domains
  transport = remote_smtp
  ignore_target_hosts = 0.0.0.0 : 127.0.0.0/8
  no_more
# Transports
begin transports
remote_smtp:
  driver = smtp
  interface = 192.168.0.2
  devnull_delivery:
  driver = appendfile
  file = /dev/null
  group = mail
disabled_bounce:
  driver = autoreply
  from = ${local_part}@${domain}
  to = ${sender_address}
  user = mail
  subject = "Re $h_Subject:"
  text = "Your message to ${local_part}@${domain} was rejected due to a\n\
        disabled account. Please try again later\n"
devnull_transport:
  driver = appendfile
  file = /dev/null
  user = mail

begin retry
*                      *           F,2h,15m; G,16h,1h,1.5; F,4d,6h

begin rewrite
*@domain.tld    ${lookup{$1}lsearch{/etc/email-addresses}\
                                                {$value}fail} frFs
begin authenticators

Das Skript zur Synchronisation der Benutzerdatenbank ist simpel gehalten.

Die Idee hier ist, dass das Script mit mysqldump, am besten über eine gesicherte VPN Verbindung, die Systemdatenbank vom primären Mailserver ausliest und anschließend auf dem Backup-MX einspielt.

#!/bin/sh
mysqldump -hDBHOST -uDBUSER -pDBPASS DBNAME | mysql -uDBUSER -pDBPASS DBNAME

Bei DBHOST muss hier die Adresse des primären Mailserver eingetragen werden.