Für Bukkit / Spigot Server solltest du so rechnen: 0,5GB für den Server + 0,1GB Pro Spieler. (So rechne ich)
Für Forge / MCPC+ mit etwa 120 Mods: 3GB + 0,2 Pro Spieler
Und nochmal zur Frage am Anfang: Es laufen auch Dienste mit. Wenn du aber nur die Lite Version, wo im Prinzip nur Nacktes Debian Vorhanden ist + SSH Server, dann Reicht dem Server 100 MB RAM. Natürlich solltest du nach Oben Platz lassen.
Auch bei Java kommt noch der Heap Space dazu. Sind Standard Gemäß 256 MB.
Also würde ich bei Servern, wo Nichts mit Läuft etwa 1 GB Frei lassen. Dass reicht Locker aus.
Solltest du aber noch n TS Drauf Packen, dann Lieber 2 GB Frei lassen.
Wenn du aber noch Apache, MySQL, und so drauf machst, dann doch eher 3 Frei Lassen.
Du solltest aber auch Regelmäßig den Cache Leeren.
Kannst du mit:
sudo sh -c "sync; echo 3 > /proc/sys/vm/drop_caches"
machen. Am besten mit den Cronjobs jede Stunde ausführen.