SoulEvilX
Senior Member
Context
Thật ra bài này mình đã có share trước đây bên TT. Nhưng giờ buồn buồn qua đây viết bài mới ( dĩ nhiên là đã upgraded thêm devices ).
1 phần là để tự mình list những thứ mình đang có, cần nên có. Cũng như tiếp nhận các thảo luận nên upgrade thêm gì để hoàn thiện.
Devices
- 1 con server Xeon E5 Dual 2680v4: 256GB RAM & 1TB x2 SSD & ~ 10TB x 6 HDDs ( 192.168.1.10 )
Mục đích con này lúc mua về để làm server chính. Vì có 1 vài database ~ 100-200GB, nên mấy con server 64GB RAM có vẻ không ổn. Với cũng không phủ nhận là muốn trải nghiệm server dual Xeon nó ra sao . Vui thôi.
Em nó sử dụng Ubuntu 20.04 Desktop và chứa vài chục em VirtualBox bên trong. Lý do không xài ESXi vì ... ! Bản chất 10TB x 6 HDDs kia là chứa JAV. Và mình muốn coi trực tiếp : Coi qua LAN ít nhiều bị chậm ( dù có / không có cảm nhận ). Mà JAV có ai coi kiểu hết film đâu :v toàn jump .
Cũng đã thử ESXi nhưng cứ bị stuck vài thứ, không thật sự quá ưng ý.
Em nó cũng có 1 con card Intel 520 hay 540 gì đó 2 SFP+. Bản thân mainboard thì có 2 RJ45 1GB. Nhưng sau khi có SFP+ thì vô nghĩa.
- 1 con X300 5700G - 64GB RAM & 1TB x 2 SSD ( 192.168.1.11 )
Em này hiện tại đang dùng cài Windows ... chỉ để nghịch Windows. Chứ cũng chưa biết xài gì.
- 1 con Prodesk 32GB RAM / 256 hay 512GB SSD gì đó. ( 192.168.1.4 ). Em này là "gatekeeper". Mọi traffic từ Internet vào server sẽ đi qua em nó. Ubuntu 20.04 server .
Em nó dùng HAProxy để forward 80/443 về các VM.
Cũng như em nó cũng setup Grafana / Prometheus / Loki để các máy VM / physical đổ data về
Syslog-ng để nhận data từ router / hoặc các thiết bị khác đổ về
- 1 em router 3910 Draytek : Em này nhận 4 WANs ( 1 IP tĩnh Viettel / 1 IP động Viettel / 1 IP động VNPT / 1 IP động FPT )
Mình đang cân nhắc mua thêm CCR2116-12G-4S+ thay thế. Tuy nhiên Mikrotik là cái gì đó quá tầm kiến thức
Operate
Như nói trên
- Prodesk sẽ nhận 2 port 80/443 để từ đó HAProxy sẽ forward qua các máy khác. Khúc này mình tận dụng Cloudflare để làm SSL. Nên phía dưới k cần SSL nữa.
Và torrent . Plex cũng nằm trên đây.
Tuy nhiên database thì chưa setup replicate. ( Nhiều database lắt nhắt quá nên cũng ... rối không biết làm sao để hoàn hảo )
Cơ bản là vậy. Nhất thời chưa nghĩ ra thêm được gì.
Bài viết này mong bà con góp ý ( chi tiết càng tốt ) nên optimize thế nào hơn. Tận dụng các thiết bị làm thêm gì để chúng nó chạy hết sức.
Update 1
Ah mình đang cân nhắc thêm ít nhất 1 con mini PC ( hoặc Pi 4 8GB ) để làm private DNS. Vừa để filter ads luôn.
Với 1 con nữa để chạy thuần "Backup" server. Mọi backup đổ về đây ( tách nhiệm vụ này ra khỏi server ).
Thanks
Thật ra bài này mình đã có share trước đây bên TT. Nhưng giờ buồn buồn qua đây viết bài mới ( dĩ nhiên là đã upgraded thêm devices ).
1 phần là để tự mình list những thứ mình đang có, cần nên có. Cũng như tiếp nhận các thảo luận nên upgrade thêm gì để hoàn thiện.
Devices
- 1 con server Xeon E5 Dual 2680v4: 256GB RAM & 1TB x2 SSD & ~ 10TB x 6 HDDs ( 192.168.1.10 )
Mục đích con này lúc mua về để làm server chính. Vì có 1 vài database ~ 100-200GB, nên mấy con server 64GB RAM có vẻ không ổn. Với cũng không phủ nhận là muốn trải nghiệm server dual Xeon nó ra sao . Vui thôi.
Em nó sử dụng Ubuntu 20.04 Desktop và chứa vài chục em VirtualBox bên trong. Lý do không xài ESXi vì ... ! Bản chất 10TB x 6 HDDs kia là chứa JAV. Và mình muốn coi trực tiếp : Coi qua LAN ít nhiều bị chậm ( dù có / không có cảm nhận ). Mà JAV có ai coi kiểu hết film đâu :v toàn jump .
Cũng đã thử ESXi nhưng cứ bị stuck vài thứ, không thật sự quá ưng ý.
Em nó cũng có 1 con card Intel 520 hay 540 gì đó 2 SFP+. Bản thân mainboard thì có 2 RJ45 1GB. Nhưng sau khi có SFP+ thì vô nghĩa.
- 1 con X300 5700G - 64GB RAM & 1TB x 2 SSD ( 192.168.1.11 )
Em này hiện tại đang dùng cài Windows ... chỉ để nghịch Windows. Chứ cũng chưa biết xài gì.
- 1 con Prodesk 32GB RAM / 256 hay 512GB SSD gì đó. ( 192.168.1.4 ). Em này là "gatekeeper". Mọi traffic từ Internet vào server sẽ đi qua em nó. Ubuntu 20.04 server .
Em nó dùng HAProxy để forward 80/443 về các VM.
Cũng như em nó cũng setup Grafana / Prometheus / Loki để các máy VM / physical đổ data về
Syslog-ng để nhận data từ router / hoặc các thiết bị khác đổ về
- 1 em router 3910 Draytek : Em này nhận 4 WANs ( 1 IP tĩnh Viettel / 1 IP động Viettel / 1 IP động VNPT / 1 IP động FPT )
Mình đang cân nhắc mua thêm CCR2116-12G-4S+ thay thế. Tuy nhiên Mikrotik là cái gì đó quá tầm kiến thức
- 1 em Core switch : cnMatrix Switch EX2028-P
- 1 em Asus AX86U . Em này làm "Access Point" chính. Và chỉ 1 mình mình xài. Nằm trên VLAN0
- 4 con Deco E4R & 3 con Deco S7 làm Mesh cho nhà. Và cái này thì đúng nghĩa là dành cho nhà. Nằm trên VLAN1
Operate
Như nói trên
- Prodesk sẽ nhận 2 port 80/443 để từ đó HAProxy sẽ forward qua các máy khác. Khúc này mình tận dụng Cloudflare để làm SSL. Nên phía dưới k cần SSL nữa.
Khúc này có 1 điều đang suy nghĩ nhưng chưa làm ( vì chưa biết đủ, và suy nghĩ nên không ) : SSH. Hiện tại mỗi máy có thể SSH sẽ map 1 port theo nguyên tắc xx22. Ví dụ máy 192.168.10 thì port SSH sẽ là 1022. Tuy nhiên đang suy nghĩ tận dụng HAProxy để SSH qua domain. Ví dụ abc.domain.com thì sẽ SSH về máy abc phía sau.
- Em server hiện tại chỉ dùng cho : Chạy n con github runners / 5 con cho project riêng. v..v.Ah em nó cũng có chạy PiHole. Router trỏ DNS về 192.168.1.4 . Nhưng cái này nó sao sao ah. Nó k work as epxected
Và torrent . Plex cũng nằm trên đây.
Các máy VM trong server này sẽ được schedule backup về 1 HDD độc lập TRONG máy, và 1 HDD gắn ngoài.Tuy nhiên mình chưa nghĩ ra cách nào có 100% monitor mọi thứ trên server: Bandwidth / Storage v..v. Thật ra nói đúng hơn là có thể dùng Grafana nhưng tự tâm cảm giác nó ... thiếu thiếu gì ah. Mà chưa thật sự hình dung ra ... thiếu gì
Tuy nhiên database thì chưa setup replicate. ( Nhiều database lắt nhắt quá nên cũng ... rối không biết làm sao để hoàn hảo )
- Em X300 chắc chỉ để nghịch Windows xài xí. Ah ah quên ! Còn để cài MS SQL . Uh ha ! Quên !
- Router Draytek 3910 thật ra ... thiếu quá nhiều thứ so với mong đợi. Nhưng được cái ... dễ xài.
- Em cnMatrix mới được thêm vào ... Và chính xác !!! KHÔNG ĐÚNG
- Chưa thể webhook để báo Slack / Telegram khi có bất kì thiết bị nào được cấp DHCP ( Đồng nghĩa vừa vào LAN )
- Chưa thể webhook để báo khi 1 WAN down / IP changed
- Mình có setup 5 con VM . 4 con routing vào từng WAN; 1 con thì cho LB. Mục đích chu kì 30m / 60m sẽ chạy Speedtest CLI. Store vào DB. Để biết tình trạng mang xuyên suốt thời gian. Và cũng báo khi WAN nào đó chậm dưới ngưỡng. Tuy nhiên vẫn cảm giác nó k quá smooth.
- Vẫn chưa thể monitor chính xác bandwidth / throughput TỪNG devices sau router. Lý do: Nếu thấy, hoặc được alert máy nào đó đang xài BW / TP cao thì cân nhắc set limit bandwidth lại. Hoặc tương tự monitor việc các máy vào web nào. Nếu vào những thứ mình không mong muốn thì block hoặc show notice message.
- Em nó không có port RJ45 2.5. Mà con Asus AX86U đang xài port này. Do đó Asus AX86U phải cắm vào router thay vì Switch ! Sai logic !
- Chưa setup được DHCP trên em nó ( Nên DHCP vẫn để chạy trên Router. Sai quá sai
- Cảm giác chưa thật sự tận dụng hết em nó
Cơ bản là vậy. Nhất thời chưa nghĩ ra thêm được gì.
Bài viết này mong bà con góp ý ( chi tiết càng tốt ) nên optimize thế nào hơn. Tận dụng các thiết bị làm thêm gì để chúng nó chạy hết sức.
Update 1
Ah mình đang cân nhắc thêm ít nhất 1 con mini PC ( hoặc Pi 4 8GB ) để làm private DNS. Vừa để filter ads luôn.
Với 1 con nữa để chạy thuần "Backup" server. Mọi backup đổ về đây ( tách nhiệm vụ này ra khỏi server ).
Thanks
Last edited: