Tình trạng máy chủ HQbird
Tình trạng máy chủ trong một phút
Mỗi phút, agent thu thập dữ liệu về máy chủ, hệ điều hành, ổ đĩa và các cơ sở dữ liệu Firebird. Mỗi 10 phút, nó so sánh dữ liệu này với các ngưỡng và ghi lại một ảnh chụp trạng thái. Bạn mở báo cáo và thấy ngay cái gì đã hỏng, khi nào, và cần làm gì.
- 1 phút số liệu máy chủ và cơ sở dữ liệu
- 10 phút ảnh chụp trạng thái
- 18 hệ thống trong báo cáo
- 24 h · 7 · 14 ngày lịch sử
- chỉ đọc giám sát không thay đổi gì trên máy chủ
Kịch bản
Một phút của quản trị viên
Buổi sáng. Người dùng nói rằng mọi thứ đều chậm vào đêm qua. Bốn màn hình HQ Monitor đưa ra câu trả lời trước khi cà phê của bạn nguội.
server_status
Dữ liệu được thu thập như thế nào
Agent chạy trên máy chủ Firebird và đọc dữ liệu ngay tại nơi nó tồn tại: các bộ đếm của hệ điều hành, cgroup và ETW, các bảng giám sát MON$, trace, firebird.log, header của cơ sở dữ liệu, và kết quả của các tác vụ của chính nó. Không cần máy chủ giám sát riêng và không có agent bên trong các cơ sở dữ liệu.
Cứ mỗi 10 phút, agent đưa mọi thứ vào một ảnh chụp trạng thái. Mỗi kiểm tra có hai ngưỡng: cảnh báo và nghiêm trọng. Mỗi phát hiện có một khóa, một văn bản và một gợi ý. Một vấn đề mới xuất hiện sau hai ảnh chụp liên tiếp, tức là sau khoảng 20 phút. Một tình huống khẩn cấp, ví dụ OOM hoặc hỏng cơ sở dữ liệu, xuất hiện ngay lập tức. Ảnh chụp được gửi đến HQ Monitor cùng với các dữ liệu khác.
- 1Thu thậpmỗi phút: CPU, bộ nhớ, ổ đĩa, kết nối, giao dịch
- 2Ảnh chụpmỗi 10 phút, giá trị trung bình và đỉnh trong 10 phút
- 3Ngưỡngcảnh báo và nghiêm trọng; đặt trong cài đặt của agent
- 4Phát hiệnphát hiện được gì, ở đâu, một gợi ý, một nút hành động
- 5✓ Báo cáoma trận cho 24 h, 7 hoặc 14 ngày; email từ HQCenter
Các tác vụ nặng của chính agent (sao lưu, sweep, kiểm tra cơ sở dữ liệu, kiểm tra ổ đĩa) được đánh dấu trên biểu đồ. Một phút chậm trong lúc sao lưu không bị tính là vấn đề của người dùng.
CPU · bộ nhớ · chương trình
Máy chủ và hệ điều hành
Một cơ sở dữ liệu chậm thường không phải lỗi của Firebird. HQ Monitor hiển thị không chỉ tải của máy chủ, mà còn cả ai tạo ra nó: Firebird, chính agent, hay các chương trình và dịch vụ khác.
| Bạn thấy gì | Chi tiết | Ngưỡng mặc định |
|---|---|---|
| Phiên bản và thư mục Firebird | Chuỗi phiên bản trong danh sách máy chủ; phiên bản và thư mục cài đặt trên dashboard. | — |
| CPU và load average | Mỗi phút. CPU theo chương trình trong 10 phút: Firebird, agent, các chương trình khác, các tiến trình ngắn hạn. | 80% · 97% |
| Bộ nhớ | Đã dùng, swap, áp lực bộ nhớ (PSI trên Linux). Bộ nhớ theo dịch vụ (Linux) hoặc theo chương trình (Windows), bộ nhớ đệm tệp, kernel. | 80% · 96% |
| OOM và swap | Chỉ Linux: các tiến trình bị OOM killer giết, và swap đang hoạt động. | bất kỳ OOM nào — nghiêm trọng |
| Firebird trong bộ nhớ đệm của hệ điều hành | Chỉ Linux, kernel 6.5+: bao nhiêu phần của mỗi tệp cơ sở dữ liệu nằm trong bộ nhớ đệm của hệ điều hành, và tệp có được mở với O_DIRECT hay không. | — |
| Bộ nhớ Firebird và MON$ | Bộ nhớ của tiến trình Firebird so với những gì Firebird tự đếm trong MON$MEMORY_USAGE. | — |
| Hệ thống tệp | Mỗi ngày một lần: loại hệ thống tệp và kích thước cluster cho các thư mục Firebird, cơ sở dữ liệu và agent. | phát hiện kèm đường dẫn |
TasksMax · NPROC · NOFILE · threads-max
Giới hạn hệ điều hành: sự cố trước sự cố
“Firebird bị sập dưới tải” thường có nghĩa là: một giới hạn của hệ điều hành đã cạn. Firebird không thể tạo một thread hoặc một tiến trình, các kết nối mới thất bại, và pthread_create failed xuất hiện trong firebird.log.
Trên Linux, agent so sánh từng máy chủ Firebird với các giới hạn của hệ điều hành mỗi phút một lần. Cảnh báo từ 80% giới hạn, nghiêm trọng từ 95%, theo đỉnh trong 10 phút. Phát hiện xuất hiện sau hai ảnh chụp liên tiếp. Nếu một giới hạn đã từ chối tạo tiến trình, đây là nghiêm trọng ngay lập tức, không chờ đợi.
Agent chỉ đọc: nó không thay đổi giới hạn, không cần root và không gọi systemctl. Gợi ý của phát hiện cung cấp một lệnh sẵn sàng cho quản trị viên.
Một trường hợp mẫu: TasksMax = 4915, 3 thread cho mỗi kết nối. Classic khởi tạo một tiến trình cho mỗi kết nối, nên nó chạm TasksMax trước.
| Giới hạn | Được đặt ở đâu | Điều gì xảy ra khi cạn |
|---|---|---|
| Tasks của dịch vụ Firebird | TasksMax của dịch vụ hoặc slice cha | Classic không thể chấp nhận kết nối mới |
| Tasks của người dùng Firebird | LimitNPROC, limits.d | Việc tạo thread bị từ chối |
| Tasks của toàn bộ máy chủ | kernel.threads-max, pid_max | Bị từ chối cho tất cả chương trình; threads-max được tính từ RAM khi khởi động |
| Tệp đang mở | LimitNOFILE | SuperServer và SuperClassic chạm giới hạn này trước |
| Bộ nhớ | giới hạn bộ nhớ của dịch vụ, RAM | OOM killer giết tiến trình |
- Cấp nào giới hạnDịch vụ hoặc slice cha, ví dụ system.slice.
- Phần của chính agentCác task của nó và các tiến trình con gbak và fbsvcmgr được đếm riêng.
- Đối với ClassicSố thread cho mỗi kết nối và còn bao nhiêu kết nối nữa trước khi chạm giới hạn.
- Không phát hiện, để phân tíchCác task đang chờ ổ đĩa, và thời gian CPU bị hypervisor lấy đi (steal).
Dung lượng · temp · IO · độ trễ
Ổ đĩa
Agent biết vai trò của từng ổ đĩa: nó chứa cơ sở dữ liệu, tệp tạm của Firebird hay thư mục cài đặt. Đối với những ổ đĩa này, nó tính dung lượng trống, dự báo đầy, độ trễ đọc và ghi, IOPS, và ai đang tải ổ đĩa.
- Dung lượng trốngCảnh báo khi dưới 5 GB, nghiêm trọng khi dưới 1 GB. Với mỗi thư mục, bạn thấy nó nằm trên đĩa nào.
- Tỷ lệ lấp đầyCảnh báo: đĩa đầy 90 % và còn dưới 20 GiB trống. Nghiêm trọng: 97 % và dưới 5 GiB. Cần cả hai điều kiện, nên một đĩa lớn còn dư chỗ sẽ không báo động giả.
- Đĩa đầy nhanhCảnh báo nếu với tốc độ hiện tại, đĩa đầy trong dưới 6 giờ; nghiêm trọng nếu dưới 2 giờ. Một lần sao lưu ban đêm bình thường không gây báo động. Phát hiện này nêu rõ ai đã ghi vào đĩa trong 10 phút qua.
- Tệp tạm của FirebirdCó bao nhiêu và lớn cỡ nào, theo loại: sort, blob, undo, lock. Cảnh báo từ 10 GB, nghiêm trọng từ 50 GB. Bạn thấy liệu tệp tạm và các cơ sở dữ liệu có nằm trên cùng một đĩa không.
- Kiểm tra hiệu năngMỗi tuần một lần vào ban đêm: INSERT, UPDATE và DELETE một triệu bản ghi trong một cơ sở dữ liệu tạm. Bạn có thể so sánh kết quả của các tuần khác nhau.
- Độ trễ và IOPSMỗi phút cho các đĩa chứa cơ sở dữ liệu và tệp tạm. Đọc: cảnh báo từ 20 ms, nghiêm trọng từ 50 ms. Ghi: cảnh báo từ 10 ms, nghiêm trọng từ 30 ms. Trung bình trong 10 phút, ở mức 10 IOPS trở lên. Đĩa chỉ chứa tệp tạm — không vượt quá mức cảnh báo.
- Đĩa đầy: mục trong firebird.logLỗi “no space” trong
firebird.loggây mức nghiêm trọng ngay lập tức và kéo dài 24 giờ. Phát hiện này nêu rõ đĩa có ít dung lượng trống nhất. - Tên đĩa trong WindowsĐĩa được đặt tên theo chữ cái và nhãn ổ đĩa, ví dụ
b: (DATA, Disk 2, database), không theo GUID của ổ đĩa.
Nếu Firebird thực hiện dưới 20% số lần đọc hoặc ghi của đĩa, thì một chương trình khác đang tải đĩa. Khi đó gợi ý của phát hiện sẽ nêu rõ “hàng xóm” chính trên đĩa và phần của Firebird. Agent viết văn bản gợi ý bằng tiếng Anh.
Ai đang tải đĩa
Trên Linux theo dịch vụ systemd, trên Windows theo tiến trình. Dòng Firebird được làm nổi bật. Nếu Firebird đọc và ghi ít nhưng đĩa vẫn bận, nguyên nhân là một chương trình hàng xóm: phần mềm diệt virus, một bản sao lưu lạ, một dịch vụ khác. Trên Windows, các lần ghi đi qua bộ nhớ đệm hệ thống, nên ở đó phần của Firebird chỉ được tính theo số lần đọc.
Header · LWM · MON$ · gstat
Cơ sở dữ liệu
Mỗi cơ sở dữ liệu trên máy chủ có trang riêng: kích thước, trạng thái, sweep, kích thước trang, dialect, chủ sở hữu, liệu nó có cơ sở dữ liệu bảo mật riêng hay không. Bốn biểu đồ theo phút: kết nối và truy vấn, giao dịch, số lần đọc và ghi trang, chuẩn bị và thực thi truy vấn.
Agent lấy trạng thái từ MON$DATABASE hoặc từ header của tệp, tùy cái nào mới hơn: shutdown, chỉ đọc, replica, khóa nbackup. Có thể đọc header mà không cần kết nối. Vì vậy một cơ sở dữ liệu đang ở trạng thái shutdown cũng hiển thị được, dù nó không có kết nối nào. Nhấp vào một phút trên biểu đồ sẽ mở các truy vấn nặng từ trace và tất cả kết nối của phút đó.
Giao dịch: tín hiệu trước khi bị chậm
Next − OAT tăng lên khi một giao dịch mở quá lâu. Các phiên bản bản ghi chồng chất, và cơ sở dữ liệu bắt đầu chậm lại. Cảnh báo khi khoảng cách đạt 4 triệu, nghiêm trọng ở 8 triệu. Giao dịch dài dễ tìm thấy trong bảng kết nối. OST − OIT tăng khi việc thu gom rác không theo kịp, ví dụ khi cần sweep.
- Số liệu MON$Mỗi giờ một lần cho các cơ sở dữ liệu đang hoạt động: thao tác bản ghi, bộ nhớ theo chương trình, các kết nối nặng nhất.
- Phiên bản clientMỗi ngày một lần: những thư viện client nào kết nối và mỗi loại có bao nhiêu kết nối.
- gstat kèm phân tíchSố lượng phát hiện nghiêm trọng và cảnh báo cho các bảng và chỉ mục.
- Dự báo tăng trưởng“+25% trong N ngày” cho bảng hoặc chỉ mục tăng nhanh nhất; màu đỏ nếu từ 30 ngày trở xuống.
server_status
Báo cáo tình trạng máy chủ
Các hàng là hệ thống của máy chủ, các cột là thời gian. Trong 24 giờ, một ô là một giờ; trong 7 ngày là 4 giờ; trong 14 ngày là 6 giờ. Một ô hiển thị mức tệ nhất trong khoảng thời gian đó. Đỏ là nghiêm trọng, cam là cảnh báo, xanh lá là OK. Nhấp vào một ô sẽ mở ảnh chụp tại thời điểm đó.
Mới, tệ hơn, đã hết
Bảng lịch sử hiển thị khi một phát hiện xuất hiện, trở nên nghiêm trọng hơn và biến mất. Một lỗi một lần trong log hiển thị ngay lập tức và kéo dài một giờ, kèm thời điểm của mục đó trong văn bản.
Vấn đề kéo dài bao lâu
Thời gian ở mỗi mức và một bảng các vấn đề: bắt đầu, kết thúc, thời lượng, hệ thống. “Vẫn đang hoạt động” hiển thị ngay lập tức.
Nguyên nhân, gợi ý, nút
Văn bản phát hiện nêu rõ đối tượng: đĩa, thư mục, cơ sở dữ liệu, người dùng, chương trình, phiên bản client, truy vấn. Mỗi gợi ý nêu một hành động. Bên cạnh là một nút: thêm tác vụ sao lưu, đặt thư mục tìm kiếm sao lưu, mở một tác vụ hoặc một cài đặt.
- 18 hệ thốngMáy chủ, CPU, Bộ nhớ, Giới hạn OS, Đĩa, Tốc độ đĩa, firebird.log, Lỗi trace, Giao dịch và GC, Khóa, Truy vấn, Kết nối, Chỉ mục, Sao lưu, Tác vụ fbagent, Replication, Agent fbagent, Bảo mật và giấy phép. Nếu có các phát hiện khác, một hàng “Phát hiện khác” sẽ xuất hiện.
- Ngưỡng trên biểu đồVới CPU, bộ nhớ và tốc độ đĩa, bạn thấy các đường cảnh báo và nghiêm trọng.
- Bảng trong các bảng điều khiểnĐĩa: các ổ đĩa và thư mục tạm. Giao dịch: các cơ sở dữ liệu có khoảng cách OIT/OAT và các giao dịch dài kèm người dùng và tiến trình. Replication: master và replica kèm độ trễ. Agent: tình trạng của nó, hàng đợi tệp và các tác vụ chính.
- Một thẻ cho một nhóm phát hiệnBa phát hiện trở lên cùng loại và cùng mức được hiển thị thành một thẻ. Giá trị đứng cạnh ngưỡng: “476.5 MiB / 1 GiB”.
- Lỗi, truy vấn, bản sao lưuCác lỗi trace thường gặp, các truy vấn chậm nhất kèm liên kết đến Perf Report, bảng các phát hiện về bản sao lưu.
- Nguồn dữ liệuVới mỗi nguồn: trạng thái và độ cũ của dữ liệu. Trạng thái bằng tiếng Anh, ví dụ stale hoặc missing. Nguồn stale hoặc missing được làm nổi bật. Một agent im lặng không có nghĩa là “mọi thứ đều ổn”.
- Những gì không gây báo động giảHàng đợi xử lý của agent không ở mức trên cảnh báo. Một Firebird đã dừng không làm cho trạng thái của chính agent trở nên nghiêm trọng: đây là một phát hiện riêng.
- Tiêu đề trên dashboardBên cạnh biểu tượng “Server status” có một dòng: phát hiện chính và các hệ thống có phát hiện. Nhấp vào sẽ mở báo cáo này.