Mysqlはスワップの使用を開始するまでメモリをゆっくりと使用します


8

1 GBのRAMラックスペースデータベースサーバーを実行しています。なんらかの理由で約2日で、メモリ使用量は非常に少ないスワップの使用から100MBの使用に移行します。SQLを再起動しないと、より多くのスワップが使用され続けます。(私のmy.cnfファイルを以下に示し、メモリ使用量を以下に示します)

背景:テーブルにINNODBを使用する同じスキーマを持つアクティブデータベースが約50あります。MyISAMを使用するトラフィックの少ないデータベースがいくつかあります。

INNODBテーブルでは、永続的な接続を使用しません。一時テーブルを作成するレポート機能もあります。(これはリソースを集中的に使用する可能性がありますが、頻繁には発生しません)

CENTOS 6.3とmysql 5.5.28-logを使用しています

私はスワップを使用していますが、パフォーマンスはかなり良好です。数日おきに再起動しないと問題が発生するのではないかと心配です。

約2日間の無料の-mのログは次のとおりです(最初のレコードはmysqlの再起動直後です)。

12/26 2:08 PM EST
             total       used       free     shared    buffers     cached
Mem:           992        697        295          0         74        362
-/+ buffers/cache:        260        732
Swap:          976         15        961

12/26 4:10 PM EST
[root@php-pos-db ~]# free -m
             total       used       free     shared    buffers     cached
Mem:           992        791        201          0         97        405
-/+ buffers/cache:        287        705
Swap:          976         14        961

12/27 2:52 PM EST
[root@php-pos-db ~]# free -m
             total       used       free     shared    buffers     cached
Mem:           992        947         45          0         55        169
-/+ buffers/cache:        722        270
Swap:          976         34        942

12/28 1:41 PM EST
             total       used       free     shared    buffers     cached
Mem:           992        963         29          0         45        119
-/+ buffers/cache:        797        195
Swap:          976         48        927

12/28 7:24 PM EST
[root@php-pos-db ~]# free -m
             total       used       free     shared    buffers     cached
Mem:           992        957         35          0         41        141
-/+ buffers/cache:        774        218
Swap:          976         90        886

12/28 8:33 PM EST
[root@php-pos-db ~]# free -m
             total       used       free     shared    buffers     cached
Mem:           992        948         44          0         48        130
-/+ buffers/cache:        768        224
Swap:          976         96        880

my.cnf

# The MySQL database server configuration file.
#
# You can copy this to one of:
# - "/etc/mysql/my.cnf" to set global options,
# - "~/.my.cnf" to set user-specific options.
# 
# One can use all long options that the program supports.
# Run program with --help to get a list of available options and with
# --print-defaults to see which it would actually understand and use.
#
# For explanations see
# http://dev.mysql.com/doc/refman/5.1/en/server-system-variables.html
#
# Take care to only add/remove/change a setting if you are comfortable
# doing so! For Rackspace customers, if you have any questions or
# concerns, please contact the MySQL Database Services Team. Be aware
# that some work performed by this team can involve additional billable
# fees.
#
# This file generated for host php-pos-db please modify
# variables if the server is resized from 1016636kB

[mysqld]

### General
user                = mysql
port                = 3306
datadir                         = /var/lib/mysql
tmpdir                          = /tmp
socket                          = /var/lib/mysql/mysql.sock
skip-external-locking           = 1
log_error                       = /var/log/mysqld.log

## This prevents using host-based authentication. That means users must be
## created using an ip-address (ie 'myuser'@'192.168.100.1') or must make
## use of the % wildcard (ie 'myuser'@'%'). The benefit to not using
## host-based authentication is that DNS will not impact MySQL performance.
#skip-name-resolve

## If open-files-limit is set very low, MySQL may increase on its own. Either
## way, increase this if MySQL gives 'too many open files' errors. Setting
## this above 65535 could be unwise (MySQL may crash).
open-files-limit                = 20000

### Cache
thread-cache-size               = 16
table-open-cache                = 4096
table-definition-cache          = 512

## Generally, it is unwise to set the query cache to be larger than 64-128M 
## as the costs associated with maintaining the cache outweigh the performance
## gains. A far superior solution would be to implement memcached, though this
## required modifying the application, among other things.
query-cache-type                = 1
query-cache-size                = 32M
query-cache-limit               = 1M

### Per-thread Buffers
sort-buffer-size                = 1M
read-buffer-size                = 1M
read-rnd-buffer-size            = 2M
join-buffer-size                = 1M

### Temp Tables
tmp-table-size                  = 64M 
max-heap-table-size             = 64M

### Networking
back-log                        = 100
max-connections                 = 50
max-connect-errors              = 10000
max-allowed-packet              = 16M
interactive-timeout             = 600
wait-timeout                    = 180
net_read_timeout        = 30
net_write_timeout       = 30
# This value is the size of the listen queue for incoming TCP/IP connections.
back_log            = 128

#### Storage Engines
## Set this to force MySQL to use a particular engine / table-type
## for new tables. This setting can still be overridden by specifying
## the engine explicitly in the CREATE TABLE statement.
default-storage-engine         = InnoDB

## Makes sure MySQL does not start if InnoDB fails to start. This helps
## prevent ugly silent failures.
innodb                          = FORCE

### MyISAM
## Not sure what to set this to?
## Try running a 'du -sch /var/lib/mysql/*/*.MYI'
## This will give you a good estimate on the size of all the MyISAM indexes.
## (The buffer may not need to set that high, however)
key-buffer-size                 = 2M
## This setting controls the size of the buffer that is allocated when 
## sorting MyISAM indexes during a REPAIR TABLE or when creating indexes 
## with CREATE INDEX or ALTER TABLE.
myisam-sort-buffer-size         = 2M

### InnoDB
## Note: While most settings in MySQL can be set at run-time, many InnoDB
## variables cannot be set at runtime as require restarting MySQL
###
## These settings control how much RAM InnoDB will use. Generally, when using
## mostly InnoDB tables, the innodb-buffer-pool-size should be as large as
## is possible without swapping or starving other processes of RAM. The other 
## two settings usually do not need to be changed, but can help for very large 
## datasets.
innodb-buffer-pool-size         = 285M
innodb-log-buffer-size          = 8M

## Be careful when changing these as they require re-generating the 
## ib-logfile* files, which must be done carefully. Do not change this unless 
## you are familiar with the procedure.
innodb-log-file-size           = 128M
innodb-log-files-in-group      = 2

## This will cause each table to create its own .ibd file
innodb-file-per-table           = 1

## Setting this to 2 will decrease disk I/O but can cause up to a second of
## queries to be lost during a hard outage (i.e. power failures)
# innodb-flush-log-at-trx-commit = 2

### Replication
## Set this to the Server's instance ID in replication environments
server-id                       = 1

#log-bin                        = /var/lib/mysql/bin-log
#relay-log                      = /var/lib/mysql/relay-log
#relay-log-space-limit          = 4G
#expire-logs-days               = 5

## This should be enabled on conventional MySQL slaves
#read-only                      = 1

## This will cause replicated statements on a slave to be written to the slave's binlog
## Enable this on the middle slave of M->S->S configs
#log-slave-updates              = 1

#binlog-format                  = STATEMENT

### Logging
## This option determines the destination for general query log and slow query log output.
## The option value can be given as one or more of the words TABLE, FILE, or NONE.
## NOTE: Table logging takes away 50% of performance and thus is not recommended
##       http://bugs.mysql.com/bug.php?id=30414
## In addition, you cannot backup the contents of these tables properly
## (mysqldump skips these tables by default since they cannot be locked)
#log-output                     = FILE
slow-query-log                 = 1
slow-query-log-file            = /var/lib/mysql/slow-log
long-query-time                = 2
log-queries-not-using-indexes  = 1

[mysqld-safe]
log-error                       = /var/log/mysqld.log

[mysqldump]
max-allowed-packet      = 16M

# * IMPORTANT: Additional settings that can override those from this file!
#   The files must end with '.cnf', otherwise they'll be ignored.
#
!includedir /etc/sysconfig/mysqld-config/

回答:


5

MySQLは、スワップハッピーであるという厄介な習慣を持っています。Jeremy Coleは彼のブログでこれに最もよく対処しています:http : //blog.jcole.us/2012/04/16/a-brief-update-on-numa-and-mysql/。そのブログから、あなたができることがあることがnumactl --interleave=allわかります:/etc/init.d/mysqlの中に追加します。

提案

サーバーがMySQLのみの実行専用である場合は、/ etc / my.cnfで以下を変更してください。

[mysqld]
innodb_open_files=1000
innodb_flush_method=O_DIRECT
innodb_buffer_pool_size=768M
innodb_log_file_size=192M

サーバーが少なくともデュアルコアの場合は、これらを追加します

innodb_buffer_pool_instances=2
innodb_read_io_threads=16
innodb_write_io_threads=16
innodb_io_capacity=2000

次に、mysql runにログインします。 SET GLOBAL innodb_fast_shutdown = 0;

次に、OSで次のコマンドを実行します

cd /var/lib/mysql
service mysql stop
mv ib_logfile0 ib_logfile0.bak
mv ib_logfile1 ib_logfile1.bak
service mysql start

試してみる !!!

UPDATE 2012-12-31 08:30 EDT

あなたの最後のコメントから

約1 GBの上昇を停止しました。私は未使用のデータベースを削除しましたが、これは5.0では発生しなかったため、mysql 5.5が大量のデータをメモリに格納しているようです。mysqlは大きく変化しましたか?

はい、MySQLは大きく変わりました。実際、MySQL 5.0からMySQL 5.5にアップグレードして、パフォーマンスが低下するケースは数多くあります。InnoDB 5.5は、ハイパースレッディングとマルチコアエンゲージメントを実行するようになりました。

Perconaは実際にこれをしばらく前にテストしました

この件に関する過去の投稿を読んでください

これについてもServerFaultとStackOverflowで書いた


これを試してみましょう:innodb_buffer_pool_sizeとinnodb-buffer-pool-sizeの違いは何ですか
Chris Muench

innodb_buffer_pool_size768Mは、RAMが1 GBしかないマシンの限界を押し上げる可能性があります。MySQLの外部のカーネルとユーザースペースで行われていること、およびInnoDBバッファープールの外部のMySQLで発生しているすべてのことについては、残り256Mしかありません。同様に。
James L

FWIW、NUMAはここでは重要ではありません。CentOS6.3を実行しているRackspaceの1 GBマシンは、NUMAノードが1つだけ表示されたVMになります。
James L

@Jamesそれはあなたが正しいVMなので。マルチコアの調整は不要で、1GBのRAMの75%が低すぎます。彼には少なくとも4GBが必要です。
RolandoMySQLDBA 2012

2 GBのラックスペースサーバーにアップグレードしましたが、メモリ使用量はまだ増え続けています。私たちは何が起こっているのか困惑しています。これはmysql 5.0.96では発生しませんでした
Chris Muench

0

Rolandoからの非常に良いアドバイスのほかに、システム側でsysctlを使用してスワップレス設定をアクティブにすることができます。通常vm.swappiness=10、MySQLマシンの/etc/sysctl.confに設定します。スワップへのアクセスを制限しますが、必要に応じて許可します。

vm.swappinessのデフォルト値は60で、これは非常に許容範囲です。


0

この回答は、stackoverflowの関連する質問に投稿しました。このソリューションはLinuxとSystemd固有ですが、実際にmemlockは、呼び出しを適切にサポートし、ルートにとどまらないプロセスにそうする機能を提供する任意のシステムに適応できます。

更新:このソリューションは、実際にはうまく機能しない可能性があります。最後の注を参照してください。

アプリケーションを入れ替えたくないアプリケーションのクラスが存在します。そのようなクラスの1つがデータベースです。データベースはディスク領域のキャッシュとバッファとしてメモリを使用しますが、これらがスワップされることはまったく意味がありません。特定のメモリには、クライアントが要求する1日まで1週間必要とされないいくつかの関連データが保持される場合があります。キャッシング/スワッピングなしでは、データベースはディスク上の関連レコードを見つけるだけで、非常に高速になります。しかしスワッピングを使用すると、サービスの応答に突然長い時間がかかる場合があります。

mysqldOS /システムコールを使用するためのコードが含まれていますmemlock。Linuxでは、少なくとも2.6.9以降、このシステムコールはCAP_IPC_LOCK機能[1]を持つ非ルートプロセスに対して機能します。を使用するmemlock()場合、プロセスはLimitMEMLOCK制限の範囲内で機能する必要があります。[2]。(いくつかの)良い点の1つは、特別なプログラムを必要とせずにsystemdmysqldプロセスにこれらの機能を許可できることです。で期待どおりにrlimitsを設定することもできますulimit。これは、データベースなどのプロセスに必要になる可能性がある他のいくつかを含む、必要な手順を実行するoverrideためのファイルですmysqld

[Service]
# Prevent mysql from swapping
CapabilityBoundingSet=CAP_IPC_LOCK

# Let mysqld lock all memory to core (don't swap)
LimitMEMLOCK=-1 

# do not kills this process if low on memory
OOMScoreAdjust=-900 

# Use higher io scheduling
IOSchedulingClass=realtime    

Type=simple    
ExecStart=
ExecStart=/usr/sbin/mysqld --memlock $MYSQLD_OPTS

標準コミュニティmysqlは現在出荷されてType=forking おり--daemonizeExecStartライン上のサービスにオプションを追加しています。これは本質的に上記の方法よりも安定性が低くなります。

systemdのファイルの上書きについて/etc/systemd/system/namedにディレクトリを作成し、mysqld.service.dその中に新しいファイル(上記の内容を含む)を置きます。

更新私はこのソリューションに100%満足していません。数日間のランタイムの後、プロセスにはまだ大量のスワップがあることに気付きました!調べてみる/proc/XXXX/smapsと、次のことに注意してください。

  • スワップの最大の貢献者はスタックセグメントからです!最初はそれほど悪くないように見えましたが、数日後には437 MBになり、変動しました。これは明らかなパフォーマンスの問題を示します。また、スタックベースのメモリリークを示しています。
  • ロックされたページはありません。これは、memlockMySQL(またはLinux)のオプションが壊れていることを示しています。この場合、MySQLはスタックをmemlockできないため、それほど重要ではありません。
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.