Avalon Project Page

Я вже майже звик, що люди, що 2 рази в житті бачили в очі код на PHP вважають себе програмістами. А ті, що вміють написати select * from table вважають себе неабиякими DBA. Але сьогодні я пізнав усю глибину наших глибин.

Маємо сервер баз даних. Він обслуговує кілька сайтів. Один з сайтів досить важкий, робить в середньому під тисячу запитів в секунду, не найпростіших запитів. Сьогодні подивився на них ближче, бо машинці дещо недобре. Маємо запит, який, якщо вірити explain, розкладається в 4 більш простих запити, з використанням тимчасової таблиці, з вибіркою по 1.08 мільйона рядків. І не використовує при цьому жодного індекса. Зате використовує математику. Текст приблизно такий:

Select... from... where... AND FLOOR(table.time/1000000) = FLOOR(20080128141036/1000000);

За допомогою викидання математики і ввімкнення логіки та створення індекса по table.time маємо 177660 рядків. За допомогою правила between маємо 173 (Прописом: сто сімдесят три) рядки. При цьому використовується індекс.

Думаю, хто вчив цих горе-математиків. І на що були розраховані їх задумки. Адже булева алгебра в рази швидша за операції з нецілими числами, використання індексу дає неабиякий приріст продуктивності...

Тихо плачу над майбутнім інформаційних технологій. Хочеться напитися, заснути і прокинутися в цілком іншому світі, де люди вміють думати головою...

Натрапив на сайт http://www.mysqlperformanceblog.com. Це вирішило всі мої проблеми із MySQL взагалі і з InnoDB конкретно. Тепер машина, що раніше при трафіку в 15 мегабіт таки немало навантажувалась через деякий час роботи (коли приходили тяжкі запити, що стояли в стані "copying to tmp table" пачками по дочорта штук) зовсім нічим не займається. Викоритсано 1.7 із 2Гб пам'яті. LA не доходить до одиниці.

Що змінилося:

innodb_buffer_pool_size		= 1024M
innodb_additional_mem_pool_size	= 256M
innodb_thread_concurrency	= 8
innodb_flush_method		= O_DIRECT
innodb_flush_log_at_trx_commit	= 2

До цього стояли дефолтні налаштування даних змінних. Ітого, я задоволений проробленою роботою, і, особливо, бійцями з вищезгаданого сайту. Велике їм спасибі за зрозумілу і толкову доку.

UPD 16:14 29.01.2008: а якщо ще зібрати MySQL з Linux Threads... Це просто щастя якесь :)

Багато танцював з MySQL. Завдяки настройкам зміг зменшити навантаження на сервер ще в декілька разів. Але нічого не можна зробити з результатами запитів, що видають забагато інформації. Вони так і висять в стані Sending data по 100+ секунд. При цьому вони, звичайно, заважають іншим.

Вже вкотре переконуюсь, що за допомогою одного запиту можна зробити багато проблем цілому серверу MySQL. І це найголовніша проблема цього сервера. Нафіг. Все mission-critical перевезти на PostGre.

Щойно перевів чергового клієнта на InnoDB замість MyISAM. Це просто щастя якесь. Відтюнений MySQL жер до переїзду 300+ процентів процессора Core2 Quad, тепер - не дотягує до 70. В mtop незвично тихо. І це з дефолтними налаштуваннями InnoDB на FreeBSD.

Вже не вперше раджу переводити таблиці в InnoDB користувачам. Основний плюс - блокування на рівні рядків, а не цілих таблиць, як в MyISAM. Останнім часом все частіше вистачає і потужності процессора, і пам'яті, щоб нормально обробити і закешувати запит до БД, але за пристойного навантаження на сайт виникає високий потік запитів, що стають в чергу з статусом Locked. І не дивно, при відомій політиці роботи MyISAM з таблицями.

Отже, в разі використання MySQL InnoDB-наш вибір. Хоча, якщо вже юзати його, то чому б не переїхати на нормальний PostGreSQL? Це запитання риторичне, для вебмайстрів, що ніколи не бачили нічого, окрім MySQL + PHP такі страшні слова, як PostGre - новина :(

Придбав собі цяцьку, Garmin GPSMap 60Csx. Штука просто кайфова, особливо в порівнянні з вживаними мною раніше Garmin Etrex Legend. По-перше, Sirf III, ловить супутники навіть у кімнатах з 1 вікном. По-друге, набагато зручніший інтерфейс, можна вказувати точку слідування безпосередньо з сторінки з картою, навівшись курсором. З Legend таке не проходило. По-третє, Micro-SD картка. У мене там 128М. Всі потрібні мені карти займають до 30М. А це вся Україна (доступна тут: http://avalon.org.ua/diff/GPS/Ukraine_Garmin_noroute_cyr.zip), детальніший Крим, Карпати (майже ідеальні карта доступна тут: http://avalon.org.ua/diff/GPS/Karpaty_4_v4.0-0512060242-bin.zip), Кавказ (ця зовсім бідненька). Плюс залив вейпоінтів Криму. Багато.

Ну, по порядку.

Для роботи з GPS є ульотна програма gpsman. Вона просто працює. Нормально зливає і заливає треки, вейпоінти і таке інше в/із GPS. Нормально завантажує графічні карти (треба тільки встановити модуль libtk-img). Не вміє імпортувати треки і вейпоінти Ozi Explorer :( Проте нормально експортує їх в формат Ozi. Тому довелося поставити gpsbabel. Останній вміє конвертувати GPS-дані між неймовірною купою форматів, в тому числі й ozi. Я робив так:

gpsbabel -i ozi -f POI.txt -o gpx -F POI.gpx

Після чого можу нормально імпортувати в gpsman точки в форматі gpx.

Для кириличних точок я обламався підбирати кодування, тому просто зконвертував файл з такими точками в трансліт за допомогою catdoc:

catdoc -s koi8-u -d us-ascii tmp/GPS/Crimea/POI2.txt > POI.txt

Загалом, нормально.

Оскільки набір місць, куди я можу податися, досить обмежений, витягнув собі карти Криму, Карпат та Кавказу. Зібрав до купи за допомогою sendmap. Нажаль, ця софтинка не йде в комплекті Debian, хоча, я думаю, її могла б замінити gpsbabel. Але з останньою ліньки було розбиратися. Тому просто злив всі карти в одну директорію і запустив

sendmap20 -lgmapsupp.img *

Оскільки мій прилад уміє працювати як USB Mass Storage, я його саме так і ввімкнув. Потім залив створену мапу в GPS:

mount /mnt/flash
cp gmapsupp.img /mnt/flash/Garmin/
umount /mnt/flash

Щастя прийшло. Отже, тепер я маю все, що мені потрібно для роботи з моїм приладом. Була думка про те, що, можливо, має сенс поредагувати отриману карту, але я не знайшов нормального редактора карт в форматі Garmin img під Linux, а нормально працююча під wine програма MapEdit не надихає мене на роботу :) Та і не до цього вже, адже все, що потрібно в мене вже є.

Доречі, треки можна читати прямо з GPS в режимі USB Drive, вони там лежать в форматі gpx в кореневому каталозі, імена відповідають датам.