Многопоточные коллекции в Java

Начиная с версии Java 5 в пакете java.util.concurrent появились реализации коллекций для эффективной работы в многопоточных приложения. Эти коллекции используют различные неблокирующие алгоритмы для достижения высокой скорости чтения/записи значений. Синхронизированный доступ происходит крайне редко и в целом не влияет на производительность. Почти. В зависимости от реализации. :) Рассмотрению таких коллекций посвящен данный урок.

Со списками все просто: единственная существующая concurrent реализация - это CopyOnWriteArrayList. Из названия можно догадаться, как она работает - при изменении создается новая копия списка и, соответственно, происходит блокировка. При чтении блокировок нет. Следовательно, при частых операциях записи или удаления элементов работать будет медленнее, чем даже Collections.synchronizedList(), в котором блокируются все операции, но при этом нет копирования списка. На данном уроке Вы сможете на практике увидеть скороть и медлительность работы этой реализации. Вы напишите мультипоточное приложение, которое определит время чтения/записи значений в разные конкурентные списки.

Учитывая особенности работы CopyOnWriteArrayList, имеет смысл выбирать данную реализацию, только если Вам действительно необходим индексный доступ к элементам, либо в коллекции возможно хранение дубликатов. Данное утверждение справедливо не только к мультипоточным реализациям, а к любым спискам вообще. Если же элементы в коллекции уникальны, и Вам достаточно последовательного доступа, тогда вполне подойдет Set.

Concurrent реализаций интерфейса Set существует две. Первая - это CopyOnWriteArraySet. Свойства такие же, как и у аналогичного списка. Вторая реализация - это ConcurrentSkipListSet. Последняя основана на интересной структуре данных  - слоёный список (SkipList). Подробнее на русском языке Вы можете прочитать на algolist.ru и википедии. Я скажу лишь, что она представляет собой связный список, где вставка и удаление элементов происходит достаточно быстро. Такая структура данных также хорошо подходит для неблокирующего доступа несколькими потоками, ведь, например, для вставки достаточно заблокировать изменение двух соседних элементов в связном списке. В дополнении ко всему, набор ConcurrentSkipListSet хранит значения в отсортированном виде, реализуя интерфейс NavigableSet. При этом, конечно, не стоит забывать о Comparator-е, который будет сравнивать элементы, или интерфейсе Comparable, который они могут реализовывать.

Для использования Map в многопоточной среде существуют два класса - ConcurrentSkipListMap и ConcurrentHashMap. Первая реализация подобна аналогичной для Set. Вторая подобна HashMap, где все пространство значений разбито на независимые области, каждая из которых представляет собой хеш-таблицу. При вставке элемента блокируется только одна область, позволяя параллельные чтение/запись в другие области. Используя этот класс, необходимо помнить о занимаемой памяти, так как для эффектиной работы с несколькими потоками, количество и размеры этих областей быстро растут. Еще одним полезным свойством обоих этих Map есть то, что они реализуют интерфейс ConcurrentMap. В нем представлены методы на основе неблокирующих алгоритмов, позволяющие безопасным образом выполнять проверку и изменение значений в рамках одной атомарной операции. Подобным образом работают атомарные переменные, такие как AtomicInteger и др. Подробнее о них я рассказывал на втором уроке из курса Advanced Java Concurrency.

В качестве домашнего задания для данного урока предлагаю добавить немного “параллелизма” в приложение, написанное для предыдущих уроков:

• Во-первых, добавьте параллельную загрузку всех праздников в отсортированный Set. Прочитав файл с помощью org.apache.commons.io.FileUtils.readLines(file, encoding), передайте различные области списка нескольким потокам, которые будут парсить праздники и добавлять их в Set.
• Во-вторых, одновременно с загрузкой и парсингом праздников выполните подсчет количества праздников для каждого дня и каждого месяца. Для этого используйте отдельные Map для хранения того, сколько праздников будет в каждом дне и каждом месяце.
• В результате выполнения программы выведите наиболее и наименее “праздничный” день, а также количество праздников в каждом месяце.

Ну и, конечно, видео данной урока:

Read More...

Интересные реализации интерфейса Map в Java

У интерфейса Map из Java Collections Framework есть несколько реализаций, и у некоторых из них есть очень интересные свойства, знание которых поможет Вам эффективно решать определенные задачи. Отличия между двумя распространенными реализациями - HashMap и TreeMap - такие же, как между HashSet и TreeSet (тем более, что последние реализованы на основе первых), и про них я уже рассказывал. В этом видео, я остановился на не-concurrent классах, таких как LinkedHashMap, EnumMap, WeakHashMap.

С LinkedHashMap все просто - получаете преимущества поика по хэш коду и, в дополнение к этому, порядок элементов при итерации будет таким же, как при вставке. С помощью конструкторов этого класса можно задать некоторые параметры, которые будут влиять на скорость работы, объем занимаемой памяти, а также на порядок элементов при итерации. Последнее особенно интересно, так как позволяет использовать LinkedHashMap в очень интересных решениях, одно из которых - простейший LRU-кэш.

С EnumMap все еще проще - обычный Map, где ключами есть значения enum. Не все это знают, но эффективность хранения элементов и скорость работы намного превышает другие реализации, при использовании перечислений для ключей.

Реализация WeakHashMap основана на использовании слабых ссылок (WeakReference) для ключей. Это позволяет эффективно использовать Map для временного хранения информации, где запись будет удалятся, когда сборщик мусора в Java удалит объект ключа. Для продуктивного и правильного использования этой реализации необходимо понимание механизма ссылок в Java и работы сборщика мусора. Об этом можно почитать, например, тут.

Небольшое домашнее задание для практики навыков работы с этими реализациями:

Необходимо доработать программу, созданную в результате выполнения задания из прошлого поста. Немного изменив shell-скрипт, я сделал так, чтобы теперь в файл holidays.txt дописылась информация о том, какой стране принадлежит праздник. Таким образом, каждая строка в этом файле теперь выглядит следующим образом:

<дата> <название праздника> (<страна праздника>)

Неоходимо дописать парсинг этого файла, чтобы теперь в объект класса Holiday также записывалась страна. Но, так как страны повторяются в файле, то необходимо сделать так, чтобы не создавались новые строки в памяти программы, хранящие одинаковые данные. Поясню дополнительно на примере.

Содержание файла holidays.txt:

2013/10/26 Всероссийский день гимнастики (Праздники России)
2013/6/29 День партизан и подпольщиков (Праздники России)

Прочитав этот файл, программа должна создать 2 объекта класса Holiday. Каждый из них будет хранить ссылки на следующие объекты:

• разные объекты класса Date
• разные объекты класса String, хранящие название празника
• один и тот же объект класса String, в котором будет записано "Праздники России".

Кстати, так как в один и тот же день может быть несколько праздников, то можно сделать так, чтобы объект Date тоже был один для каждого для, в который есть хоть один праздник.

Для реализации это задания необходимо использовать WeakHashMap.

Видео, где я рассказываю про реализации интерфейса Map, их свойства и особенности:

Read More...

Использование HashSet и TreeSet

HashSet и TreeSet - две наиболее распространенные реализации интерфейса Set в Java Collections Framework. Первая основана на использовании функции hashCode и структуры данных “хеш-таблица”, вторая - на основе сравнения элементов и структуры данных “бинарное дерево” (точнее красно-черное дерево). Знание и понимание отличий этих структур данных необходимо для любого программиста. К сожалению, многие лишь поверхностно рассматривают их, что приводит к созданию неэффективного кода, а  иногда и к багам. Познакомиться с этими и другими классами коллекций Java можно, посмотрев урок 10 из курса Java для тестировщиков. Для детального изучения необходимо читать дополнительную литературу. В данном видео Вы познакомитесь с некоторыми особенностями этих классов, незнание которых может привести к возникновению ошибок или изобретению новых “велосипедов”.

Я думаю, что некоторым из Вас это видео может показаться неинтересным, не открывшим ничего нового. Это хорошо, что Вы знаете эти темы - подождите следующих видео :) А я буду рад за тех, кто почерпнет что-то полезное из этого материала. Потому что на самом деле, реальные баги в реальных проектах, которые мне пришлось отлавливать, возникли как раз из-за невнимательности (или незнания) при работе с этими реализациями Set.

Так как многие из Вас хотят домашнего задания, чтобы потренировать навыки программирования, то вот одно, среднего уровня сложности:

Написать программу, которая выводит 3 блока информации:

• список праздников на сегодняшний день
• список праздников на завтрашний день
• список праздников на ближайшие 5 дней, не включая сегодняшний и завтрашний дни

Список праздников прочитать при старте программы из этого файла: holidays.txt.zip
Каждую строку в этом файле преобразовать в объект класса Holiday, который implements Comparable<Date>, и который будет иметь два поля: Date date и String name.
Для хранения объектов Holiday в памяти использовать TreeSet.
Результат работы программы должен быть приблизительно таким:

#>java package.name.ShowHoliday
Сегодня:
Праздник 1
Праздник 2

Завтра:
Праздник 3
Праздник 4

Скоро:
Ср, 17 июля - Праздник 5
            - Праздник 6
Чт, 18 июля - Праздник 7
            - Праздник 8

Реализовать в программе возможность передать заданный день и количество дней в командной строке. В этом случае вывести все праздники на этот день и на следующее количество дней, оформив вывод так, как сделано в блоке “Скоро” при обычном запуске программы.

P.S. Если вдруг кому интересно, то для формирования файла с праздниками я написал shell-скрипт на bash, который посылает запросы на сайт и парсит праздники с результирующей страницы. Вы можете скачать скрипт и поиграться с ним (нужен Linux): holiday_parse.sh

Ну и, собственно, видео:

Read More...

Курсы Advanced Java

Опыт общения с различного уровня программистами на языке Java - как на собеседованиях, так и просто в дружественной обстановке - показал наличие некоторых пробелов в знаниях особенностей языка, а также его инструментов. В целом, причины этого вполне объяснимы – ведь, если все время программируешь, например, web-интерфейсы, то не будешь особо задумываться над различными способами взаимодействия с базами данных или обеспечения эффективного чтения/записи файлов. Однако, никогда не знаешь, к чему может привести очередной виток в карьере. Поэтому хорошее владение выбранным языком программирования и знание его особенностей просто необходимо, чтобы не изобретать повторно велосипеды и не ощущать удары грабель по уже набитым шишкам. Выделив отдельные темы из области Java Core, в которых было замечено большего всего пробелов, а также которые, возможно, сложны для понимания из-за отсутствия практики, я создал курс Advanced Java, который и представляю Вашему вниманию.

Об основах языка Java я уже рассказал в курсе Java для тестировщиков. Конечно, были затронуты далеко не все темы и многие из них рассмотрены очень поверхностно. Во-первых, этого было достаточно для слушателей, а во-вторых, я считаю, что заинтересованный программист сможет и сам отыскать необходимую ему информацию, главное - показать направление. В курсе Java Практика я постарался рассказать, как писать программы, применяя имеющиеся знания, а также дал различные домашние задания для закрепления материала - ведь ничто не запоминается лучше, чем то, что напишешь сам.

Курс Advanced Java построен в первую очередь на основе практики. Т.е. Вы не только узнаете, как использовать тот или иной инструмент, но также сможете написать код. Такая практика не только поможет лучше понять изложенное в тренингах, но и закрепит Ваши умения, чтобы использовать их на деле. В записях данного блога я постараюсь также написать несколько домашних заданий по отдельным темам, чтобы помочь Вам лучше закрепить материал. На видео я предлагаю решения некоторых поставленных задач, однако советую Вам сначала написать код самостоятельно, ведь на реальной работе Вам редко когда будут в точности говорить, что и как делать.

Данный курс разбит на пять отдельных мини-курсов, которые охватывают такие темы, как многопоточность (concurrency), коллекции (collections), обобщения (generics), аннотации (annotations), рефлексию (reflection) и сериализацию (serialization). Эти мини-курсы можно изучать отдельно, по каждому из них будет выпущено несколько видео. Единственное, что стоит упомянуть – вторая часть мини-курса по коллекциям посвящена неблокирующим реализациям коллекций (concurrent collections), и ее стоит изучать после мини-курса по многопоточности.

Мини-курс "Advanced Java - Concurrency" знакомит со сложными концепциями многопоточности и параллелизма в языке Java на основе пакета java.util.concurrent. В нем кратко вспоминаются основные механизмы синхронизации в Java, одновременно представляются общие проблемы, связанные с использованием потоков (например, возникновение взаимной блокировки (deadlock)), и показываются эффективные способы их решения. Курс знакомит с высокоуровневыми методами синхронизации с использованием CountDownLatch, CyclicBarrier, ThreadLocal, а также различными Executors для запуска потоков.

Мини-курс “Advanced Java – Collections” посвящен детальному рассмотрению стандартных реализаций интерфейсов Java Collections Framework (hash maps, queues, sets), объясняет их особенности, способы применения и знакомит с некоторыми интересными свойствами, позволяющими повысить эффективность работы с коллекциями в программе, а также избежать возникновения скрытых багов. Вторая часть данного мини-курса знакомит с неблокирующими реализациями коллекций (non-blocking lists and sets, concurrent maps, blocking queues), объясняет разницу между ними, а также на практике показывает их плюсы и минусы, и возможное применение.

Мини-курс “Advanced Java – Generics” подробно рассматривает скрытые проблемы, возникающие при игнорировании женериков, объясняет особенности наследования при использовании классов с обобщенной типизацией, а также показывает, как повысить эффективность кода с применением метасимволов (wildcard) и расширителей обобщения (extends и super).

Мини-курс “Advanced Java – Annotations/Reflection” рассказывает о том, как создавать собственные аннотации, определять их свойства и обрабатывать их с помощью рефлексии (reflection). В дополнении к этому данный мини-курс знакомит с другими часто используемыми особенностями применения Java Reflection API.

Мини-курс “Advanced Java – Serialization” представляет различные популярные техники для сериализации объектов в Java. Рассматривается базовая сериализация с применением встроенных инструментов, объясняются тонкости ее настройки и использования. Кроме того, мини-курс знакомит со ставшей уже встроенной сериализацией в XML с применением JAXB, а также с сериализацей в формат JSON с помощью библиотеки от Google.

Read More...

Java Практика - Занятие 9

На девятом занятии мы практиковались собирать проект с помощью Apache Ant. Про Ant и про Maven я рассказывал на последнем 19 уроке из курса Java для Тестировщиков. В этот раз мы более подробно остановились на создании скрипта сборки, написали скрипт "с нуля" для очень простого Java проекта и рассмотрели основные цели Ant. Чтобы не объяснять все это "на пальцах" и не писать много текста на доске, я воспользовался Eclipse, где сразу в IDE и показывал, как что делать.

Ответ на вопрос, почему именно Ant, а не Maven, достаточно прост: Ant часто используется в проектах  в нашей компании и поэтому оказался востребованным для слушателей курса. Объяснять, что лучше, а что хуже, я не здесь не буду - решите каждый сам для себя, попробовав оба инструмента. Урок по использованию Maven мы, возможно, сделаем, однако пока в планах такого нету.

Скачать исходные файла примера, который был создан на видео, можно по этой ссылке.

Ну и, собственно, видео:

Read More...

Java Практика - Занятие 8

На восьмом занятии мы рассмотрели работу с XML файлами в Java. Про то, что такое XML, я не рассказывал в курсе Java для тестировщиков и на этом занятии тоже не останавливался — подразумевается, что Вы это уже знаете. Мы рассмотрели три базовых способа взаимодействия со структурными файлами XML: чтение и поиск с помощью SAX, чтение и создание с помощью DOM, и маршалинг и демаршалинг с помощью JAXB. Мы рассматривали работу с очень простыми XML документами без схем или DTD описаний.

SAX-парсер — это самый простой способ чтения XML документа и поиска информации в нём. Однако, в силу своей простоты, обработка чуть более сложных документов (с множеством уровней иерархии элементов) становится очень трудоёмкой задачей. На практике применяется, скорее, для очень простых, либо очень больших по объёму документов. SAX-парсер встроен в саму Java, и никаких дополнительных библиотек для его использования не нужно. На этом ресурсе (англ.) есть простой пример по чтению документа этим парсером. Также, там внизу ссылка на то, как читать UTF-8 XML документ c помощью SAX.

Другой способ чтения XML документов — это использование объектной модели документа DOM. Данный способ позволяет также легко модифицировать и создавать документ. Так как структура XML файлов представлена в виде иерархии, то ее легко отобразить с помощью объектов в Java, где можно выделить родителя (Document) со списком потомков (Element), у которых могут быть свои потомки и т.д. DOM — это программный интерфейс, и существует различные его реализации. В самой Java есть классическая реализация, но большей популярностью пользуется библиотека JDOM. Попросту говоря, в ней больше полезных функций, и поэтому работать с ней легче. Собственно, на видео я приводил примеры функций как раз этой библиотеки. На том же англ. ресурсе есть простые и хорошие примеры как читать XML с помощью DOM и как создавать документ. Также там есть пример, как читать документ с помощью JDOM и создавать его.

Еще одним способом работы с XML документами, который уже можно отнести к классическим — это использование JAXB: отображения XML в Java классы. Раньше, эта технология была доступна при подключении дополнительной библиотеки, но сейчас она уже включена в ядро Java. Суть отображения можно вкратце описать так: приложение, которое обрабатывает информацию, представляет данные в виде иерархии и взаимосвязи различных объектов; определенные поля в этих объектах (которые описаны в соответствующих классах) помечаются мета-информацией (в нашем случае, аннотациями), которая используется JAXB для сохранения значений полей в XML документ, а также для чтения их из документа. Процесс сохранения данных называется маршалингом. Процесс чтения — демаршалингом. Использовать JAXB очень удобно, если цель Вашего приложения — это не работа с XML, а работа с информацией. А так как информацию надо где-то хранить и где-то брать, и если это «где-то» - это XML-файл, то процесс ввода/вывода можно сделать достаточно прозрачным и легко модифицируемым. И снова, тот же англ. ресурс содержит пример работы с JAXB.

Так как XML — это достаточно взрослый формат представления данных, то очень много написано документации по работе с ним на любом языке.

В качестве домашнего задания для данного урока, можно выполнить следующее:

1. Создать XML документ.
2. Найти какую-либо информацию в документе с помощью SAX-парсера.
3. Прочитать весь документ с помощью DOM-парсера (или JDOM) и вывести его на экран. 
4. Создать несколько взаимосвязанных классов с несколькими полями и отобразить их с помощью JAXB: сохранить XML документ и прочитать его. Для тех, кто выполнял задания из нескольких первых занятий, то можно добавить аннотации к классам Product и сохранить информацию о продуктах в XML.

Ну и, собственно, видео занятия:

Read More...

Java Практика - Занятие 7

Седьмое занятие мы посвятили работе с файлами в Java. Мы рассмотрели базовые операции, такие как создание, удаление, и получение доступа к файлам и каталогам. Немного остановились на потоках, как бинарных, так и символьных, и их использовании для чтения и записи файлов. В конце занятия, я рассказал про библиотеку Apache Commons IO, в которой реализованы полезные методы для работы с файлами и потоками ввода/вывода. И, конечно, домашнее задание для закрепления материала. Про работу с файлами и потоками я рассказывал на уроке 11 из курса Java для тестировщиков, так что начинать изучение темы следует оттуда.

Для доступа к файлам в Java используются классы из пакета java.io. Для реализации высокопроизводительных операций ввода/вывода существуют также классы из пакета java.nio. Однако, их рассмотрение выходит за рамки данного курса. К тому же, я считаю, что разобраться там не составит труда после освоения традиционных способов.

Работу с файлами можно условно разделить на две составляющие. Во-первых, это операции, связанные с доступом и местоположением файлов и каталогов, такие как создание, перемещение, удаление, получение списка (у директории). Во-вторых, это операции чтения и записи содержимого файлов. Для первого случая используется базовый класс java.io.File, а также другие системные классы. Во втором случае используются потоки ввода/вывода. Стандартных системных классов Java часто бывает недостаточно для выполнения необходимых операций с файлами (например, копирование файла), и в таком случае использование сторонних библиотек выручает разработчика, чтобы не "изобретать велосипед" заново. Для работы с потоками в Java есть все, что нужно, хоть часто и приходится писать много сопутствующего кода для корректной обработки всех ситуаций. В данном случае также помогают сторонние библиотеки, предоставляющие методы, которые либо полностью выполняют нужные действия, либо избавляют от необходимости писать блоки стандартных вызовов.

Все операции ввода/вывода, а также методы создания потоков в Java выбрасывают проверяемые исключения. В обязательном порядке их необходимо отлавливать и обрабатывать. Как именно — это зависит уже от приложения, можно просто завершить работу, а можно попытаться восстановить нормальное функционирование с уведомлением пользователя. В любом случае, программист должен решить, что будет делать программа в случае возникновения ошибок ввода/вывода. Для ознакомления с исключениями можно послушать мой урок 9 из курса Java для тестировщиков.

На следующем занятии мы рассмотрим работу с двумя распространёнными типами файлов — properties и XML.

Домашнее задание для этого занятия:

1. Написать программу, которая читает текстовый файл, состоящий из нескольких строк, и записывает эти строки в отсортированном по длине порядке в другой текстовый файл.
   
   Например, файл aa.txt, содержит следующие строки:
   

   World!
   Hello
   And how do you do?

   Созданный файл bb.txt будет содержать эти же строки в отсортированном по длине виде:
   

   Hello
   World!
   And how do you do?

   Для небольшого усложнения этого задания можно сделать следующее:
   
   • добавить возможность указывать исходный файл, целевой файл и направление сортировки (восходящая или спадающая) в командной строке, например так:
     

     java SortFile aa.txt bb.txt asc
     

     , где SortFile — класс, который мы запускаем, aa.txt — исходный файл, bb.txt — целевой файл, asc или desc — направление сортировки.
   
   
2. Написать программу, которая копирует все файлы из заданного каталога в целевой, при этом переименовывая их в случайном порядке, назначая имена файлам из числовой последовательности от 1 до N, где N — это количество файлов в каталоге. При этом имена файлов не могут повторяться.
   
   Например, есть каталог, в котором хранятся файлы: a.txt b.txt c.txt Программа копирует эти файлы в другой каталог, назначая им следующие имена: 1.txt 2.txt 3.txt При этом назначение имен происходит случайным образом, т. е. например, a.txt → 2.txt, b.txt → 1.txt, c.txt → 3.txt. Для выбора случайного числа, можно использовать Java класс Random.

Ну и, собственно, видео. Прошу прощения за качество видео - в последний момент сломался мой фотоаппарат и пришлось записывать на телефоны - сначала на один (пока там место не закончилось), потом на второй. Стол, на котором были установлены телефоны, шатался, поэтому видео я обработал стабилизатором от youtube.

Read More...