Точная дата образования областной библиотеки не установлена. Первые официальные сведения о библиотеке относятся к 1934 году. Из цифровых материалов к отчету работы Биробиджанского горсовета созыва 1932/1933:
"…Областная библиотека в городе Биробиджане с филиалами на шести предприятиях, среднесуточная посещаемость читателями — 30 человек. Библиотека систематически пополняется высококачественной литературой…".
В 1935 году перед библиотекой была поставлена задача по созданию научного отдела, в котором собиралась вся литература и материалы об ЕАО. Тем самым было положено начало научной, краеведческой деятельности библиотеки.
На основании договоренности с уполномоченным Центркогизом областное управление КОГИЗа должно было регулярно бесплатно снабжать областную библиотеку литературой по одному экземпляру каждого издания независимо от количества поступающих экземпляров.
По архивным данным на 1 октября 1934 года в библиотеке было 2 тысячи читателей, среднесуточная посещаемость — 180 человек, а читальни посещали в среднем 40 человек. Фонд насчитывал 25 тысяч экземпляров, в том числе 1,2 тысячи экземпляров для детей, выписывалось 130 названий газет и журналов. Среди читателей библиотеки было 760 мужчин и 390 женщин.
К предвоенным годам фонд библиотеки значительно вырос. В 1941 г. насчитывалось около 80 тысяч томов, по сравнению с 1934 годом он увеличился в 3,2 раза. За годы Великой Отечественной войны книжный фонд вырос в 1,4 раза по сравнению с 1941 годом и составлял 115 тысяч книг.
10 января 1936 года на торжественном заседании Биробиджанского горсовета, посвящённом 100-летию со дня рождения Менделе Мойхер-Сфорима, по инициативе И. Либерберга было принято решение назвать библиотеку его именем. Однако, на основании решения исполкома областного Совета депутатов трудящихся от 16 декабря 1940 года в целях увековечивания памяти еврейского писателя областной библиотеке присвоено имя Шолом-Алейхема. Ныне государственное учреждение культуры "Биробиджанская областная универсальная научная библиотека им. Шолом-Алейхема".
Первая библиотека находилась в деревянном помещении площадью 35 кв.м по адресу ул. Постышева, 108 (ныне – ул Ленина). Оригинальное каменное помещение для областной библиотеки было построено по проекту известного архитектора М. Я. Гильмана – одного из авторов здания библиотеки им. Ленина в Москве (ныне Российская государственная библиотека), известной также как Пашков дом. Зданию Биробиджанской библиотеки присвоен статус памятника культурного наследия области.