Rumphius (o Rumpf) nació en la localidad alemana de Wölfersheim, donde creció y realizó sus primeros estudios hasta trasladarse con su familia a Hanau. Hijo mayor de Augustus Rumphius, arquitecto y constructor en Hanau, desde muy joven comenzó a verse atraído por los viajes. En 1646 es reclutado por la Compañía de las Indias Occidentales, embarcando como parte del ejército veneciano con destino a Brasil, donde holandeses y portugueses se disputaban el territorio. Sin embargo, Rumphius no llegó a cruzar el océano, ya que su nave fue capturada y se quedó en Portugal durante tres años, hasta que volvió a Hanau en 1649, donde colaboró en los negocios de su padre.

En 1652 se alista en la Compañía Holandesa de las Indias Orientales, llegando a la isla de Ambon en el archipiélago indonesio de las Molucas en 1654, tras pasar una temporada en Yakarta (Batavia). Allí se convirtió en comerciante, adquiriendo el cargo oficial de ingeniero y alférez dentro de la Compañía. Comenzó a estudiar la flora y la fauna de las islas, dibujando y describiendo con sumo detalle las especies que encontraba, fundamentalmente planas e invertebrados marinos, labor por la que fue conocido como el Plinio de las Indias.

A partir de 1670 comienzan a producirse una serie de desgracias encadenadas que pondrán en serias dificultades el trabajo de Rumphius, aunque debido a su enorme perseverancia, conseguirá seguir avanzando en varios de sus proyectos iniciales. Rumphius queda ciego por glaucoma, aunque continúa con sus manuscritos gracias a la ayuda de su esposa e hijos. En 1674 su esposa y una de sus hijas mueren en un desprendimiento durante un terremoto. Posteriormente, en 1687, con el proyecto casi terminado, un gran incendio destruyó su biblioteca, quemándose numerosos manuscritos y dibujos originales destinados a ilustrar sus obras.

No obstante, lejos de rendirse, Rumphius con ayuda de sus ayudantes retoma su tarea y termina el manuscrito en 1690. Su hijo Paul vuelve a dibujar las plantas incluidas en este trabajo. El texto, junto con las ilustraciones de plantas, embarca en 1692 para ser editado en los Países Bajos. Desgraciadamente el barco es atacado y hundido por los franceses, obligándolos a comenzar de nuevo a partir de una copia que por suerte habían conservado. El manuscrito del herbario llegó finalmente a los Países Bajos en 1696, sin embargo la Compañía de las Indias Orientales decidió que "contenía tanta información sensible que sería mejor no publicarlo".

En 1701 Rumphius envía un nuevo manuscrito a los Países bajos que consistía principalmente en descripciones de invertebrados marinos (moluscos, crustáceos, y equinodermos), aunque también se incluían algunos minerales y fósiles. Mostraba un especial interés por las conchas del Indo-Pacífico, describiéndose por primera vez muchas de ellas. Algunos de estos ejemplares fueron comprados por Cósimo III, gran duque de la Toscana, y figurados por Gualtieri en 1742. 

Rumphius murió en 1702, por lo que nunca llegó a ver ninguno de sus trabajos impresos.

En 1705 se publica en Ámsterdam D'Amboinsche Rariteitkamer (Gabinete de Curiosidades de Ambon). Este trabajo procede del manuscrito que  Rumphius había enviado a los Países Bajos en 1701. Al haberse destruido las ilustraciones originales de Rumphius en el incendio de su biblioteca, Maria Sybilla Merian dibuja los especímenes descritos a partir de ejemplares conservados en gabinetes de curiosidades europeos (por eso se encuentran ocasionalmente especies mediterráneas). Este trabajo se acompaña de 60 láminas magníficamente grabadas al cobre sobre los dibujos de Maria Sibylla. En 1741 se publica la segunda edición.

Finalmente, casi 40 años después de la muerte de Rumphius, comienza a publicarse su herbario Het Amboinsche Kruidboek o Herbarium Amboinense en una edición bilingüe en latín y holandés compuesta de seis volúmenes en folio mayor que ve la luz entre 1741 y 1750. Se trata de un catálogo de plantas de la isla de Ambon en el que se describen 1.200 especies que se ilustran en 700 grabados al cobre. Este material contribuyó intensamente a la clasificación binomial de Linneo y proporcionó la base para el estudio de la flora de las Molucas.