In der Beschreibung seiner Seefahrt im Jahr 1556, in seinem Hauptwerk „Fischen und Fischergespräche“ erwähnt Petar Hektorović, wie er während seiner Seefahrt einen Ort erreichte, an dem die Inseln Brač und Šolta fast miteinander verschmelzen. Da hat er einen Fischer, mit dem er reiste, ans Land geschickt, um Essen zu besorgen. Der Fischer wird nur Hirte und eine Reihe von Hirtenbehausungen in der Nähe der Quelle Studenac, in der heutigen Bucht von Milna, vorgefunden haben. Da der Ort Milna in der Mitte des 16. Jahrhunderts noch nicht existierte, wird angenommen, dass sie mit ihrem Boot in Salbunar und nicht in Milna gelandet sind. Aufgrund einer bisher noch wissenschaftlich unerforschten Fundstelle, die sich bis zum Brunnen Studenac in der Bucht Pantera erstreckt, kann jedoch geschlossen werden, dass dieses Gebiet in alten und frühchristlichen Zeiten bewohnt war.
Vermutlich handelt es sich dabei um die erste Wasserstelle in Milna, die es schon in illyrischer und römischer Zeit gab. Einst reichte das Meer bis nach Studenac selbst und bildete eine lange Bucht, die vor Feinden und Unwetter jeglicher Art geschützt war. Obwohl Studenac heutzutage zugeschüttet ist, gibt es darin immer noch Wasser. Neben der Öffnung des Brunnens befinden sich drei Steine, die als Viehtränke dienten und eigentlich Fragmente altchristlicher Sarkophage sind. In einen der Steine ist ein altchristliches Kreuz gemeißelt. Wenn man nach dem Ursprung von Milna suchen würde, sollte man bestimmt in der Gegend um Studenac herum suchen, was von Studenac selbst, sowie von zahlreichen, in diesem Bereich gefundenen Keramiken und den Fragmenten der Sarkophage bezeugt wird.
Die Anfänge der Ortschaft Milna reichen bis zur Wende des 16. zum 17. Jahrhundert zurück, als Einwanderer aus Nerežišća das Gebiet um die – von der Familie Cerinić (Cerineo) zur Verteidigung ihres Eigentums erbaute – Kastellburg, volkstümlich Angliština genannt, sowie das Gebiet um die Kirche der hl. Maria, die heutzutage die Sakristei der Pfarrkirche ist, besiedelten. Während dieser Zeit hatten viele Adelsfamilien in ihren Häusern oder außerhalb ihrer Häuser private Kapellen oder Kirchen für ihre geistlichen Bedürfnisse. Die meisten hatten einheimische Kapläne oder Familienpriester, die den Gottesdienst für ihre Familie abhielten.
Milna ist eine der jüngsten Ortschaften am Meer, deren Besiedlung erst um das Jahr 1528 begonnen hat. Die Menschen siedelten sich nur ungern in der Nähe des Meeres an, da es sich herumgesprochen hatte, dass Schiffe auf dem Seeweg und Ortschaften an der Küste von Piraten angegriffen werden. In Wirklichkeit verkehrten dort schon nach dem Bau des Diokletianpalastes in Split Handel treibende Schiffe. Da Split aber keinen Hafen hatte, suchten die Schiffe in der Bucht von Milna, die zu diesem Zeitpunkt noch keinen Namen hatte, Schutz vor Unwetter. Später wurde bekannt, dass jene Schiffe, die in der Bucht zu finden waren, keine Piraten waren, sondern Kaufleute, die dort Zuflucht vor Gewitter suchten. Es sind aber noch viele Jahre nach dieser Aufklärung vergangen, bis die Menschen davon wirklich überzeugt waren.
Schließlich besiedelten die Menschen das Gebiet um Milna auch am Meer, aber nicht direkt an der Küste, sondern etwas weiter entfernt, um den Hafen gut beobachten zu können. Dann wurden Felder für die Aussaat von Gemüse, Weizen, Bohnen und anderen Hülsenfrüchten gerodet, da es nicht einfach war, Nahrung zu besorgen. So wurde auch damit begonnen, Weinreben und Olivenbäume zu pflanzen. Häuser wurden danach am Meer gebaut, aber immer noch weit genug von der Küste. Erst später, als es sich erwiesen hatte, dass es ruhig war und dem Ort keine Angriffe drohten, wurde der Ort stärker besiedelt und mehr Land gerodet. Als sich herausstellte, dass das Land zum Anpflanzen von Weinreben geeignet war, kamen auch die Segelschiffe. Da es weder eine Kirche noch Priester gab, wurde ein Standesamt für Taufe, Erstkommunion und Heirat im benachbarten Nerežišće geführt. Da es mit der Zeit für die Bewohner von Milna und Bobovišće zu weit war, an Sonntagen und Feiertagen dorthin zum heiligen Gottesdienst zu gehen, bauten sie gemeinsam die heutige Kirche des Hl. Martin, wohin dann der Priester aus Nerežišće sonntags kam, um den Gottesdienst zu halten.
An der Wende vom 18. zum 19. Jahrhundert wurden in Milna das Gemeinde- und Hafenamt, die Schule, die Kirche mit einem Glockenturm, das Pfarrhaus und der Hafen mit einem Leuchtturm am Eingang zur Bucht erbaut. Die Promenade wurde gepflastert, Treppen wurden gebaut, Straßen wurden mit Großsteinpflaster belegt… In windgeschützten Straßen wurden Steinbänke und im Hafen die Straßenbeleuchtung aufgestellt. Im Hafen, der aufgeschüttet, reguliert und untermauert wurde, wurden repräsentative, zweistöckige Häuser mit höherem Wohnstandard gebaut. Auch Kaffeehäuser, Gasthäuser und Gesellschaftsräume wurden eröffnet.
Als Erinnerung an schönere Zeiten stehen in Milna noch heute die repräsentativen Wohngebäude der ehemaligen, seltener aristokratischen und häufiger bürgerlichen Familien. Doch auch die – von außen gesehen – bescheideneren Wohngebäude, insbesondere jene, die sich gleich am Meer befinden, widerspiegeln hervorragend die Lebensweise des einfachen Volkes, der Fischer und der Handwerker.
Die Bewohner von Milna können sicherlich auf ihre Vergangenheit, die Natur, ihren Fleiß, materielle Güter und insbesondere auf die Denkmäler, die ihre Vorfahren mit großen Opfern gebaut und ihnen hinterlassen haben, stolz sein. Auf Schritt und Tritt entlang der Küste und der Straßen ist die Mühe dieses fleißigen Volkes überall zu spüren. Wenn wir durch die Landschaft um Milna wandern, stoßen wir auf zahlreiche Steinhaufen, Zeugnis des Fleißes des hiesigen Volkes.
Der Schiffbau als eine Voraussetzung für Fischerei hat sich insbesondere in Milna entwickelt, wo es eine Werft für den Bau verschiedener Schiffstypen gab, die sich nach Tragfähigkeit und Mastgröße unterscheiden (Bracera, Trabakul, Loger, Škuna, Brik, Stela, Kuter, Leut, Laja Svičarice, Guc, Kajići, Gondola). Wenn von der Seefahrt in Milna die Rede ist, ist es wichtig, den Zeitraum vom 17. bis zum 19. Jahrhundert zu erwähnen, als Milna der am weitesten entwickelte und verkehrsreichste Hafen auf Brač war. Viele Einwohner von Milna waren Reeder, Kapitäne, Seeleute, Schiffbauer und vor allem Fischer. Erwähnenswert ist auch, dass es im 18. Jahrhundert in Milna zwei Werften gab. Eine kleine Werft befand sich in der Bucht Vlaška, in der auf der Westseite noch heute eine Winsch zum Ziehen von Schiffen zu sehen ist. Eigentümer dieser kleinen Werft, die um die Jahrhundertwende in den Hafen von Milna bzw. in den Ortsteil Brdo verlegt wurde, waren die Brüder Bonačić-Dorić. Die zweite Werft, die 1750 in der Gegend des Ortsteiles Pantera ihren Betrieb aufgenommen hat, gehörte der Familie Bonačić-Protti. Der Bau großer Schiffe war Mitte des 19. Jahrhunderts besonders intensiv, allerdings ist der Schiffbau in Milna kurz darauf praktisch ausgestorben.